Skip to main content
PromptQuorumBuilt for humans. Structured for AI.
主页/本地LLM进阶
Easiest Desktop Apps

GPT4All评测:Nomic AI推出的免费离线AI聊天应用

·阅读约11分钟Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

警告:GPT4All自2025年5月27日(仓库最后一次提交;最新版本v3.10.0发布于2025年2月25日)以来没有任何更新,可能已不再维护——使用前请先确认它在你的设备上仍能正常运行。 GPT4All是一款免费开源的桌面应用(nomic.ai/gpt4all,源代码位于github.com/nomic-ai/gpt4all),通过内置的llama.cpp引擎完全在你自己的电脑上运行AI模型,并配有可选的LocalDocs功能,让你与自己的文件对话。 它没有任何付费方案:GitHub仓库采用MIT许可证,应用本身不需要订阅或账户。GPT4All可在Windows(包括ARM)、macOS(Apple Silicon和Intel)以及Ubuntu/Linux上运行,并包含一个基于Docker的、兼容OpenAI的本地API服务器,以及供开发者使用的Python SDK。

关键要点

  • GPT4All免费且开源;GitHub官方LICENSE.txt是标准的MIT许可证,桌面应用没有定价页面
  • 通过内置的基于llama.cpp的引擎运行本地模型——无需单独安装运行时
  • LocalDocs让你可以与自己的本地文档(PDF、文本等)对话,并使用混合BM25搜索提高检索准确性
  • 内置基于Docker的、兼容OpenAI的本地API服务器,供其他应用作为后端使用
  • 提供Python SDK(PyPI上的gpt4all),供希望从代码中调用本地模型的开发者使用
  • 可在Windows(x64和ARM)、macOS(Apple Silicon和Intel)以及Ubuntu/Linux x86-64上使用,另有社区维护的Flathub软件包
  • 由Nomic AI开发,该公司也打造了数据可视化平台Nomic Atlas和嵌入模型Nomic Embed
  • 截至本评测撰写时,GitHub上最新的标记版本是v3.10.0(2025年2月25日)——如需了解之后的更新,请直接查看官方发布页面

📍 简单一句话

GPT4All是Nomic AI推出的免费开源、MIT许可证桌面应用,通过内置的llama.cpp引擎离线运行AI模型,配有LocalDocs功能可与自己的文件对话,且没有任何付费方案。

💬 简单来说

与其为类似ChatGPT的订阅付费,GPT4All让你可以把模型下载到自己的电脑上并在那里对话——无需账户,模型下载完成后无需联网,也没有账单。LocalDocs可以让你把应用指向自己的PDF或文本文件,向它们提问而无需将任何内容上传到互联网。

⚠️警告: 自2025年5月27日起没有更新。GPT4All可能已不再维护:使用前请确认安装程序和你想用的模型在你的系统上仍能正常运行。

GPT4All(nomic.ai/gpt4all,源代码位于github.com/nomic-ai/gpt4all)是Nomic AI推出的免费开源桌面应用,可在你自己的电脑上本地运行AI模型,模型下载完成后无需联网。它内置基于llama.cpp的推理引擎、精选模型列表、名为LocalDocs的文档对话功能,以及一个兼容OpenAI的本地API服务器——所有这些均采用MIT许可证。本评测将介绍GPT4All实际能做什么、它从何而来、如何下载,以及它与其他本地优先聊天应用相比处于什么位置。

GPT4All评测:Nomic AI推出的免费离线AI聊天应用

GPT4All是什么?

GPT4All是一款桌面应用程序,用于与完全在你自己电脑上运行的AI模型对话,使用它无需云端账户。 其GitHub仓库描述写道:"GPT4All: Run Local LLMs on Any Device. Open-source and available for commercial use."(在任何设备上运行本地LLM,开源且可用于商业用途)。应用程序直接内置了基于llama.cpp的推理引擎,因此基本的离线聊天体验不依赖于事先安装Ollama等其他运行时。

  • 核心功能:一个聊天界面,可下载并完全在你自己的硬件上运行开放权重模型
  • 本地推理引擎:直接集成到应用程序中的基于llama.cpp的后端
  • LocalDocs:一项可选功能,用于与自己的本地文档对话,2023年7月加入应用,此后又新增了混合BM25搜索加以改进
  • 本地API服务器:一个基于Docker的、兼容OpenAI的HTTP端点,首次于2023年6月加入,使其他应用能像调用OpenAI API一样调用本地模型
  • 开发者:Nomic AI,一家同时打造数据可视化平台Nomic Atlas和嵌入模型Nomic Embed的公司
  • 权威仓库:github.com/nomic-ai/gpt4all——该项目的源代码、发布版本和问题跟踪器所在地

GPT4All的项目历史与版本里程碑

GPT4All最初的技术报告描述了其训练数据的收集时间为2023年3月20日至26日,而GitHub仓库的一份Internet Archive快照证实,截至2023年3月31日它已经公开——这使GPT4All成为2023年初Meta的LLaMA权重泄露之后最早出现的本地LLM桌面项目之一。PromptQuorum未能找到Nomic AI官方博客文章明确指出确切的公开发布日期——因此请将"2023年3月末"视为可独立核实的最早日期,而非官方公告日期。

  1. 1
    2023年3月:首次发布及GPT4All-J技术报告
    Why it matters: [GPT4All最初的技术报告](https://s3.amazonaws.com/static.nomic.ai/gpt4all/2023_GPT4All_Technical_Report.pdf)以及随后的[GPT4All-J报告](https://static.nomic.ai/gpt4all/2023_GPT4All-J_Technical_Report_2.pdf)描述了通过大规模数据蒸馏训练助手式聊天机器人的过程,采用Apache-2许可证的GPT4All-J模型被发布用于不受限制的商业用途。
  2. 2
    2023年6月:新增基于Docker的API服务器
    Why it matters: 引入了用于本地推理的兼容OpenAI的HTTP端点,使其他应用能够像调用云端API一样调用本地运行的模型。
  3. 3
    2023年7月:LocalDocs达到稳定支持
    Why it matters: 新增了私密、本地地与自己文档对话的能力——这是当今GPT4All使用最多的功能之一。
  4. 4
    v3.0.0 — 2024年7月2日:重新设计聊天应用程序
    Why it matters: 根据[官方GitHub发布页面](https://github.com/nomic-ai/gpt4all/releases),桌面聊天应用的界面进行了重大改版,并改进了LocalDocs工作流程。
  5. 5
    v3.4.0 — 2024年10月8日:为LocalDocs新增BM25混合搜索
    Why it matters: 为LocalDocs新增了BM25混合搜索,并支持Excel电子表格附件,提高了文档检索的准确性。
  6. 6
    v3.6.0 — 2024年12月19日:内置JavaScript代码解释器
    Why it matters: 新增了内置的JavaScript代码解释器工具,以及专用于工具调用工作流的Reasoner模型。
  7. 7
    v3.10.0 — 2025年2月25日:新增远程模型提供商
    Why it matters: 新增了专用的"Remote Providers"标签页,可在本地模型之外连接云端模型(Groq、OpenAI、Mistral AI),并将CUDA GPU支持扩展到计算能力5.0。

GPT4All能做什么?

GPT4All的功能集以最小化设置本地运行模型为核心,并配有一小套用于处理自己文档和代码的工具。以下是根据官方GitHub README和文档整理的各项功能实际作用。

  • 本地AI模型 — 直接在应用内从内置模型列表下载并运行开放权重模型,无需事先安装单独的运行时
  • LocalDocs — 将GPT4All指向包含自己文档(PDF、文本、Markdown等格式)的文件夹,并就其内容提问;检索使用混合BM25搜索,在生成答案前找到相关段落
  • 基于Docker的本地API服务器 — 运行一个兼容OpenAI的HTTP端点,让其他工具能像调用云端API一样调用你的本地模型
  • Python SDK — PyPI上的gpt4all软件包为开发者提供了围绕同一基于llama.cpp后端的Python客户端,用于编写脚本或将本地推理集成到其他应用中
  • 远程模型提供商 — 自v3.10.0(2025年2月)起,GPT4All还可以通过专用的Remote Providers标签页连接Groq、OpenAI和Mistral AI等云端提供商,与本地模型并存
  • 内置JavaScript代码解释器 — 在v3.6.0中新增,让兼容的模型能在对话中执行JavaScript代码,并配有专用于该工作流的Reasoner模型
  • 聊天模板与推理模型支持 — GPT4All围绕Jinja风格的模板重写了聊天模板处理机制,并新增了对推理模型(包括DeepSeek-R1变体)的明确支持,这些模型会在界面中显示"思考"步骤

使用示例:三种使用GPT4All的方式

以下是根据上述GPT4All已记录功能构建的具体工作流程——不是假设性的使用场景。

下载模型并完全离线对话

打开GPT4All的内置模型列表,选择一个适合你硬件的模型(在仅有CPU的笔记本电脑上,较小的模型是更稳妥的起点),然后下载它。下载完成后,你可以完全关闭互联网连接并继续对话——模型通过GPT4All内置的基于llama.cpp的引擎在本地运行,因此没有任何请求会离开你的电脑。

使用LocalDocs与自己的PDF或文本文件对话

在LocalDocs中,将GPT4All指向包含你自己的PDF、文本文件或其他文档的文件夹,让应用建立本地索引。索引完成后,在聊天窗口中提问,GPT4All会在生成答案前从你的文件中检索相关段落(使用混合BM25搜索)——这对搜索个人档案、一系列报告或学习笔记很有用,且无需将任何内容上传到云服务。

连接本地API服务器供其他应用使用

启动GPT4All基于Docker的本地API服务器,使其在你的电脑上暴露一个兼容OpenAI的HTTP端点。将任何期望OpenAI API格式的工具或脚本指向该本地端点,而不是api.openai.com,这样就能让现有的OpenAI客户端代码复用于完全本地的模型——如果你更喜欢在代码中而非通过REST调用工作,也可以直接使用gpt4all这个Python软件包。

GPT4All定价:真的免费吗?

是的——GPT4All没有任何付费方案。 该应用程序及其源代码采用最宽松的开源许可证之一——MIT许可证发布,本评测未发现桌面应用本身有任何定价页面、许可证密钥或账户要求。

  • 没有订阅、没有付费方案、GPT4All自身不施加任何使用限制
  • 安装或使用该应用无需账户或注册
  • 通过Remote Providers标签页连接远程模型提供商(Groq、OpenAI、Mistral AI)仍然需要支付该提供商对API使用收取的费用——GPT4All本身不会在此基础上加收任何费用
  • MIT许可证允许商业使用、修改和再分发,只要求保留版权声明,且不提供任何担保——与AGPL或GPL等许可证相关的copyleft义务并不适用

GPT4All vs. Jan

GPT4All和Jan是完全开源、本地优先聊天应用中较为成熟的两款,它们经常被拿来比较,因为两者都内置了本地推理引擎且都不需要账户。最明显的区别在于发布节奏、云端模型支持的广度以及工具/代理支持。

方面
GPT4All
许可证MITApache-2.0变体
本地引擎基于llama.cpp,内置llama.cpp(+ MLX可选)
文档对话 / RAGLocalDocs(BM25混合搜索)并非核心重点
云端模型支持Groq/OpenAI/Mistral(v3.10.0起)OpenAI、Anthropic、Gemini、Groq、Mistral、Azure、OpenRouter
本地API服务器基于Docker,兼容OpenAI内置,兼容OpenAI(:1337)
工具/代理支持内置JavaScript解释器Model Context Protocol(MCP)
开发者Nomic AIMenlo Research
近期发布节奏2025年初以来放缓(见历史部分)截至2026年年中/末仍然活跃

如果你在意对自己文件的文档对话(LocalDocs)或特别在意MIT许可证,值得直接在nomic.ai/gpt4all评估GPT4All。如果你更在意更广泛的云端提供商范围、基于MCP的工具/代理工作流,或最近更活跃的发布节奏,Jan目前是更有力的选择。两者都免费且开源;在做决定之前,请在各项目自己的网站上核实最新的功能细节。

在目录中比较

谁应该使用GPT4All?

GPT4All是否适合你,取决于相比不断增长的云端提供商列表或代理/工具集成,你是否更看重对自己文件的文档对话以及宽松的MIT许可证。

在以下情况下使用GPT4All

  • 你想在自己的硬件上完全离线运行AI模型,无需账户或订阅
  • 你想要一个内置的方式,无需单独搭建RAG就能与自己的PDF或文本文件对话(LocalDocs)
  • 你特别想要一个采用MIT许可证的工具——这是目前限制最少的开源许可证之一
  • 你想要一个基于Docker的、兼容OpenAI的本地API服务器,加上用于编写本地推理脚本的Python SDK
  • 你使用的是仅有CPU的普通硬件——GPT4All的最低要求(Intel Core i3第2代 / AMD Bulldozer时代)低于许多较新的本地AI工具所要求的水平

在以下情况下应等待或考虑其他方案

  • 你想要一款应用内尽可能广泛的内置云端提供商连接——Jan连接的提供商(OpenAI、Anthropic、Gemini、Groq、Mistral AI、Azure OpenAI、OpenRouter)比GPT4All当前的Remote Providers标签页更多
  • 你需要Model Context Protocol(MCP)支持来连接外部代理工具——本评测未在GPT4All中发现MCP支持,这一点与Jan不同
  • 你需要频繁、活跃的发布节奏——本评测发现,与2023-2024年的节奏相比,GPT4All自2025年初/年中以来的标记版本和提交活动明显放缓;在依赖快速更新之前,请自行查看发布页面了解当前节奏
  • 你需要官方支持保障,而非社区/问题跟踪器式的支持——GPT4All的支持渠道是GitHub Issues和其Discord社区,这是开源项目的典型形态,而非拥有SLA的商业供应商

GPT4All vs. 其他本地聊天应用

GPT4All是将本地模型推理整合到单一桌面下载中的多款应用之一。以下是它在该领域相较于其他选项的定位——完整目录请参阅本地LLM软件目录,最直接的对比请参阅上方专门的GPT4All vs. Jan对比。

  • Jan — Menlo Research推出的开源本地优先聊天应用,内置更广泛的云端提供商连接和MCP工具支持;参见上方专门的对比部分。
  • LM Studio — 一款专注于本地模型的聊天与模型管理应用,配有精致的内置模型浏览器;参见LM Studio vs. Jan vs. GPT4All对比,其中已经详细将GPT4All与这两款应用进行了三方直接对比。
  • Msty — 一款闭源桌面应用,同样融合了本地和云端模型对话,另有并排模型对比和文档RAG等附加功能;完整细节参见Msty评测。
  • Enchanted — 一款专为Ollama打造的开源原生Mac/iOS客户端;平台范围比GPT4All更窄,但原生支持Apple平台。参见Enchanted评测。
  • BoltAI — 一款macOS/Windows AI助手应用,具有深度的操作系统级集成(系统级快捷键、应用集成),同时支持本地和云端模型;参见BoltAI评测。
  • AnythingLLM — 一款专注于文档对话和RAG的应用;如果你需要的主要功能是超出LocalDocs所提供的、对自己文档的检索,参见AnythingLLM vs. PrivateGPT vs. Open WebUI RAG对比。
  • Open WebUI — 一款通常与Ollama搭配运行的自托管、基于浏览器的聊天界面;与GPT4All不同,它作为Web应用部署(通常在容器中),而非你直接安装的原生桌面客户端。

在目录中比较

评估GPT4All时的常见错误

关于GPT4All的大部分困惑源于将其与Nomic AI的其他付费产品混淆、以为其发布节奏仍和2023-2024年一样快,或者把LocalDocs当作一个完整的企业级RAG框架。

错误1:以为nomic.ai上"每月20美元"的价格适用于GPT4All

Nomic AI的营销网站在托管GPT4All下载页面的同一域名上宣传了"Nomic Self Service",起价每月20美元。该定价针对的是Nomic独立的Atlas数据平台和嵌入API产品——本评测未在GPT4All桌面应用本身发现任何定价页面、许可证密钥或付费方案。

错误2:以为GPT4All仍像2023-2024年那样频繁发布新版本

GPT4All在2024年末到2025年初保持了近乎每月一次的发布节奏,最新版本是2025年2月25日发布的v3.10.0。截至本评测撰写时,没有看到更新的标记版本,main分支上最新的提交来自2025年5月27日——在假设同样的节奏仍在继续之前,请自行查看官方发布页面。

错误3:把LocalDocs当作一个完整的企业级RAG框架

LocalDocs是一项内置的文档对话功能,使用混合BM25搜索,适合个人或小团队的文档集合。它并未被定位为专用企业级RAG技术栈的替代品——如果你需要大规模的向量数据库支持的检索,请改为参阅专门的RAG框架对比。

错误4:以为GPT4All完全没有云端模型选项

自v3.10.0(2025年2月)起,GPT4All包含一个Remote Providers标签页,可在本地模型之外连接Groq、OpenAI和Mistral AI账户——它是本地优先,而非仅限本地,尽管其支持的云端提供商列表比Jan等一些竞品更窄。

常见问题

GPT4All是什么?

GPT4All(nomic.ai/gpt4all,源代码位于github.com/nomic-ai/gpt4all)是Nomic AI推出的免费开源桌面应用,通过内置的基于llama.cpp的引擎本地运行AI模型,并配有LocalDocs功能,可与自己的文件对话。

GPT4All免费吗?

是的。该应用及其源代码以MIT许可证发布,本评测未在桌面应用中发现任何定价页面、许可证密钥或付费方案。如果你通过Remote Providers标签页连接OpenAI等远程提供商,你将直接向该提供商支付API使用费用——GPT4All本身不收取任何费用。

GPT4All是开源的吗?采用什么许可证?

是的,GPT4All采用MIT许可证开源,这是最宽松的开源许可证之一,允许商业使用、修改和再分发,只要求保留版权声明。

GPT4All能离线工作吗?

可以。一旦你通过GPT4All的内置模型列表下载了本地模型,该应用便会通过其内置的基于llama.cpp的引擎运行该模型,无需联网。只有在初次下载模型或使用已连接的远程提供商时才需要联网。

LocalDocs是什么?

LocalDocs是GPT4All的内置功能,用于与你自己的本地文档(PDF、文本等格式)对话。它于2023年7月达到稳定支持,此后又新增了混合BM25搜索,以改进生成答案前检索到的段落。

GPT4All支持GPT或Claude这样的云端模型吗?

自v3.10.0(2025年2月25日)起,GPT4All包含一个Remote Providers标签页,可以连接你自己的Groq、OpenAI或Mistral AI API密钥。这份列表比Jan等一些竞品更窄,后者还支持Anthropic、Google Gemini、Azure OpenAI和OpenRouter。

GPT4All支持哪些平台?

根据官方GitHub README,支持Windows(x64和ARM)、macOS(Apple Silicon和Intel,需要Monterey 12.6及以上)以及Ubuntu/Linux(仅x86-64)。Linux还有一个社区维护的Flathub软件包可用。

GPT4All有本地API服务器吗?

有。GPT4All包含一个基于Docker的、兼容OpenAI的本地API服务器,首次于2023年6月加入,使其他应用能像调用云端API一样调用本地运行的模型。开发者还可以使用Python SDK(PyPI上的gpt4all)。

谁开发了GPT4All?

GPT4All由Nomic AI开发,该公司同时打造了数据可视化平台Nomic Atlas和嵌入模型Nomic Embed。Nomic AI在GPT4All的LICENSE.txt文件中被列为版权所有者。

GPT4All最初是什么时候发布的?

GPT4All最初的技术报告描述其训练数据收集时间为2023年3月20日至26日,而一份Internet Archive快照证实,截至2023年3月31日GitHub仓库已经公开——这使它成为最早出现的本地LLM桌面应用之一。PromptQuorum未能找到指明确切发布日期的官方公告。

资料来源

← 返回 本地LLM进阶

MCP