关键要点
- 免费且开源；官方 GitHub LICENSE 为 MIT 许可证，桌面应用或自托管 Docker 部署均无付费层级
- 提供 macOS、Windows、Linux 桌面应用；也可通过 Docker 部署用于自托管多用户场景
- 文档被组织到相互隔离的"工作区"中，每个工作区都有自己的聊天记录、所连接的 LLM 及文档集
- 支持众多 LLM 提供商——包括 Ollama、LM Studio、LocalAI、OpenAI、Anthropic、Azure OpenAI 和 Google Gemini——因此既可完全离线运行，也可使用云端 API 密钥
- 支持多种向量数据库，默认启用内置的 LanceDB 存储，Pinecone、Chroma、Weaviate、Milvus 和 Qdrant 可作为替代方案
- 内置无代码自定义 AI 智能体构建器，在聊天中通过
@agent命令调用，用于多步骤的工具调用工作流 - 由 Mintplex Labs 打造，这是一家来自 Y Combinator（2022 年夏季批次）的公司，创始人为 Timothy Carambat
- 独立的 MIT 许可 Android 应用 AnythingLLM Mobile 可与自托管的 AnythingLLM 实例配对，也可在设备端运行小型模型
📍 简单一句话
AnythingLLM 是一款免费开源（MIT 许可）应用，让你通过本地或自托管的检索增强生成管道与自己的文档聊天，提供桌面应用或 Docker 部署方式，并有一个可选的付费托管版本 AnythingLLM Cloud。
💬 简单来说
与其将文件上传到云端聊天机器人并寄望它负责任地处理数据，AnythingLLM 会把你的文档保留在你自己的电脑或服务器上，将其组织到独立的"工作区"中，仅根据这些文件中找到的内容加上你连接的 AI 模型来回答问题——其中包含免费选项。
📌注: 本评测是本地 LLM 软件目录中 AnythingLLM 条目的深度补充——该页面提供了 AnythingLLM 与数十种其他本地 AI 工具相比的一览对照。
AnythingLLM 是什么？
AnythingLLM 是一款用于通过大语言模型与自己的文档聊天的应用程序，其核心是一套可完全在你自己硬件上运行的检索增强生成（RAG）管道。 它的 GitHub 仓库 将其描述为一款一体化 AI 应用，把文档导入、向量数据库、LLM 连接和聊天界面整合在一个工具中，而不需要手动拼接多个独立工具。
- 核心功能：将文档上传到"工作区"，AnythingLLM 会对其进行分块、嵌入并存储到向量数据库中，以便所连接的 LLM 仅使用这些文件中的相关片段来回答问题
- 部署方式：面向 macOS、Windows、Linux 的签名桌面应用（基于 Electron），或用于支持多用户的自托管服务器部署的 Docker 镜像
- LLM 连接：Ollama、LM Studio、LocalAI 等本地提供商，或使用你自己的 API 密钥配置的 OpenAI、Anthropic、Azure OpenAI、Google Gemini 等云端提供商
- 开发商：Mintplex Labs，总部位于加利福尼亚州尔湾市；GitHub 在 LICENSE 文件 中列出 Mintplex Labs, Inc. 为版权所有者
- 规范仓库：github.com/Mintplex-Labs/anything-llm
AnythingLLM 是谁开发的？
AnythingLLM 由 Mintplex Labs 开发，该公司由 Timothy Carambat 于 2022 年在加利福尼亚州尔湾市创立。 根据 PromptQuorum 的AnythingLLM Mobile 评测（其中更详细地介绍了公司背景），Mintplex Labs 参加了 Y Combinator 2022 年夏季批次，并获得了来自 Y Combinator、Goodwater Capital、UpHonest Capital 和 Orange DAO 的种子前融资。
- 公司：Mintplex Labs，由 Timothy Carambat 于 2022 年在加利福尼亚州尔湾市创立
- Y Combinator 2022 年夏季批次；种子前投资方包括 Y Combinator、Goodwater Capital、UpHonest Capital 和 Orange DAO
- 同时开发：AnythingLLM Mobile（配套的 Android 应用）以及开源向量数据库管理工具 VectorAdmin
- 根据 GitHub 提交历史，AnythingLLM 开源仓库自 2023 年以来持续公开开发
用 AnythingLLM 能做什么？
AnythingLLM 的功能集重点在于把一个文档文件夹变成可搜索、可对话的知识库，同时叠加了多用户和智能体功能。根据 AnythingLLM 官方 GitHub README 和文档，各部分功能如下。
- 工作区 — 按主题或项目隔离文档、聊天记录以及 LLM／向量数据库设置，使法律合同工作区与内部维基页面工作区不会共享上下文
- 文档导入 — 上传 PDF、Word 文档、文本文件、网页等格式；根据 PromptQuorum 自己在AnythingLLM 对比 PrivateGPT 对比 Open WebUI RAG中的实测，文档使用 LangChain.js 加载器解析，并嵌入到向量存储中
- 多种 LLM 提供商 — 连接 Ollama、LM Studio 或 LocalAI 实现完全本地推理，或使用你自己的 API 密钥接入 OpenAI、Anthropic、Azure OpenAI 或 Google Gemini
- 多种向量数据库 — 内置的 LanceDB 存储默认启用，无需额外配置；Pinecone、Chroma、Weaviate、Milvus 和 Qdrant 是面向更大规模或共享部署的可配置替代方案
- 自定义 AI 智能体 — 一个无代码智能体构建器，用于串联工具并执行多步骤任务，在聊天中通过
@agent命令调用 - 多用户模式 — 自托管 Docker 部署支持带有基于角色权限的多个用户账户，使团队可以共享工作区而无需共用一个登录账号
- 可嵌入聊天组件 — 将由某个工作区驱动的聊天组件直接嵌入到外部网站中
- 开发者 API — 一套 REST API，用于将 AnythingLLM 的文档聊天集成到其他应用程序中
下载 AnythingLLM 或自行托管
AnythingLLM 提供面向 macOS、Windows、Linux 的免费桌面应用，用于自托管部署的 Docker 镜像，以及名为 AnythingLLM Cloud 的托管服务。 下方链接来自官方 anythingllm.com 网站和 GitHub 仓库——由于构建链接可能在不同版本间发生变化，请务必直接在这些页面上核实。
选项 | 获取方式 |
|---|---|
| 桌面应用（macOS/Windows/Linux） | anythingllm.com — 官方下载页面，自动识别操作系统 |
| 直接的发布二进制文件 | GitHub Releases |
| 自托管／多用户（Docker） | GitHub 仓库 — README 中介绍了 Docker 部署步骤 |
| 托管、无需安装（AnythingLLM Cloud） | anythingllm.com/pricing |
桌面安装程序是签名构建版本（根据 PromptQuorum 自己在AnythingLLM 对比 PrivateGPT 对比 Open WebUI RAG中的实测，约 430 MB）。AnythingLLM 本身除了能运行其主机操作系统外没有固定的硬件最低要求——实际可用性取决于你连接的 LLM 和向量数据库，以及推理是本地运行还是通过云端 API 运行。
AnythingLLM 定价：免费桌面版对比 AnythingLLM Cloud
AnythingLLM 的桌面应用和自托管 Docker 部署均免费，没有付费层级。 GitHub 上的 LICENSE 文件——MIT 许可证——适用于整个开源应用。另一款可选的独立托管产品 AnythingLLM Cloud 收费的是让 Mintplex Labs 为你运行服务器，而不是由你自行托管。
选项 | 费用 | 包含内容 |
|---|---|---|
| 桌面应用 | 免费 | 单用户，运行在你自己的机器上，MIT 许可 |
| 自托管（Docker） | 免费 | 多用户，你自己的服务器，MIT 许可 |
| AnythingLLM Cloud — Basic | 每月 50 美元 | 私有托管实例，自定义子域名 |
| AnythingLLM Cloud — Pro | 每月 99 美元 | 增加 72 小时支持 SLA，面向更大的团队 |
| AnythingLLM Cloud — Enterprise | 定制报价 | 本地部署、SSO、基于角色的访问控制 |
AnythingLLM Cloud 的两个付费计划都需要你自行提供 LLM API 密钥——模型使用费用另计，不包含在订阅价格中。定价由 Mintplex Labs 以美元设定，可能发生变化；订阅前请直接在 anythingllm.com/pricing 核实当前方案。
使用示例：三种使用 AnythingLLM 的方式
以下是基于上述 AnythingLLM 已记录功能构建的具体工作流——而非假设性用例。
完全离线与一个 PDF 文件夹聊天
安装桌面应用，通过 Ollama 或 LM Studio 连接本地模型，创建一个工作区，并上传一个 PDF 文件夹。AnythingLLM 会将文档分块并嵌入其内置的 LanceDB 向量存储中，之后你可以提问，答案仅基于这些文件——没有任何数据离开你的机器。
与小团队共享一个知识库
通过 Docker 将 AnythingLLM 部署在共享服务器上，启用多用户模式，并为每位团队成员创建具有基于角色权限的账户。所有人共享相同的工作区和文档集，而不是每个人各自运行独立的副本。
用自定义智能体自动化一个多步骤任务
在某个工作区中，使用 @agent 调用内置智能体，并描述一个多步骤任务——无代码智能体构建器可以串联多个工具，而不是仅返回单一的基于检索的回答。
谁适合使用 AnythingLLM？
AnythingLLM 是否适合你，取决于基于文档的聊天是否是你的主要需求，以及你是否想要一款既能覆盖单人桌面使用、又能覆盖共享多用户部署的免费应用。
在以下情况使用 AnythingLLM
- 你想使用检索增强生成与自己的文档（PDF、合同、维基）聊天，而不只是使用通用聊天机器人
- 你希望在同一款应用中既可以使用开放权重模型完全本地运行，也可以使用自己的云端 API 密钥
- 你想要一款免费开源（MIT 许可）的工具，在桌面版或自托管版本上不受供应商锁定
- 你想要一个团队都能共享的多用户部署，且不必为托管服务付费，而是自己通过 Docker 运行
- 你想以无代码方式，在文档工作区之上构建简单的多步骤智能体
在以下情况请等待或另寻他选
- 你需要严格的气隙（air-gapped）部署，代码库尽可能小，且完全不含任何可选的云端提供商集成——请参阅 PrivateGPT 评测
- 针对大型、混合文档集的文档引用和检索精度是你的首要需求——请参阅 RAGFlow 评测
- 你想要一款首先专注于通用对话及本地／云端模型管理、RAG 只是次要功能的聊天应用——请参阅 Jan 或 GPT4All
- 你需要免费层级也提供官方厂商支持保障，而不是社区支持——AnythingLLM 的免费桌面版和自托管版依赖 GitHub Issues 和社区渠道；只有付费的 AnythingLLM Cloud Pro／Enterprise 计划才包含支持 SLA
AnythingLLM 对比其他 RAG 与文档聊天工具
AnythingLLM 是众多专门围绕检索增强生成与文档聊天构建的工具之一。以下是它与同一细分领域其他选项的对比——完整目录请参阅本地 LLM 软件目录，直接实测的三方对比请参阅 PromptQuorum 的AnythingLLM 对比 PrivateGPT 对比 Open WebUI RAG。
- PrivateGPT — 一款基于 Python、从设计之初就离线优先的 RAG 服务器，面向严格气隙部署；安装步骤及与 AnythingLLM 的权衡请参阅专门的PrivateGPT 评测。
- Quivr — 一款自托管的开源"第二大脑"知识助手，拥有类似的工作区式文档模型；请参阅Quivr 评测。
- RAGFlow — 一款专注于从复杂文档（表格、版式）中实现引用级检索的文档理解 RAG 引擎；如果在混合文档集上的检索精度比打磨精美的聊天界面更重要，请参阅RAGFlow 评测。
- Khoj — 一款自托管的个人知识助手，可对笔记、PDF 及其他文件建立索引，具有类似的"与自己的数据聊天"定位；请参阅Khoj 评测。
评估 AnythingLLM 时的常见误区
关于 AnythingLLM 的大多数困惑都来自把免费的桌面／自托管层级与付费的 AnythingLLM Cloud 产品混为一谈，或者把桌面应用与独立的移动应用混淆。
误区一：以为 AnythingLLM 本身要收费
桌面应用和自托管 Docker 部署均在 MIT 许可下免费。唯一收费的是起价每月 50 美元的可选产品 AnythingLLM Cloud——它专为不想自行运维服务器的用户而设计。
误区二：把 AnythingLLM Desktop 与 AnythingLLM Mobile 混淆
AnythingLLM Mobile 是一款拥有独立代码库的独立 MIT 许可 Android 应用，在专门的评测中介绍。它既可以在设备端完全运行小型模型，也可以连接到自托管的 AnythingLLM Desktop／Docker 实例——它并非桌面应用的手机版本。
误区三：期望免费层级也有付费支持 SLA
AnythingLLM 的免费桌面版和自托管版通过 GitHub Issues 和社区渠道提供支持，这是开源项目的典型做法。支持 SLA（72 小时）仅包含在付费的 AnythingLLM Cloud Pro 计划中。
误区四：以为必须使用某个单一向量数据库
AnythingLLM 默认自带并启用内置的 LanceDB 向量存储，基础使用无需额外配置数据库——Pinecone、Chroma、Weaviate、Milvus 和 Qdrant 是面向更大规模或共享部署的可选替代方案，而非硬性要求。
常见问题
AnythingLLM 是什么？
AnythingLLM（anythingllm.com，源代码见 github.com/Mintplex-Labs/anything-llm）是一款免费开源应用，通过检索增强生成管道与你自己的文档聊天，可作为桌面应用、自托管 Docker 部署，或付费托管服务 AnythingLLM Cloud 使用。
AnythingLLM 免费吗？
是的，桌面应用和自托管 Docker 部署均在 MIT 许可下免费，没有付费层级。另一款独立托管服务 AnythingLLM Cloud 起价为每月 50 美元，面向不想自行运维服务器的用户。
AnythingLLM 是开源的吗？使用什么许可证？
是的。AnythingLLM 在 GitHub 上的 LICENSE 文件 为 MIT 许可证，是最宽松的开源许可证之一，没有著佐权（copyleft）义务。
AnythingLLM 可以离线使用吗？
可以。当连接到 Ollama、LM Studio 或 LocalAI 等本地 LLM 提供商，并使用默认内置的 LanceDB 向量存储时，AnythingLLM 在完成初次模型下载后可无需联网运行。
AnythingLLM 支持哪些 LLM 提供商？
包括 Ollama、LM Studio、LocalAI 等本地提供商，以及 OpenAI、Anthropic、Azure OpenAI、Google Gemini 等云端提供商，均可使用你自己的 API 密钥进行配置。
AnythingLLM 中的"工作区"是什么？
工作区是一个隔离的容器，用于存放一组文档、聊天记录以及 LLM／向量数据库设置。为不同主题创建独立的工作区可避免其上下文相互混杂。
AnythingLLM 支持多用户吗？
是的，在自托管 Docker 部署中，AnythingLLM 支持带有基于角色权限的多个用户账户。桌面应用为单用户设计。
AnythingLLM Cloud 是什么？与免费版有何不同？
AnythingLLM Cloud 是 Mintplex Labs 提供的一项独立付费托管服务，替你运行一个 AnythingLLM 实例，Basic 计划起价每月 50 美元，Pro 计划每月 99 美元并增加 72 小时支持 SLA，Enterprise 为定制报价。其底层应用与免费提供的桌面应用或自托管 Docker 部署是同一套开源软件。
AnythingLLM 有移动应用吗？
有，一款名为 AnythingLLM Mobile 的独立 MIT 许可 Android 应用，在其自己的评测中介绍。它可以在设备端运行小型模型，或连接到自托管的 AnythingLLM 实例。截至本评测撰写时尚无 iOS 应用。
AnythingLLM 由谁开发？
AnythingLLM 由 Mintplex Labs 开发，该公司由 Timothy Carambat 于 2022 年在加利福尼亚州尔湾市创立，曾参加 Y Combinator 2022 年夏季批次。