关键要点
- 免费且开源;官方 GitHub LICENSE 为 MIT 许可证,桌面应用或自托管 Docker 部署均无付费层级
- 提供 macOS、Windows、Linux 桌面应用;也可通过 Docker 部署用于自托管多用户场景
- 文档被组织到相互隔离的"工作区"中,每个工作区都有自己的聊天记录、所连接的 LLM 及文档集
- 支持众多 LLM 提供商——包括 Ollama、LM Studio、LocalAI、OpenAI、Anthropic、Azure OpenAI 和 Google Gemini——因此既可完全离线运行,也可使用云端 API 密钥
- 支持多种向量数据库,默认启用内置的 LanceDB 存储,Pinecone、Chroma、Weaviate、Milvus 和 Qdrant 可作为替代方案
- 内置无代码自定义 AI 智能体构建器,在聊天中通过
@agent命令调用,用于多步骤的工具调用工作流 - 由 Mintplex Labs 打造,这是一家来自 Y Combinator(2022 年夏季批次)的公司,创始人为 Timothy Carambat
- 独立的 MIT 许可 Android 应用 AnythingLLM Mobile 可与自托管的 AnythingLLM 实例配对,也可在设备端运行小型模型
📍 简单一句话
AnythingLLM 是一款免费开源(MIT 许可)应用,让你通过本地或自托管的检索增强生成管道与自己的文档聊天,提供桌面应用或 Docker 部署方式,并有一个可选的付费托管版本 AnythingLLM Cloud。
💬 简单来说
与其将文件上传到云端聊天机器人并寄望它负责任地处理数据,AnythingLLM 会把你的文档保留在你自己的电脑或服务器上,将其组织到独立的"工作区"中,仅根据这些文件中找到的内容加上你连接的 AI 模型来回答问题——其中包含免费选项。
📌注: 本评测是本地 LLM 软件目录中 AnythingLLM 条目的深度补充——该页面提供了 AnythingLLM 与数十种其他本地 AI 工具相比的一览对照。
AnythingLLM 是什么?
AnythingLLM 是一款用于通过大语言模型与自己的文档聊天的应用程序,其核心是一套可完全在你自己硬件上运行的检索增强生成(RAG)管道。 它的 GitHub 仓库 将其描述为一款一体化 AI 应用,把文档导入、向量数据库、LLM 连接和聊天界面整合在一个工具中,而不需要手动拼接多个独立工具。
- 核心功能:将文档上传到"工作区",AnythingLLM 会对其进行分块、嵌入并存储到向量数据库中,以便所连接的 LLM 仅使用这些文件中的相关片段来回答问题
- 部署方式:面向 macOS、Windows、Linux 的签名桌面应用(基于 Electron),或用于支持多用户的自托管服务器部署的 Docker 镜像
- LLM 连接:Ollama、LM Studio、LocalAI 等本地提供商,或使用你自己的 API 密钥配置的 OpenAI、Anthropic、Azure OpenAI、Google Gemini 等云端提供商
- 开发商:Mintplex Labs,总部位于加利福尼亚州尔湾市;GitHub 在 LICENSE 文件 中列出 Mintplex Labs, Inc. 为版权所有者
- 规范仓库:github.com/Mintplex-Labs/anything-llm
AnythingLLM 是谁开发的?
AnythingLLM 由 Mintplex Labs 开发,该公司由 Timothy Carambat 于 2022 年在加利福尼亚州尔湾市创立。 根据 PromptQuorum 的AnythingLLM Mobile 评测(其中更详细地介绍了公司背景),Mintplex Labs 参加了 Y Combinator 2022 年夏季批次,并获得了来自 Y Combinator、Goodwater Capital、UpHonest Capital 和 Orange DAO 的种子前融资。
- 公司:Mintplex Labs,由 Timothy Carambat 于 2022 年在加利福尼亚州尔湾市创立
- Y Combinator 2022 年夏季批次;种子前投资方包括 Y Combinator、Goodwater Capital、UpHonest Capital 和 Orange DAO
- 同时开发:AnythingLLM Mobile(配套的 Android 应用)以及开源向量数据库管理工具 VectorAdmin
- 根据 GitHub 提交历史,AnythingLLM 开源仓库自 2023 年以来持续公开开发
用 AnythingLLM 能做什么?
AnythingLLM 的功能集重点在于把一个文档文件夹变成可搜索、可对话的知识库,同时叠加了多用户和智能体功能。根据 AnythingLLM 官方 GitHub README 和文档,各部分功能如下。
- 工作区 — 按主题或项目隔离文档、聊天记录以及 LLM/向量数据库设置,使法律合同工作区与内部维基页面工作区不会共享上下文
- 文档导入 — 上传 PDF、Word 文档、文本文件、网页等格式;根据 PromptQuorum 自己在AnythingLLM 对比 PrivateGPT 对比 Open WebUI RAG中的实测,文档使用 LangChain.js 加载器解析,并嵌入到向量存储中
- 多种 LLM 提供商 — 连接 Ollama、LM Studio 或 LocalAI 实现完全本地推理,或使用你自己的 API 密钥接入 OpenAI、Anthropic、Azure OpenAI 或 Google Gemini
- 多种向量数据库 — 内置的 LanceDB 存储默认启用,无需额外配置;Pinecone、Chroma、Weaviate、Milvus 和 Qdrant 是面向更大规模或共享部署的可配置替代方案
- 自定义 AI 智能体 — 一个无代码智能体构建器,用于串联工具并执行多步骤任务,在聊天中通过
@agent命令调用 - 多用户模式 — 自托管 Docker 部署支持带有基于角色权限的多个用户账户,使团队可以共享工作区而无需共用一个登录账号
- 可嵌入聊天组件 — 将由某个工作区驱动的聊天组件直接嵌入到外部网站中
- 开发者 API — 一套 REST API,用于将 AnythingLLM 的文档聊天集成到其他应用程序中
下载 AnythingLLM 或自行托管
AnythingLLM 提供面向 macOS、Windows、Linux 的免费桌面应用,用于自托管部署的 Docker 镜像,以及名为 AnythingLLM Cloud 的托管服务。 下方链接来自官方 anythingllm.com 网站和 GitHub 仓库——由于构建链接可能在不同版本间发生变化,请务必直接在这些页面上核实。
选项 | 获取方式 |
|---|---|
| 桌面应用(macOS/Windows/Linux) | anythingllm.com — 官方下载页面,自动识别操作系统 |
| 直接的发布二进制文件 | GitHub Releases |
| 自托管/多用户(Docker) | GitHub 仓库 — README 中介绍了 Docker 部署步骤 |
| 托管、无需安装(AnythingLLM Cloud) | anythingllm.com/pricing |
桌面安装程序是签名构建版本(根据 PromptQuorum 自己在AnythingLLM 对比 PrivateGPT 对比 Open WebUI RAG中的实测,约 430 MB)。AnythingLLM 本身除了能运行其主机操作系统外没有固定的硬件最低要求——实际可用性取决于你连接的 LLM 和向量数据库,以及推理是本地运行还是通过云端 API 运行。
AnythingLLM 定价:免费桌面版对比 AnythingLLM Cloud
AnythingLLM 的桌面应用和自托管 Docker 部署均免费,没有付费层级。 GitHub 上的 LICENSE 文件——MIT 许可证——适用于整个开源应用。另一款可选的独立托管产品 AnythingLLM Cloud 收费的是让 Mintplex Labs 为你运行服务器,而不是由你自行托管。
选项 | 费用 | 包含内容 |
|---|---|---|
| 桌面应用 | 免费 | 单用户,运行在你自己的机器上,MIT 许可 |
| 自托管(Docker) | 免费 | 多用户,你自己的服务器,MIT 许可 |
| AnythingLLM Cloud — Basic | 每月 50 美元 | 私有托管实例,自定义子域名 |
| AnythingLLM Cloud — Pro | 每月 99 美元 | 增加 72 小时支持 SLA,面向更大的团队 |
| AnythingLLM Cloud — Enterprise | 定制报价 | 本地部署、SSO、基于角色的访问控制 |
AnythingLLM Cloud 的两个付费计划都需要你自行提供 LLM API 密钥——模型使用费用另计,不包含在订阅价格中。定价由 Mintplex Labs 以美元设定,可能发生变化;订阅前请直接在 anythingllm.com/pricing 核实当前方案。
使用示例:三种使用 AnythingLLM 的方式
以下是基于上述 AnythingLLM 已记录功能构建的具体工作流——而非假设性用例。
谁适合使用 AnythingLLM?
AnythingLLM 是否适合你,取决于基于文档的聊天是否是你的主要需求,以及你是否想要一款既能覆盖单人桌面使用、又能覆盖共享多用户部署的免费应用。
AnythingLLM 对比其他 RAG 与文档聊天工具
AnythingLLM 是众多专门围绕检索增强生成与文档聊天构建的工具之一。以下是它与同一细分领域其他选项的对比——完整目录请参阅本地 LLM 软件目录,直接实测的三方对比请参阅 PromptQuorum 的AnythingLLM 对比 PrivateGPT 对比 Open WebUI RAG。
- PrivateGPT — 一款基于 Python、从设计之初就离线优先的 RAG 服务器,面向严格气隙部署;安装步骤及与 AnythingLLM 的权衡请参阅专门的PrivateGPT 评测。
- Quivr — 一款自托管的开源"第二大脑"知识助手,拥有类似的工作区式文档模型;请参阅Quivr 评测。
- RAGFlow — 一款专注于从复杂文档(表格、版式)中实现引用级检索的文档理解 RAG 引擎;如果在混合文档集上的检索精度比打磨精美的聊天界面更重要,请参阅RAGFlow 评测。
- Khoj — 一款自托管的个人知识助手,可对笔记、PDF 及其他文件建立索引,具有类似的"与自己的数据聊天"定位;请参阅Khoj 评测。
评估 AnythingLLM 时的常见误区
关于 AnythingLLM 的大多数困惑都来自把免费的桌面/自托管层级与付费的 AnythingLLM Cloud 产品混为一谈,或者把桌面应用与独立的移动应用混淆。
常见问题
AnythingLLM 是什么?
AnythingLLM(anythingllm.com,源代码见 github.com/Mintplex-Labs/anything-llm)是一款免费开源应用,通过检索增强生成管道与你自己的文档聊天,可作为桌面应用、自托管 Docker 部署,或付费托管服务 AnythingLLM Cloud 使用。
AnythingLLM 免费吗?
是的,桌面应用和自托管 Docker 部署均在 MIT 许可下免费,没有付费层级。另一款独立托管服务 AnythingLLM Cloud 起价为每月 50 美元,面向不想自行运维服务器的用户。
AnythingLLM 是开源的吗?使用什么许可证?
是的。AnythingLLM 在 GitHub 上的 LICENSE 文件 为 MIT 许可证,是最宽松的开源许可证之一,没有著佐权(copyleft)义务。
AnythingLLM 可以离线使用吗?
可以。当连接到 Ollama、LM Studio 或 LocalAI 等本地 LLM 提供商,并使用默认内置的 LanceDB 向量存储时,AnythingLLM 在完成初次模型下载后可无需联网运行。
AnythingLLM 支持哪些 LLM 提供商?
包括 Ollama、LM Studio、LocalAI 等本地提供商,以及 OpenAI、Anthropic、Azure OpenAI、Google Gemini 等云端提供商,均可使用你自己的 API 密钥进行配置。
AnythingLLM 中的"工作区"是什么?
工作区是一个隔离的容器,用于存放一组文档、聊天记录以及 LLM/向量数据库设置。为不同主题创建独立的工作区可避免其上下文相互混杂。
AnythingLLM 支持多用户吗?
是的,在自托管 Docker 部署中,AnythingLLM 支持带有基于角色权限的多个用户账户。桌面应用为单用户设计。
AnythingLLM Cloud 是什么?与免费版有何不同?
AnythingLLM Cloud 是 Mintplex Labs 提供的一项独立付费托管服务,替你运行一个 AnythingLLM 实例,Basic 计划起价每月 50 美元,Pro 计划每月 99 美元并增加 72 小时支持 SLA,Enterprise 为定制报价。其底层应用与免费提供的桌面应用或自托管 Docker 部署是同一套开源软件。
AnythingLLM 有移动应用吗?
有,一款名为 AnythingLLM Mobile 的独立 MIT 许可 Android 应用,在其自己的评测中介绍。它可以在设备端运行小型模型,或连接到自托管的 AnythingLLM 实例。截至本评测撰写时尚无 iOS 应用。
AnythingLLM 由谁开发?
AnythingLLM 由 Mintplex Labs 开发,该公司由 Timothy Carambat 于 2022 年在加利福尼亚州尔湾市创立,曾参加 Y Combinator 2022 年夏季批次。
