跳转到主要内容
PromptQuorum为人类设计。 为AI结构化。
主页/本地LLM进阶
RAG & Document Chat

Langchain-Chatchat 评测：自托管 RAG 与 Agent 框架

·阅读约11分钟Hans Kuepper 作者 · PromptQuorum创始人 · 开放权重与开源AI发现引擎

Langchain-Chatchat（原名 langchain-ChatGLM）是一款基于 LangChain 框架的免费开源自托管 RAG 与 Agent 应用，可让你针对 ChatGLM、Qwen、Llama 等模型，或对接云端 API，执行本地知识库问答。 该项目由 chatchat-space GitHub 组织开发，采用 Apache-2.0 许可，没有付费套餐——你需要自行通过 pip 或 Docker 安装，并在自己的硬件或服务器上运行，自行选择要接入的模型后端。该项目拥有超过 38,600 个 GitHub star，不过自 2024 年 7 月发布最新标记版本 v0.3.1 以来，其发布节奏已明显放缓。

关键要点

  • Langchain-Chatchat（github.com/chatchat-space/Langchain-Chatchat）是一款基于 LangChain 框架的免费开源自托管 RAG 与 Agent 应用——不是可下载的终端用户应用
  • 原名 langchain-ChatGLM；随着模型支持范围超出 ChatGLM，于 2023 年 8 月更名为 Langchain-Chatchat
  • 采用 Apache-2.0 许可，已通过 GitHub 仓库的 LICENSE 文件确认
  • 支持通过可插拔后端——Xinference、Ollama、LocalAI、FastChat、One API——或云端 API 接入 ChatGLM、Qwen、Llama 等模型
  • 截至本评测（2026-09-18），GitHub star 数超过 38,600，fork 数超过 6,200，未解决 issue 26 个；仓库未被归档
  • 最新的 GitHub 标记版本为 v0.3.1（2024 年 7 月 12 日）；仓库最近一次推送为 2025 年 11 月 10 日——最新提交活动与最新版本标记之间存在明显差距

📍 简单一句话

Langchain-Chatchat 是一款基于 LangChain 的免费开源自托管 RAG 与 Agent 框架，原名 langchain-ChatGLM，可针对 ChatGLM、Qwen、Llama 等模型或云端 API 执行本地知识库问答，没有任何付费套餐。

💬 简单来说

与其为托管式文档问答服务付费，不如用 Langchain-Chatchat 在自己的服务器上安装一个免费工具：它会读取你的文档，将其拆分成可检索的片段，然后用你选择的 AI 模型来回答相关问题——可以是运行在你自己硬件上的本地模型，也可以是你用自己密钥接入的云端 API。

📌注: 本评测是 Langchain-Chatchat 在本地 LLM 软件目录中条目的深度配套文章——可在该页面一览它与数十款其他本地 AI 工具的对比。

选择语言:
🇺🇸en🇩🇪de🇫🇷fr🇯🇵ja🇨🇳zh🇪🇸es🇧🇷pt🇸🇦ar🇰🇷ko

Langchain-Chatchat（github.com/chatchat-space/Langchain-Chatchat）是一款基于 LangChain 框架构建的免费开源自托管 RAG 与 Agent 应用，在 2023 年 8 月更名前曾叫 langchain-ChatGLM。它可以通过可插拔的后端针对 ChatGLM、Qwen、Llama 等模型执行本地知识库问答，也可以对接云端 API，目前 GitHub star 数超过 38,600。本评测将介绍它的功能、版本历史、安装方式，以及与其他自托管 RAG 工具的对比。

Langchain-Chatchat 是什么？

Langchain-Chatchat 是一款基于 LangChain 框架构建的免费开源自托管应用，用于本地知识库检索增强生成（RAG）与 Agent 工作流。 其 GitHub 仓库描述称，这是一个基于 LangChain 以及 ChatGLM、Qwen、Llama 等模型的 RAG 与 Agent 应用。它最初于 2023 年 4 月左右以 langchain-ChatGLM 的名义发布，专门围绕 ChatGLM-6B 模型构建，随后在 2023 年 8 月随着模型支持范围扩大而更名为 Langchain-Chatchat。

  • 产品类型：一款自托管 Web 应用（基于 Streamlit 的界面），配有 Python 包和 Docker 镜像——不是可下载的终端用户二进制文件
  • 开发方：chatchat-space GitHub 组织
  • 仓库：github.com/chatchat-space/Langchain-Chatchat，创建于 2023 年 3 月 31 日
  • 许可证：Apache-2.0，已通过仓库的 LICENSE 文件确认
  • 规模：截至本评测（2026-09-18），GitHub star 数超过 38,600，fork 数超过 6,200，未解决 issue 26 个；仓库未被归档
  • 起源：一个中国发起的开源项目，README 为中英双语，最初围绕 ChatGLM 模型家族构建，目前已通过可插拔后端支持 Qwen、Llama 等模型

Langchain-Chatchat 的项目历史与版本里程碑

自 2023 年最初仅支持 ChatGLM-6B 的版本发布以来，Langchain-Chatchat 经历了多次架构调整，不过自 2024 年年中以来，其发布节奏已明显放缓。

  1. 1
    v0.1.0 — 约 2023 年 4 月：以 langchain-ChatGLM 之名首次发布
    Why it matters: 项目的起点：一款专门围绕单一模型 ChatGLM-6B 构建的本地知识库问答应用。
  2. 2
    更名为 Langchain-Chatchat — 2023 年 8 月，v0.2.0 引入 FastChat 集成
    Why it matters: 标志着项目从一款仅支持 ChatGLM 的工具，转向更广泛的多模型后端框架。
  3. 3
    v0.2.5 — 2023 年 10 月：新增 Agent 功能
    Why it matters: 在原有的 RAG 问答流程之外，引入了使用工具的 Agent 式工作流。
  4. 4
    v0.2.8 — 2023 年 12 月 1 日
    Why it matters: v0.2.x 系列中的一次增量标记发布。
  5. 5
    v0.2.9 — 2023 年 12 月 31 日
    Why it matters: 收尾 2023 年的一次增量标记发布。
  6. 6
    v0.2.10 — 2024 年 1 月 25 日
    Why it matters: v0.3.0 架构调整之前，v0.2.x 系列的最后一个版本。
  7. 7
    v0.3.0 — 2024 年 6 月 20 日：项目自身的更新日志将其描述为“新架构”
    Why it matters: 应用架构的一次重大内部重构。
  8. 8
    v0.3.1 — 2024 年 7 月 12 日：本评测找到的最新 GitHub 标记版本
    Why it matters: 截至本评测，这是最新的版本标记——尚未发现更新的标记版本。

Langchain-Chatchat 实际能做什么？

Langchain-Chatchat 的核心功能是本地知识库 RAG 流程：将你的文档拆分成片段，转换为向量嵌入，通过相似度检索找出与给定问题最相关的片段，再交给 LLM 生成回答。

  • 本地知识库 RAG 流程：文本切分 → 向量化 → 相似度匹配 → LLM 生成回答
  • Agent 支持，尤其针对 ChatGLM3 与 Qwen 模型进行了优化，适用于使用工具的多步骤工作流
  • 多种可插拔的模型服务后端：Xinference、Ollama、LocalAI、FastChat，以及“One API”集成，可自行选择由哪个推理服务器运行模型
  • 多模态支持：图像对话与文生图能力
  • 数据库/SQL 对话（“与你的数据库聊天”）功能，可用自然语言查询结构化数据
  • 基于 Streamlit 构建的 Web 界面，支持多个会话同时进行

使用示例：Langchain-Chatchat 的三种用法

以下是基于上文所述 Langchain-Chatchat 已有功能构建的具体工作流，而非假设性的用例。

构建本地知识库并进行查询

将一批文档（PDF、文本文件等）上传至 Langchain-Chatchat 的知识库界面。应用会将其拆分为片段，生成向量嵌入并存储以供检索。索引完成后，即可用自然语言提问，应用会先检索最相关的片段，再用你所连接的模型生成回答——这相当于自托管版的“上传文件到云端文档问答服务”。

接入本地模型后端，如 Ollama 或 Xinference

与调用云端 API 不同，你可以将 Langchain-Chatchat 指向运行 ChatGLM、Qwen 或 Llama 的本地推理服务器，例如 Ollama 或 Xinference。应用会通过该后端路由其 RAG 与 Agent 请求，从而使文档内容与提示词都保留在你自己掌控的硬件上。

使用 SQL/数据库对话功能

将 Langchain-Chatchat 连接到一个结构化数据库，使用其“与数据库对话”功能以自然语言提问，而无需直接编写 SQL——这在你想探索一个数据集、又不想切换到另一个查询工具时很有用。

Langchain-Chatchat 是免费的吗？

是的——Langchain-Chatchat 免费且开源，本评测未发现单独的付费套餐。 它采用 Apache-2.0 许可，已通过仓库的 LICENSE 文件确认，本评测也未发现由官方运营的托管/云端版本——你需要自行安装并运行它。

  • Langchain-Chatchat 本身不收取订阅费、许可费，也不设使用上限
  • 自托管：你需要提供自己的服务器/硬件，仅需为该基础设施付费；如果选择云端后端而非本地模型，还需额外承担云端模型 API 的费用
  • Apache-2.0 许可证允许商业使用、修改与再分发，但须遵守许可证中标准的署名与声明条款

Langchain-Chatchat 对比 RAGFlow

Langchain-Chatchat 与 RAGFlow 都是自托管的开源 RAG 应用，但两者在处理文档、回答问题的方式上采取了不同的路径。

主要定位

Langchain-Chatchat:
直接基于 LangChain 框架构建的本地知识库 RAG 与 Agent 工作流
RAGFlow:
以文档理解为核心的 RAG——详情请参见专门的 RAGFlow 评测

模型后端灵活性

Langchain-Chatchat:
可插拔后端：Xinference、Ollama、LocalAI、FastChat、One API，或云端 API
RAGFlow:
其自身的后端支持请参见 RAGFlow 评测

多模态支持

Langchain-Chatchat:
图像对话与文生图能力
RAGFlow:
详情请参见 RAGFlow 评测

SQL/数据库对话

Langchain-Chatchat:
有——专门的“与数据库对话”功能
RAGFlow:
详情请参见 RAGFlow 评测

维护节奏

Langchain-Chatchat:
最新标记版本 v0.3.1（2024 年 7 月）；仓库最近一次推送在 2025 年 11 月
RAGFlow:
当前发布节奏请参见 RAGFlow 评测

许可证

Langchain-Chatchat:
Apache-2.0
RAGFlow:
许可证请参见 RAGFlow 评测

此表反映的是 Langchain-Chatchat 自身已核实的事实；关于 RAGFlow 的具体说法，请直接阅读 RAGFlow 评测，而非仅依赖本摘要。

在目录中比较

谁适合使用 Langchain-Chatchat？

Langchain-Chatchat 是否适合你，取决于你是否想要一个基于 LangChain 构建的免费自托管 RAG 与 Agent 框架，以及其近期放缓的发布节奏是否符合你的使用场景。

在以下情况下使用 Langchain-Chatchat

  • 想要一个直接基于 LangChain 构建的免费自托管 RAG 与 Agent 框架，而非托管式 SaaS 产品
  • 正在为中文或中英双语内容构建知识库问答应用，并希望使用一款对 ChatGLM/Qwen 的 Agent 支持做过优化的工具
  • 希望自行选择模型后端（Xinference、Ollama、LocalAI、FastChat 或云端 API），而不是被锁定在某一种上
  • 需要在同一应用中，除文档 RAG 外还支持数据库/SQL 对话
  • 愿意自行部署和维护一个自托管的 Python/Docker 应用，包括其各项依赖

在以下情况下应考虑其他选择

  • 希望项目保持频繁、近期的发布节奏——本评测发现，Langchain-Chatchat 最新标记版本（v0.3.1，2024 年 7 月）与最近一次仓库推送（2025 年 11 月）之间约有 16 个月的差距
  • 需要一款可下载的终端用户桌面应用，而不是需要自行部署的自托管 Web 应用
  • 希望获得内置的企业级支持、SLA，或由厂商运营的托管云版本——本评测未发现此类服务
  • 需要一款专门专注于深度、布局感知型文档理解的 RAG 工具——对比可参见 RAGFlow 评测

竞品与替代方案

在自托管 RAG 与文档问答这一细分领域中，Langchain-Chatchat 与 RAGFlow、LlamaIndex、Haystack、MaxKB 处于同一阵营。

Haystack（deepset）

Best known for:
由 deepset 打造的开源 RAG 与搜索流程框架
Link:
Haystack 评测

此列表反映的是在自托管 RAG/文档问答细分领域中常被拿来与 Langchain-Chatchat 比较的工具，并非 PromptQuorum 独立的排名——完整目录请参见本地 LLM 软件目录，选择前请核实每款工具当前的功能与许可证。

在目录中比较

评估 Langchain-Chatchat 时的常见误区

关于 Langchain-Chatchat 的大多数误解，源于它的命名沿革、对其发布节奏的错误假设，或它与所依赖的 LangChain 框架之间关系的混淆。

误区一：以为它仍是旧名下仅支持 ChatGLM 的工具

该项目最初于 2023 年 4 月左右以 langchain-ChatGLM 之名发布，专门围绕 ChatGLM-6B 模型构建。2023 年 8 月更名为 Langchain-Chatchat 后，目前已通过可插拔的服务层，支持 ChatGLM 之外的多种模型后端，包括 Qwen 和 Llama。

误区二：以为它近期发布频繁

Langchain-Chatchat 最新的 GitHub 标记版本是 v0.3.1，发布于 2024 年 7 月 12 日。本评测发现仓库最近一次推送日期为 2025 年 11 月 10 日——存在持续的提交活动，但没有对应的近期版本标记。请直接在 GitHub 上核实当前的发布与提交状态，而不要假设它保持着较快的发布节奏。

误区三：将它与纯粹的 LangChain 混淆

Langchain-Chatchat 构建于 LangChain 框架之上，但它是一个拥有独立仓库、界面以及 Agent/RAG 功能集的独立应用——并不是通用型 LangChain 库本身。

误区四：以为它要么纯云端要么纯本地

Langchain-Chatchat 是混合型的：根据你的配置，它既支持本地模型后端（Xinference、Ollama、LocalAI、FastChat）实现完全自托管的推理，也支持云端 API 连接——软件本身并不强制要求使用其中任何一种模式。

常见问题

Langchain-Chatchat 是什么？

Langchain-Chatchat（github.com/chatchat-space/Langchain-Chatchat）是一款基于 LangChain 框架的免费开源自托管 RAG 与 Agent 应用，在 2023 年 8 月更名前曾叫 langchain-ChatGLM。

Langchain-Chatchat 是免费的吗？

是的。它采用 Apache-2.0 许可，本评测未发现单独的付费套餐、托管云服务或商业支持计划。

如何安装 Langchain-Chatchat？

可通过 pip（pip install langchain-chatchat -U；若使用 Xinference 后端则为 `pip install "langchain-chatchat[xinference]" -U）或 Docker（docker pull chatimage/chatchat`）安装。项目自身的文档强烈建议生产环境采用 docker-compose 部署。

Langchain-Chatchat 使用什么许可证？

Apache-2.0，已通过 GitHub 仓库的 LICENSE 文件确认。

Langchain-Chatchat 支持哪些模型和后端？

通过可插拔后端——Xinference、Ollama、LocalAI、FastChat，以及“One API”集成——或云端 API，支持 ChatGLM、Qwen、Llama 等模型。

Langchain-Chatchat 是否仍在积极维护？

本评测发现，其最新标记版本（v0.3.1，2024 年 7 月 12 日）与最近一次仓库推送（2025 年 11 月 10 日）之间约相隔 16 个月。虽然存在持续的提交活动，但自 2024 年年中以来，发布节奏已明显放缓——请直接在 GitHub 上核实当前状态。

Langchain-Chatchat 与 LangChain 本身有什么区别？

Langchain-Chatchat 构建于 LangChain 框架之上，但它是一款拥有独立仓库、界面与功能集的独立 RAG 与 Agent 应用，而不是通用型 LangChain 库本身。

Langchain-Chatchat 支持中文和 ChatGLM 吗？

支持。该项目最初（以旧名 langchain-ChatGLM）围绕 ChatGLM 模型家族构建，拥有中英双语 README，至今仍是一个源自中国的开源项目。

Langchain-Chatchat 支持 SQL/数据库对话吗？

支持，它内置了专门的“与数据库对话”功能，可用自然语言查询结构化数据。

Langchain-Chatchat 由谁维护？

chatchat-space GitHub 组织维护着该项目的正规仓库。

来源

← 返回 本地LLM进阶

MCP