Haystack RAG框架:deepset出品,Python搭建生产级检索与问答系统

Haystack是什么?

• 2019年以抽取式问答框架起步——在文档中定位精确的答案片段——早于生成式LLM让RAG成为主流模式
• 围绕Haystack 2.0大幅重写为当前的Component/Pipeline架构,目前版本为3.2.0(2026年9月24日发布)
• 提供文档转换(PDF、HTML、DOCX)、文本切分、embedding、retrieval(基于关键词的BM25与向量/语义)、生成与评估等Component
• Document Store抽象将管道逻辑与存储后端解耦——无需重写管道即可将内存存储替换为Elasticsearch、Weaviate或Pinecone
• 开箱自带内存文档存储,用于本地开发和测试,无需外部数据库即可上手
• 同一管道内同时支持关键词retrieval(BM25)和向量/语义retrieval,还支持结合两者的混合retrieval

Haystack的Pipeline/Component架构如何运作?

• Pipeline可序列化为YAML——用Python构建的pipeline可以保存、纳入版本管理,并在不重新运行构建代码的情况下重新加载
• 分支与合并是图模型的原生能力——一个retriever的输出可以同时喂给两个不同的generator,或两个retriever可以同时喂给一个ranker,无需额外的胶水代码
• 由于连接是显式的,出错的pipeline(类型不匹配、缺少连接)会在pipeline构建阶段就报出清晰的错误,而不是在运行时深藏在调用栈中才失败

Haystack与LangChain、LlamaIndex有何不同?

Haystack支持RAG和生产级搜索吗?

• RAG管道:retriever(BM25、向量或混合)将相关文档送入prompt builder,再送入generator(一次LLM调用)——这正是这个框架早于其得名就已预见、如今直接支撑的标准模式
• Retriever:BM25关键词retrieval和基于embedding的(向量/语义)retrieval都是一等能力;混合retrieval结合两者,并对合并结果重新排序
• Document Store:开发环境自带内存存储;生产部署可通过同一Component接口连接Elasticsearch、Weaviate、Pinecone等支持的向量数据库
• Agent:Haystack包含agent Component,可让模型自行决定接下来调用哪个工具或管道步骤,而不是遵循固定顺序
• 评估:Haystack提供评估Component,用于对照带标注的数据集衡量retrieval和生成质量——这对需要可衡量相关性的生产级搜索很关键

如何搭建第一个Haystack管道?

1. 1
   安装包:pip install haystack-ai。
2. 2
   导入所需模块:from haystack import Pipeline, Document; from haystack.components.generators.chat import OpenAIChatGenerator; from haystack.components.retrievers import InMemoryBM25Retriever; from haystack.document_stores.in_memory import InMemoryDocumentStore; from haystack.components.builders import ChatPromptBuilder; from haystack.utils import Secret。
3. 3
   创建document store并写入文档:document_store = InMemoryDocumentStore(),然后document_store.write_documents([Document(content="...")​, ...])。
4. 4
   创建各Component:retriever = InMemoryBM25Retriever(document_store=document_store)、prompt_builder = ChatPromptBuilder(template=prompt_template, required_variables="*")、llm = OpenAIChatGenerator(api_key=Secret.from_env_var("OPENAI_API_KEY"), model="gpt-4o-mini")。
5. 5
   组装管道:rag_pipeline = Pipeline(),然后rag_pipeline.add_component("retriever", retriever)、rag_pipeline.add_component("prompt_builder", prompt_builder)、rag_pipeline.add_component("llm", llm)。
6. 6
   连接各步骤:rag_pipeline.connect("retriever", "prompt_builder.documents") 和 rag_pipeline.connect("prompt_builder", "llm")。
7. 7
   运行:results = rag_pipeline.run({"retriever": {"query": question}, "prompt_builder": {"question": question}})。

from haystack import Pipeline, Document
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.components.retrievers import InMemoryBM25Retriever
from haystack.document_stores.in_memory import InMemoryDocumentStore
from haystack.components.builders import ChatPromptBuilder
from haystack.utils import Secret

document_store = InMemoryDocumentStore()
document_store.write_documents([
    Document(content="My name is Jean and I live in Paris."),
    Document(content="My name is Mark and I live in Berlin."),
    Document(content="My name is Giorgio and I live in Rome."),
])

retriever = InMemoryBM25Retriever(document_store=document_store)
prompt_builder = ChatPromptBuilder(template=prompt_template, required_variables="*")
llm = OpenAIChatGenerator(api_key=Secret.from_env_var("OPENAI_API_KEY"), model="gpt-4o-mini")

rag_pipeline = Pipeline()
rag_pipeline.add_component("retriever", retriever)
rag_pipeline.add_component("prompt_builder", prompt_builder)
rag_pipeline.add_component("llm", llm)
rag_pipeline.connect("retriever", "prompt_builder.documents")
rag_pipeline.connect("prompt_builder", "llm")

results = rag_pipeline.run({"retriever": {"query": question}, "prompt_builder": {"question": question}})

Haystack适合哪些人?

Haystack对比其他方案

在目录中比较→

评估Haystack时的常见误区

常见问题

资料来源

相关阅读

• 面向企业文档的最佳RAG工具 — 涵盖框架与应用两类选项的文档对话RAG工具购买指南。
• 本地LLM软件目录 — 本文所属的本地AI工具完整目录。
• AnythingLLM 对比 PrivateGPT 对比 Open WebUI(RAG) — 面向想要界面而非Python框架的团队的无代码RAG应用对比。