LangSmith vs Helicone vs Langfuse vs PromptLayer(2026版)

LangSmith、Helicone、Langfuse 和 PromptLayer 是生产环境LLM可观测性平台 —— 它们在应用发起API调用后进行记录,追踪多步骤链路,并随时间跟踪成本和延迟。它们回答的是"这次生产运行时发生了什么?"

这与"部署前这个prompt好不好?"是不同的问题 —— 部署前测试与评估是Promptfoo、Braintrust、Vellum等工具的职责,详见Prompt测试与评估工具2026。部署前的prompt版本管理与团队共享详见最佳Prompt管理平台。本页的工具从prompt上线、真实用户开始调用的那一刻起才真正发挥价值。

重叠之处:这四款工具都提供一定的评估和数据集功能,因为知道prompt在生产环境出了问题固然有用,但如果还能评估问题有多严重会更有用。但评分在这里是次要功能,不是主要功能 —— 主要工作是对实时流量进行追踪、记录和成本可见性管理。

披露说明:本页每个供应商链接(LangSmith、Langfuse、Helicone、PromptLayer)都直接指向该供应商自己的网站。这些都是纯粹的产品链接 —— 四者目前均未运营公开的联盟或佣金计划,除此说明外没有其他需要披露的联盟关系。

我们按照五项专属于生产追踪的标准评估这四款工具:接入成本、是否支持自托管、框架覆盖广度、规模化后的成本透明度,以及在日志记录之上的评估深度。

LangSmith是LangChain自家的可观测性平台 —— 对LangChain和LangGraph应用而言追踪是自动的,如果你已经基于这些框架构建,所需的配置在所有工具中最少。在LangChain生态之外,LangSmith仍可通过其SDK使用,但自动追踪的优势就消失了。可从免费的Developer层开始 —— 前5,000条追踪/月无需绑卡。

免费Developer层:1个席位,最多5,000条基础追踪/月,超出后按量计费。Plus层:$39/席位/月,席位数不限,最多10,000条基础追踪/月包含在内,超出后叠加按量计费 —— 每个LangChain计算单元(LCU)$1.50、每个LangChain存储单元(LSU)$1.00,用于计量Engine、Fleet、Deployment和Sandbox的使用量。Enterprise为定制报价,支持自托管和混合部署、SSO和RBAC。

最佳团队功能:基于数据集的评估配合LLM-as-judge评分、针对已保存追踪记录的回归测试,以及prompt hub集成,使评估与版本管理集中在同一处。权衡:最深层的价值仅限于LangChain/LangGraph —— 使用其他框架的团队会得到一个能用但通用的追踪器,而非LangChain用户所体验到的一体化体验。

对于还在考虑是否要以LangChain为标准的团队,在锁定框架专属的可观测性技术栈之前,可参考GPT、Claude还是Gemini?如何选择合适的模型。

Langfuse采用MIT协议,免费自托管且包含全部核心功能 —— 免费自托管版与付费云端层之间没有功能付费墙。Langfuse于2026年1月被ClickHouse, Inc.收购;产品保持开源和可自托管,Langfuse Cloud也照常运行。可通过自托管或云端Hobby层免费开始 —— 无需绑卡。

自托管(开源):免费、无限量、MIT协议,包含全部核心可观测性/评估/prompt管理功能。云端Hobby:免费,50,000单位/月,2个用户,数据保留30天。云端Core:$29/月,包含100,000单位/月,用户数不限,保留90天,每额外100,000单位$8。云端Pro:$199/月,包含100,000单位/月,用户数不限,数据保留3年,另有$300/月的Teams附加包提供SSO/RBAC。云端Enterprise:$2,499/月,专属支持工程师,审计日志,定制SLA。自托管Enterprise(单独定价,与ClickHouse商业方案捆绑)在免费自托管核心基础上增加管理API、项目级RBAC和服务端数据脱敏。

四款中框架集成最广:OpenAI SDK、LangChain、LlamaIndex、Haystack、LiteLLM、Vercel AI SDK、Ollama和Amazon Bedrock均有原生集成。评估深度可与LangSmith相媲美 —— 基于数据集、配合LLM-as-judge评分的评估以及回归数据集都很成熟,不是事后加装的日志附加功能。

权衡:自托管意味着你要自己承担正常运行时间、升级和基础设施成本 —— "免费"软件仍需要有人来运维。云端Hobby层2个用户的上限,对超出个人项目的场景来说比较紧张,一旦超过两人需要访问权限,团队往往很快就会被推向$29/月的Core层。

Helicone是一个反向代理 —— 你把API基础URL指向Helicone并添加一个请求头,每次调用就会自动被记录,无需安装SDK封装。这是四款工具中接入现有代码库最快的方式,因为大多数团队本来就只有一处配置API基础URL的地方。可从免费的Hobby层开始 —— 前10,000请求/月无需绑卡。

Hobby(免费):10,000请求/月,1GB存储,保留7天,1个席位。Pro:$79/月,席位数不限,保留1个月,提供告警和报表、HQL查询语言。Team:$799/月,SOC-2和HIPAA合规,保留3个月,专属Slack频道。Enterprise:定制报价,支持本地部署、SAML SSO、定制MSA。

由于工作在代理层,Helicone与LangSmith或Langfuse的SDK集成方式不同,以另一种方式实现供应商无关 —— 只要是OpenAI兼容的端点即可使用,无需框架专属的适配器。评估和测试功能虽然存在,但比LangSmith或Langfuse的数据集驱动评分要轻量 —— Helicone的核心优势在于日志记录和成本可见性,而非评估深度。

PromptLayer是四款中最精简的 —— 提供请求日志和prompt版本管理,不含完整评估框架,面向不需要数据集驱动评分的小团队。它直接封装OpenAI和Anthropic的SDK,而非作为代理或深度框架集成运作。可免费开始 —— 前2,500请求/月无需绑卡。

免费:5用户,2,500请求/月,10个prompt,1个工作区,250次评估单元执行/月。Pro:$49/月,Playground和工作区数量不限,超额$0.003/笔交易。Team:$500/月,25用户,100,000+请求/月,超额$0.002/笔交易,含Webhook。Enterprise:定制报价,RBAC,部署审批,配备BAA的HIPAA,以及PromptLayer提供的唯一自托管部署选项 —— 仅在Enterprise层可用,支持GCP、AWS和Azure。

权衡:Enterprise以下任何价位都没有自托管或开源层 —— 四款中唯一如此 —— 且其框架集成列表最薄弱(仅有OpenAI/Anthropic SDK封装,而非Langfuse提供的广泛原生集成列表)。最适合想要记录请求、管理prompt版本、又不想引入更重评估平台的小团队。

在把LangSmith、Langfuse、Helicone或PromptLayer接入特定模型供应商的调用之前,先用PromptQuorum将一个prompt同时分发给25+模型,确认你首先选对了要追踪的供应商。提供免费层。

可观测性工具衡量的是你已经决定在生产环境运行的东西 —— 它们不会帮你选模型。PromptQuorum在你投入工程时间为某个模型接入生产追踪之前,先回答"哪个模型最能处理这个prompt?"

没有哪款工具在所有标准上都领先。LangSmith对LangChain支持最深;Langfuse灵活性最高(免费自托管、集成最广);Helicone上手最快;PromptLayer在小规模场景下最精简、最便宜。

根据你的框架、合规需求和团队规模来匹配工具 —— 而不是看纸面上哪款功能最多。

如果你还没有任何LLM功能上线生产环境,请跳过这四款工具 —— 部署前测试与评估(Promptfoo、Braintrust、Vellum —— 参见Prompt测试与评估工具2026)解决的是上线前就存在的真实问题;可观测性工具解决的是你还没遇到的问题。在还没有需要追踪的生产流量之前就接入追踪,是白白浪费配置时间,而这里的免费层足够慷慨,等到真正有实时流量后再添加,也只需要一天的集成工作。