Skip to main content
PromptQuorum
主页/本地LLM进阶/Plano 评测:面向智能体应用的Envoy架构AI代理
Overview & Reference

Plano 评测:面向智能体应用的Envoy架构AI代理

·阅读约11分钟·Hans Kuepper 作者 · PromptQuorum创始人,多模型AI调度工具 · PromptQuorum

Plano是一款免费、开源、基于Envoy的AI原生代理服务器和数据平面,专为智能体应用打造,由Katanemo开发,在应用代码之外处理LLM路由、智能体编排、可观测性和护栏。 它采用Apache 2.0许可,以自托管的进程外代理方式运行(而非托管式SaaS),并且是自带模型(bring-your-own-model)——你可以将其配置为对接OpenAI、Anthropic或其他提供商,也可以指向本地模型,而路由决策本身由Plano自己的小型编排模型负责。

Plano(github.com/katanemo/plano)是一款免费、开源、Apache 2.0许可的AI原生代理服务器和数据平面,由Envoy自身的核心贡献者基于Envoy构建,由Katanemo开发。它将智能体应用原本需要在每个代码库中重复实现的"隐藏中间件"——智能体路由与编排、LLM模型路由、可观测性信号与追踪、以及用于安全和内容审核的护栏过滤器——集中到一处,GitHub星标已超过7,050。本评测介绍Plano实际能做什么、如何安装和运行、费用如何,以及适合哪些人使用。

关键要点

  • Plano(github.com/katanemo/plano)是一款免费、开源、自托管的AI代理和数据平面——而不是托管式SaaS产品
  • 由Katanemo开发,基于Envoy自身核心贡献者打造的Envoy构建
  • Apache 2.0许可,已通过GitHub仓库的许可证文件确认
  • 根据其自身README,具备四大核心能力:智能体编排、模型路由("Model Agility")、零代码可观测性("Agentic Signals"加OpenTelemetry)、以及护栏/审核Filter Chains
  • 路由通过一个专用、约40亿参数的编排模型("Plano-Orchestrator")完成,而非通用LLM或纯规则框架
  • 截至本评测时,GitHub星标超过7,050,fork超过480

📍 简单一句话

Plano是一款免费、开源(Apache 2.0)、基于Envoy的AI原生代理服务器和数据平面,由Katanemo开发,GitHub星标超过7,050,能在应用代码之外为智能体应用增加LLM路由、智能体编排、可观测性和护栏。

💬 简单来说

Plano是一个部署在你的AI智能体前端的自托管代理。你不需要在每个智能体中自行编写路由逻辑、遥测和安全过滤器,只需在一个YAML配置文件中声明你的智能体和模型提供商,Plano就会负责选择正确的模型、追踪发生了什么、并应用护栏——这一切都是免费的,因为Plano本身没有许可费用。

📌: 本评测是本地LLM软件目录中Plano条目的深度扩展篇——想快速了解Plano与其他数十款本地及自托管AI工具的对比,请参阅该页面。

Plano是什么?

Plano是一款自托管的进程外代理和数据平面,位于你的智能体应用与它们调用的LLM提供商或子智能体之间,在一层中处理路由、编排、可观测性和护栏。 其自身的GitHub介绍将其称为"面向智能体应用的AI原生代理服务器和数据平面",旨在将路由和审核等基础设施层面的问题从应用代码中剥离,转移到一个共享的可配置层。

  • 产品类型:一款需要自行部署的自托管代理/数据平面(Docker容器或编译好的二进制文件),而非托管式API或SaaS网关
  • 开发方:Katanemo,据托管该仓库的GitHub组织所示
  • 仓库:github.com/katanemo/plano,创建于2024年7月9日
  • 许可证:Apache 2.0,据GitHub仓库的许可证文件所示
  • 基础:基于广泛使用的开源边缘/服务代理Envoy构建,由曾参与Envoy本身开发的贡献者打造,据Plano自身README所示
  • 规模:截至本评测时,GitHub星标超过7,050,fork超过480,开放问题140个

Plano的项目历史与版本里程碑

Plano的GitHub仓库创建于2024年7月,此后项目持续发布,在积极开发中不断增加LLM路由、智能体编排和可观测性功能。Plano将自身定位为得到Katanemo自有LLM研究的支撑,包括用于其路由决策的专用编排模型。

  1. 1
    仓库创建 — 2024年7月9日
    Why it matters: 据GitHub仓库元数据,Plano的权威GitHub仓库(katanemo/plano)在此时创建。
  2. 2
    v0.4.36 — 2026年8月19日:截至本评测的最新标记版本
    Why it matters: 截至本评测时GitHub上发布的最新版本;对于本评测发布日期之后发布的内容,请直接查看[发布页面](https://github.com/katanemo/plano/releases)。
  3. 3
    主分支的持续开发
    Why it matters: GitHub仓库元数据显示,在最新标记版本之后仍有提交推送到主分支,表明开发在最新版本标签之外持续进行——在假设与最新提交功能一致之前,请核实当前的发布状态。

Plano实际能做什么?

Plano的功能集专注于将智能体应用的基础设施问题从应用代码中剥离,转移到一个共享的自托管代理层。以下是根据Plano自身GitHub README文档,每个部分实际所做的事情。

  • 智能体编排 — 在YAML配置中声明的智能体之间进行低延迟路由,无需修改应用代码;新增智能体只需编辑配置而不必重写路由逻辑
  • 模型路由("Model Agility") — 按显式模型名称、语义别名或通过配置的偏好自动路由请求,使应用代码可以调用逻辑模型名称,而不是硬编码具体提供商
  • Agentic Signals — Plano自有术语,指零代码采集使用/行为信号,以及跨其代理的每个智能体发出的OpenTelemetry兼容追踪与指标
  • 护栏与审核Filter Chains — 一种可配置机制,用于在代理层而非每个单独的智能体中构建越狱防护、内容审核策略和记忆一致性行为
  • 专用路由模型 — 据Plano的README,路由决策通过Plano自有的约40亿参数"Plano-Orchestrator"模型完成,而非通用LLM调用或纯规则路由器
  • 框架与语言无关 — 智能体只是实现OpenAI兼容聊天补全端点的HTTP服务器,因此Plano可与任何语言或AI框架编写的智能体协同工作
  • LLM网关模式 — 据其自身文档,Plano也可以独立于智能体编排功能,纯粹作为应用服务的LLM路由网关来使用

使用示例:使用Plano的两种方式

这些是基于Plano自身README文档示例构建的具体工作流程——而非假设性用例。

Plano定价:真的免费吗?

Plano本身是免费开源的(Apache 2.0),自托管无需支付许可费用。 微妙之处在于是什么驱动其路由:Plano及Plano系列LLM(如Plano-Orchestrator)由Katanemo在US-central区域免费托管,明确目的是让开发者无需搭建即可获得首次使用体验——据项目自身README所述,这一免费托管层面向开发用途,而非生产规模。

  • Plano自身软件:免费、开源、Apache 2.0许可,代理本身没有付费层级
  • Plano系列路由/编排模型:据Plano自身README,为提供首次开发者体验在US-central免费托管
  • 据Katanemo的README,要以生产规模运行,你必须自行在本地自托管这些路由模型,或通过Discord联系Katanemo获取托管API密钥——本评测未找到该托管密钥选项的公开自助定价页面
  • LLM提供商费用是分开的:通过Plano将请求路由到OpenAI、Anthropic或其他提供商,仍需支付该提供商收取的费用——按照其作为路由层而非模型提供商的角色,Plano本身不加价

Plano vs. LiteLLM

Plano和LiteLLM都是用于管理LLM流量的自托管层,但出发点不同:LiteLLM主要是一个统一的API/SDK和代理,用于通过一个OpenAI兼容接口调用100多个LLM提供商;而Plano则构建为一个基于Envoy的数据平面,将智能体编排作为第一等公民功能,而不仅仅是模型路由。

核心基础

Plano vs. LiteLLM:
Plano构建在Envoy代理之上;LiteLLM是一个Python原生的SDK和代理服务器,并非基于Envoy。

智能体编排

Plano vs. LiteLLM:
Plano通过YAML声明的智能体将多智能体路由视为核心的第一等功能;LiteLLM主要专注于LLM/提供商路由,而非智能体间编排。

路由机制

Plano vs. LiteLLM:
Plano使用一个专用的约40亿参数编排模型进行基于意图的路由;LiteLLM主要通过显式配置规则、负载均衡和故障转移列表进行路由。

可观测性

Plano vs. LiteLLM:
Plano将其遥测称为"Agentic Signals"加OpenTelemetry;LiteLLM提供使用情况追踪、支出日志,以及与Langfuse等可观测性工具的集成。

许可证

Plano vs. LiteLLM:
据各自项目自身仓库所示,两者的核心开源产品均采用Apache 2.0许可。

两款工具的核心都是自托管且免费的;实际选择取决于你是否需要Envoy级别的代理基础设施和原生智能体编排(Plano),还是需要一个更简单、以提供商路由为中心、兼容提供商列表更广的网关(LiteLLM)。由于两者都频繁发布更新,选择前请在各自的文档中核实当前的功能对等情况。

谁适合使用Plano?

Plano是否适合你,取决于你是否在构建需要共享基础设施来处理路由、可观测性和护栏的多智能体应用,而不仅仅是单一的简单LLM调用。

竞品与替代方案

Plano最常被拿来与LiteLLM、AIClient2API和Langfuse比较——其最主要的差异化在于它是一个具有原生多智能体编排能力的基于Envoy的数据平面,而非单纯的应用层路由库或纯可观测性工具。

Tool
Best known for
Link
LiteLLM通过一个OpenAI兼容API调用100多个LLM提供商的统一代理/SDKLiteLLM 评测
AIClient2API将各种AI客户端协议转换为统一API端点的轻量级本地代理AIClient2API 评测
Langfuse开源LLM可观测性、追踪与评估平台Langfuse 评测

此列表反映的是在路由/网关/可观测性领域常与Plano比较的工具,并非PromptQuorum的独立排名——完整、定期更新的目录(包括Plano自身的条目)请参见本地LLM软件目录。选择前请核实每款工具当前的定价和功能。

评估Plano时的常见错误

关于Plano的大多数困惑源于其通用的名称、误以为它是托管式SaaS,或对"免费"所涵盖内容的不明确预期。

常见问题

Plano是什么?

Plano(github.com/katanemo/plano)是一款由Katanemo开发、面向智能体应用的免费、开源(Apache 2.0)、基于Envoy的AI原生代理服务器和数据平面,负责处理LLM路由、智能体编排、可观测性和护栏。

Plano是免费的吗?

是的,Plano本身免费且开源,自托管无需许可费用。Katanemo还在US-central区域免费托管Plano自有的路由/编排模型,以提供首次开发者体验;在生产规模使用这些模型需要自托管或通过Discord获取托管API密钥。

如何安装Plano?

按照Plano自身的快速入门指南安装前置条件,然后针对声明了你的智能体和模型提供商的YAML配置运行planoai up config.yaml

Plano是托管服务还是自托管软件?

Plano是自托管的:你需要将其作为Docker容器或编译好的二进制文件,与自己的智能体和服务一起自行部署。Katanemo另外在开发使用层级免费托管Plano自有的小型编排模型。

Plano实际路由什么?

Plano路由LLM和智能体流量:它可以根据意图在多个智能体之间路由,也可以按显式模型名称、语义别名或自动的偏好选择,将LLM API调用路由到某个具体模型。

Plano是基于Envoy构建的吗?

是的,据其自身README,Plano由曾参与Envoy本身开发的贡献者基于Envoy构建,作为进程外数据平面而非进程内库运行。

Plano的开发方是谁?

据托管katanemo/plano仓库的GitHub组织所示,Katanemo负责开发Plano。

Plano能与任何编程语言或框架协同工作吗?

可以——据其自身文档,智能体只需实现一个OpenAI兼容的聊天补全HTTP端点,因此Plano可与任何语言或AI框架编写的智能体协同工作。

Plano要正常工作需要自己的模型吗?

Plano的路由决策通过其自有的、约40亿参数的专用编排模型完成,但你的智能体实际使用的LLM响应可以来自Plano所路由到的任何已配置提供商(OpenAI、Anthropic、本地模型等)。

Plano与LiteLLM有何不同?

Plano是一个基于Envoy的数据平面,以原生多智能体编排为核心功能;LiteLLM是一个Python原生的SDK/代理,主要专注于统一调用100多个LLM提供商。详见上方的Plano vs. LiteLLM对比

PromptQuorum是否独立测试过Plano的说法?

本评测基于Plano自身的GitHub仓库、README和文档,而非PromptQuorum的实际动手基准测试。

信息来源

← 返回 本地LLM进阶