关键要点
- Plano(github.com/katanemo/plano)是一款免费、开源、自托管的AI代理和数据平面——而不是托管式SaaS产品
- 由Katanemo开发,基于Envoy自身核心贡献者打造的Envoy构建
- Apache 2.0许可,已通过GitHub仓库的许可证文件确认
- 根据其自身README,具备四大核心能力:智能体编排、模型路由("Model Agility")、零代码可观测性("Agentic Signals"加OpenTelemetry)、以及护栏/审核Filter Chains
- 路由通过一个专用、约40亿参数的编排模型("Plano-Orchestrator")完成,而非通用LLM或纯规则框架
- 截至本评测时,GitHub星标超过7,050,fork超过480
📍 简单一句话
Plano是一款免费、开源(Apache 2.0)、基于Envoy的AI原生代理服务器和数据平面,由Katanemo开发,GitHub星标超过7,050,能在应用代码之外为智能体应用增加LLM路由、智能体编排、可观测性和护栏。
💬 简单来说
Plano是一个部署在你的AI智能体前端的自托管代理。你不需要在每个智能体中自行编写路由逻辑、遥测和安全过滤器,只需在一个YAML配置文件中声明你的智能体和模型提供商,Plano就会负责选择正确的模型、追踪发生了什么、并应用护栏——这一切都是免费的,因为Plano本身没有许可费用。
📌注: 本评测是本地LLM软件目录中Plano条目的深度扩展篇——想快速了解Plano与其他数十款本地及自托管AI工具的对比,请参阅该页面。
Plano是什么?
Plano是一款自托管的进程外代理和数据平面,位于你的智能体应用与它们调用的LLM提供商或子智能体之间,在一层中处理路由、编排、可观测性和护栏。 其自身的GitHub介绍将其称为"面向智能体应用的AI原生代理服务器和数据平面",旨在将路由和审核等基础设施层面的问题从应用代码中剥离,转移到一个共享的可配置层。
- 产品类型:一款需要自行部署的自托管代理/数据平面(Docker容器或编译好的二进制文件),而非托管式API或SaaS网关
- 开发方:Katanemo,据托管该仓库的GitHub组织所示
- 仓库:github.com/katanemo/plano,创建于2024年7月9日
- 许可证:Apache 2.0,据GitHub仓库的许可证文件所示
- 基础:基于广泛使用的开源边缘/服务代理Envoy构建,由曾参与Envoy本身开发的贡献者打造,据Plano自身README所示
- 规模:截至本评测时,GitHub星标超过7,050,fork超过480,开放问题140个
Plano的项目历史与版本里程碑
Plano的GitHub仓库创建于2024年7月,此后项目持续发布,在积极开发中不断增加LLM路由、智能体编排和可观测性功能。Plano将自身定位为得到Katanemo自有LLM研究的支撑,包括用于其路由决策的专用编排模型。
- 1仓库创建 — 2024年7月9日
Why it matters: 据GitHub仓库元数据,Plano的权威GitHub仓库(katanemo/plano)在此时创建。 - 2v0.4.36 — 2026年8月19日:截至本评测的最新标记版本
Why it matters: 截至本评测时GitHub上发布的最新版本;对于本评测发布日期之后发布的内容,请直接查看[发布页面](https://github.com/katanemo/plano/releases)。 - 3主分支的持续开发
Why it matters: GitHub仓库元数据显示,在最新标记版本之后仍有提交推送到主分支,表明开发在最新版本标签之外持续进行——在假设与最新提交功能一致之前,请核实当前的发布状态。
Plano实际能做什么?
Plano的功能集专注于将智能体应用的基础设施问题从应用代码中剥离,转移到一个共享的自托管代理层。以下是根据Plano自身GitHub README和文档,每个部分实际所做的事情。
- 智能体编排 — 在YAML配置中声明的智能体之间进行低延迟路由,无需修改应用代码;新增智能体只需编辑配置而不必重写路由逻辑
- 模型路由("Model Agility") — 按显式模型名称、语义别名或通过配置的偏好自动路由请求,使应用代码可以调用逻辑模型名称,而不是硬编码具体提供商
- Agentic Signals — Plano自有术语,指零代码采集使用/行为信号,以及跨其代理的每个智能体发出的OpenTelemetry兼容追踪与指标
- 护栏与审核Filter Chains — 一种可配置机制,用于在代理层而非每个单独的智能体中构建越狱防护、内容审核策略和记忆一致性行为
- 专用路由模型 — 据Plano的README,路由决策通过Plano自有的约40亿参数"Plano-Orchestrator"模型完成,而非通用LLM调用或纯规则路由器
- 框架与语言无关 — 智能体只是实现OpenAI兼容聊天补全端点的HTTP服务器,因此Plano可与任何语言或AI框架编写的智能体协同工作
- LLM网关模式 — 据其自身文档,Plano也可以独立于智能体编排功能,纯粹作为应用服务的LLM路由网关来使用
使用示例:使用Plano的两种方式
这些是基于Plano自身README文档示例构建的具体工作流程——而非假设性用例。
安装Plano
Plano可通过Docker或编译好的CLI二进制文件免费安装,源代码托管在GitHub上。 根据其自身的快速入门指南,先安装前置条件,再针对配置文件运行planoai up config.yaml启动Plano。
Source | Link |
|---|---|
| GitHub仓库(源代码,Apache 2.0) | github.com/katanemo/plano |
| 快速入门指南(安装 + 前置条件) | docs.planoai.dev/get_started/quickstart |
| 完整文档 | docs.planoai.dev |
| 发布版本(已标记版本及预编译二进制文件) | github.com/katanemo/plano/releases |
Plano要求你在运行planoai up config.yaml之前先按照前置条件指南操作;由于Plano是一个旨在与你的服务并行运行的代理/数据平面组件,而非一个独立的终端用户应用程序,因此没有单一文件的图形界面安装程序。由于安装说明可能随版本变化,运行任何命令前请在快速入门指南中核实当前推荐的安装方法。
Plano定价:真的免费吗?
Plano本身是免费开源的(Apache 2.0),自托管无需支付许可费用。 微妙之处在于是什么驱动其路由:Plano及Plano系列LLM(如Plano-Orchestrator)由Katanemo在US-central区域免费托管,明确目的是让开发者无需搭建即可获得首次使用体验——据项目自身README所述,这一免费托管层面向开发用途,而非生产规模。
- Plano自身软件:免费、开源、Apache 2.0许可,代理本身没有付费层级
- Plano系列路由/编排模型:据Plano自身README,为提供首次开发者体验在US-central免费托管
- 据Katanemo的README,要以生产规模运行,你必须自行在本地自托管这些路由模型,或通过Discord联系Katanemo获取托管API密钥——本评测未找到该托管密钥选项的公开自助定价页面
- LLM提供商费用是分开的:通过Plano将请求路由到OpenAI、Anthropic或其他提供商,仍需支付该提供商收取的费用——按照其作为路由层而非模型提供商的角色,Plano本身不加价
Plano vs. LiteLLM
Plano和LiteLLM都是用于管理LLM流量的自托管层,但出发点不同:LiteLLM主要是一个统一的API/SDK和代理,用于通过一个OpenAI兼容接口调用100多个LLM提供商;而Plano则构建为一个基于Envoy的数据平面,将智能体编排作为第一等公民功能,而不仅仅是模型路由。
核心基础
- Plano vs. LiteLLM:
- Plano构建在Envoy代理之上;LiteLLM是一个Python原生的SDK和代理服务器,并非基于Envoy。
智能体编排
- Plano vs. LiteLLM:
- Plano通过YAML声明的智能体将多智能体路由视为核心的第一等功能;LiteLLM主要专注于LLM/提供商路由,而非智能体间编排。
路由机制
- Plano vs. LiteLLM:
- Plano使用一个专用的约40亿参数编排模型进行基于意图的路由;LiteLLM主要通过显式配置规则、负载均衡和故障转移列表进行路由。
可观测性
- Plano vs. LiteLLM:
- Plano将其遥测称为"Agentic Signals"加OpenTelemetry;LiteLLM提供使用情况追踪、支出日志,以及与Langfuse等可观测性工具的集成。
许可证
- Plano vs. LiteLLM:
- 据各自项目自身仓库所示,两者的核心开源产品均采用Apache 2.0许可。
两款工具的核心都是自托管且免费的;实际选择取决于你是否需要Envoy级别的代理基础设施和原生智能体编排(Plano),还是需要一个更简单、以提供商路由为中心、兼容提供商列表更广的网关(LiteLLM)。由于两者都频繁发布更新,选择前请在各自的文档中核实当前的功能对等情况。
谁适合使用Plano?
Plano是否适合你,取决于你是否在构建需要共享基础设施来处理路由、可观测性和护栏的多智能体应用,而不仅仅是单一的简单LLM调用。
竞品与替代方案
Plano最常被拿来与LiteLLM、AIClient2API和Langfuse比较——其最主要的差异化在于它是一个具有原生多智能体编排能力的基于Envoy的数据平面,而非单纯的应用层路由库或纯可观测性工具。
Tool | Best known for | Link |
|---|---|---|
| LiteLLM | 通过一个OpenAI兼容API调用100多个LLM提供商的统一代理/SDK | LiteLLM 评测 |
| AIClient2API | 将各种AI客户端协议转换为统一API端点的轻量级本地代理 | AIClient2API 评测 |
| Langfuse | 开源LLM可观测性、追踪与评估平台 | Langfuse 评测 |
此列表反映的是在路由/网关/可观测性领域常与Plano比较的工具,并非PromptQuorum的独立排名——完整、定期更新的目录(包括Plano自身的条目)请参见本地LLM软件目录。选择前请核实每款工具当前的定价和功能。
评估Plano时的常见错误
关于Plano的大多数困惑源于其通用的名称、误以为它是托管式SaaS,或对"免费"所涵盖内容的不明确预期。
常见问题
Plano是什么?
Plano(github.com/katanemo/plano)是一款由Katanemo开发、面向智能体应用的免费、开源(Apache 2.0)、基于Envoy的AI原生代理服务器和数据平面,负责处理LLM路由、智能体编排、可观测性和护栏。
Plano是免费的吗?
是的,Plano本身免费且开源,自托管无需许可费用。Katanemo还在US-central区域免费托管Plano自有的路由/编排模型,以提供首次开发者体验;在生产规模使用这些模型需要自托管或通过Discord获取托管API密钥。
如何安装Plano?
按照Plano自身的快速入门指南安装前置条件,然后针对声明了你的智能体和模型提供商的YAML配置运行planoai up config.yaml。
Plano是托管服务还是自托管软件?
Plano是自托管的:你需要将其作为Docker容器或编译好的二进制文件,与自己的智能体和服务一起自行部署。Katanemo另外在开发使用层级免费托管Plano自有的小型编排模型。
Plano实际路由什么?
Plano路由LLM和智能体流量:它可以根据意图在多个智能体之间路由,也可以按显式模型名称、语义别名或自动的偏好选择,将LLM API调用路由到某个具体模型。
Plano是基于Envoy构建的吗?
是的,据其自身README,Plano由曾参与Envoy本身开发的贡献者基于Envoy构建,作为进程外数据平面而非进程内库运行。
Plano的开发方是谁?
据托管katanemo/plano仓库的GitHub组织所示,Katanemo负责开发Plano。
Plano能与任何编程语言或框架协同工作吗?
可以——据其自身文档,智能体只需实现一个OpenAI兼容的聊天补全HTTP端点,因此Plano可与任何语言或AI框架编写的智能体协同工作。
Plano要正常工作需要自己的模型吗?
Plano的路由决策通过其自有的、约40亿参数的专用编排模型完成,但你的智能体实际使用的LLM响应可以来自Plano所路由到的任何已配置提供商(OpenAI、Anthropic、本地模型等)。
Plano与LiteLLM有何不同?
Plano是一个基于Envoy的数据平面,以原生多智能体编排为核心功能;LiteLLM是一个Python原生的SDK/代理,主要专注于统一调用100多个LLM提供商。详见上方的Plano vs. LiteLLM对比。
PromptQuorum是否独立测试过Plano的说法?
本评测基于Plano自身的GitHub仓库、README和文档,而非PromptQuorum的实际动手基准测试。