关键要点
- Prompt治理 = 角色(作者、审查员、批准人)+ 审查门控 + 回滚程序
- Prompt会悄无声息地失败——治理是提供部署前后可见性的唯一机制
- 最少三个门控:自动回归测试(≥90%)、同行审查、安全扫描
- 在需要之前设置回滚:版本标签、引用标签的部署配置、值班人员访问权限
- 审计记录必须记录谁、做了什么、何时、为何,以及门控结果
Prompt治理是什么及其重要性
📍 In One Sentence
Prompt治理是控制哪些Prompt进入生产环境以及上线后如何监控的角色、审查门控和部署规则体系。
💬 In Plain Terms
没有治理,Prompt变更是不可见的——没有谁改了什么的记录,没有出问题时的回滚手段,也没有质量悄然下降时的警报。
Prompt治理是控制哪些Prompt进入生产环境、谁可以修改它们以及失败时如何处理的系统。 它涵盖三个领域:访问控制(谁可以编写、审查和批准Prompt)、部署流程(上线前必须通过哪些测试)和事件响应(如何检测、诊断并回滚失败的Prompt)。
治理的存在不是为了官僚主义。它的存在是因为Prompt会悄无声息地失败。当Prompt变更导致输出质量下降时,没有错误日志、没有异常、没有警报。
当Prompt影响面向用户的功能、受监管的输出(法律、医疗、金融)或高流量自动化工作流时,使用治理体系。
⚠️ 静默失败
导致质量下降的Prompt变更不会产生错误、异常或警报。只有通过用户投诉或监控才能发现问题——两者都是在损害已经发生之后。
谁拥有Prompt?3角色所有权模型
三个角色覆盖大多数团队的Prompt治理:作者(Author)、审查员(Reviewer)和批准人(Approver)。
- 作者:编写Prompt,运行初始质量测试,提交审查。
- 审查员:检查质量、合规性和安全性。在受监管领域必须具备领域专业知识。
- 批准人:批准或拒绝部署到生产环境。无论审查员是否签字,都有单方面阻止发布的权力。
Prompt部署前必须通过的每个审查门控
Prompt在生产前必须通过至少三个门控:自动质量测试、同行审查和安全扫描。 每个门控有二值结果——通过或阻止。无例外。
- 门控1 — 自动测试:Prompt必须以 ≥ 90%的通过率通过回归测试套件(使用Braintrust或Promptfoo)。
- 门控2 — 同行审查:Reviewer确认质量和合规性。至少在GPT-4o和Claude 4.6 Sonnet上测试。
- 门控3 — 安全扫描:检查注入向量、越狱漏洞和敏感数据泄露。
💡 自动化门控1
门控1(自动测试)应该在每次提交时运行,而不仅仅是在部署前。在提交时发现回归只需要几分钟修复;在部署时发现则需要数小时。
如何回滚生产环境中失败的Prompt
如果版本控制提前配置好,Prompt回滚应该在5分钟内完成。 回滚程序有四个步骤:检测(监控警报或用户报告)、识别(哪个Prompt版本导致了回归)、还原(将部署配置指向之前的版本标签)和确认(验证输出质量恢复)。
最小可行设置:
- 每个部署的Prompt都有版本标签:v1.0、v1.1等
- 部署配置引用标签,而不是直接引用文件
- 保留之前3个版本,无需额外测试即可部署
- 值班人员无需管理员批准即可写入部署配置
回滚后,将事件作为事后分析处理。记录:更改了什么、失败了什么、检测耗时多久、解决耗时多久,以及哪个门控应该捕获该问题。
审计记录:需要记录什么及为何记录
Prompt的审计记录必须包含:谁修改了Prompt、修改了什么、何时、为何(变更理由),以及通过了哪些审查门控。 这是NIST AI RMF和EU AI Act对高风险AI系统的最低要求。
将审计记录存储在与Prompt相同的版本控制系统中。
- 作者:姓名
- 审查员:姓名 — 批准/拒绝
- 变更:变更内容的单行摘要
- 原因:变更原因
- 测试结果:通过率、测试数量、使用工具
- 版本:新版本标签
Prompt治理工具
最小可行治理栈是Git + 测试运行器。 PromptHub、Braintrust和Vellum在该基础上各自添加了结构。
- Git:Prompt文件的版本控制。免费。适用于任何团队规模。
- PromptHub:具备版本历史、审查者工作流和部署跟踪的专用Prompt管理。
- Braintrust:具有CI/CD集成的评估平台。在每个PR上运行自动质量测试。
- Vellum:具有流量管理、A/B测试和实时评估的生产Prompt部署。
- PromptQuorum:多模型测试,确认Prompt在GPT-4o、Claude 4.6 Sonnet和Gemini 2.5 Pro上部署前能正常工作。
常见问题
什么是Prompt治理?
Prompt治理是控制哪些Prompt进入生产环境及如何监控的角色、流程和规则体系。
Prompt治理为何重要?
Prompt会悄无声息地失败。治理添加可见性:每个变更被追踪,每个版本可审查,每次部署可回滚。
需要哪些角色?
三个角色:作者、审查员和批准人。大团队添加Prompt Owner角色。
如何进行回滚?
用版本标签存储每个部署的Prompt。检测到回归时,将部署配置还原到之前的标签并重新部署。提前准备则不到5分钟。
EU AI Act是否要求Prompt治理?
是的。EU AI Act(2026年生效)要求高风险AI系统具备可追溯性。版本控制、审查门控和审计记录直接满足这一要求。
Prompt治理与模型治理有何不同?
模型治理涵盖模型选择和训练。Prompt治理涵盖给已部署模型的指令。两者互补但不同。
审计记录应该包含什么?
每个版本的Prompt文本、修改者、时间、原因、通过的测试、批准者和归因事件。应能在5分钟内回答特定时间点运行的是哪个Prompt。
NIST AI风险管理框架是否要求Prompt治理?
NIST AI RMF(2023年)建议对AI系统组件实施治理控制,包括可追溯性、部署前风险评估和事件响应。Prompt版本控制和审查门控满足这三项要求。