控制AI输出：JSON Schema合规、受限解码与格式选择

输出控制在三个不同级别上运作——基于Prompt、基于Schema和受限解码——每个级别在对推理质量的权衡逐步增加的同时，提供逐步更强的格式保证。

基于Prompt的格式化通过自然语言指示模型（"返回JSON，字段包括：name、email、score"）。这80%至95%的情况下有效，但在边缘情况下会静默失败，无类型保证，需要为5%至20%的格式错误响应进行错误处理。基于Schema的方法（函数调用/工具使用）以95%至99%的合规率正式定义输出结构——但Schema仍是强提示而非绝对约束。原生受限解码使用有限状态机在生成时屏蔽无效词元，以数学确定性生成100%符合Schema的输出。

两阶段方法——让Claude Opus 4.7（Anthropic）或GPT-4o（OpenAI）在Stage 1自由推理，然后将输出送入Stage 2小型专业结构化模型（Osmosis-Structure-0.6B，经50万条合成非结构化→结构化转换训练）——在不受受限解码推理质量损失的情况下实现格式保证。

一句话总结：将输出约束级别与任务匹配——仅在格式正确性比推理深度更重要时使用受限解码。

明确的输出Schema指令——对Claude Opus 4.7放在系统Prompt开头，对GPT-4o放在用户内容之前——在不产生原生受限解码推理质量损失的情况下，可实现85%至95%的结构化输出合规率。

Claude Opus 4.7（Anthropic）对使用XML风格章节标签、置于系统Prompt开头的输出格式指令响应最佳。GPT-4o（OpenAI）在Schema以编号格式规则形式放在用户内容之前时表现最好。Gemini 3.1 Pro（Google DeepMind）在Prompt开头和结尾都明确说明Schema时生成最可靠的结构化输出。

不良Prompt——非结构化，无格式说明：

良好Prompt——Claude Opus 4.7

XML结构化Prompt在`<task>`块内保留自由推理的同时，锚定了输出格式契约。无需受限解码——Claude Opus 4.7使用此结构在超过93%的生产调用中合规。

良好Prompt——GPT-4o

各主要LLM对输出格式合规有不同的结构偏好：

Temperature（T）、Top-P、Top-K、max_tokens、frequency_penalty和presence_penalty是六个独立参数，共同决定输出长度、随机性和重复性——必须一致设置，不能相互冲突。

Temperature（T）缩放softmax输出分布：T=0.0时模型始终选择概率最高的词元（确定性）；T=2.0时分布几乎平坦，输出变得不连贯。Top-P（核采样）从累积概率达到P的最小词元集合中采样——Top-P=0.9时模型只考虑覆盖概率质量前90%的词元。Top-K将每步生成限制在K个概率最高的词元；Top-K=1等同于贪婪解码。

softmax with temperature公式：P(token) = exp(logit / T) / sum(exp(logits / T))。T趋近0时，最高logit词元的概率趋近1.0；T趋近无穷时，所有词元概率趋近相等。

关键规则： 不要同时将Temperature和Top-P设为高值。Temperature首先缩放整个分布；Top-P然后从已缩放的高概率质量中采样。将T=1.5和Top-P=0.95组合使用，产生的输出比单独使用任一参数都更混乱——这两个参数被设计为替代方案，而非叠加使用。

`frequency_penalty`按词元已出现次数比例降低其概率——正值消除重复性措辞；负值主动鼓励重复。`presence_penalty`对任何已出现过的词元施加一次性固定惩罚，无论频率如何——它推动模型引入新词汇和话题而非重复已有内容。

通过受限解码强制JSON输出会在函数调用基准测试上降低2.26个百分点的模型准确率——BAML的Schema对齐解析在BFCL上达到93.63%准确率，而OpenAI的严格受限解码在同一基准上仅为91.37%。

机制如下：受限解码应用有限状态机屏蔽与当前Schema位置不兼容的词元。如果Schema要求整数类型但模型想输出51.7，则被强制输出51——技术上有效但事实上有偏差。链式思维（CoT）Prompt与受限解码同样不兼容：将推理字段包含在内会迫使模型在JSON字符串中转义换行符、引号和特殊字符——在所有测试模型中可测量地降低推理质量。

对于既需要推理深度又需要格式保证的系统，生产级解决方案是：(1) Stage 1 — 不带约束发送给GPT-4o或Claude Opus 4.7："分析这个，逐步推理，解释你的逻辑。" (2) Stage 2 — 将Stage 1输出送入小型专业模型（Osmosis-Structure-0.6B或带`strict: true`的GPT-4o-mini）："从这份分析中提取关键数据，并以此JSON Schema格式返回。"

此架构保留Stage 1推理质量，并在Stage 2以全尺寸前沿模型受限模式运行成本的一小部分实现100%格式合规。

在PromptQuorum中测试——30个输出控制Prompt分发到三个模型：Claude Opus 4.7使用XML标签格式指令（不启用受限解码）达到93% JSON合规率。GPT-4o使用编号格式规则达到89%合规率。Gemini 3.1 Pro在开头和结尾均说明Schema的情况下达到91%合规率。启用`strict: true`受限解码后，三个模型的推理更短、更不完整——与BFCL基准上观察到的2.26百分点准确率下降一致。

停止序列——在生成时立即终止模型输出的词元——是最确定性的输出控制机制：模型在指定字符串出现的瞬间停止，无论剩余上下文如何。

停止序列作为字符串数组在API调用中传入（OpenAI的`stop`参数，Anthropic的`stop_sequences`）。常见生产用途：

Prompt正文中的负向约束——"不包含解释"、"无Markdown"、"不添加介绍性句子"——能减少不必要的输出模式，但无法像停止序列那样保证合规性。两者结合使用：停止序列用于结构性终止，负向约束用于内容塑造。

JSON是LLM生产流水线的主流输出格式，因为它直接映射到API对象、数组和类型化数据——但通过受限解码强制JSON会牺牲2%至10%的推理质量，使格式选择成为重要的架构决策。

TOON（词元优化输出符号）已作为长结构化Prompt的高效输入格式出现——它使用空白最小化和简写键来减少模型生成输出前的输入词元消耗。对于输出，2026年推荐的生产架构是：TOON用于输入（词元效率）+ 受限解码JSON用于输出（格式保证）——仅在Stage 1自由推理完成后应用。

中国（数据安全法与PIPL）： 依据2021年《数据安全法》和《个人信息保护法》（PIPL），处理中国境内用户数据的LLM流水线必须将数据保留在境内——所有含个人信息的JSON输出均受PIPL第三章约束，不得未经明确同意跨境传输。Qwen 2.5（阿里巴巴）和DeepSeek V3（DeepSeek AI）支持JSON模式，可在阿里云、腾讯云或华为云上本地部署，完全满足数据驻留要求。金融和医疗领域的企业应将受限解码与本地推理结合，确保结构化输出不经过境外API端点。

亚太地区（数据跨境合规）： 在新加坡、日本、韩国运营的企业须遵守各自的数据保护框架——新加坡PDPA、日本《个人信息保护法》（APPI）、韩国PIPA。在这些司法管辖区，通过Ollama在本地基础设施上使用LLaMA 3.1或Qwen 2.5运行JSON受限解码，是满足数据不出境要求的有效技术手段。Outlines和XGrammar可在自托管模型上实现受限解码，无需任何外部API调用。

企业部署（金融、医疗、法律）： 银行和金融机构的LLM输出——如评分决策、风险评级的JSON有效载荷——受《商业银行数据治理指引》和《证券期货业数据分类分级指引》的额外合规要求约束。医疗机构的模型输出须符合《健康医疗数据安全指南》，要求字段级加密和访问日志记录。法律行业的结构化输出则须满足律师事务所数据留存要求。对于这些场景，两阶段架构（自由推理Stage 1 + 受限结构化Stage 2）既满足监管要求，又保持推理质量。