AI出力の制御：JSONスキーマ準拠、制約デコード、フォーマット選択

出力制御はプロンプトベース、スキーマベース、制約デコードの3つの異なるレベルで機能します。各レベルは推論品質とのトレードオフを高めながら、段階的に強固なフォーマット保証を提供します。

プロンプトベースのフォーマットは自然言語でモデルに指示します（"Return JSON with fields: name, email, score"）。これは80〜95%の確率で機能しますが、型保証がなくエッジケースでサイレントに失敗し、不正なレスポンスの5〜20%にエラー処理が必要です。スキーマベースアプローチ（function calling / tool use）は95〜99%のコンプライアンスでフォーマット構造を正式に定義しますが、スキーマは絶対的な制約ではなく強力なヒントにとどまります。ネイティブ制約デコードは有限状態機械を使用して生成時に無効なトークンをマスクし、数学的確実性で100%スキーマ準拠の出力を生成します。

2段階アプローチ — Claude Opus 4.7（Anthropic）またはGPT-4o（OpenAI）をStage 1で自由に推論させた後、出力をStage 2の小型専門構造化モデル（Osmosis-Structure-0.6B、50万件の合成非構造化→構造化変換でトレーニング済み）に渡す — は制約デコードの推論品質ペナルティなしにフォーマット保証を実現します。

一言で言えば：出力制約のレベルをタスクに合わせてください — フォーマット正確性が推論の深さより重要な場合のみ制約デコードを使用してください。

明示的な出力スキーマ指示 — Claude Opus 4.7ではシステムプロンプトの冒頭、GPT-4oではユーザーコンテンツの直前に配置 — を使用すると、ネイティブ制約デコードの推論品質ペナルティなしに85〜95%の構造化出力コンプライアンス率を達成できます。

Claude Opus 4.7（Anthropic）は、XMLスタイルのセクションラベルを使用してシステムプロンプトの冒頭に配置された出力形式指示に最も効果的に応答します。GPT-4o（OpenAI）は、ユーザーコンテンツの直前に番号付きフォーマットルールとしてスキーマを配置すると最良の結果を出します。Gemini 3.1 Pro（Google DeepMind）は、プロンプトの冒頭と末尾の両方にスキーマを明示的に記述すると最も信頼性の高い構造化出力を生成します。

悪いプロンプト — 非構造化、フォーマット指定なし：

良いプロンプト — Claude Opus 4.7

XML構造化プロンプトは出力フォーマット契約を固定しながら、`<task>`ブロック内での自由な推論を保持します。制約デコード不要 — Claude Opus 4.7はこの構造で93%以上の本番呼び出しで準拠します。

良いプロンプト — GPT-4o

主要LLMはそれぞれ、出力フォーマット準拠に固有の構造的優先事項があります：

Temperature (T)、Top-P、Top-K、max_tokens、frequency_penalty、presence_penaltyの6つの独立したパラメータが、出力の長さ、ランダム性、繰り返しを共同で決定します。矛盾なく一貫して設定する必要があります。

Temperature (T) はsoftmax出力分布をスケールします：T = 0.0ではモデルは常に最も確率の高いトークンを選択（決定論的）；T = 2.0では分布がほぼフラットになり出力が不整合になります。Top-P（ニュークリアスサンプリング）は累積確率がPに達する最小のトークンセットから選択します — Top-P = 0.9ではモデルは確率質量の上位90%をカバーするトークンのみを考慮します。Top-Kは各ステップで最も確率の高いKトークンに生成を制限します；Top-K = 1はグリーディデコードと同等です。

Temperature付きsoftmax式：P(トークン) = exp(logit / T) / sum(exp(logits / T))。TがゼロLに近づくほど、最高logitのトークンの確率が1.0に近づきます。Tが無限大に近づくほど、すべてのトークンが等確率に近づきます。

重要ルール： TemperatureとTop-Pを同時に高い値に設定しないでください。Temperatureはまず分布全体をスケールし、次にTop-Pがすでにスケールされた上位確率質量からサンプリングします。T = 1.5とTop-P = 0.95の組み合わせは、どちらかのパラメータ単独よりも不規則な出力を生成します — この2つのパラメータは積み重ねるのではなく、代替として使用するよう設計されています。

`frequency_penalty`はこれまでの出現回数に比例してトークンの確率を減少させます — 正の値は繰り返しの表現を排除；負の値は繰り返しを積極的に促進します。`presence_penalty`は頻度に関係なく、これまでに出現したトークンに一回限りのフラットペナルティを適用します — モデルが既存のものを繰り返すのではなく、新しい語彙とトピックを導入するよう促します。

制約デコードによるJSONの強制は、Function Callingベンチマークでモデルの精度を2.26ポイント低下させます — BAMLのスキーマ整合解析はBFCLで93.63%の精度を達成した一方、OpenAIの厳密な制約デコードは同じベンチマークで91.37%にとどまりました。

メカニズム：制約デコードは現在のスキーマ位置と互換性のないトークンをマスクする有限状態機械を適用します。スキーマがintegerを指定している場合、floatフィールドに`51.7`を出力したいモデルは`51`を出力するよう強制されます — 技術的には有効だが事実的に劣化した結果です。Chain-of-Thought（CoT）プロンプティングも同様に制約デコードと互換性がありません：推論フィールドを含めると、モデルはJSONストリング内の改行、クォート、特殊文字をエスケープするよう強制され、すべてのテストモデルで推論品質が測定可能なほど低下します。

推論の深さとフォーマット保証の両方を必要とするシステムの本番グレードソリューション：(1) Stage 1 — 制約なしでGPT-4oまたはClaude Opus 4.7に送信：「これを分析し、ステップバイステップで推論し、ロジックを説明してください。」(2) Stage 2 — Stage 1の出力を小型専門モデル（Osmosis-Structure-0.6BまたはGPT-4o-mini、`strict: true`）に渡す：「この分析から主要データを抽出し、この正確なJSONスキーマで返してください。」

このアーキテクチャはStage 1の推論品質を保持し、Stage 2で100%フォーマット準拠を達成します。制約モードでフロンティアモデル全体を実行するコストの何分の一かで実現できます。

PromptQuorumでテスト済み — 30件の出力制御プロンプトを3モデルに分散：Claude Opus 4.7は制約デコードなしのXMLタグ付きフォーマット指示で93%のJSON準拠を達成。GPT-4oは番号付きフォーマットルールで89%の準拠を達成。Gemini 3.1 Proはスキーマを冒頭と末尾の両方に指定すると91%の準拠を達成。`strict: true`の制約デコードが有効な場合、3モデルすべてがより短く完全性の低い推論を生成しました — BFCLベンチマークで観察された2.26ポイントの精度低下と一致します。

ストップシーケンス — 生成時にモデル出力を即座に終了させるトークン — は最も決定論的な出力制御メカニズムです：モデルは指定された文字列が出現した瞬間に停止し、残りのコンテキストに関係なく機能します。

ストップシーケンスはAPIコールの文字列配列として渡します（OpenAIでは`stop`パラメータ、Anthropicでは`stop_sequences`）。一般的な本番ユースケース：

プロンプト本文のネガティブ制約 — 「説明を含めないこと」、「Markdownなし」、「導入文を加えないこと」 — は不要な出力パターンを削減しますが、ストップシーケンスのような準拠保証はできません。両方を使用してください：ストップシーケンスは構造的な終了に、ネガティブ制約はコンテンツのスタイル形成に。

JSONはAPIオブジェクト、配列、型付きデータに直接マッピングされるため、LLM本番パイプラインの支配的な出力形式です — しかし制約デコードによるJSONの強制は推論品質の2〜10%を犠牲にするため、フォーマット選択は重要なアーキテクチャ上の決定となります。

TOON（Token-Optimised Output Notation）は長い構造化プロンプトの効率的な入力形式として登場しました — ホワイトスペース最小化と短縮キーを使用して、モデルがJSONで出力を生成する前の入力トークン消費を削減します。2026年の推奨本番アーキテクチャ：入力にTOON（トークン効率）+ 出力に制約デコード付きJSON（フォーマット保証）— Stage 1の自由推論完了後にのみ適用。

日本企業がLLMパイプラインを構築する際、経済産業省（METI）の「AI原則実践のためのガバナンス・ガイドライン（2024年版）」に準拠することが推奨されます。個人情報を処理するLLMパイプラインには、JSONスキーマ設計に個人情報保護法（APPI）のデータ最小化原則を適用する必要があります。on-premise推論とvLLMベースの制約デコード（Mistral Largeなど）は、データがローカルインフラ内に留まるため、APPI準拠に適しています。METIガイドラインは特に、医療・金融・法律分野での高リスクAI出力に対してStep-by-Stepの透明性確保を推奨しています。

アジア太平洋地域では、中国企業がQwen 2.5（アリババ）およびDeepSeek V3（DeepSeek AI）を構造化出力パイプラインに使用しています。両モデルはJSONモードをサポートし、中国の「生成AIサービス暫定弁法（2023年）」に準じたローカルデプロイが可能です。越境データ転送フレームワークへの対応として、OllamaとXGrammarを使った自己ホスト型モデルでの制約デコードが有効な選択肢です — LLaMA 3.1 7Bは8GB RAM、LLaMA 3.1 13Bは16GB RAMで動作します。

グローバルな本番パイプライン全体において、JSONモード + 2段階アプローチ（Stage 1：自由推論、Stage 2：専門構造化モデル）が100%フォーマット準拠と推論品質を両立するベストプラクティスです。ストップシーケンスと制約デコードを組み合わせることで、言語やリージョンに関係なく出力の確実性が最大化されます。