セルフコンシステンシープロンプティング：複数の答えを生成して正しいものを選ぶ

定義：同じ質問に対してLLMに複数の異なる推論経路を生成させ、最後の答えを投票で決定するプロンプト技法です。

論文：Wang et al.（2023）ICLR。Princeton / DeepMind による研究。arXiv:2211.11559

背景：Chain-of-Thought（線形推論）は推論過程を詳述しますが、1パスのため間違う可能性があります。複数パスを生成して多数決することで、偶発的な推論エラーを回避できます。

簡潔説明：「同じ質問を何度も異なる方法で考えさせて、最多票の答えを選ぶ」

この手法は教育心理学の「学習中の複数戦略活性化」と類似。人間も複雑な問題では複数の解法を試して最良を選びます。

推論パス生成時の多様性：各パスで異なる思考経路が生成されます。これは温度（Temperature）パラメータを高く設定して多様性を確保するため。

投票メカニズム：複数パスの最終答えを集約します。例えば5パスで答えが「4, 4, 4, 5, 4」なら、4が最多票で最終答え。

エラー相殺：1パスで起こる計算ミスや論理飛躍が、複数パス中で相殺される確率が高まる。

ロバスト性：ランダムな推論エラーは複数パスで同じ方向に起こる確率は低い。その結果、投票で正解が選ばれやすくなります。

モデルの不確実性把握：複数パスの答え分布を見ると、モデルの確信度が視覚化される。全パスが同じ答えなら高確信。分散していれば低確信。

ベンチマーク：GSM8K（小学レベル算数8,500問）

結果：

• CoT（単一パス）：56%

• セルフコンシステンシー（8パス投票）：74%

• 改善：+18ポイント

他のベンチマーク：

• SVAMP（数学単語問題）：83%→90%

• AQuA（複合推論）：35%→55%

パス数による精度変化（GSM8K）：

• 1パス（CoT）：56%

• 3パス：70%

• 5パス：72%

• 8パス：74%

• 16パス：75%（伸び減少）

パス数が増えるほど精度は向上しますが、8～10パスで収益逓減傾向になります。

ステップ1：基本プロンプトを構成

「以下の問題を段階的に解いてください」

問題文

ステップ2：複数パス生成

• Temperature を 0.7～1.0に設定（多様性確保）

• 同じプロンプトで5～10回別々に実行

• 各実行で異なる推論経路が生成される

ステップ3：答えを抽出

• 各パスの最終答え（結論）を記録

• 例：5回実行で「42, 42, 43, 42, 42」

ステップ4：投票で決定

• 最多票の答えが最終結果

• 上記例では「42」が4票で勝利

ステップ5：確信度を表示（オプション）

• 最多票数 / 総パス数 = 確信度

• 4/5 = 80%確信度

この表は3つの推論精度向上手法を比較します：

✅ セルフコンシステンシーが有効な場合：

• 数学問題（計算、方程式、確率）

• 論理パズル（クイズ、推論問題）

• 医学診断（複数症状から病名特定）

• 法的分析（契約条項の合意性判定）

• コード検証（正しく動くか判定）

❌ セルフコンシステンシーが不向きな場合：

• 創作・物語生成（「正解」がない）

• テキスト分類（感情判定など確率的な判定）

• 機械翻訳（複数の「正解」が存在するが投票は無意味）

• 開放的質問（複数視点が正当、統合が難しい）

選択フロー：

1. 問題に確定的な答えがあるか？

• YES → セルフコンシステンシー検討

• NO → 不向き

2. 現在の精度で不足しているか？

• YES → コスト許容なら実装

• NO → CoT単独で十分

3. レイテンシが許容か？

• YES → セルフコンシステンシー実装

• NO → マルチモデル投票検討

ミス1：Temperature = 0で複数パス実行

問題：Temperature 0は決定的（毎回同じ答え）。複数パスの意味がない

修正：Temperature 0.7～1.0で実行

ミス2：パス数を多すぎるに設定

問題：20～50パスは大幅なコスト増だが、精度向上は頭打ち

修正：5～10パスで開始。10を超えるのは検証後のみ

ミス3：結果の型チェック忘れ

問題：「答え：42」と「42」と「42.0」が混在し、投票が機能しない

修正：答えを正規化（数値なら整数に統一、テキストなら小文字に）

ミス4：不透明な投票方式

問題：複数答えが同票の場合の処理を決めていない

修正：事前に「最初の答えを選ぶ」「全パスを返す」など方針を決定

ミス5：確信度の無視

問題：5パス中3パスと2パスで分かれても「最終答え：X」だけ報告

修正：「確信度60%」など添える。低い確信度は注記

PromptQuorum では、セルフコンシステンシープロンプティングを複数モデルで並行テストできます：

1. モデルを選択：Claude Opus 4.7、GPT-4o、Gemini 3.1 Pro など

2. パス数を設定：5、8、10 を比較実験

3. Temperature を調整：0.7～1.0 で多様性確保

4. 同じプロンプトで複数実行してパス多様性を検証

5. 投票メカニズムで最終答えを決定

メリット：

• 複数パス自動生成・投票（手作業不要）

• モデル間比較（同じセットで全モデルテスト可）

• 設定変更で即座に再テスト

使用例：数学ベンチマーク自動評価

• GSM8K 10問セット

• 各問3モデル × 8パスで投票

• 結果：モデル別・パス数別の精度グラフ

1. 現在の精度を測定

• CoT単一パスで実行

• 正答率を記録

2. セルフコンシステンシー設定

• Temperature: 0.7～0.9

• パス数: 5

3. テスト実行

• 同じプロンプトで5回実行

• 最終答え5つを記録

4. 投票で決定

• 最多票の答えが最終結果

• 確信度を計算

5. 精度比較

• セルフコンシステンシー vs CoT

• コスト増とのバランス判定

6. 最適化（必要に応じて）

• パス数を8、10に増やし再テスト

• 温度調整で多様性確認

推奨開始モデル：Claude Opus 4.7 または GPT-4o

Chain-of-Thoughtプロンプティング — セルフコンシステンシーの基盤となる線形推論手法

プロンプトエンジニアリングとは — 基礎知識

マルチステップ推論と分解 — 大型問題を分割する手法

Few-Shotプロンプティング — 例示による精度向上

モデル選択ガイド — Claude Opus 4.7、GPT-4o、Gemini 3.1 Pro 比較

プロンプト検証戦略 — 精度測定とA/Bテスト

Wang et al. (2023). "Self-Consistency Improves Chain of Thought Reasoning in Language Models." ICLR 2023. arXiv:2211.11559

Wei et al. (2022). "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models." NeurIPS 2022. arXiv:2201.11903

Cobbe et al. (2021). "Training Verifiers to Solve Math Word Problems." OpenAI. arXiv:2110.14168

Uesato et al. (2022). "Solving Mixed-Modal Jailbreak Prompts by Decomposition." DeepMind.

Anthropic (2026). "Extended Thinking in Claude — Making Longer Chains of Thought." Claude API Documentation.

OpenAI (2026). "Reasoning in o3 and GPT-4o — Model Behavior and Prompting Guidance." OpenAI API Docs.