Self-Consistencyプロンプトとは
📍 In One Sentence
Self-Consistencyプロンプトは、同じ質問を0より高い温度で複数回実行し、最も多く出た答えを採用する手法で、独立した試行間の一致を正しさの目安として使います。
💬 In Plain Terms
同じ質問を5回して、何度も返ってくる答えを採用します。モデルは1回なら間違った答えに自分を説得してしまうことがありますが、5回続けて同じ誤りをする可能性ははるかに低くなります。
Self-Consistencyプロンプトとは、同じプロンプトに対して独立した答えを複数サンプリングし、最も一貫した結論を選ぶことです。 1本の思考の連鎖ではなく、異なる可能性のある複数の連鎖を得ます。
考え方は単純です。モデルが何通りもの方法で推論し、ほとんどのパスが同じ答えに行き着くなら、その答えは1回の実行より信頼できます。パスが割れる場合は、問題が曖昧か難しく、より慎重な確認が必要だとわかります。
Self-ConsistencyはWang et al.（ICLR 2023）が提案し、算術および常識推論のベンチマークで精度向上を報告しました。この手法は統計学の基本原理を利用しています。多数の独立した推定の合意は、単一の推定より信頼できます。
Self-Consistencyプロンプトが重要な理由
Self-Consistencyプロンプトが重要なのは、言語モデルが難しい推論タスクで不安定になり得るからです。サンプリングのわずかな違いで答えが変わることがあります。 1回ではなく複数回の試行を見ることで、1つのハルシネーションや間違いの影響を減らせます。
- 数学と論理パズル。
- 多段階の分析的な質問。
- 小さな推論ミスで結果が変わる、微妙なトレードオフを伴う判断。
- 1回の実行の精度が90%を下回る、分野固有の推論（目安）。
🔍 プロのヒント
10個の出力を手作業で比べる必要はありません。最後に集約ステップを追加します。N個の答えを新しいプロンプトに貼り付け、「これらは同じ質問への10個の答えです。最も多く出た答えはどれですか。合意した答えと確信度を示してください」と尋ねます。集計はモデルに任せられますが、重要な質問では結果を確認してください。
論文が報告している内容
Wang et al.（2023）は、Self-Consistency（質問ごとに40の推論パスをサンプリングして多数決）を、算術ベンチマークで貪欲法のChain-of-Thoughtデコードと比較しました。表は論文が報告したPaLM-540Bの結果で、当サイトでは再現していません。
向上幅は、Chain-of-Thought単独で最も弱いところで大きく（GSM8K +17.9、AQuA +12.5ポイント）、すでに強いところでは小さくなります（AddSub +1.8）。論文のアブストラクトは、StrategyQAで+6.4、ARC-challengeで+3.9も報告しています。これらは2022年当時のモデルと設定の結果であり、あなたのタスクや最新モデルでの向上を保証するものではありません。論文は、Self-Consistencyは計算コストが増えると述べ、性能が早く頭打ちになるため5または10パスから始めることを提案しています。
ベンチマーク | CoT（貪欲法） | Self-Consistency | 差 |
|---|---|---|---|
| GSM8K | 56.5% | 74.4% | +17.9 |
| AQuA | 35.8% | 48.3% | +12.5 |
| SVAMP | 79.0% | 86.6% | +7.6 |
| ASDiv | 74.0% | 81.9% | +7.9 |
| MultiArith | 94.7% | 99.3% | +4.6 |
| AddSub | 91.9% | 93.7% | +1.8 |
🔍 ご存じですか
GSM8Kで、論文によればPaLM-540Bは貪欲法のChain-of-Thoughtの56.5%からSelf-Consistencyの74.4%に上がりました。ファインチューニングも追加の学習データも不要で、サンプリングと投票だけです。数値は論文の報告値で、当サイトの測定ではありません。
Self-Consistencyプロンプトの実践での流れ
実践では、Self-Consistencyプロンプトは2段階で進みます。多様な答えを生成し、それを集約します。 タスクのプロンプトは同じまま、ランダム性を許してモデルに異なる推論パスを探索させます。
典型的な流れ：
- 1推論向けのプロンプト（多くはChain-of-Thoughtの指示付き）を使い、温度を0.7～1.0にして、モデルに多様な説明を出させます。温度はランダム性を制御します。0は決定的（毎回同じ答え）、1.0は最大の多様性です。
- 2同じプロンプトを複数回（例：5～20回）実行し、最終的な答えをすべて集めます。各実行は独立させます。温度によるサンプリングであり、キャッシュした結果ではありません。
- 3集約：最も多く出た答えを数えるか、似た答えをクラスタリングします。多数決の答えを最終結果にします。
- 4必要に応じて、モデルに食い違いを整理させます。「これらは同じ質問への10個の答えです。最も多いのはどれですか。食い違う理由はありますか」。これで確信度のメタデータが得られます。
Self-Consistencyとマルチモデル合意の違い
Self-Consistencyは同じモデルを複数回サンプリングします。マルチモデル合意は異なるモデルを1回ずつサンプリングします。どちらも、多様な推論パスに対する多数決という同じ原理を使いますが、検出できる失敗の種類が異なります。
PromptQuorumはマルチモデル合意をネイティブに実現します。1つのプロンプトを複数のモデルに送って比較できます。重要な判断では両方を組み合わせます。主要モデルでSelf-Consistencyを実行し、その合意の答えを2つ目のモデルで確認します。
アプローチ | 仕組み | 検出できるもの | 盲点 |
|---|---|---|---|
| Self-Consistency（単一モデル） | 同じプロンプト、同じモデル、T=0.7以上で5～20回 | サンプリングの不安定さ、ランダムな誤り | モデルの系統的な偏り（全サンプルに同じ偏り） |
| マルチモデル合意 | 同じプロンプト、異なるモデル、各1回 | モデル固有の偏り、アーキテクチャ上の盲点 | 全モデルが同じ学習データの欠落を共有する可能性 |
| 組み合わせ（最も広いカバー） | 複数モデル × 各モデル複数サンプル | ランダムな誤りと系統的な偏りの両方 | コスト：N個のモデル × Mサンプル = N×M回のAPI呼び出し |
Self-Consistencyプロンプトを使うべき場面
間違った答えのコストが高く、タスクに非自明な推論が含まれる場合に、Self-Consistencyプロンプトを使います。 計算量とレイテンシを、堅牢性と引き換えにします。
向いているケース：
- ビジネスや技術上の判断を左右する分析的な質問。
- 論理ミスのコストが大きい複雑なコーディングタスク。
- 途中の手順が重要な、教育・試験形式の推論。
- 1回の実行が不安定だとすでに確認しているワークフロー。
- 数学問題、論理パズル、リサーチの統合、財務分析。
手法 | サンプル数 | コスト | 最適な用途 | 精度向上 |
|---|---|---|---|---|
| 1回の回答（基準） | 1 | 1× | 単純で低リスクなタスク | — |
| Chain-of-Thought | 1 | 1回、出力は長め | 数学、論理、段階的な推論 | 論文での基準 |
| Self-Consistency | 5～20 | 5～20× | 難しい推論、高リスク | GSM8Kで最大+17.9pt（論文） |
| マルチモデル合意 | 3～5モデル | 3～5× | モデル固有の偏りの検出 | タスク次第 |
| 両方の組み合わせ | 5 × 3モデル | 15× | 失敗パターンの最も広いカバー | タスク次第 |
⚠️ 警告
温度0のSelf-Consistencyは無意味です。すべてのサンプルが同一の出力になります。温度は0より大きく設定してください。論文ではT=0.5-0.7でサンプリングしており、0.7は一般的な開始値です。温度0は実装ミスとしてよくあります。
Self-Consistencyプロンプトのよくある間違い
Self-Consistencyを損なう落とし穴と、その回避方法：
- 温度0（決定的モード）を使う。 問題点：すべてのサンプルが同一になり、10個の同じ答えに投票しても何もわかりません。対策：温度を0.7～1.0にして多様な推論パスを生成します。
- 単純な事実の質問にSelf-Consistencyを使う。 問題点：「フランスの首都は？」は毎回「パリ」になります。精度向上なしにトークンを10倍使うことになります。対策：1回の実行の精度が明らかに90%を下回るタスクに限って使います（目安）。
- サンプル数が少なすぎる（2～3）。 問題点：2サンプルが食い違うと決め手がなく、3サンプルで2対1に割れても合意は弱くなります。対策：5サンプル以上にします。論文は、向上の大部分が早い段階で得られるため、5または10パスから始めることを提案しています。
- 最終的な答えではなく応答全文で投票する。 問題点：2つの応答がまったく異なる推論パスで同じ答えに至ることがあります。テキスト比較では違うと判定され、答えの比較では一致します。対策：最終的な答えだけを抽出し（「Answer: X」形式を要求）、それで投票します。
PromptQuorumでのSelf-Consistencyプロンプト
PromptQuorumはマルチモデルAIディスパッチツールで、複数の答えを簡単に生成・比較できるため、Self-Consistencyプロンプトを自然に補完します。 「1つのモデルでの複数回実行」と「1つのプロンプトでの複数モデル」を、2層の一貫性チェックとして扱えます。
PromptQuorumでできること：
- 推論向けのフレームワーク（TRACEやAPEなど）を再利用し、モデルごとに複数回実行して多様な思考の連鎖を集めます。
- 同じ推論プロンプトを複数のモデルで並べて実行し、同じ答えに収束するかを確認します。
- Self-Consistencyのワークフローをテンプレートとして保存し、チームが「複数回サンプリングして集約する」パターンを一から設計せずに繰り返し使えるようにします。
Self-Consistencyプロンプトの使い方
- 1複雑な推論タスクでは、同じプロンプトから5～10個の出力を生成します。 同じ質問を5回します。5つの異なる応答が得られます。
- 2出力を分析して一貫したパターン（「合意」）を見つけます。 5つのうち4つが同じ答えなら、その一致が確信度のシグナルです。5つともバラバラなら、タスクが曖昧か、プロンプトの改善が必要です。
- 3調査や知識タスクで、ハルシネーションの可能性を見つける手がかりとしてSelf-Consistencyを使います。 「フランスの首都は？」に対して3つが「パリ」、2つが「リヨン」なら、多数派（パリ）が有力な答えです。答えが多くの異なる都市にばらける場合、その質問ではモデルを信頼できないと考えてください。一致は警告のシグナルであって証明ではありません。モデルが毎回同じ誤答を返すこともあります。
- 4多様な出力を促すため、温度（T）を高め（0.7～1.0）にします。 低い温度（T=0）では毎回同じ決定的な出力になり、意味がありません。Self-Consistencyは合意を見つけるためにばらつきを必要とします。
- 5コストが許す本番パイプラインでSelf-Consistencyを導入します。 生成を5～10倍実行するのは高コストですが、リサーチの統合のような高リスクの分析では、合意のシグナルがそのコストを正当化することがあります。医療・法律・金融に関する判断は、引き続き資格を持つ専門家のレビューが必要で、多数決はその代わりにはなりません。
関連記事
- Chain-of-Thoughtプロンプト — Self-Consistencyが複数パスへ拡張する、単一パスの推論手法
- Tree-of-ThoughtとReAct — Self-Consistencyに関連する分岐型の推論アプローチ
- プロンプトインジェクションとセキュリティ — 複数サンプルのパイプラインを実装するときのセキュリティ上の考慮点
- TemperatureとTop-P — Self-Consistencyを機能させるサンプリングパラメータ
- プロンプトチェーン — 各ステップでSelf-Consistencyを適用できる多段階ワークフロー
- AIハルシネーション：検出と対策 — ハルシネーション検出手法としてのSelf-Consistency
出典
- Wang et al. (2023). "Self-Consistency Improves Chain of Thought Reasoning in Language Models." ICLR 2023. arXiv:2203.11171 — 推論パスに対する多数決でSelf-Consistencyを導入した基礎論文
- Wei et al. (2022). "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models." NeurIPS 2022. arXiv:2201.11903 — Self-Consistencyの土台となるChain-of-Thought論文
- Brown et al. (2020). "Language Models are Few-Shot Learners." NeurIPS 2020. arXiv:2005.14165 — CoTとSelf-Consistencyの両方を可能にするインコンテキスト学習の基礎研究
よくある質問
Self-Consistencyプロンプトとは何ですか？
Self-Consistencyプロンプトは、同じ質問に対して独立した答えを、それぞれ別の推論パスで複数生成し、最も多く出た答えを採用する手法です。1つのAI応答を信頼する代わりに、多数の応答の合意を信頼します。Wang et al.（2023）が提案し、算術および常識推論のベンチマークで精度向上を報告しました。
Self-Consistencyには何サンプル必要ですか？
ほとんどのタスクでは5～10サンプルから始めてください。原論文は、パスを増やすと性能が早く頭打ちになると述べ、5または10から始めることを提案しています。サンプルを1つ増やすごとに、完全な応答がもう1つ必要になります。まず5で始め、高リスクの判断に限って10～20に増やします。
Self-Consistencyは単純なタスクにも有効ですか？
意味のある効果はありません。事実の検索、単純な分類、短い文章作成では、1回の回答でほぼ十分で、はるかに安く済みます。目安として（当サイトの経験則であり、論文の数値ではありません）、Self-Consistencyが価値を持つのは、モデルの1回あたりの精度が約90%を下回るタスク、つまり数学、論理パズル、多段階の分析、複雑な推論です。
Self-Consistencyではどの温度を使うべきですか？
温度は0.7～1.0に設定します。この手法には多様な推論パスが必要です。温度が0（決定的）だと、すべてのサンプルが同一の出力になり、投票に意味がありません。温度を高くすると、多数決を意味のあるものにするばらつきが生まれます。
Self-Consistencyのコストはどれくらい増えますか？
1つではなく5～20個の完全な応答を生成するため、1タスクあたりのトークンはおよそ5～20倍になります。1回あたり0.01ドルの応答なら、10サンプルのSelf-Consistencyは0.10ドルです。リスクの高い分析では正当化できる場合がありますが、日常的なタスクでは無駄になります。医療・法律・財務に関する判断では、資格を持つ専門家が結果をレビューする必要があります。この記事は一般的な情報であり、専門的な助言ではありません。
Self-Consistencyは「best-of-N」サンプリングと同じですか？
似ていますが同じではありません。Best-of-NはN個の応答を生成し、（多くは品質スコアラーで）最良のものを選びます。Self-Consistencyは、N個の推論パスを生成し、最も多い答えを選びます。投票の対象は品質ではなく結論です。品質スコアラーは不要で、一致をシグナルとして使います。
Self-ConsistencyはChain-of-Thoughtプロンプトと併用できますか？
はい。これが原論文で使われている組み合わせです。N個のサンプルそれぞれがChain-of-Thoughtで推論し、完全な推論過程と最終的な答えを出します。そのN個すべての最終的な答えで投票します。推論パスは異なっていても、大半が同じ結論に達すれば、その結論は正しい可能性が高まりますが、保証されるものではありません。
PromptQuorumはSelf-Consistencyとどう関係しますか？
PromptQuorumは、同じ合意の原理を1つのモデル内ではなく、異なるモデル間に適用します。同じモデルに10回尋ねる代わりに、5つの異なるモデルに1回ずつ尋ねて答えを比較します。一致すれば確信度は高く、食い違えばその主張は検証が必要です。これにより、単一モデルのSelf-Consistencyでは検出できない、モデル固有の偏りを捉えられます。