AIハルシネーションとは何ですか？
📍 In One Sentence
ハルシネーションとは、言語モデルが信頼できる情報源から事実を取得するのではなく、テキストのパターンを予測することによって生成する、流暢な虚偽の記述です。
💬 In Plain Terms
モデルは嘘をついているのではなく、自分が間違っていることに気づいていません。学習データが示すとおりに文を続けているだけで、自信ありげな誤答も正答と同じように高く評価されます。だからこそ、捏造された出典が本物とまったく同じように読めるのです。
AIハルシネーションは、見かけの確信を持ってLLMによって生成された事実上の偽りまたは捏造されたステートメントです。モデルは、不正な名前、架空の出典、不可能な日付、架空のURL—正確な情報と同じ流暢な言語を使用して、現実に違反するテキストを生成します。
これは、モデルが不確実性を表現することとは根本的に異なります。ハルシネーションは、存在しないこと、または決して起こらなかったイベントについての自信を持った詳細な主張が特徴です。モデルは、存在しないジャーナルに掲載されたペーパーを引用したり、伝記の詳細を捏造したり、歴史的な日付を数世紀ずれて述べたり、構築されたことのない製品機能を説明したりする可能性があります。ユーザーはそれを読んで、明確な言語が正確性を示していると仮定し、それに基づいて作用します—その情報が製造されていることを発見するためだけです。
言語モデルがハルシネーションを起こす理由
LLMは、シーケンス内の次の単語を予測することで機能します。データベースを参照したり、事実を根拠となる真実に対して検証したりしません。トレーニングデータのパターンに基づいて確率を計算します。この基本的な設計—言語タスクに非常に効果的—は本質的にハルシネーションへの圧力を生み出します。
コアメカニズム
- トークン予測、事実検索ではない。 モデルのアーキテクチャは言語生成用に最適化され、事実検証用には最適化されていません。プロンプトが質問をすると、モデルの目標は、テキストの首尾一貫した、もっともらしい継続を生成することです。一貫性と真実は同じではありません。虚偽のステートメントは、不確実性の承認よりも首尾一貫している可能性があります。
- 学習と評価が「当て推量」を後押しします。 2025年の研究論文は、学習やモデルの順位付けに使うベンチマークが、正直な「わかりません」よりもそれらしい推測を高く評価するため、幻覚がなくならないと論じています（Kalai et al., 2025）。
- トレーニングデータの隙間と有効期限。 モデルは、特定の終了日付を持つデータでトレーニングされています。情報ギャップ—トレーニング中にモデルが遭遇したことのないトピック、トレーニングカットオフ後の最近のイベント、狭い領域の専門知識—は空白を生み出します。これらのギャップについて聞かれた場合、モデルは予測する真実のパターンがありません。「この情報を持っていない」と言う代わりに、もっともらしく聞こえる詳細を発明します。
- 明示的な信頼メカニズムがない。 モデルは各出力の横に信頼スコアを生成しません。彼らは、「この主張について30%確実です」と言う内部信号なしでテキストを生成します。出力でページを埋める圧力は、疑いを通知するか、リクエストを拒否するオプションを上回ります。
- 回答を要求するプロンプトからの圧力。 「トピックについて説明する」や「理由ステートメントのすべての理由をリストする」のようなプロンプトは、暗黙的に伝えます：*あなたが不確かであっても、あなたは答える必要があります*。モデルはリクエストを満たすために詳細を発明することによって応答します。有用であることへの圧力を、不正確である危険よりも重要として扱います。
- コンテキストウィンドウの制限と情報喪失。 LLMは、メモリ内に有限の量のコンテキストのみを保持できます。長いドキュメントまたは会話により、以前の詳細がフェードします。モデルは、前のセクションで何が言われたかを忘れたり、それを発明したり、誤ったり、以前のコンテキストと一貫しているかのように自信を持ってそのでっち上げを主張したりする可能性があります。コンテキストウィンドウに関するガイドを参照して、これが発生する理由と、トークン制限が出力信頼性に影響を与える方法を確認してください。
- 多段階の推論での混乱。 複数の推論ステップを必要とする問題の場合、モデルは中間結果を失う可能性があります。結論を正当化するためにサポートステップを発明したり、ステップをスキップして虚偽の結論にジャンプしたり、論理的に正しく聞こえるテキストを生成したりする可能性があります。長い推論チェーンでトークンとコストがどのようにスケーリングするかを理解すると、精度と効率のバランスを取るのに役立ちます。
ハルシネーションの一般的なタイプ
ハルシネーションは認識可能なパターンで来ます。タイプを識別することは、緩和戦略をターゲットするのに役立ちます。
Type | Example | Why It Happens | Severity |
|---|---|---|---|
| 架空の出典 | ピアレビュー済みのペーパーへの引用が存在しない；偽の著者名と公開年 | モデルは数百万の引用でトレーニングされ、引用のようなパターンを学習した可能性が高く、新しい引用を発明 | 非常に高い |
| 誤った事実（日付、数字、名前） | 歴史的なイベントを誤った年に述べ；不正確な伝記の詳細 | トレーニングデータは不完全または矛盾している；モデルはもっともらしく聞こえる数字を選択 | 非常に高い |
| 偽造URL および電子メール | リンクまたはメールアドレスを提供し、解決しないか、名乗っている組織に属していない | モデルはURLとメールのパターンを学習し、現実的だが架空の新しいパターンを生成 | 高い |
| コンテキスト損失 | モデルが以前のコンテキストを理解しているかのように質問に答え、実際には失われた | コンテキストウィンドウは有限です；長いドキュメントは以前の詳細をモデルの注意から減退させます | 高い |
| 役割ドリフト | 1つの役割（アナリスト）で始まり、徐々に別の（ストーリーテラー）に移行し、ギャップを埋めるために詳細を発明 | モデルは最初の指示の追跡を失い、テキストのみにパターンマッチングに戻る | 中程度 |
| 過信の一般化 | 特定のトレーニング例のみが示す場合、「すべてのXがYを行う」と述べる | モデルは限られたトレーニングデータから広すぎて一般化し、信頼チェックなし | 中程度 |
| 内部矛盾 | 同じ応答内で対立する事実を述べる | モデルは複数の文を超えて一貫性を追跡するメカニズムがない | 中程度 |
幻覚の7タイプ： 架空の出典、誤った事実、捏造されたURLとメールアドレス、文脈の喪失、役割のずれ、過度に自信のある一般化、内部矛盾。
研究では、内在的幻覚（出力が、モデルに与えた元の文章やプロンプトと矛盾する）と外在的幻覚（出力が、元の文章では裏付けられない主張を付け加える）も区別されます（Maynez et al., 2020）。NIST の Generative AI Profile（NIST AI 600-1）は、同じ挙動を「confabulation（作話）」というリスクとして挙げています。
プロンプト設計がハルシネーションリスクに影響を与える方法
あなたのプロンプトはハルシネーションを奨励または落胆させます。プロンプトの書き方によって、モデルが推測する頻度は変わります。ご自身のタスクで試してください。
ハルシネーションリスクを増加させるプロンプト：
- 「トピックについてすべてを教えてください」—制限なし、「わかりません」と言う許可なし
- 「多くの詳細を含めることを確認してください」—発明された情報でスペースを埋めるための明示的な圧力
- 「あたかも一流の専門家であるかのように書く」—不確かな主張でさえ、自信を持った主張を促す
- 「確実でなくても答えてください」—ハルシネーションのブレーキを削除
ハルシネーションリスクを減らすプロンプト：
- 「確実でない場合は、「わかりません」と言うことができます」—知識ギャップを認める明示的な許可
- 「以下のコンテキストからの情報のみを使用してください」—応答を提供されたデータに制限し、発明された知識ではない
- 「事実を意見から分離してください。不確かな主張に不確かなマークを付けてください」—モデルを区別するように強制
- 「任意の事実上の主張について、あなたのソースを引用してください」—発明されたサイテーションを明らかに見える
- 「この主張を確認できない場合は、それを含めないでください」—未検証のステートメントに明示的な制約
プロンプトの良い構造
優れたプロンプトは、4つの要素を組み合わせます：a 明確な役割またはコンテキスト（モデルはどのフレームを採用すべきですか？）、a 特定のタスク（どの出力が必要ですか？）、実際の入力データ（どの情報が提供されますか？）、および明示的な制約（モデルがしてはいけないことは何ですか？）。この構造は、モデルが何をすべきかについての曖昧さを除去することにより、ハルシネーションへの圧力を軽減します。すべてのプロンプトが必要とする5つの構成要素に関するガイドは、例を使用してそれぞれの要素をカバーします。
プロンプトエンジニアリングの基礎の完全な定義を参照して、構造が出力信頼性に影響を与える方法についてさらに詳しく説明してください。
ハルシネーションを減らすためのテクニック
3つの相補的なアプローチはハルシネーションを減らします： - プロンプトレベル：プロンプトの不確実性を認める制約と許可を追加 - システムレベル： RAG、関数の呼び出し、または検索を使用して、実際のデータの回答を接地 - モデルレベル：複数の独立したモデルで同じプロンプトを実行して、コンセンサスによるハルシネーションを検出
1. 「わかりません」と言う明示的な許可
モデルに伝えます：「確実でない場合、または情報を持っていない場合は、そう言ってください。推測しないでください。」
これは、回答を発明する圧力を取り除きます。多くのモデルは役立つようにトレーニングされており、完全に不確実であっても回答しようとします。彼らにその期待から明示的に解放されることを与えることは、彼らに拒否する許可を与えます。
2. ソースまたは証拠を求める
リクエスト：「事実上の主張について出典を引用するか、各参照のURLと発表日を提供します。」
これは発明されたサイテーションを明らかに（それらは解決されたり、存在しないソースを指します）、モデルをファクトアサーションに関する慎重さを強制します。また、出力を検証する方法を提供します：各リンクをクリックし、各ソースを確認します。
3. 自己批判と矛盾チェック
モデルに独自の出力を確認するように求めます：
> 「回答を終了した後、矛盾または以前に言ったことと矛盾する主張について確認してください。見つけた矛盾を指摘してください。」
自己チェックで一部の矛盾は見つかりますが、モデルが自分の誤りを繰り返すこともあります。結果は必ず出典で確認してください。
4. 否定的な指示を使用する
モデルがしてはいけないことを明示的に述べます：
- 「いかなる状況下でも、ソース、URL、または著者名を発明しないでください」
- 「確実でない場合は日付を推測しないでください—推測する代わりに日付を空白にしてください」
- 「提供されたコンテキストに含まれていない情報を追加しないでください」
否定的なフレーミングは、特定のエラーを防ぐために肯定的なフレーミングよりも優れた場合があります。
5. 検証による段階的な推論
複雑なタスクの場合、質問：
> 「これをステップバイステップで作成します。各ステップの後、前のステップが正しいことを確認してから、次のステップに進みます。」
タスクをより小さなチャンクに分割し、検証ステップを使用すると、矛盾が化合する前にモデルをキャッチするチャンスをキャッチします。
6. 証拠セクションを備えた構造化出力形式
モデルに、応答、推論、証拠を異なるセクションに分離するよう依頼します：
``` 応答：直接応答
推論：この回答に到達した方法
証拠：これをサポートするソース、事実、または引用
信頼：あなたはどの程度確実で、なぜか？ ```
この構造により、ハルシネーションは簡単に見えます：裏付けのない主張は、空のまたは曖昧な証拠セクションと低い信頼値があります。
プロンプト設計以外のシステムレベル戦略
プロンプトだけは高リスク作業には不十分です。これらのツールとワークフローを追加します。
- 検索拡張生成（RAG）。 特定の文書、ナレッジベース、データセットをモデルに渡し、その内容だけで答えるよう指示します。回答が学習データではなく実データに基づくため、モデルが推測せざるを得ない情報についての幻覚は減りますが、なくなるわけではありません。取得したテキストを読み違えたり誤って引用したりする可能性が残るためです。LangChainやベクトルデータベースなどのツールがこのパターンを実装しています。詳しくは RAG：AIの回答を実データに根拠づける方法 をご覧ください。
- ツール呼び出しと関数の使用。 モデルが計算、データベースルックアップ、または事実確認のための外部関数を呼び出すことを許可します。統計を発明する代わりに、モデルはそれを取得するために関数を呼び出します。関数が返す事実を推測する必要がなくなりますが、モデルが結果を読み違えたり誤用したりする可能性は残ります。
- 人間のレビューと専門家検証。 重大な決定—医療、法律、財務、安全クリティカル—については、常に人間（理想的には専門家）がAIで生成された回答を確認させてください。プロンプト技術は専門家の判断の代わりになりません。
- 自動ファクトチェックワークフロー。 自動システム（ファクトチェックAPI、URL検証、引用検証）を通じてモデル出力を実行してから、ユーザーに表示します。これは、すべての出力の手動レビューなしにハルシネーションを大規模に検出します。
AIの幻覚を見抜く方法
1つの確認だけですべての幻覚を見つけることはできないため、複数を組み合わせます。警告サインは、出典のない非常に具体的な詳細、正しそうに見えるのに開けない引用、質問を言い換えると変わる回答です。
手軽なものから徹底的なものへ、次の方法を使います。
- 確認できる詳細を検証する。 引用されたURLや論文をすべて開き、名前・日付・数値を一次情報と照合します。見つからない出典は、捏造の強い兆候です。
- 聞き直して比較する。 同じ質問を複数回、または別のモデルにも尋ねます。モデルが知っている事実は繰り返し現れやすく、捏造された詳細はぶれやすい傾向があります。SelfCheckGPT という手法は、この一貫性を自動で採点します（Manakul et al., EMNLP 2023）。
- モデルに下書きを検証させる。 Chain-of-Verification では、モデルが下書きを作り、確認用の質問を立て、それぞれ別々に答えてから下書きを修正します。著者らは、検証したタスクで幻覚が減ったと報告しています（Dhuliawala et al., 2023）。プロンプト例：「下書きの誤りを見つけられる質問を3つ作り、それぞれ別々に答えてから下書きを修正してください。」
- 引用を出典と照合する。 モデルが提供した文書をもとに答える場合は、原文の引用を求め、各引用が文書内にあるかをテキスト検索で確認します。
- 本番運用でテストする。 URLやパッケージ名を自動で検証し、過去に失敗したプロンプトを回帰テストとして残し、リスクの高い回答は人が確認する流れにします。
複数のモデルとコンセンサス検出
単一のモデルは自信満々に幻覚を起こすことがあります。しかし、独立した複数のモデルに同じ質問をすると、幻覚を含む主張では答えが食い違うことがよくあります。
複数のモデルが別々に同じ答えを出した場合、1つのモデルだけが答えた場合よりも正しい可能性が高くなります。1つのモデルだけが主張し、他のモデルが触れない内容は疑わしいものとして扱い、確認してください。
これがコンセンサススコアリングの原理です。異なる提供元のモデルに同じプロンプトを送り、どこで一致しどこで食い違うかを分析します。
複数モデルによるコンセンサス確認
複数モデルによるコンセンサス確認は、「聞き直して比較する」考え方を異なるモデルに広げたものです。同じプロンプトを独立した複数のモデルに送り、回答を比べます。すべてのモデルが繰り返す主張は正しい可能性が高く、1つのモデルだけが述べる主張は確認が必要です。
一致は目安であり、証明ではありません。似た学習データで訓練されたモデルは、同じ誤りを共有することがあります。リスクの高い内容は必ず一次情報で確認してください。
PromptQuorumは送信と比較を自動化します。1つのプロンプトを複数のAIモデルに同時に送り、どの主張が一致し、どれが食い違うかを確認できます。
幻覚と規制
規制当局は、組織が不正確なAI出力を管理することをますます求めています。EUでは、AI規則の第15条が、高リスクAIシステムにライフサイクル全体を通じて適切なレベルの正確性、堅牢性、サイバーセキュリティを求めています。米国では、NIST の Generative AI Profile（NIST AI 600-1）が、組織が管理すべきリスクの1つとしてconfabulation（作話）を挙げています。
適用される規則はシステムと用途によって異なります。これは一般的な情報であり、法的助言ではありません。地域に関わらず、基本的な手法（根拠づけ、コンセンサス確認、人による確認）は有効です。
実際のAI幻覚の事例
幻覚はすでに法的・セキュリティ上の影響を生んでいます。記録されている3つの例です。
- 架空の判例（2023年）。 Mata v. Avianca の事件で、弁護士がChatGPTの作り出した判例を引用した準備書面を提出しました。2023年6月22日、ニューヨークの連邦判事は2人の弁護士と所属事務所に5,000ドルの制裁金を科しました（LawNextの報道）。
- 返金ルールに関するチャットボットの誤回答（2024年）。 エア・カナダのサイト上のチャットボットは、忌引き運賃を後から申請できると顧客に案内しましたが、同社の規定では認められていませんでした。ブリティッシュコロンビア州の審判所は、Moffatt v. Air Canada でチャットボットの回答について同社に責任があると判断しました（決定 2024 BCCRT 149）。
- 存在しないソフトウェアパッケージ。 16のモデルによる576,000件のコードサンプルを調べた研究では、商用モデルが提案したパッケージの平均5.2%以上、オープンソースモデルが提案したパッケージの平均21.7%以上が実在しませんでした。攻撃者がその名前を登録して悪意あるコードを配布する恐れがあります（Spracklen et al., 2024）。
- SQLやAPIの架空の詳細。 SQLやAPIのコードでも同様に、もっともらしいが実際のスキーマにないテーブル、列、関数が出ることがあります。実際のスキーマやAPIリファレンスをプロンプトに貼り付け、生成コードはまずテスト用データベースで実行してください。
ハルシネーションが最も危険な場合
ハルシネーションは特定の分野で重大な害を及ぼすおそれがあります。この記事は一般的な情報であり、医療・法律・金融の助言ではありません。これらの分野でAIの出力に基づいて行動する前に、資格のある専門家に相談してください。特に次の点に注意してください：
- 医療および健康決定 —誤った薬物名、用量、または症状の解釈は患者に害を及ぼす可能性があります
- 法律およびコンプライアンス —作成された判例法、規制要件、または前例は、高額なエラーまたは違反につながる可能性があります
- 財務アドバイス —誤った市場データ、不正確な税情報、でっち上げられた業績指標は、重大な判断を誤らせます
- 安全クリティカルシステム —コードレビュー、建築決定、またはセキュリティ分析のハルシネーションは、脆弱性またはバグを導入できます
- 公開時の責任 —あなたの名前やブランドで公開するものは、必ず事実確認を行ってください。ハルシネーションは信頼性を損ないます。
重要な原則：完全なプロンプトとコンセンサスチェックであっても、人的検証は高リスク決定に不可欠です。AIは時間を節約する一次チェックのツールとして使い、専門家の判断や一次情報による検証の代わりにはしないでください。
自己批評技術が複雑な推論タスクでエラーをさらに削減する方法を学びます。
実践的なチェックリスト：重大なプロンプトを送信する前に
重大なプロンプトに依存する決定または公開出力を送信する前に、このチェックリストを使用します：
- プロンプトは明示的に「わかりません」を許可しますか？追加：「確実でない場合は「わかりません」と言えます」
- プロンプトに実際のコンテキストまたはデータはありますか？曖昧なプロンプトは発明を招待します。具体的なドキュメント、例、または入力データを提供します。
- 制約は明示的ですか？モデルがしてはいけないことを述べ、特に：「出典、URL、または引用を発明しないでください。」
- 出力形式は構造化されていますか？応答/推論/証拠/信頼を分離します。これにより、裏付けのない主張が明らかになります。
- ソースを要求していますか？ 事実に関する主張については、次を要求します：「この事実について出典を引用してください。」
- タスクは具体的で、未ではありませんか？ 「*金融の専門家をターゲットにするB2Bスタートアップ用に5つのマーケティング戦略をリストしてください*」は「マーケティングについて教えてください。」より優れています
- モデルに自己確認を求めましたか？追加：「提出する前に矛盾について回答を確認します。」
- 高リスク決定の場合は、交差チェックしていますか？ 複数のモデルに同じプロンプトを送信し、回答を比較してください。
プロンプトの例の前/後
悪いプロンプト
これが失敗する理由：オープンエンド、制約なし、不確実性を認める許可なし。モデルは日付を発明し、進歩を誤信し、時代遅れの情報を自信を持って述べ、おそらく存在しないペーパーを引用します。
人工知能の歴史について教えてください。大きな進歩と重要な研究者を含めてください。
良いプロンプト
以下の時間線のみを使用して、1950年から1990年のAIの大きな進歩を要約します： {TIMELINE DATA INSERTED} あなたの答えを次のようにフォーマット： 進歩： {名前} 年： {年—時間線に記載されている場合のみ} 重要性： {何を有効にしたか} ソース： {時間線のどのドキュメントがこれを言及していますか？} 時間線にない情報を追加しないでください。何かが時間線にあるかどうか確実でない場合は、推測するのではなくスキップしてください。
これが機能する理由：
- 発明ではなく実データ：モデルは提供されたコンテキストから動作し、トレーニングデータギャップからではない
- 構造化出力：形式により、欠落しているソースが即座に明らかになります
- 否定的指示： "時間線にない情報を追加しないでください"は明示的です
- 省略する許可： "確実でない場合はスキップしてください"は詳細を発明する圧力を削除
- ソース責任： すべての主張は、どのドキュメントがそれから来たかを引用することが必要です
AIの幻覚を減らす方法：6つのプロンプト技術
- 1「わかりません」と言う明示的な許可を与える： すべての事実に関するプロンプトに追加：「確信が持てない場合は、推測するのではなく『わかりません』と言ってください。」これで自信満々な捏造の一部は減りますが、なくなるわけではありません。
- 2出典や根拠を求める： モデルに各主張の出典を引用させるか、検証できない主張にフラグを立てさせます。例：「各事実の後に、出典名または『未確認』のいずれかを記載してください。」
- 3自己批評のステップを追加する： 最終決定の前に、モデル自身の出力を見直すよう求めます。例：「回答する前に、90%未満の確信度である主張を挙げてください。」
- 4否定的な指示を使う： 幻覚を起こしやすい挙動を明示的に禁止します。例：「名前、肩書き、統計を捏造しないでください。提供されたコンテキストを超えて推測しないでください。」
- 5段階的な推論を要求する： Chain-of-Thoughtプロンプティングは、モデルに思考過程を示すことを強制し、最終回答に到達する前にエラーを検出可能にします。
- 6PromptQuorumで複数モデルに送信する： 同じプロンプトをGPT-5.6、Claude、Geminiに同時に送信します。3つすべてで確認された事実は正しい可能性が高くなります（一致は目安であり証明ではありません）。異なる回答は検証が必要な主張を示します。
よくある質問
ハルシネーションは完全に排除できますか？
いいえ。ハルシネーションは言語モデルの仕組みに固有のものです。モデルは検証済みのデータストアから事実を取り出すのではなく、テキストのパターンを予測します。優れたプロンプト設計、RAGなどのツール、マルチモデルコンセンサスによって大幅に減らせますが、現在のLLMのアーキテクチャでは完全になくすことはできません。高リスクの判断では、人による検証が引き続き必要です。
モデルが間違っている場合、なぜそんなに自信を持っているようですか？
言語モデルは流暢で一貫したテキストを生成するようにトレーニングされています。自信は言語的一貫性の副作用です。虚偽のステートメントは、不確実性の正直な認識よりもはるかに一貫していて、よくまとまっている可能性があります。モデルは疑いを表現する組み込みメカニズムを持っていません—正確性に関係なく、同じ流暢な自信でテキストを生成します。
より新しく、より大きなモデルはハルシネーションが少ないですか？
いいえ、一概には言えません。幻覚の発生率はモデル、タスク、測定方法によって変わり、公表されている比較も一致していません。新しい、あるいは大きいモデルのほうが安全だと決めつけず、自分の用途で試してください。新しいモデルは「不確かなら分からないと答えて」といった指示をよく守る傾向がありますが、問題をなくせるモデルはありません。
モデルをインターネットに接続すると、ハルシネーションが削除されますか？
一部は減らせます。リアルタイムのWebアクセスは最新の出来事や最近の事実に役立ちますが、根本的な問題は解決しません。モデルは依然として詳細を作り出したり、検索結果を誤って解釈したり、実際には取得していない内容についてハルシネーションを起こしたりします。インターネットアクセスはハルシネーションの一種類を減らすための手段であり、万能の解決策ではありません。
回答がハルシネーションであるかどうかを素早く確認するにはどうすればよいですか？
ソースを確認する：URLを開くか、引用された論文を検索してください。存在しない場合は、回答を信頼できないものとして扱い、検証してください。事実を確認する：日付、名前、数字を信頼できる情報源と照合してください。複数のモデルを比較する：異なるモデルに同じ質問をしてください。意見が大きく食い違う場合は、少なくとも1つがハルシネーションを起こしている可能性があります。専門知識を活かす：その分野に詳しい場合は、細かな不自然さに注意して批判的に読んでください。ハルシネーションには、専門家が見ればわかる兆候がしばしばあります。
ハルシネーションする場合、AIの使用を停止する必要があります？
いいえ。検証でAIを戦略的に使用してください。ブレーンストーミング、ドラフト作成、探索的な作業については、ハルシネーションは軽微な不便です。事実クリティカルな作業（研究、コンプライアンス、医療決定、財務アドバイス）については、AIを開始点として使用し、その後、信頼できるソースまたは専門家のレビューですべてを確認します。
ハルシネーション真の誤りの違いは何ですか？
ハルシネーションは自信を持ち、間違いです。モデルが"確実ではありませんが、それはXかもしれません"と言う場合、それは正直な不確実性であり、ハルシネーションではなく。 "フランスの首都はベルリンです"と完全な自信を言う場合、それはハルシネーション—モデルが事実であるかのように何か偽りを述べました。ハルマークは何かが真実ではない自信を持った主張です。
根拠を示さずに自信満々で答えるAIには、どう対応すればよいですか？
誤りの可能性があるものとして扱い、使用や公開の前に信頼できる根拠で確認してください。自信のある口調は正確さの証拠になりません。出典を求めて1つずつ開き、一次情報または別のモデルと照らし合わせます。
「confabulation（作話）」は幻覚と同じ意味ですか？
実際にはほぼ同じです。どちらも、モデルが流暢だが誤っている、または裏付けのない内容を生成することを指します。一般的な用語は「幻覚（ハルシネーション）」で、NIST の Generative AI Profile（NIST AI 600-1）は同じリスクに「confabulation」を使っています。
AIがコードやパッケージ名、SQLを作り出すのはなぜですか？
モデルは見てきたコードに似たコードを予測するため、パターンには合っていても存在しない関数呼び出し、パッケージ、テーブル名を出すことがあります。2024年の16モデルを対象とした研究では、商用モデルが提案したパッケージの平均5.2%以上、オープンソースモデルが提案したパッケージの平均21.7%以上が実在しませんでした。実際のスキーマやAPIリファレンスをモデルに渡し、確認済みのパッケージだけをインストールし、生成コードは使う前にテストしてください。
関連読書
- プロンプトエンジニアリングとは？ — プロンプトを構造化するための基本概念
- Chain-of-Thoughtプロンプティング — 誤りを見えるようにする段階的な推論
- マルチモデル・プロンプトテストのワークフロー — 同じプロンプトで複数のモデルを比べ、食い違いを見つける
- RAGの解説 — 自分の文書に回答を根拠づける
- AIの限界：LLMにできないこと — すべてのLLMに共通する8つの構造的制約と、それぞれの技術的な対処法
- AIの知識カットオフ、ライブ検索、GEO：完全ガイド — 古い学習知識は誤答の原因になり得ます。RAGとGEOによる対処法
ソース
- Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). 「Why Language Models Hallucinate.」 arXiv — 学習と評価が、不確かさを認めることよりも当て推量を報いると論じています。
- Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). 「On Faithfulness and Factuality in Abstractive Summarization.」 ACL Anthology — ニューラル要約における幻覚の実証研究。内在的・外在的幻覚の区別の出典です。
- Manakul, P., Liusie, A., & Gales, M. J. F. (2023). 「SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models.」 arXiv — 複数の生成回答の一貫性を調べて幻覚を検出します。
- Dhuliawala, S., Komeili, M., Xu, J., et al. (2023). 「Chain-of-Verification Reduces Hallucination in Large Language Models.」 arXiv — 下書き、検証、修正の手法で、著者らの試験では幻覚が減りました。
- Spracklen, J., Wijewickrama, R., Sakib, A. H. M. N., et al. (2024). 「We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs.」 arXiv — コード生成モデルが存在しないパッケージを提案する頻度を測定しています。
- Wei, J., Wang, X., Schuurmans, D., et al. (2022). 「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.」 arXiv — 段階的な推論を促すプロンプトが、複数ステップの推論性能を高めることを示しています。
- National Institute of Standards and Technology (2024). 「Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1).」 DOI — 生成AIのリスクの1つとしてconfabulationを挙げています。
- European Union (2024). 「Artificial Intelligence Act, Article 15: Accuracy, robustness and cybersecurity.」 AI Act Service Desk — 高リスクAIシステムに対する正確性、堅牢性、サイバーセキュリティの要件です。
- LawNext (2023). 「Court imposes sanctions on lawyers who filed bogus cases after relying on ChatGPT for legal research.」 LawNext — Mata v. Avianca における2023年6月22日の制裁に関する報道です。
- Civil Resolution Tribunal of British Columbia (2024). 「Moffatt v. Air Canada, 2024 BCCRT 149.」 Decision — Moffatt v. Air Canada における審判所の決定です。