什么是AI幻觉？
📍 In One Sentence
幻觉是指语言模型生成的流畅但错误的陈述，其成因是模型在预测文本模式，而不是从可靠来源检索事实。
💬 In Plain Terms
模型不是在撒谎，它根本不知道自己错了。它只是按训练数据的提示把你的句子补完，而一个听起来笃定的错误答案，得分和正确答案一样高。这正是编造的出处读起来和真实出处别无二致的原因。
AI幻觉是由LLM以明显的信心生成的事实上虚假或编造的陈述。该模型生成违反现实的文本—错误的名字、虚假的来源、不可能的日期、虚构的URL—使用与准确信息相同的流利语言。
这与模型表达不确定性根本不同。幻觉的特点是对不存在的事物或从未发生过的事件进行自信的、详细的断言。模型可能会引用在不存在的期刊中发表的论文、发明传记细节、说出错误数个世纪的历史日期，或描述从未构建的产品功能。用户阅读它，假设清晰的语言表示准确性，并根据它行动—只是为了发现信息是捏造的。
为什么语言模型产生幻觉
LLM通过预测序列中的下一个词来工作。他们不查询数据库或根据基础事实验证事实。他们基于训练数据中的模式计算概率。这种核心设计—对语言任务非常有效—本质上造成了幻觉的压力。
核心机制
- 令牌预测，而不是事实检索。 模型的架构针对语言生成进行了优化，而不是事实检查。当提示提出问题时，模型的目标是产生文本的连贯、合理的延续。连贯性和真实性不是同一回事。虚假陈述可能远比承认不确定性更连贯。
- 训练和评测都在奖励“猜测”。 一篇2025年的研究论文指出，幻觉之所以持续存在，是因为模型训练以及用于给模型排名的基准测试，对看似合理的猜测给出的回报高于诚实的“我不知道”（Kalai et al., 2025）。
- 训练数据间隙和到期。 模型在具有特定结束日期的数据上进行训练。信息间隙—模型在训练过程中从未遇到的主题、训练截止后的最近事件、狭窄领域的专门知识—造成空隙。当被问及这些差距时，模型缺乏预测的真实模式。它发明了看似合理的细节，而不是说"我没有这个信息"。
- 没有明确的信心机制。 模型不会在每个输出旁生成置信度分数。他们产生没有内部信号说"我对这个说法只有30%的把握"的文本。填充输出页面的压力压倒了指示怀疑或拒绝请求的选项。
- 来自要求答案的提示的压力。 像"解释所有主题"或"列出所有原因原因声明"的提示隐含地传达：*你必须回答，即使不确定*。该模型通过发明详细信息来满足请求来响应。它将有益的压力视为比不准确的风险更重要。
- 有限的上下文窗口和信息丢失。 LLM只能在内存中保持有限的上下文。长文档或对话导致早期细节褪色。模型可能会忘记在早期部分中说了什么、发明或误记，并自信地断言捏造，好像它与早期的背景一致。参见我们关于上下文窗口的指南，了解为什么会发生这种情况以及令牌限制如何影响输出可靠性。
- 多步骤推理中的混淆。 对于需要多个推理步骤的问题，模型可能会失去中间结果的踪迹。它可能会发明一个支持步骤来证明结论，或跳过一步，跳到虚假结论，同时生成看起来逻辑合理的文本。了解长推理链中代币和成本如何缩放可帮助您平衡准确性和效率。
常见的幻觉类型
幻觉以可识别的模式出现。识别类型可帮助您针对缓解策略。
Type | Example | Why It Happens | Severity |
|---|---|---|---|
| 虚假来源 | 引用不存在的同行评审论文;假作者名和出版年份 | 模型在数百万引用上接受培训并很可能学习了类似引用的模式，然后发明新的 | 非常高 |
| 错误的事实（日期、数字、名称） | 以错误的一年说出历史事件;不正确的传记细节 | 训练数据不完整或冲突;模型选择看起来合理的数字 | 非常高 |
| 伪造的URL和电子邮件 | 提供未解析的链接或电子邮件地址，或不属于声称的组织 | 模型学到了URL和电子邮件模式，并生成看起来逼真但虚构的新模式 | 高 |
| 背景丧失 | 回答一个问题，好像模型理解了早期的上下文，当它实际上失去了踪迹 | 上下文窗口是有限的;长文档导致早期细节从模型的注意力褪色 | 高 |
| 角色漂移 | 在一个角色（分析师）中开始，逐渐转换为另一个（故事讲述者），发明细节以填补空白 | 模型失去了对初始指令的追踪，默认为仅在文本上进行模式匹配 | 中等 |
| 过度自信的概括 | 陈述"所有X做Y"，当仅特定的培训示例显示这一点时 | 模型从有限的训练数据中概括太广泛，而无需信心检查 | 中等 |
| 内部矛盾 | 在同一响应中陈述相反的事实 | 模型没有在多个句子上追踪一致性的机制 | 中等 |
幻觉的七种类型： 虚构来源、错误事实、捏造的网址和邮箱、丢失上下文、角色漂移、过度自信的概括，以及内部矛盾。
研究者还区分内在幻觉（输出与提供给模型的原文或提示相矛盾）和外在幻觉（输出添加了原文无法支持的内容）（Maynez et al., 2020）。NIST 的 Generative AI Profile（NIST AI 600-1）把同一现象列为风险，称为“confabulation（虚构）”。
提示设计如何影响幻觉风险
您的提示鼓励或阻止幻觉。提示的措辞会改变模型猜测的频率，请在您自己的任务上测试。
增加幻觉风险的提示：
- "告诉我关于主题的一切"—没有限制，没有权限说"我不知道"
- "确保包含许多细节"—用虚构的信息填充空间的明确压力
- "写得好像你是一位领先的专家"—鼓励自信的陈述，即使对于不确定的说法
- "即使你不完全确定也回答"—取消对幻觉的刹车
降低幻觉风险的提示：
- "如果你不确定，你可以说"我不知道""—明确允许承认知识差距
- "仅使用以下上下文中的信息"—将响应限制为提供的数据，而不是虚构的知识
- "将事实与意见分开。用不确定标记不确定的说法"—强制模型区分
- "为任何事实声称引用您的来源"—使虚构的引文明显可见
- "如果您无法验证此说法，请勿包含它"—对未验证的陈述的明确约束
良好的提示结构
好的提示结合了四个要素：a 清晰的角色或上下文（模型应该采用什么框架？），a 具体的任务（我需要什么输出？），真实的输入数据（提供了什么信息？），和明确的约束（模型不应该做什么？）。这种结构通过消除关于模型应该做什么的歧义来减少幻觉的压力。我们关于每个提示需要的5个构建块的指南涵盖了带有示例的每个元素。
参见关于提示工程基础的完整定义，更深入地探索结构如何影响输出可靠性。
减少AI幻觉的技术
三种互补的方法可以减少幻觉： - 提示级别：在提示中添加约束和允许承认不确定性 - 系统级别： 使用RAG、函数调用或检索将答案锚定在实际数据中 - 模型级别： 在多个独立模型上运行相同的提示，以通过共识检测幻觉
1. 明确允许说"我不知道"
告诉模型："如果您不确定或没有信息，请说。不要猜测。"
这消除了发明答案的压力。许多模型被训练为有帮助，即使完全不确定也会尝试回答。明确释放他们与该期望给他们拒绝的权限。
2. 要求来源或证据
请求："为任何事实声称引用来源"或"为每个参考提供URL和发布日期"。
这使虚构的引文明显（它们不会解决或指向不存在的来源）并强制模型在断言事实时谨慎。它还为您提供了验证输出的方式：单击每个链接，验证每个来源。
3. 自我批评和矛盾检查
要求模型审查自己的输出：
> "完成答案后，检查矛盾或与您早期所说的相冲突的说法。指出您发现的任何不一致。"
自我检查能发现一部分矛盾，但模型也可能重复自己的错误，所以仍要用来源核对结果。
4. 使用否定指令
明确说明模型不应该做什么：
- "在任何情况下都不会发明来源、URL或作者名"
- "如果您不确定，请不要猜测日期—而不是猜测而留下日期空白"
- "不添加不在提供的上下文中的信息"
否定框架有时比肯定框架更有效地防止特定错误。
5. 一步一步的推理，带验证
对于复杂的任务，要求：
> "逐步工作。每个步骤之后，验证之前的步骤在继续下一步之前是否正确。"
将任务分解为较小的块，带有验证步骤，使模型在化合之前赶上不一致的机会。
6. 具有证据部分的结构化输出格式
要求模型将响应、推理和证据分离为不同的部分：
``` 响应：直接答案
推理：您如何得出这个答案
证据：支持这一点的来源、事实或引用
信心：你有多确定，为什么？ ```
这种结构使幻觉易于发现：缺乏依据的说法会有空的或模糊的证据部分和低信心值。
提示设计之外的系统级策略
提示本身对于高风险工作是不够的。添加这些工具和工作流。
- 检索增强生成（RAG）。 把特定文档、知识库或数据集提供给模型，并要求它只根据这些内容作答。这样回答建立在真实数据而非训练数据之上，可以减少模型原本只能猜测的信息所导致的幻觉；但它不能消除幻觉，因为模型仍可能误读或误引检索到的文本。LangChain 和向量数据库等工具实现了这一模式。详见我们的完整指南：RAG：如何让AI回答基于真实数据。
- 工具调用和函数使用。 让模型调用外部函数进行计算、数据库查询或事实检查。模型调用函数来检索它，而不是发明统计数据。这样模型无需猜测函数返回的事实，但仍可能误读或误用返回结果。
- 人工审查和专家验证。 对于关键决定—医学、法律、财务、安全关键—始终让人类（最好是专家）验证AI生成的答案。没有提示技术替代专家判断。
- 自动事实检查工作流程。 在向用户显示模型输出之前，通过自动化系统（事实检查API、URL验证、引用验证）运行模型输出。这可以大规模检测幻觉，而无需手动审查每个输出。
如何检测AI幻觉
没有任何单一检查能发现所有幻觉，因此要组合使用多种方法。警示信号包括：没有来源的高度具体细节、看起来正确却打不开的引用，以及换个问法答案就变的回答。
按由易到难的顺序使用以下方法：
- 核实可验证的细节。 打开每个被引用的网址和论文，用一手资料核对名称、日期和数字。找不到的来源是编造的强烈迹象。
- 重新提问并对比。 把同一个问题多问几次，或问不同的模型。模型“知道”的事实往往会重复出现，编造的细节则容易变化。SelfCheckGPT 方法可以自动给这种一致性打分（Manakul et al., EMNLP 2023）。
- 让模型核查自己的草稿。 在 Chain-of-Verification 中，模型先写草稿，再提出核查问题，分别回答，然后修订草稿；作者报告在所测试的任务上幻觉减少了（Dhuliawala et al., 2023）。示例提示词：“写出三个能暴露你草稿中错误的问题，分别回答，然后修订草稿。”
- 把引文与原文比对。 当模型根据你提供的文档作答时，要求它给出原文引用，并用文本搜索确认每条引用确实出现在文档中。
- 在生产环境中测试。 自动校验网址和软件包名称，把曾经出错的提示词保留为回归测试，并将高风险回答交给人工审核。
多个模型和共识检测
单个模型可能自信地产生幻觉。但如果你向多个相互独立的模型提出同一个问题，它们在幻觉内容上往往会出现分歧。
如果多个模型各自给出相同的答案，这个答案比单个模型的回答更可能正确。如果只有一个模型提出某个说法而其他模型都没有提到，应将该说法视为可疑并加以核实。
这就是共识评分的原理：把同一个提示词发送给不同厂商的模型，分析它们在哪些地方一致、在哪些地方分歧。
跨模型共识核查
跨模型共识核查把“重新提问并对比”的思路扩展到不同模型：同一个提示词发给多个相互独立的模型，再比较答案。所有模型都重复的说法更可能正确，只有一个模型提出的说法则需要核实。
一致只是线索，不是证明。训练数据相近的模型可能犯同样的错误，所以高风险内容仍要用一手资料核对。
PromptQuorum 将发送与比较自动化：把一个提示词同时发送给多个AI模型，查看哪些说法一致、哪些存在分歧。
幻觉与监管
监管机构越来越期望各组织管控不准确的AI输出。在欧盟，《AI法案》第15条要求高风险AI系统在其整个生命周期内达到适当水平的准确性、稳健性和网络安全。在美国，NIST 的 Generative AI Profile（NIST AI 600-1）把confabulation（虚构）列为组织应当管理的风险之一。
适用哪些规定取决于你的系统和使用场景；以上为一般性信息，不构成法律意见。无论在哪个地区，核心方法（事实依据、共识核查、人工审核）都同样适用。
现实中的AI幻觉案例
幻觉已经造成过法律和安全方面的后果。以下是三个有记录的例子：
- 虚构的法院判例（2023年）。 在 Mata v. Avianca 一案中，律师提交的诉状引用了ChatGPT编造的判例。2023年6月22日，纽约一名联邦法官对这两名律师及其律所处以5,000美元罚款（LawNext报道）。
- 聊天机器人给出的退款政策错误答复（2024年）。 加拿大航空网站上的聊天机器人告诉一位客户，可以事后申请丧亲票价，而该公司的政策并不允许。不列颠哥伦比亚省的一家审裁机构在 Moffatt v. Air Canada 案中裁定，航空公司须对其聊天机器人的答复负责（裁决 2024 BCCRT 149）。
- 并不存在的软件包。 一项涵盖16个模型、57.6万个代码样本的研究发现，商业模型建议的软件包平均至少有5.2%、开源模型建议的软件包平均至少有21.7%并不存在；攻击者可能注册这些名称并分发恶意代码（Spracklen et al., 2024）。
- 虚构的SQL和API细节。 SQL和API代码中也会出现同样的问题：听起来合理、但并不在你的数据库结构中的表、列或函数。请把真实的数据库结构或API文档放进提示词，并先在测试数据库上运行生成的代码。
幻觉最危险的时候
幻觉在特定领域可能造成重大伤害。本文仅为一般性信息，不构成医疗、法律或财务建议；在这些领域依据AI输出采取行动之前，请咨询具备资质的专业人士。要特别谨慎：
- 医疗和健康决定 —错误的药物名称、给药或症状解释可能会伤害患者
- 法律和合规 —虚构的判例法、监管要求或先例可能导致昂贵的错误或违规
- 财务建议 —虚假的市场数据、不正确的税务信息或编造的性能指标误导了高风险决定
- 安全关键系统 —代码审查、架构决定或安全分析中的幻觉可能会引入漏洞或错误
- 公众归属 —您的名字或品牌下发布的任何内容都必须进行事实检查;幻觉伤害可信度
关键原则： 即使有完美的提示和共识检查，人工验证对于高风险决定仍然至关重要。将AI用作时间节省器和第一遍工具，而不是专家判断或主要来源验证的替代品。
了解自我批评技术如何在复杂推理任务中进一步减少错误。
实际清单：在发送关键提示之前
在发送您将依赖的决策或公开输出的提示之前，请使用此清单：
- 提示是否明确允许"我不知道"？添加："如果你不确定，你可以说"我不知道"。"
- 提示中是否有真实的上下文或数据？模糊的提示邀请发明。提供具体的文件、示例或输入数据。
- 约束是否明确？陈述模型不应该做什么，特别是："不发明来源、URL或引文。"
- 输出格式是否结构化？分开响应/推理/证据/信心。这使缺乏依据的说法一目了然。
- 你在要求来源吗？ 对于任何事实声称，请求："为这个事实引用来源。"
- 任务是具体的，不是开放式的？ "为针对财务专业人员的B2B SaaS产品列出五个营销策略"比"告诉我营销"要好。
- 您是否要求模型自我检查？添加："提交前检查答案中的矛盾。"
- 对于高风险决定，您是否进行交叉检查？ 将相同的提示发送到多个模型并比较答案。
提示示例之前/之后
坏提示
为什么这失败：开放式，没有约束，没有允许承认不确定性。模型将发明日期、误构突破、自信地陈述过时的信息，并可能引用不存在的论文。
告诉我关于人工智能历史的信息。包括主要突破和重要的研究人员。
好提示
仅使用以下时间表，从1950年至1990年总结AI的主要突破： {时间表数据插入} 按如下方式格式化您的答案： 突破： {名称} 年： {年—仅在时间表中说明）} 重要性： {它启用了什么} 来源： {时间表中的哪个文件提到了这一点？} 不添加不在时间表中的信息。如果您不确定某个东西是否在时间表中，请跳过它而不是猜测。
为什么这有效：
- 真实数据而不是发明：模型从提供的背景工作，而不是从培训数据缺口
- 结构化输出：格式使缺少的来源立即明显
- 否定指令： "不添加不在时间表中的信息"是明确的
- 省略权限： "如果不确定，跳过它"会释放发明细节的压力
- 来源责任： 每个说法都需要注明它来自哪个文件
如何减少AI幻觉：6种提示技巧
- 1明确允许说"我不知道"： 在每个事实性提示中添加："如果你不确定，请说「我不知道」，而不是猜测。"这能减少一类自信满满的捏造内容，但不能彻底消除。
- 2要求提供来源或证据： 指示模型为每项声明引用来源，或标记其无法验证的声明。示例："在每个事实后注明来源名称或「未验证」。"
- 3添加自我批评步骤： 要求模型在最终确定前审查自己的输出。示例："在回答前，列出你信心低于90%的任何声明。"
- 4使用否定指令： 明确禁止易产生幻觉的行为。示例："不要编造姓名、头衔或统计数据。不要超出所提供的上下文进行推断。"
- 5要求逐步推理： 思维链提示迫使模型展示其推理过程，使错误在到达最终答案之前就能被发现。
- 6使用PromptQuorum分发到多个模型： 将同一提示同时发送给GPT-5.6、Claude和Gemini。三者都确认的事实更可能正确（一致只是线索，不是证明）；不同的答案则标记出需要核实的声明。
常见问题解答
幻觉能完全消除吗？
否。幻觉是语言模型工作方式所固有的：模型预测文本模式，而不是从经过验证的数据库中检索事实。良好的提示设计、RAG等工具和多模型共识可以显著减少幻觉，但就目前的LLM架构而言，完全消除是不可能的。对于高风险决策，仍然需要人工核实。
当它错误时，模型为什么听起来那么自信？
语言模型被训练为生成流利、连贯的文本。信心是语言连贯性的副产品。虚假陈述可能远比诚实承认不确定性更连贯和清晰表达。该模型没有内置的机制来表达怀疑—无论准确性如何，它都会以相同的流利信心生成文本。
更新更大的模型幻觉更少吗？
不一定。幻觉率取决于模型、任务和衡量方式，已发表的比较结果也并不一致，所以应测试自己的使用场景，而不是假定更新或更大的模型就更安全。较新的模型往往更能遵循“不确定就说不知道”这类指令，但没有任何模型能彻底消除这个问题。
将模型连接到互联网会消除幻觉吗？
部分。实时网络访问有助于当前事件和最近的事实，但它没有解决核心问题：模型仍然会发明细节、误解搜索结果或幻觉有关其实际未检索的内容的信息。互联网访问是减少一类幻觉的工具，不是治愈。
我如何快速检查答案是否幻觉？
检查来源：点击URL或搜索所引用的论文。如果它们不存在，请把该答案视为不可靠并加以核实。核实事实：对照可信来源检查日期、姓名和数字。比较多个模型：向不同的模型提出同一个问题，若分歧明显，则至少有一个在产生幻觉。运用专业知识：如果您熟悉该领域，请带着批判的眼光阅读，留意细微的不合理之处——幻觉对专家读者往往有明显的破绽。
如果它幻觉，我应该停止使用AI吗？
否。应当有策略地使用AI，并配合核实。对于头脑风暴、起草和探索性工作，幻觉只是小麻烦。对于事实要求高的工作（研究、合规、医疗决定、财务建议），把AI当作起点，然后用可信来源或专家审查核实所有内容。
幻觉和真正的错误之间的区别是什么？
幻觉是自信而错误的。如果模型说"我不确定，但可能是X"，那是诚实的不确定性，而不是幻觉。如果它说"法国的首都是柏林"充满信心，这是一个幻觉—模型说了一些虚假的，好像是事实。标志是自信地断言什么是不真实的。
AI给出很自信却没有依据的答案时，我该怎么办？
把它当作可能有误的内容，在使用或发布前用可靠证据核实。自信的语气并不能说明答案是否准确。请要求提供来源，逐一打开，并用一手资料或另一个模型核对该说法。
“confabulation（虚构）”和幻觉是一回事吗？
实际使用中是的：两个词都指模型生成流畅但错误或缺乏依据的内容。“幻觉”是更常用的说法；NIST 的 Generative AI Profile（NIST AI 600-1）用“confabulation”指同一种风险。
AI为什么会编造代码、软件包名称和SQL？
模型预测的是与它见过的代码相似的代码，因此可能生成符合常见模式但并不存在的函数调用、软件包或表名。在2024年一项涉及16个模型的研究中，商业模型建议的软件包平均至少有5.2%、开源模型建议的软件包平均至少有21.7%并不存在。请把真实的数据库结构或API文档提供给模型，只安装你核实过的软件包，并在使用前测试生成的代码。
相关阅读
- 什么是提示工程？ — 构建提示词的基础概念
- 思维链提示 — 让错误变得可见的逐步推理
- 多模型提示测试工作流 — 用同一提示词比较多个模型，发现分歧
- RAG详解 — 让回答基于你自己的文档
- AI的局限：LLM做不到的事 — 所有LLM共有的八项结构性限制及各自的工程应对方法
- AI知识截止日期、实时搜索与GEO：完整指南 — 过时的训练知识可能导致错误回答；了解RAG与GEO如何应对
来源
- Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). “Why Language Models Hallucinate.” arXiv — 论证训练和评测对猜测的奖励高于承认不确定。
- Maynez, J., Narayan, S., Bohnet, B., & McDonald, R. (2020). “On Faithfulness and Factuality in Abstractive Summarization.” ACL Anthology — 关于神经文本摘要中幻觉的实证研究；内在与外在幻觉区分的出处。
- Manakul, P., Liusie, A., & Gales, M. J. F. (2023). “SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models.” arXiv — 通过检查多个采样回答之间的一致性来检测幻觉。
- Dhuliawala, S., Komeili, M., Xu, J., et al. (2023). “Chain-of-Verification Reduces Hallucination in Large Language Models.” arXiv — “草稿、核查、修订”方法，在作者的测试中减少了幻觉。
- Spracklen, J., Wijewickrama, R., Sakib, A. H. M. N., et al. (2024). “We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs.” arXiv — 衡量代码生成模型建议不存在的软件包的频率。
- Wei, J., Wang, X., Schuurmans, D., et al. (2022). “Chain-of-Thought Prompting Elicits Reasoning in Large Language Models.” arXiv — 表明逐步推理式提示能提升多步推理表现。
- National Institute of Standards and Technology (2024). “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1).” DOI — 把confabulation列为生成式AI的风险之一。
- European Union (2024). “Artificial Intelligence Act, Article 15: Accuracy, robustness and cybersecurity.” AI Act Service Desk — 高风险AI系统在准确性、稳健性和网络安全方面的要求。
- LawNext (2023). “Court imposes sanctions on lawyers who filed bogus cases after relying on ChatGPT for legal research.” LawNext — 关于 Mata v. Avianca 案2023年6月22日处罚的报道。
- Civil Resolution Tribunal of British Columbia (2024). “Moffatt v. Air Canada, 2024 BCCRT 149.” Decision — Moffatt v. Air Canada 案的审裁决定。