⚡ 快速事实
- Elicit覆盖138M+论文和545,000临床试验,具有语义搜索(非关键字)
- AI平均幻想率:一般知识9.2%、法律18.7%、o4-mini PersonQA 48%
- 100+虚幻引用在NeurIPS 2025(顶级ML会议,24.52%接受率)通过同行评审
- Gemini 3.1 Pro的1M令牌上下文窗口处理约800学术页面/会话;GPT-4o约100,Claude约160
- 温度0.0–0.1用于引用生成;0.7–0.9仅用于假设头脑风暴
- 多模型交叉检查在PromptQuorum测试中的30个测试引用中检测到8个幻想
AI研究实际上做什么
📍 一句话 AI研究使用RAG连接的LLM和语义搜索加速文献发现、合成和验证 — 但需要多模型交叉检查捕获虚幻引用。
💬 简单术语 标准LLM是闭卷考试。RAG驱动的研究工具是开卷 — 在回答前查看来源。但即使开卷答案也可能错误,所以使用第二个模型交叉检查并手动验证引用。
工作原理: Retrieval-Augmented Generation(RAG)是大多数AI研究工具背后的核心架构。RAG将LLM连接到外部知识库 — 学术数据库、上传PDF或实时网络索引 — 以便模型在检索文档中而不仅从训练数据锚定答案。没有RAG,模型只能回忆训练的事实;使用RAG,他们从您提供的来源回答。
🔍 信心问题
LLM不按比例表达与其准确性成正比的不确定性。虚幻引用看起来与真实引用相同 — 相同格式、似是而非的期刊名称、一致的作者组合。没有视觉信号表明引用是捏造的。验证是唯一的防御。
🔍 为什么交叉检查有效
三个独立训练的模型很少捏造相同的特定虚假声明 — 相同作者、相同期刊、相同卷号、相同年份。三个全部同意时,引用几乎肯定是真实的。当他们不同意时,该差异是您的幻想警报。
研究任务的提示工程
结构化提示比开放式问题产生更准确和可验证的研究输出 — 区别在于范围具体性、输出格式和引用来源的明确说明。
大多数研究人员犯的关键错误是像搜索引擎那样完全按照他们输入的方式提出研究问题。搜索引擎排名文档;LLM预测令牌。他们需要不同的输入结构。
研究提示框架
为任何AI研究任务使用这个结构:
- 角色 — "您是专门从事领域的系统评审研究人员。"
- 范围 — "仅分析2020至2026年间发表的同行评审论文。"
- 目标 — "总结当前关于主题的科学共识。"
- 引用要求 — "使用作者、年份和期刊引用每项声明。如果找不到验证引用,请说"未验证"而不是生成一个。"
- 输出格式 — "以结构化表格返回结果:声明|来源|年份|信心(高/中/低)。"
AI支持研究中的常见错误
在使用AI工具进行研究时避免这些频繁错误:
- 基于基准排行榜选择(非实际任务) — 修复: 按任务拟合选择模型,而不是排行榜排名。基准赢家(GPT-4o)对于摘要来说是过度的;Gemini 3.1 Pro的成本优势在您只需要上下文处理时占主导地位。
- 假设上下文窗口=质量(全部1M;LLaMA 4 Scout本地10M) — 修复: 上下文窗口是一维的。1M令牌仅对50+论文重要。对于小文献评审,GPT-4o(128k)或Claude Opus 4.7(200k)足够且成本更低。
- 对每个任务使用前沿模型(Gemini Flash对GPT成本相差60倍) — 修复: 按成本效率路由任务:Gemini Flash用于分类、Claude Opus 4.7用于写作、GPT-4o用于代码。PromptQuorum多模型分派可实现按任务模型选择。
- 忽视地理位置和数据驻留(EU GDPR、中国) — 修复: EU研究必须使用符合GDPR的工具(Mistral本地、Ollama本地)。中国机构使用Qwen 2.5或DeepSeek。日本在METI指南下本地使用Ollama+LLaMA 3.1。
- 在没有抽象层的情况下锁定到提供者SDK — 修复: 使用多模型分派工具(PromptQuorum)避免供应商锁定。单个API调用路由到最佳模型;更换提供者无需代码更改。
相关阅读
- RAG说明 — 为Elicit、Consensus和所有生产研究AI工具供电的检索架构
- AI局限性 — LLM不能做什么 — 为什么幻想是结构性的,而不是可修复的错误
- 提示注入和安全 — 将抓取网络内容馈送到研究管道时的间接注入风险
- 思想链提示 — 需要可追溯逻辑的系统分析任务的结构化推理
- 温度和Top-P说明 — 随机参数如何影响引用生成中的事实准确性
- 什么是提示工程 — 结构化AI说明的基础定义
- Qwen对Llama对Mistral — 本地推理的领先开源模型比较
- 最佳编码本地LLM — 软件开发任务的本地模型评估
- 开源对专有LLM — 研究工作流中模型选择的权衡
如何进行AI支持的研究
- 1按阶段映射您的研究工作流:发现、收集、合成、验证。 使用Perplexity进行探索性发现、Elicit进行结构化文献提取、Consensus进行证据合成、scite.ai进行引用验证。将每个任务路由到为其设计的工具。
- 2为引用生成将温度(T)设置为0.0–0.1。 确定性输出最小化作者名称、年份和DOI的幻想。仅将T=0.7–0.9用于假设头脑风暴,而不是任何基于事实的声明。
- 3使用角色、范围、目标、引用要求和输出格式来构造研究提示。 例如:"您是系统评审研究人员。仅分析2020–2026同行评审论文。总结主题的科学共识。用作者、年份、期刊引用每项声明。表格返回:声明|来源|年份|信心。"
- 4使用多模型交叉检查检测虚幻引用。 通过PromptQuorum在GPT-4o、Claude Opus 4.7和Gemini 3.1 Pro中运行相同的研究问题。任何模型在作者、年份或期刊方面不同意的引用都需要在Google Scholar或PubMed中进行手动验证。
- 5在学术著作中包含前验证所有引用。 每个AI生成的参考文献都必须针对源数据库进行检查。虚幻引用已在包括NeurIPS 2025的顶级会议论文中得到确认。
来源和进一步阅读
- Schulhoff等,2024. "提示报告:提示技术的系统调查" — 目录58+适用于研究工作流的提示技术
- GPTZero,2026. "GPTZero在NeurIPS 2025会议论文中发现100个新幻想" — 虚幻引用进入顶级会议议事录的首个有案可稽
- 美联储圣路易斯分行,2025. "生成AI对工作生产力的影响" — 使用AI的工人报告AI支持时间的生产力提高33%
- Vectara幻想评估模型(HHEM) — 用于跨领域测量LLM幻想率的开源模型和排行榜
- Elicit研究文档 — Elicit的语义搜索和结构化提取方法的技术文档