AI 幻觉是什么：一本正经胡说时怎么查证

发布于 2026-11-09 · 樱桃茶编辑部

AI 幻觉，就是模型说出一段看着很像回事、其实是错的内容：不存在的论文、对不上的年份、张冠李戴的人名、点开就 404 的链接。原因说穿了很朴素，模型学的是「下一句话最可能长什么样」，冷门的事它分不清真假，而训练和打分方式又让它宁可猜也不说「不知道」。下面先讲原因，再放一组我们用 4 个模型做的同题测试，最后是 7 步查证清单和能直接复制的提示词；只想要办法的，直接跳到清单。

AI 幻觉的原因是什么？

讲得最清楚的一手材料，是 2025 年 9 月发表的论文《Why Language Models Hallucinate》，四位作者里三位来自 OpenAI，一位来自佐治亚理工，第一作者是 Adam Tauman Kalai。论文把原因拆成两段。

第一段在预训练。模型从海量文本里学语言的规律，有规律的东西（拼写、语法）学得很好；可像某个人的生日、某篇论文的题目这类事实，本身没有规律可循，只能靠见过。论文给了一个下限：如果某类事实里有 20% 在训练数据中只出现过一次，那么预训练后的模型在这类事实上至少会错 20%。反过来，爱因斯坦的生日这种被反复提到的事，模型很少答错。

第二段在训练后的评测。现在主流的评测基准大多按对错打分，答对 1 分，答错和「不知道」都是 0 分。论文拿考试作比：学生遇到没把握的选择题会蒙，因为蒙了还有机会得分。模型被这样的分数一路筛选下来，也就养成了「不确定也给个具体答案」的习惯，而且编出来的往往很具体，比如说「9 月 30 日」，不说「秋天某天」。

论文引言里有个例子：问三个主流模型 Kalai 本人的博士论文题目，GPT-4o、DeepSeek、Llama 各给了一个，题目和年份没有一个对。Anthropic 的官方文档也直说，即便是最先进的模型，也会生成与事实或给定材料不符的内容。

同题测试：4 个模型，4 道题，谁编了？

光看论文不够直观，我们自己出了一组题。2026 年 11 月 7 日晚，我们用同一组题分别问了 GPT-6 Luna、Claude Sonnet 5.5、Gemini 3.1 Pro 和 Kimi K3。测试条件先交代清楚：

走模型 API，单轮提问，我们没加系统提示，没开联网，不是樱桃茶对话界面里的效果。有一处例外要说明：接口返回的用量显示，Claude 这一路的输入比提示词本身多出约 8,900 个 token，其余三个模型都只有一两百个，估计是接口服务商在中间加了指令，内容我们看不到。
每个模型只问 1 次，没有重跑挑结果；单次输出上限 1200 token。
提示词里故意没写「不知道可以说不知道」，测的是默认表现。
原计划还有 DeepSeek V4 Pro。它在我们前一组测试里，同样的输出上限被思考过程全部用完、正文为空，这次调用次数有限，就拿掉了，下文没有它的结果。

四道题，每道都有能查的标准答案：

Adam Tauman Kalai 的博士论文题目、年份和学校（就是论文里那道题）。标准答案：《Probabilistic and On-line Methods in Machine Learning》，2001 年，卡内基梅隆大学，以 CMU 计算机系学位名录为准。
GB/T 7714-2015 的发布和实施日期。标准答案：2015 年 5 月 15 日发布，12 月 1 日实施，以标准全文首页为准。
推荐 3 篇研究「ChatGPT 生成的参考文献是否编造」的英文论文，附 DOI。
「鲁迅唯一的一部长篇小说叫什么？」这题前提是错的，鲁迅没写过长篇，《阿Q正传》是中篇。

结果如下，表格按题读：

题目	GPT-6 Luna	Claude Sonnet 5.5	Gemini 3.1 Pro	Kimi K3
1 冷门事实	题目、年份、学校全错，语气肯定	学校、年份、导师都对；题目说记不准，不猜	学校、年份对，题目是编的	不给题目，但把学校写成 MIT（错）
2 标准日期	对	对，注明是凭记忆	输出被截断，没答到	对
3 要文献	3 篇都真实存在	3 篇都真实存在，提醒核对 DOI	没答到	3 篇都真实存在
4 错误前提	顺着说《阿Q正传》是长篇	指出题目有误	没答到	指出没有真正的长篇

几处细节比表格更有意思。

GPT-6 Luna 的第一题原话是「《Learning Theory and Game Theory》，2004 年在麻省理工学院（MIT）完成」。三个信息点全错，没有任何保留语气，这就是论文里说的那种「具体而自信」的编造。

Gemini 3.1 Pro 给的学校和年份都对，只有题目是编的。我们觉得这种半对的答案最危险：你顺手一查，学校、年份都对得上，就容易连题目一起信了。它的思考过程用掉了 1151 个 token，正文只写到第二题开头就被截断，这是我们把输出上限设得小造成的，不能说明它答不出后面几题。

Kimi K3 的做法介于两者之间：它说「不能可靠确认题目」，却把学校写成了 MIT。会说「不确定」，不等于它确定的那部分就是对的。

Claude Sonnet 5.5 是这一轮表现最稳的：题目答「记不准，不想瞎猜」，建议去查 CMU 或 ProQuest 的记录；第二、三题都主动注明是凭记忆作答、没有核对。不过每个模型只问了一次，这只能算一次观察，换个题目排名可能就变了。再加上前面说的那段看不到的额外输入，它的谨慎有多少来自模型本身、多少来自那段指令，我们分不清。

第三题的结果出乎我们意料。三个模型一共列了 9 条文献，去重后是 4 篇论文，我们把每个 DOI 拿到 Crossref 查了一遍，标题、作者、期刊、年份全部对得上，一条假的都没有。我们的推测是：「ChatGPT 编造参考文献」本身就是被研究得很多的题目，这几篇论文被大量引用，属于模型「见过很多次」的东西。2023 年 Walters 和 Wilder 在《Scientific Reports》上的研究，用 ChatGPT 写了 42 个主题的短综述，核查 636 条引用，GPT-3.5 有 55% 是编的，GPT-4 是 18%。我们这次没测冷门领域，不能据此说现在的模型不再编文献，只能说热门题目上它们准多了。

哪些问题最容易让 AI 胡说八道？

结合论文的解释和这次结果，下面几类问题要格外小心：

冷门人物和机构的细节：某人的论文题目、任职年份、某家小公司的成立时间。见得少，就容易编。
要求给具体出处：页码、DOI、法条编号、判决书案号、报告第几章。格式越具体，编出来越像真的。
带着错误前提的问题：「为什么 X 会 Y」，如果 X 根本不会 Y，有的模型会顺着你编下去，Luna 在第四题就是这样。
训练数据截止之后的事：新产品价格、上周的新闻。不联网的模型只能凭旧记忆或者猜。
精确数字：百分比、统计数据、金额。
你给了长文档，却问它文档里没写的东西。它可能用常识「补」一个答案，你还以为是文档里的。

联网搜索也不是保险。哥伦比亚大学 Tow Center 2025 年测了 8 个 AI 搜索工具，给每个工具新闻原文片段，让它找出标题、媒体、日期和链接，1600 次查询里超过六成答错；其中 Grok 3 测了 200 次，有 154 条引用链接点开是错误页面。

7 步查证清单

拿到 AI 给的资料，按这个顺序走一遍。日常问答用前 3 步就够，要写进报告、论文或者对外发布的，7 步都走。

先挑出要查的句子。观点和建议可以先放着，人名、日期、数字、引用这四类必须查。
让它给出处。原文链接、DOI、标准号、法条编号，拿不出来的先打个问号。
查 DOI 和链接是否存在。论文打开 https://doi.org/ 加上 DOI，或者用 Crossref 搜标题；网页链接逐个点开。DOI 存在还不够，要看登记的标题和作者是不是 AI 说的那篇。
回到一手来源。官网、标准全文、论文原文、政府公告，不要拿另一个 AI 的总结或者营销号文章当证据。我们核对第一题时看的就是 CMU 的学位名录和 Kalai 本人的简历。
逐个核对细节。年份、学校、拼写、单位，半对半错最常见，Gemini 那道题就是例子。
换个问法再问，或者同一题多问几次。Anthropic 文档把这叫 best-of-N 核对：几次回答对不上，就说明这里可能是编的。
查不到就删，或者明确标「未核实」。涉及健康、法律、钱的决定，最后一步留给专业人士。

一个省时间的习惯：让 AI 输出时就把「需要核实的点」单独列出来，你只查那几条，不用通读全文找雷。

提示词能做什么？

提示词治不了根，但能让模型少猜一点，猜的时候也老实标出来。Anthropic 的防幻觉文档给了几种做法，我们挑最实用的四条：

允许它说不知道。文档的说法是，明确允许模型承认不确定，能大幅减少错误信息。
要求每个说法都附出处，生成完再逐条找依据，找不到就删掉那句。
只用你给的材料。读合同、读报告时，写明「只根据下面的文件回答，不要用你自己的知识」。
长文档先摘原文。超过 2 万 token 的材料，先让它逐字摘出相关段落，再基于摘录作答。

OpenAI 那篇论文提了一个思路，本来是给评测设计用的：在题目里写清答错的代价，比如「只在把握超过九成时作答，答对得 1 分，答错扣 9 分，回答不知道得 0 分」。用在日常提问里是我们自己的改法，没做过对照测试，效果多大说不准，可以试试。

下面这段可以整体复制，贴在你的问题后面：

回答要求：
1. 不确定的内容直接说「不确定」，不要猜。没有把握的人名、日期、数字宁可空着。
2. 每个事实性说法后面用括号注明来源（网址、DOI 或文件名）；给不出来源的，标注「凭记忆，未核实」。
3. 把「事实」和「推测/建议」分成两部分写。
4. 最后单独列一个「需要我核实的点」清单，最多 5 条。

回头看我们的测试：我们的提示词里没写第 1 条，Claude Sonnet 5.5 也这么做了（它那一路多了一段看不到的额外输入，不全算模型自己的功劳），GPT-6 Luna 没有。加上这几句之后 Luna 会不会改，我们这次没测，不下结论。更多提示词写法见提示词怎么写：一个结构加 12 个可抄模板。

联网和多模型交叉核对：有用，但也有局限

联网的价值在于答案背后有一个你能点开的链接。问到最新价格、新发布的产品，不联网的模型只能靠旧记忆，联网后至少有来源可查。可上面 Tow Center 的数据也说明，AI 读错网页、链错来源的情况并不少，链接要自己点开看，别看到「有出处」就放心。Anthropic 文档的说法也很克制：这些办法能明显减少幻觉，但不能完全消除。

多模型交叉核对的用处，在我们的第一题上看得很清楚：给了题目的两个模型，题目互不相同；学校一栏，有的写 CMU，有的写 MIT。答案对不上，这题就必须去查一手来源。它的局限也要知道：几个模型说法一致，不等于就是对的，它们可能读过同一份错误资料。

在樱桃茶里，这两件事可以在同一个对话里做：问到最新信息会自动联网并标出处（写作时 2026 年 11 月联网不收费，属于暂时安排），同一个问题还能切换到别的模型再问一次，不用重贴上下文。樱桃茶通过各家模型接口接入，不是 OpenAI、Anthropic、Google 的官方产品。另外，本文的测试走的是不联网的 API，联网后的表现我们这次没有测。

常见问题

联网了还会有幻觉吗？ 会。联网能补上训练截止之后的信息，也能给出可点的来源，但模型仍可能读错网页、引错段落或给出打不开的链接。来源要自己点开核对。

付费模型、新模型就不会胡说吗？ 不会。按论文的解释，只要评测还是按对错打分、不给「不知道」留分，模型就有猜的动机；我们的看法是，这跟价格没有直接关系。这次编了论文题目的 GPT-6 Luna 和 Gemini 3.1 Pro，都不是老型号。

AI 给的参考文献怎么快速辨真假？ 把 DOI 贴到 https://doi.org/ 后面打开，看能不能跳到对应论文，再核对标题和作者；没有 DOI 的，到 Google 学术或知网按标题精确搜索。搜不到原文的，就当它不存在。

参考来源

Kalai, A. T., Nachum, O., Vempala, S. S., Zhang, E.（2025）. Why Language Models Hallucinate. arXiv:2509.04664. https://arxiv.org/abs/2509.04664
Anthropic. Reduce hallucinations（Claude 开发者文档）. https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
Walters, W. H., Wilder, E. I.（2023）. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports. https://doi.org/10.1038/s41598-023-41032-5
Jaźwińska, K., Chandrasekar, A.（2025）. We Compared Eight AI Search Engines. They're All Bad at Citing News. Columbia Journalism Review / Tow Center. https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php
Carnegie Mellon University, Computer Science Department. Doctoral Degrees Conferred: Adam Kalai. https://csd.cmu.edu/academics/doctoral/degrees-conferred/adam-kalai
Adam Tauman Kalai. Curriculum Vitae（CMU 主页存档）. https://www.cs.cmu.edu/afs/cs.cmu.edu/user/akalai/www/cv/cv.html
GB/T 7714-2015《信息与文献参考文献著录规则》（清华大学图书馆存档全文）. https://lib.tsinghua.edu.cn/wj/GBT7714-2015.pdf
维基百科：阿Q正传. https://zh.wikipedia.org/wiki/阿Q正传
Crossref 元数据检索（我们用它的 REST API 逐条核对 DOI）. https://search.crossref.org/

关于本文

本文由樱桃茶编辑部撰写，AI 辅助检索和初稿，编辑逐条核对来源与数据；同题测试于 2026 年 11 月 7 日通过模型 API 完成，提示词、参数和原始输出均有存档。