AI 幻覺是什麼：一本正經胡說時怎麼查證

釋出於 2026-11-09 · 櫻桃茶編輯部

AI 幻覺，就是模型說出一段看著很像回事、其實是錯的內容：不存在的論文、對不上的年份、張冠李戴的人名、點開就 404 的連結。原因說穿了很樸素，模型學的是「下一句話最可能長什麼樣」，冷門的事它分不清真假，而訓練和打分方式又讓它寧可猜也不說「不知道」。下面先講原因，再放一組我們用 4 個模型做的同題測試，最後是 7 步查證清單和能直接複製的提示詞；只想要辦法的，直接跳到清單。

AI 幻覺的原因是什麼？

講得最清楚的一手材料，是 2025 年 9 月發表的論文《Why Language Models Hallucinate》，四位作者裡三位來自 OpenAI，一位來自喬治亞理工，第一作者是 Adam Tauman Kalai。論文把原因拆成兩段。

第一段在預訓練。模型從海量文本里學語言的規律，有規律的東西（拼寫、語法）學得很好；可像某個人的生日、某篇論文的題目這類事實，本身沒有規律可循，只能靠見過。論文給了一個下限：如果某類事實裡有 20% 在訓練資料中只出現過一次，那麼預訓練後的模型在這類事實上至少會錯 20%。反過來，愛因斯坦的生日這種被反覆提到的事，模型很少答錯。

第二段在訓練後的評測。現在主流的評測基準大多按對錯打分，答對 1 分，答錯和「不知道」都是 0 分。論文拿考試作比：學生遇到沒把握的選擇題會蒙，因為蒙了還有機會得分。模型被這樣的分數一路篩選下來，也就養成了「不確定也給個具體答案」的習慣，而且編出來的往往很具體，比如說「9 月 30 日」，不說「秋天某天」。

論文引言裡有個例子：問三個主流模型 Kalai 本人的博士論文題目，GPT-4o、DeepSeek、Llama 各給了一個，題目和年份沒有一個對。Anthropic 的官方文件也直說，即便是最先進的模型，也會生成與事實或給定材料不符的內容。

同題測試：4 個模型，4 道題，誰編了？

光看論文不夠直觀，我們自己出了一組題。2026 年 11 月 7 日晚，我們用同一組題分別問了 GPT-6 Luna、Claude Sonnet 5.5、Gemini 3.1 Pro 和 Kimi K3。測試條件先交代清楚：

走模型 API，單輪提問，我們沒加系統提示，沒開聯網，不是櫻桃茶對話介面裡的效果。有一處例外要說明：介面返回的用量顯示，Claude 這一路的輸入比提示詞本身多出約 8,900 個 token，其餘三個模型都只有一兩百個，估計是介面服務商在中間加了指令，內容我們看不到。
每個模型只問 1 次，沒有重跑挑結果；單次輸出上限 1200 token。
提示詞裡故意沒寫「不知道可以說不知道」，測的是預設表現。
原計劃還有 DeepSeek V4 Pro。它在我們前一組測試裡，同樣的輸出上限被思考過程全部用完、正文為空，這次呼叫次數有限，就拿掉了，下文沒有它的結果。

四道題，每道都有能查的標準答案：

Adam Tauman Kalai 的博士論文題目、年份和學校（就是論文裡那道題）。標準答案：《Probabilistic and On-line Methods in Machine Learning》，2001 年，卡內基梅隆大學，以 CMU 計算機系學位名錄為準。
GB/T 7714-2015 的釋出和實施日期。標準答案：2015 年 5 月 15 日釋出，12 月 1 日實施，以標準全文首頁為準。
推薦 3 篇研究「ChatGPT 生成的參考文獻是否編造」的英文論文，附 DOI。
「魯迅唯一的一部長篇小說叫什麼？」這題前提是錯的，魯迅沒寫過長篇，《阿Q正傳》是中篇。

結果如下，表格按題讀：

題目	GPT-6 Luna	Claude Sonnet 5.5	Gemini 3.1 Pro	Kimi K3
1 冷門事實	題目、年份、學校全錯，語氣肯定	學校、年份、導師都對；題目說記不準，不猜	學校、年份對，題目是編的	不給題目，但把學校寫成 MIT（錯）
2 標準日期	對	對，註明是憑記憶	輸出被截斷，沒答到	對
3 要文獻	3 篇都真實存在	3 篇都真實存在，提醒核對 DOI	沒答到	3 篇都真實存在
4 錯誤前提	順著說《阿Q正傳》是長篇	指出題目有誤	沒答到	指出沒有真正的長篇

幾處細節比表格更有意思。

GPT-6 Luna 的第一題原話是「《Learning Theory and Game Theory》，2004 年在麻省理工學院（MIT）完成」。三個資訊點全錯，沒有任何保留語氣，這就是論文裡說的那種「具體而自信」的編造。

Gemini 3.1 Pro 給的學校和年份都對，只有題目是編的。我們覺得這種半對的答案最危險：你順手一查，學校、年份都對得上，就容易連題目一起信了。它的思考過程用掉了 1151 個 token，正文只寫到第二題開頭就被截斷，這是我們把輸出上限設得小造成的，不能說明它答不出後面幾題。

Kimi K3 的做法介於兩者之間：它說「不能可靠確認題目」，卻把學校寫成了 MIT。會說「不確定」，不等於它確定的那部分就是對的。

Claude Sonnet 5.5 是這一輪表現最穩的：題目答「記不準，不想瞎猜」，建議去查 CMU 或 ProQuest 的記錄；第二、三題都主動註明是憑記憶作答、沒有核對。不過每個模型只問了一次，這隻能算一次觀察，換個題目排名可能就變了。再加上前面說的那段看不到的額外輸入，它的謹慎有多少來自模型本身、多少來自那段指令，我們分不清。

第三題的結果出乎我們意料。三個模型一共列了 9 條文獻，去重後是 4 篇論文，我們把每個 DOI 拿到 Crossref 查了一遍，標題、作者、期刊、年份全部對得上，一條假的都沒有。我們的推測是：「ChatGPT 編造參考文獻」本身就是被研究得很多的題目，這幾篇論文被大量引用，屬於模型「見過很多次」的東西。2023 年 Walters 和 Wilder 在《Scientific Reports》上的研究，用 ChatGPT 寫了 42 個主題的短綜述，核查 636 條引用，GPT-3.5 有 55% 是編的，GPT-4 是 18%。我們這次沒測冷門領域，不能據此說現在的模型不再編文獻，只能說熱門題目上它們準多了。

哪些問題最容易讓 AI 胡說八道？

結合論文的解釋和這次結果，下面幾類問題要格外小心：

冷門人物和機構的細節：某人的論文題目、任職年份、某家小公司的成立時間。見得少，就容易編。
要求給具體出處：頁碼、DOI、法條編號、判決書案號、報告第幾章。格式越具體，編出來越像真的。
帶著錯誤前提的問題：「為什麼 X 會 Y」，如果 X 根本不會 Y，有的模型會順著你編下去，Luna 在第四題就是這樣。
訓練資料截止之後的事：新產品價格、上週的新聞。不聯網的模型只能憑舊記憶或者猜。
精確數字：百分比、統計資料、金額。
你給了長文件，卻問它文件裡沒寫的東西。它可能用常識「補」一個答案，你還以為是文件裡的。

聯網搜尋也不是保險。哥倫比亞大學 Tow Center 2025 年測了 8 個 AI 搜尋工具，給每個工具新聞原文片段，讓它找出標題、媒體、日期和連結，1600 次查詢裡超過六成答錯；其中 Grok 3 測了 200 次，有 154 條引用連結點開是錯誤頁面。

7 步查證清單

拿到 AI 給的資料，按這個順序走一遍。日常問答用前 3 步就夠，要寫進報告、論文或者對外發布的，7 步都走。

先挑出要查的句子。觀點和建議可以先放著，人名、日期、數字、引用這四類必須查。
讓它給出處。原文連結、DOI、標準號、法條編號，拿不出來的先打個問號。
查 DOI 和連結是否存在。論文開啟 https://doi.org/ 加上 DOI，或者用 Crossref 搜標題；網頁連結逐個點開。DOI 存在還不夠，要看登記的標題和作者是不是 AI 說的那篇。
回到一手來源。官網、標準全文、論文原文、政府公告，不要拿另一個 AI 的總結或者營銷號文章當證據。我們核對第一題時看的就是 CMU 的學位名錄和 Kalai 本人的簡歷。
逐個核對細節。年份、學校、拼寫、單位，半對半錯最常見，Gemini 那道題就是例子。
換個問法再問，或者同一題多問幾次。Anthropic 文件把這叫 best-of-N 核對：幾次回答對不上，就說明這裡可能是編的。
查不到就刪，或者明確標「未核實」。涉及健康、法律、錢的決定，最後一步留給專業人士。

一個省時間的習慣：讓 AI 輸出時就把「需要核實的點」單獨列出來，你只查那幾條，不用通讀全文找雷。

提示詞能做什麼？

提示詞治不了根，但能讓模型少猜一點，猜的時候也老實標出來。Anthropic 的防幻覺文件給了幾種做法，我們挑最實用的四條：

允許它說不知道。文件的說法是，明確允許模型承認不確定，能大幅減少錯誤資訊。
要求每個說法都附出處，生成完再逐條找依據，找不到就刪掉那句。
只用你給的材料。讀合同、讀報告時，寫明「只根據下面的檔案回答，不要用你自己的知識」。
長文件先摘原文。超過 2 萬 token 的材料，先讓它逐字摘出相關段落，再基於摘錄作答。

OpenAI 那篇論文提了一個思路，本來是給評測設計用的：在題目裡寫清答錯的代價，比如「只在把握超過九成時作答，答對得 1 分，答錯扣 9 分，回答不知道得 0 分」。用在日常提問裡是我們自己的改法，沒做過對照測試，效果多大說不準，可以試試。

下面這段可以整體複製，貼在你的問題後面：

回答要求：
1. 不確定的內容直接說「不確定」，不要猜。沒有把握的人名、日期、數字寧可空著。
2. 每個事實性說法後面用括號註明來源（網址、DOI 或檔名）；給不出來源的，標註「憑記憶，未核實」。
3. 把「事實」和「推測/建議」分成兩部分寫。
4. 最後單獨列一個「需要我核實的點」清單，最多 5 條。

回頭看我們的測試：我們的提示詞裡沒寫第 1 條，Claude Sonnet 5.5 也這麼做了（它那一路多了一段看不到的額外輸入，不全算模型自己的功勞），GPT-6 Luna 沒有。加上這幾句之後 Luna 會不會改，我們這次沒測，不下結論。更多提示詞寫法見提示詞怎麼寫：一個結構加 12 個可抄模板。

聯網和多模型交叉核對：有用，但也有侷限

聯網的價值在於答案背後有一個你能點開的連結。問到最新價格、新發布的產品，不聯網的模型只能靠舊記憶，聯網後至少有來源可查。可上面 Tow Center 的資料也說明，AI 讀錯網頁、鏈錯來源的情況並不少，連結要自己點開看，別看到「有出處」就放心。Anthropic 文件的說法也很剋制：這些辦法能明顯減少幻覺，但不能完全消除。

多模型交叉核對的用處，在我們的第一題上看得很清楚：給了題目的兩個模型，題目互不相同；學校一欄，有的寫 CMU，有的寫 MIT。答案對不上，這題就必須去查一手來源。它的侷限也要知道：幾個模型說法一致，不等於就是對的，它們可能讀過同一份錯誤資料。

在櫻桃茶裡，這兩件事可以在同一個對話裡做：問到最新資訊會自動聯網並標出處（寫作時 2026 年 11 月聯網不收費，屬於暫時安排），同一個問題還能切換到別的模型再問一次，不用重貼上下文。櫻桃茶通過各家模型介面接入，不是 OpenAI、Anthropic、Google 的官方產品。另外，本文的測試走的是不聯網的 API，聯網後的表現我們這次沒有測。

常見問題

聯網了還會有幻覺嗎？ 會。聯網能補上訓練截止之後的資訊，也能給出可點的來源，但模型仍可能讀錯網頁、引錯段落或給出打不開的連結。來源要自己點開核對。

付費模型、新模型就不會胡說嗎？ 不會。按論文的解釋，只要評測還是按對錯打分、不給「不知道」留分，模型就有猜的動機；我們的看法是，這跟價格沒有直接關係。這次編了論文題目的 GPT-6 Luna 和 Gemini 3.1 Pro，都不是老型號。

AI 給的參考文獻怎麼快速辨真假？ 把 DOI 貼到 https://doi.org/ 後面開啟，看能不能跳到對應論文，再核對標題和作者；沒有 DOI 的，到 Google 學術或知網按標題精確搜尋。搜不到原文的，就當它不存在。

參考來源

Kalai, A. T., Nachum, O., Vempala, S. S., Zhang, E.（2025）. Why Language Models Hallucinate. arXiv:2509.04664. https://arxiv.org/abs/2509.04664
Anthropic. Reduce hallucinations（Claude 開發者文件）. https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
Walters, W. H., Wilder, E. I.（2023）. Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports. https://doi.org/10.1038/s41598-023-41032-5
Jaźwińska, K., Chandrasekar, A.（2025）. We Compared Eight AI Search Engines. They're All Bad at Citing News. Columbia Journalism Review / Tow Center. https://www.cjr.org/tow_center/we-compared-eight-ai-search-engines-theyre-all-bad-at-citing-news.php
Carnegie Mellon University, Computer Science Department. Doctoral Degrees Conferred: Adam Kalai. https://csd.cmu.edu/academics/doctoral/degrees-conferred/adam-kalai
Adam Tauman Kalai. Curriculum Vitae（CMU 主頁存檔）. https://www.cs.cmu.edu/afs/cs.cmu.edu/user/akalai/www/cv/cv.html
GB/T 7714-2015《資訊與文獻參考文獻著錄規則》（清華大學圖書館存檔全文）. https://lib.tsinghua.edu.cn/wj/GBT7714-2015.pdf
維基百科：阿Q正傳. https://zh.wikipedia.org/wiki/阿Q正傳
Crossref 後設資料檢索（我們用它的 REST API 逐條核對 DOI）. https://search.crossref.org/

關於本文

本文由櫻桃茶編輯部撰寫，AI 輔助檢索和初稿，編輯逐條核對來源與資料；同題測試於 2026 年 11 月 7 日通過模型 API 完成，提示詞、引數和原始輸出均有存檔。