1 定义与机制
1.1 概念起源
“幻觉”（Hallucination）一词最早源于心理学，指个体在没有外界刺激的情况下产生的虚假感知。在人工智能领域，这一术语于2010年代后期被引入，用于描述生成式模型（尤其是大语言模型）产生的看似合理却与事实不符的输出。研究者从早期机器翻译系统中发现模型偶尔“杜撰”词语或语句，到GPT-3等大规模模型发布后，幻觉成为显著问题。2022年，OpenAI、Google等机构的研究报告正式将“幻觉”作为LLM的核心缺陷之一加以系统探讨。
1.2 产生原因
1.2.1 训练数据偏差与噪声
大语言模型依赖于海量互联网文本进行训练，这些数据本身包含错误信息、虚假新闻、民间传说乃至恶搞内容。模型无差别学习后，容易将噪声数据中的错误关联内化为“知识”。例如，若训练语料中多次出现“爱因斯坦是火车司机”的段子，模型可能将其当作事实输出。此外，数据分布的长尾效应导致稀有事实被低估，而高频错误被放大。
1.2.2 模型架构的统计近似特性
Transformer架构通过自注意力机制学习词元间的概率分布，本质上是统计预测器。在生成过程中，模型依据上下文计算下一个最可能的token，这种局部最优化无法全局保证事实正确。例如，回答“世界上最高峰是？”时，模型因“珠穆朗玛峰”在训练文本中与“海拔8848米”高频共现，便可能忽略“Mountain Everest”的拼写变体，或错误关联为“乔戈里峰”的局部统计优势。
1.2.3 目标函数对真实性的忽视
训练时常用的交叉熵损失函数只要求模型预测的token分布接近真实文本，并不奖励事实一致性。模型没有内置“纠错”机制，只要生成流畅就获得高评分。因此，模型倾向于编造细节以填充知识空白，而非诚实回答“不知道”。例如，当被问及虚构人物“张三的生平”时，模型可能自动杜撰年份、事件，只因这样比“我不知道”更符合语言模式。
1.3 主要类型
1.3.1 事实性幻觉（捏造数据、事件）
这是最常见且最危险的类型。模型发明不存在的人物、日期、统计数据、科学结论等。典型案例包括：声称“某篇论文发表在Nature上”（实际不存在）、生成“Jane Doe是2024年诺贝尔奖得主”（实无此人），或者杜撰历史事件的细节。这种幻觉在医疗、法律等敏感领域可能造成严重后果。
1.3.2 逻辑性幻觉（因果断裂、自相矛盾）
模型在推理链条中出现断裂或循环，导致输出自相矛盾。例如，先肯定“所有鸟类都会飞”，后又提及“企鹅不会飞但属于鸟类”，却未进行逻辑调和。又如，在计算“3+5”时得出“7”，但紧接着又用同一过程得出“8”。这类幻觉反映了模型缺乏连贯的逻辑推理能力。
1.3.3 上下文矛盾幻觉（遗忘或混淆对话历史）
在多轮对话中，模型可能遗忘早期用户提供的信息，或混淆不同轮次的语境。典型表现：用户告知“我的猫叫小白”，随后问“小白喜欢吃什么”，模型却回答“您的狗小白应该吃狗粮”。这种幻觉源于长上下文注意力衰减或记忆窗口有限，使得模型“失忆”。
2 检测与评估
2.1 人工标注方法
早期依赖人类评估员逐句判断输出是否与已知事实、文档证据或常识一致。常用框架包括：要求标注者对每个声明标注“支持”“矛盾”或“无关”，并计算准确率。尽管人工标注准确度高，但成本昂贵、速度慢，且标注者间一致性（Inter-annotator agreement）可能较低，尤其对模糊事实边界（例如“牛奶是白色”是否绝对成立）争议较大。
2.2 自动化评估指标
2.2.1 忠实度评分（FactScore）
FactScore由研究者提出，将模型输出分解为原子声明（atomic claims），然后利用知识库或预训练分解模型判断每个声明是否可被证据支持。计算支持声明比例作为得分。例如，回答“牛顿发现万有引力，且出生于1642年”，若两个声明均正确则得满分。该方法可复现且高效，但对复杂逻辑关系的评估仍有局限。
2.2.2 事实一致性（F1、BLEU派生指标）
借鉴机器翻译和文本摘要评估，衍生出基于n-gram重叠的F1、BLEU、ROUGE等指标，用于对比生成文本与参考文本。但这些指标无法捕捉事实性错误，例如“太阳从西边升起”与参考语料“太阳从东边升起”在n-gram层面可能高度匹配，但事实完全相反。为此，后续出现了更针对性的指标如QAFactEval、SummaC等，通过问答或蕴含模型检测矛盾。
2.3 挑战与争议
2.3.1 幻觉与创造性的边界
文学创作、科幻设定、幽默笑话本身依赖虚构，要求模型只能输出真实事实会扼杀其创造力。例如，让模型编写“外星人种族特征”时，完全真实的答案反而无趣。争议在于：如何划定“有用虚构”与“有害谎言”的界限？目前尚无统一标准，往往取决于应用场景。
2.3.2 评估标准的主观性
同一段输出，不同评估者可能不同。例如，说“恐龙灭绝于小行星撞击”是主流科学理论，但仍有部分学者支持火山假说——若模型表述为“恐龙因火山灭绝”，在多元化观点下算幻觉吗？此外，知识更新速度也带来挑战：2023年评估时认为模型“谎称”某事件，2024年该事件被证实后，评估就失效。这导致自动化评估面临“知识截止日期”难题。
3 缓解与改进策略
3.1 训练阶段优化
3.1.1 数据清洗与对抗训练
在预训练前，过滤低质量、错误频发的来源（例如维基百科随机页面、虚假新闻抓取）。同时引入对抗训练：构建包含常见幻觉模式的反事实样本，让模型学会识别并拒绝错误关联。例如，在正例“巴黎是法国首都”旁添加负例“巴黎是意大利首都”，强制模型学习准确事实。
3.1.2 基于人类反馈的强化学习（RLHF）
使用人类标注者对模型输出进行质量排序，训练奖励模型（reward model），再通过强化学习（PPO算法）优化生成策略。奖励模型会惩罚包含明显事实错误的输出，鼓励模型在不确定时承认无知。经过RLHF的模型（如GPT-4、Claude）在事实性上显著优于基础模型。
3.1.3 知识图谱注入
在训练中引入结构化知识（如Wikidata、Freebase），将实体和关系以三元组形式嵌入模型。例如，通过实体链接任务让模型学会“爱因斯坦-出生-1879”。这种方法可增强模型对事实的记忆，但容易受图谱覆盖范围限制，且无法动态更新。
3.2 推理阶段干预
3.2.1 检索增强生成（RAG）
在推理时，先从外部知识库（如维基百科、私有数据库）中检索与用户问题相关的文档，再将检索结果拼接至提示上下文，引导模型基于证据回答。RAG可有效减少对训练集知识的依赖，但检索到的文档本身若存在错误，幻觉风险会转移至检索系统。典型应用如Bing Chat（现Copilot）和Perplexity AI。
3.2.2 温度参数与采样策略调整
温度（Temperature）控制输出随机性：较低温度（如0.1）让模型倾向最高概率词元，减少编造；但可能过于保守、缺乏多样性。Top-p、Top-k采样也可限制可选词范围。实践中，事实性任务通常设温度<0.3，创造性任务设>0.8。然而，调整参数只是概率层面的抑制，无法根除结构性的幻觉。
3.2.3 思维链提示与自我校验
通过让模型在回答前逐步推理（Chain-of-Thought），暴露中间逻辑，便于检测矛盾。此外，可设计“自我校验”提示：让模型先输出答案，再要求其针对该答案检查事实依据。例如：“请确认你刚才说的每个事实是否都有可靠来源，若不确定请修改。”该方法在GPT-4实验中可将幻觉率降低约30%，但会显著增加Token消耗。
3.3 后处理与输出控制
3.3.1 置信度过滤
模型在生成时可输出每个token的logit概率，通过对整体置信度打分（如询问“你有多大把握认为答案正确？”），低于阈值的输出予以拦截或要求重新生成。一些应用（如Google AI Overview）将此机制用于敏感话题，但置信度与事实正确性并非严格正相关。
3.3.2 外部知识验证插件
部署事实核查API或专用验证模型（如FactCheckGPT），在生成后自动检索并比对事实性声明。若发现矛盾，可回退、修正或标记风险。例如，维基百科FactCheck工具可在查看AI摘要时高亮疑似幻觉。缺点是增加延迟，且覆盖有限的实时事件。
4 文化影响与网络梗
4.1 “一本正经地胡说八道”——AI幽默的源头
当AI以极度自信的语气输出荒谬内容时，往往产生荒诞喜剧效果。例如，问ChatGPT“如何烧开水”，它可能描述“先用镭射切割机将水分子分解，再重组成蒸汽”。这类输出迅速成为网络模因，用户乐此不疲地分享AI的“脑洞时刻”。甚至在B站、Reddit上，有专门收集LLM“优秀幻觉作品”的频道，将其视为AI的冷幽默彩蛋。
4.2 对科普与新闻可信度的冲击
2023年，一位律师使用ChatGPT撰写法律摘要，竟引用了多个完全虚构的判例，被法官严厉批评。类似事件使公众对AI生成内容的信任度大打折扣。新闻机构在采用AI辅助写作时，必须标注“可能包含幻觉”，并增设人工审核。一些伪科普网站则故意利用幻觉制造耸人听闻的标题（如“AI发现火星存在巨型金字塔”），进一步污染信息生态。
4.3 在创意写作中的另类价值
4.3.1 脑洞生成器（如虚构城市、生物）
作家和游戏设计师主动利用幻觉特性，要求AI生成不存在的事物细节。例如，输入“描述一种以数学为能源的外星生物”，模型可能产出“费马脉冲兽——每秒钟方程才能保持形态”等奇特设定。这类内容在被人类审查后修改，反而成为灵感源泉。
4.3.2 误打误撞的“预言”与脑补段子
有时AI的幻觉意外与现实吻合。例如，用户在2023年要求AI设计一个“2025年发生的全球事件”，AI虚构了“北极冰盖融化导致新版《宪法》草案被提出”等情景——尽管细节不实，但激发了公众对气候议题的讨论。搞笑段子中，AI无意识地把“李白打篮球”和“杜甫为科比写诗”混搭，形成时空错乱的幽默感。
5 未来方向
5.1 可解释性与透明度
未来需要让模型在生成时附带证据来源或置信度指示，例如输出时自动引用检索到的文档片段。同时开发可视化工具，展示模型在推理时关注了哪些训练数据片段。这有助于用户识别和质疑低可信输出。可解释性研究仍处于早期，但已成为缩小幻觉鸿沟的关键。
5.2 多模态幻觉的挑战（文生图、视频）
随着文生图（DALL·E、Midjourney）和文生视频（Sora）的兴起，幻觉从文本扩展至视觉领域。例如，模型可能生成“六指婴儿”或“有螺旋桨的汽车”，视觉上合理但物理上不可能。多模态幻觉的检测需要跨模态一致性评估（如“文字描述‘一只黑猫’但图片却是白狗”）。目前尚无成熟的跨模态事实核查方法，预计将成为下一个研究热点。
5.3 法规与伦理框架
欧盟《人工智能法案》（AI Act）已将高风险AI系统（如医疗、司法）的准确性和可靠性纳入法律要求。未来可能出现专门针对AI幻觉的合规标准，要求模型供应商记录并公开幻觉率、提供用户投诉渠道。同时，伦理层面如何平衡禁止有害幻觉与保护言论自由（如讽刺作品）仍存争议。行业自律（如公司设立“幻觉率上限”SLA）可能先于法规实施。