OpenAI发布研究报告：揭示大语言模型“幻觉”现象背后的成因

OpenAI近日发布研究报告，针对当前广受关注的“语言模型幻觉（hallucination）”问题进行深入剖析。报告指出，即便当前的语言模型能力不断增强，模型自信地生成不真实答案的“幻觉”问题依然难以彻底根除。OpenAI的最新论文认为，这一现象源自目前主流的训练和评估方式更倾向于奖励“猜测”而非“承认未知”。

什么是语言模型的“幻觉”？

所谓“幻觉”，指的是语言模型生成看似合理但实际上错误的陈述。即便面对表面上极其直接的问题，模型也可能出现幻觉。例如，论文作者之一Adam Tauman Kalai的博士论文题目及生日，主流聊天机器人都曾自信地给出多个不同、但实际均不正确的答案。

评估偏差助长模型“猜测”

OpenAI指出，当前模型评估方法本质上激励了“猜测”——类似于选择题考试中，答错虽扣分但完全空白就得零分。因此，即使模型并不确定答案，也更倾向于给出猜测答案以获取更高准确率，而非坦诚表示“不知道”。这一机制导致模型在排行榜上的得分提高，但相应地幻觉现象也更加普遍。

实际数据进一步说明了这一点：在同一组评估中，旧版模型尽管准确率略高，但其错误率（即幻觉发生率）远高于那些选择性回避不确定问题的模型。

下一步：改革评估标准、强调“不确定性”

报告建议，未来的模型评估体系应对自信的错误给予更高惩罚，同时对恰当表达不确定性的模型给予部分分数。这一思路借鉴了部分教育领域的负分制和部分学术团体的前沿研究。OpenAI强调，仅在部分评估体系中试行新办法是不够的，主流的基于准确率的评分标准应全面革新，否则模型开发者会持续优化“猜测”算法。

模型“幻觉”来自训练机制

研究分析称，大语言模型的主要训练方式是序列预测（即“下一个词预测”），缺乏负面示例，因此模型更擅长生成流畅语言而非判别真假。在模型学习过程中，常见知识（如拼写）可通过归纳掌握，但不常见甚至随机性的事实（如生日）则难以通过语言规律推断，导致出现幻觉现象。

主要结论与前景展望

OpenAI报告澄清了社会对幻觉的诸多误解，并得出如下结论：

• 幻觉无法通过提升准确率彻底消除，因为客观上有些问题无法精准回答。

• 幻觉并非不可避免，模型应在不确定时选择回避。

• 幻觉并不只是大模型的“智能”问题，较小的模型在某些边界条件下反而更能坦承“不知道”。

• 幻觉是当前评估体系激励机制下的产物，通过科学的评级机制可望大幅减少。

OpenAI表示，其最新模型的幻觉率已显著下降，团队将持续努力，进一步降低语言模型自信输出错误信息的概率。

报告作者包括Adam Kalai、Santosh Vempala（佐治亚理工学院）、Ofir Nachum、Eddie Zhang、David Robinson、Saachi Jain、Eric Mitchell、Alex Beutel和Johannes Heidecke。

阅读官方博客原文：

https://openai.com/index/why-language-models-hallucinate/