网易首页 > 网易号 > 正文 申请入驻

OpenAI罕见发论文:我们找到了AI幻觉的罪魁祸首

0
分享至

机器之心报道

编辑:Panda

AI 最臭名昭著的 Bug 是什么?不是代码崩溃,而是「幻觉」—— 模型自信地编造事实,让你真假难辨。这个根本性挑战,是阻碍我们完全信任 AI 的关键障碍。

大模型会有幻觉,这几乎已经成为一个常识,让每一个严肃使用大模型的人都不得不谨慎小心。OpenAI 也指出:「ChatGPT 也会产生幻觉。GPT-5 的幻觉明显更少,尤其是在执行推理时,但幻觉仍然会发生。幻觉仍然是所有大型语言模型面临的一大根本挑战。」

尽管现在学术界已经提出了各种各样用来降低模型幻觉的方法,但目前尚未出现能彻底「根治」模型幻觉的良方。

那么,大模型究竟为什么会出现幻觉呢?今天,OpenAI 罕见发表论文,系统性地揭示了幻觉的根源。

首先,定义幻觉。OpenAI 给出的简单定义是:「模型自信地生成不真实答案的情况。」

至于原因,简单来说就是:标准的训练和评估程序更倾向于对猜测进行奖励,而不是在模型勇于承认不确定时给予奖励

  • 论文标题:Why Language Models Hallucinate
  • 论文地址:https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf

下面我们就来具体看看 OpenAI 究竟发现了什么。

什么是幻觉?

幻觉是语言模型生成的看似合理但却错误的陈述。

即使看似简单的问题,它们也可能以出人意料的方式出现。OpenAI 举了个例子,当向不同的广泛使用的聊天机器人询问 Adam Tauman Kalai(论文一作)的博士论文标题时,它们自信地给出了三个不同的答案,但没有一个是正确的。

当询问他的生日时,它给出了三个不同的日期,同样都是错误的。

为了测试而学习

OpenAI 表示,幻觉持续存在,部分原因是当前的评估方法设置了错误的激励机制。虽然评估本身不会直接导致幻觉,但大多数评估模型性能的方式会鼓励模型进行猜测,而不是诚实地面对不确定性。

可以把它想象成一个多项选择题测试。如果你不知道答案,但随意猜测,你可能会很幸运地猜对。留空则必定得零分。同样,当模型仅根据准确度(即完全答对问题的百分比)进行评分时,它们会被鼓励进行猜测,而不是承认「我不知道」。

再举一个例子,假设一个语言模型被问及某人的生日,但它不知道。如果它猜测「9 月 10 日」,那么它有 1/365 的概率猜对。说「我不知道」则必定得零分。在数千道测试题中,猜测型模型最终在记分牌上的表现要优于谨慎且承认不确定的模型。

对于只有一个「正确答案」的问题,可以考虑三类答案:准确答案、错误答案以及模型不愿冒险猜测的弃权答案。

OpenAI 表示,弃权答案是谦逊(humility)指标的一部分,而谦逊是 OpenAI 的核心价值观之一。

大多数分数指标会根据准确度对模型进行优先排序,但错误答案比弃权答案更糟糕。OpenAI 的模型规范指出,指出不确定性或要求澄清会更好,而不是自信地提供可能不正确的信息

以 GPT5 系统卡中的 SimpleQA 评估为例。

在准确度方面,更早期的 OpenAI o4-mini 模型表现略好。然而,其错误率(即幻觉率)明显较高。在不确定的情况下进行策略性猜测可以提高准确度,但也会增加错误和幻觉。

在对数十次评估的结果进行平均时,大多数基准测试都会剔除准确度指标,但这会导致对错之间的错误二分法。

在像 SimpleQA 这样的简单评估中,一些模型的准确度接近 100%,从而消除了幻觉。然而,在更具挑战性的评估和实际使用中,准确度会固定在 100% 以下,因为有些问题的答案由于各种原因(例如信息不可用、小型模型的思维能力有限或需要澄清的歧义)而无法确定。

尽管如此,仅以准确度为衡量标准的评估指标仍然占据着排行榜和模型卡的主导地位,这就会鼓励开发者构建能够猜测而不是退缩的模型。

正因为此,即使模型变得更加先进,它们仍然会产生幻觉。原因之一便是它们倾向于自信地给出错误答案,而不是承认不确定。

更好的评估方法

对此,OpenAI 指出了一个简单的解决办法:对自信错误(confidential error)的惩罚力度大于对不确定性的惩罚力度,并对恰当表达不确定性的行为给予部分加分。

这个想法并不新鲜。一些标准化测试长期以来一直使用对错误答案进行负面评分或对留空问题给予部分加分的方法来阻止盲猜。一些研究团队也探索了考虑不确定性和校准的评估方法。

但 OpenAI 表示,仅仅增加一些新的不确定性感知测试是不够的。广泛使用的、基于准确度的评估方法需要更新,使其评分能够阻止猜测。

如果主要评估指标依然继续为模型幸运的猜测给予奖励,模型就会继续学习猜测。修改评估指标可以扩大降低幻觉技术的采用范围,包括新开发的和先前研究的技术。

幻觉是如何从下一个词预测中产生的

前面已经讨论过为什么幻觉如此难以摆脱,但这些高度具体的事实性错误究竟从何而来?

毕竟,大型预训练模型很少出现其他类型的错误,例如拼写错误和括号不匹配。

OpenAI 表示,区别必定在于数据中存在哪些模式。

语言模型首先通过预训练进行学习,这是一个预测海量文本中下一个词的过程。

与传统的机器学习问题不同,每个语句没有「真 / 假」标签。该模型只看到流畅语言的正面示例,并且必须去近似整体分布。

当没有任何被标注为无效的示例时,区分有效语句和无效语句会更加困难。但即使有标签,一些错误也是不可避免的。

为了理解原因,可以考虑一个更简单的类比。在图像识别中,如果数百万张猫狗照片被标记为「猫」或「狗」,算法可以学会可靠地对它们进行分类。但想象一下,如果用宠物的生日来标记每张宠物照片。由于生日本质上是随机的,无论算法多么先进,这项任务总是会产生错误。

同样的原则也适用于预训练。拼写和括号遵循一致的模式,因此这些错误会随着规模的扩大而消失。但像宠物的生日这样任意的低频事实,无法仅凭模式预测,因此会导致幻觉。

OpenAI 的分析解释了哪些类型的幻觉会由下一个词预测产生。理想情况下,预训练后的后续阶段应该能够消除这些幻觉,但由于上一节中描述的原因,这并未完全实现。

总结

OpenAI 表示:「我们希望本文中的统计学视角能够阐明幻觉的本质,并驳斥一些常见的误解」:

有人宣称:幻觉可以通过提高准确度来消除,因为 100% 准确的模型永远不会产生幻觉。

发现:准确度永远不会达到 100%,因为无论模型规模、搜索和推理能力如何,有些现实世界的问题本质上是无法回答的。

有人宣称:幻觉是不可避免的。

发现:幻觉并非不可避免,因为语言模型在不确定时可以放弃回答。

有人宣称:避免幻觉需要一定程度的智能,而这只有大型模型才能实现。

发现:小型模型更容易了解自身的局限性。例如,当被要求回答毛利语问题时,一个不懂毛利语的小型模型可以直接回答「我不知道」,而一个认识一些毛利语的模型则必须确定其置信度。正如论文中所讨论的,「校准」所需的计算量远小于保持准确。

有人宣称:幻觉是现代语言模型的一个神秘缺陷。

发现:我们可以理解幻觉产生以及在评估中获得奖励的统计学机制。

有人宣称:要测量幻觉,我们只需要一个好的幻觉评估。

发现:已有研究者发表了一些幻觉评估。然而,一个好的幻觉评估与数百种传统的基于准确度的评估相比几乎没有效果,这些评估会惩罚谦逊并奖励猜测。相反,所有主要的评估指标都需要重新设计,以奖励不确定性的表达。

OpenAI 表示:「我们最新的模型幻觉率更低,并且我们将继续努力,进一步降低语言模型输出的置信错误率。」

顺带一提,据 TechCrunch 报道,OpenAI 正在重组其模型行为(Model Behavior)团队,这是一支规模虽小但颇具影响力的研究人员团队,他们决定着该公司的 AI 模型与人互动的方式。现在,该团队将向 OpenAI 的后期训练主管 Max Schwarzer 汇报。

而该团队的创始负责人 Joanne Jang 则将在公司启动一个新项目,名为 oai Labs。据她的推文介绍:「这是一个以研究为导向的团队,专注于发明和设计人们与 AI 协作的新界面原型。」

https://openai.com/index/why-language-models-hallucinate/

https://techcrunch.com/2025/09/05/openai-reorganizes-research-team-behind-chatgpts-personality/

https://x.com/joannejang/status/1964107648296767820

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

监控画面曝光!莫桑比克一中国人经营的超市遭4名持枪男子抢劫,两名保安被逼跪地

扬子晚报
2026-11-16 12:06:10
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

太惨烈,都是跌停!中际旭创市值少了1万亿,不少股民爆仓了

金融界
2026-11-16 15:22:01
官宣通告!11月11日至21日,深圳全市区域开展低空飞行管控!

官宣通告!11月11日至21日,深圳全市区域开展低空飞行管控!

深圳梦
2026-11-16 19:53:11
原上海医科大学附属妇产科医院党委书记花俊生逝世,享年91岁

原上海医科大学附属妇产科医院党委书记花俊生逝世,享年91岁

澎湃新闻
2026-11-16 09:20:27
A股:午后突然加速跳水,信号已经非常强烈!周二将有三大变数

A股:午后突然加速跳水,信号已经非常强烈!周二将有三大变数

云鹏叙事
2026-11-16 14:56:33
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
1987年邓小平召集小型会议,众目睽睽之下,猛地指向刘华清与洪学智问杨尚昆:命令究竟有没有下达

1987年邓小平召集小型会议,众目睽睽之下,猛地指向刘华清与洪学智问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-16 16:13:14
打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

打平即出线!意大利又崩盘 1-4遭比利时逆转+双杀 从头名跌第3出局

我爱英超
2026-11-16 06:56:13
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

皓皓情感说
2026-11-16 07:51:03
扫码抽中免费平板,贵阳男子称被要求108次电话回访,漏接一次罚300!改掏7800元买平板和酒,回家一看发现不对劲

扫码抽中免费平板,贵阳男子称被要求108次电话回访,漏接一次罚300!改掏7800元买平板和酒,回家一看发现不对劲

大风新闻
2026-11-16 13:50:06
被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

被骂“滚回中国”后,华人家庭谢绝“当面道歉”!“没有必要,希望她自己想想为什么”

发现新西兰
2026-11-16 11:23:23
消瘦如柴!成龙独子房祖名近况罕见曝光,传已秘婚生子...

消瘦如柴!成龙独子房祖名近况罕见曝光,传已秘婚生子...

港港地
2026-11-15 12:05:35
2000年,与李泽楷结束恋情的林慧仪独坐车内,情绪崩溃

2000年,与李泽楷结束恋情的林慧仪独坐车内,情绪崩溃

娱你同欢
2026-11-16 19:43:01
前省委常委掌掴副市长,副市长不堪受辱辞官!

前省委常委掌掴副市长,副市长不堪受辱辞官!

兵叔评说
2026-11-16 14:24:20
批评黄仁勋最狠的人身份扒出!不是白人黑人,不是印度人,是以华裔女记者为主的《纽约时报》

批评黄仁勋最狠的人身份扒出!不是白人黑人,不是印度人,是以华裔女记者为主的《纽约时报》

小徐讲八卦
2026-11-16 09:27:43
亚马尔辱华!网友要求蒙牛发声明解约 3大代言人翻车:刚解约姆巴佩

亚马尔辱华!网友要求蒙牛发声明解约 3大代言人翻车:刚解约姆巴佩

念洲
2026-11-16 07:49:47
生父姓泽连斯基!俄媒曝普京小女儿再添一子,近11个月才登记

生父姓泽连斯基!俄媒曝普京小女儿再添一子,近11个月才登记

麓谷隐士
2026-11-16 00:05:08
亚马尔辱华,比姆巴佩更恶劣

亚马尔辱华,比姆巴佩更恶劣

鸣金网
2026-11-16 17:59:49
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
2026-11-16 20:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

旅游
家居
亲子
教育
房产

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝气人但是聪明的4个行为

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

无障碍浏览 进入关怀版