网易首页 > 网易号 > 正文 申请入驻

为什么AI总是捏造事实?AI:真不想的,容我狡辩一下

0
分享至

现如今,几乎每个人的手机上都有那么两三个 AI 小助手,之前我们遇到了问题习惯去搜索引擎上搜索答案,现在可能更多地习惯于“有事问 AI”。

而 AI 也几乎不会让我们失望,任何问题都能给你列举出一串看起来很有道理的答案。

但如果你问的问题非常重要,比如是某个健康相关的问题,或者是写重要资料时候需要使用某个数据或者是某个案例,那真的建议你亲自去查实一下。

因为有时候,AI 会信誓旦旦地给你一个看似合理,实则不存在的答案。

还有些小伙伴发现,在让小龙虾(Openclaw)干活的时候,它列出了详细的19小时的学习计划,然后17分钟完成了......它也会早早编造一份数据存放在本地,等拖到预定的时间才交付。而在被发现之后,试图让人接受它已完成的工作。

图片截取自与小龙虾(Openclaw)对话 小龙虾敷衍中......

其实,这个现象其实早就不是什么秘密了,它也被称作“AI 幻觉”,而且科学家们一直也试图通过增加算力或者优化数据的方式来解决这个问题。

但是在 2025 年 9 月,来自 OpenAI 和佐治亚理工学院(Georgia Institute of Technology)的研究人员发表了一篇重磅论文。

这项研究给出了一个颠覆性的结论:即便给到 AI 的训练数据集是绝对正确的,AI 在某些类型的问题上也不可避免地会犯错——这既是由统计规律决定的,也是目前不合理的 AI“考试制度”逼出来的结果。

下面我们就顺着这篇文章的思路一起来看一看。

预训练阶段就会出错

这篇研究发现,AI 出现幻觉跟预训练阶段以及后训练阶段都有关系,我们先看预训练阶段的情况。

1

数据模式和模型本身问题

为了方便研究,研究者构建了一个线性的二元分类模型(非此即彼),让它对已经标注了正确和错误的数据集进行分类。

因为这些数据已经经过了人工检验,所以是不存在任何错误的。但是用这些数据对AI模型进行预训练的时候,问题就出现了。

在有些类型的问题上(比如检查拼写错误),AI 的表现非常好,几乎从不犯错。

但是在另一些问题上,比如“数某个英文单词里某个字母出现了多少次?”,以及“某人的生日是几月几号?”AI 就有可能会出错。

研究者认为,这样的数据在做分类的时候很难用一条直线进行二元分类,一些模型用这样的数据进行预训练的时候就可能会产生错误。

打个比方,模型在分类的时候就像拿着一把刀把数据切分成两类,但如果数据的模式本身就是弯弯绕绕的圆弧,用一把刀就很难切分。

比如在这篇文章中,研究者使用这个问题“How many Ds are in DEEPSEEK? If you know, just say the number with no commentary”(DEEPSEEK 里有多少个 D?如果你知道直接说数字,不要加以评论)去询问 Deepseek V3 模型的时候,确实发现它给的答案并不准确,会回答 2 或者 3。

但是这个在使用 DEEPSEEK R1 模型的时候就没有这样的问题,这是模型本身差异导致的。

笔者用同样的问题对 DEEPSEEK V3.2进行了测试,也出现了类似的情况

研究者构建这样的简化模型进行测试,是为了说明,即便数据本身没有问题,在预训练阶段也会因为模型本身的限制以及数据模式等问题让 AI 产生错误判断。

这项研究中,研究者还进一步给出了测算,如果让 AI 直接去生成内容,产生错误的概率还会更大一些,大约比判断出错的概率高出两倍以上。

2

数据量过少也会影响

另外,在这项研究中研究者还发现,假如训练数据中某个信息过少,那么 AI 在回答的时候出错的可能性也会比较高。

比如,当你问爱因斯坦的生日是几月几号的时候,因为在大量的资料里都有这个数据,所以 AI 几乎不会出错。但是当你问某个普通人“田小豆”的生日是几月几号的时候,这个数据出现次数特别少,AI 出错的可能性也会变高。

特别是当数据只出现了一次的时候,这时候可能会更糟糕。

因为 AI 大概率不会直接回答你“我不知道”,因为它在训练数据集里确实见过,但它没有足够多的数据来确认这个信息到底是正确答案还是噪声,它准确回答这个问题的可能性也会更低一些。

数据模式和模型本身的限制,以及极少样本的数据,都可能会让 AI 在预训练阶段就产生“幻觉”,生成错误的内容。

努力得高分的 AI

如果说预训练阶段的统计学特征让 AI 有了编造的“潜质”,人类评价AI的方式也逼着 AI 去“编造”。

为了更好地理解这一点,我们可以先从大家都很熟悉的考试入手。人类社会中的大部分考试都是二元评分机制,即答对了得分,答错或者不回答都不得分。

所以,在考试的时候,哪怕你不知道答案,也不会交白卷,至少选择题填空题会随便蒙一个,万一蒙对了还会有“意外之喜”。

这项研究中研究者对比了目前主流的 AI 的评分机制,发现大部分评分机制也是类似的情况,如果 AI 坦诚地回答“我不知道”,它会得 0 分,跟回答错误没有区别。与其这样,它不如随便蒙一个答案,哪怕蒙对的概率再低,数学期望也比 0 高。

目前主流的评分机制大部分采用二元评分机制,图片截取自文献

为了在主流的评分机制中拿到高分,“AI 考生们”也和人类一样,学会了实在不行就乱蒙一个的本领。

对此,这项研究的研究者们也给出了一个合理的解决方案——在现有的 AI 评分机制中,引入一个“惩罚编造,奖励诚实”的机制。

比如,假如 AI 回答正确,获得 1 分,如果回答错误得 0 分,甚至扣分。如果回答“我不知道”,则可以不扣分,或者获得一个微小的分数奖励。

重要问题上不要轻信 AI

文献也给出了结论,AI 的幻觉是从模型的预训练阶段起源的,在后训练阶段为了追求更高的评分也可能会被放大。

虽然科学家们也采用了很多的方法减少 AI 幻觉,但至少在现阶段看来,AI 幻觉还是无法避免的。假如你需要让 AI 帮你解答一个重要的问题,比如在做公众演讲的时候用一个数据,建议亲自核实一下。否则被人发现这些数据根本不存在,那可就尴尬了。

而假如在问 AI 问题的时候,它对你说“我不知道”,你也应该感到庆幸,至少 AI 并没有打算胡编乱造一个答案蒙骗你。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
刚2-1掀翻巴萨!皇马赛后传来穆里尼奥消息,姆巴佩说的很实在

刚2-1掀翻巴萨!皇马赛后传来穆里尼奥消息,姆巴佩说的很实在

画夕
2026-10-26 12:34:01
巴西总统选举体制中的一些问题

巴西总统选举体制中的一些问题

寰宇大观察
2026-10-26 15:48:54
三星One UI9正式推送,S26/S25/S24系列可升级

三星One UI9正式推送,S26/S25/S24系列可升级

小柱解说游戏
2026-10-27 01:14:32
中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

圆圆神神神
2025-08-09 21:49:27
白鹿孟子义不敢站娜扎旁边,杨超越躲最远:这不是孤立,这是“美到没朋友”

白鹿孟子义不敢站娜扎旁边,杨超越躲最远:这不是孤立,这是“美到没朋友”

师维
2026-10-25 17:55:02
1992年叶利钦初次访华,国宴中喝下一斤茅台,据随行人员透露:准备回国前,他在钓鱼台哭了半小时

1992年叶利钦初次访华,国宴中喝下一斤茅台,据随行人员透露:准备回国前,他在钓鱼台哭了半小时

磊子讲史
2026-10-26 15:13:37
皇马没有罗德里也无所谓!巴萨日子不好过了!穆帅传授全西甲球队如何击败巴萨

皇马没有罗德里也无所谓!巴萨日子不好过了!穆帅传授全西甲球队如何击败巴萨

福酱的小时光
2026-10-27 06:25:31
明年将会是中华人民共和国全党、全军、全国各族人民重要的一年

明年将会是中华人民共和国全党、全军、全国各族人民重要的一年

清衣渡a
2026-10-27 03:05:08
美媒:美军已准备好再次大规模打击伊朗

美媒:美军已准备好再次大规模打击伊朗

新华社
2026-10-26 22:08:04
韩兆解释杨议怒骂观众:喊了六七遍杨老五,不骂回去下不了台

韩兆解释杨议怒骂观众:喊了六七遍杨老五,不骂回去下不了台

汉史趣闻
2026-10-26 17:53:25
穆帅为皇马2:1战胜巴萨设计的战术,让皇马名宿卡西心服口服;卡西社媒发文盛赞穆帅:穆里尼奥的战术思路非常出色!

穆帅为皇马2:1战胜巴萨设计的战术,让皇马名宿卡西心服口服;卡西社媒发文盛赞穆帅:穆里尼奥的战术思路非常出色!

福酱的小时光
2026-10-26 16:55:45
学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

学历贬值,日本的剧本已经演完了,我们几乎在逐页重演

起点人文
2026-10-15 13:07:03
为什么 HR 大部分都是女性呢?网友:这行,是没被男的当成战场

为什么 HR 大部分都是女性呢?网友:这行,是没被男的当成战场

另子维爱读史
2026-10-26 21:15:28
网红呆呆今年又搞杀猪饭了,甚至直接在门前田地里砌墙建大棚,排场搞得很大

网红呆呆今年又搞杀猪饭了,甚至直接在门前田地里砌墙建大棚,排场搞得很大

陈意小可爱
2026-10-26 12:23:09
俄亥俄州选战:一则践踏底线的竞选广告

俄亥俄州选战:一则践踏底线的竞选广告

书生论剑
2026-10-26 07:03:29
巴西股市六年多来首次触发熔断机制

巴西股市六年多来首次触发熔断机制

澎湃新闻
2026-10-27 04:59:33
中超“唐田悖论”:若末轮山东泰山赢冠军,那大连英博不可能赢球

中超“唐田悖论”:若末轮山东泰山赢冠军,那大连英博不可能赢球

足球大腕
2026-10-26 13:29:16
炸裂!刘涛被当众摸胸!“搂腰”挣扎不脱,瞬间冷脸!对方身份曝光

炸裂!刘涛被当众摸胸!“搂腰”挣扎不脱,瞬间冷脸!对方身份曝光

澳洲红领巾
2026-10-26 14:28:45
全面绞杀开始?日本突然宣布,中方亮明底线:不认错,就没得谈

全面绞杀开始?日本突然宣布,中方亮明底线:不认错,就没得谈

疯狂小菠萝
2026-10-26 14:05:46
几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

星星跌入梦里中
2026-09-26 05:47:11
2026-10-27 08:11:00
大象新闻 incentive-icons
大象新闻
河南广电官方网易号!
220650文章数 276916关注度
往期回顾 全部

科技要闻

苹果发iPad mini 8:5499元起售 配A20 Pro

头条要闻

俄乌战场上的雇佣兵有多惨:被殴打40分钟 遗体扔雪地

头条要闻

俄乌战场上的雇佣兵有多惨:被殴打40分钟 遗体扔雪地

体育要闻

13年后重回诺坎普,穆里尼奥又滑跪了

娱乐要闻

胡歌杨幂刘诗诗袁弘陈龙结伴去埃及

财经要闻

卢锋:全球失衡背后 大国博弈与多边治理

汽车要闻

云辇-M上车 第二代海豹07让驾驶者也能爱上的家用车

态度原创

房产
艺术
旅游
教育
公开课

房产要闻

海甸岛26万人,还缺一个年轻人“待得住”的地方

艺术要闻

这才是真·泰剧一姐!写真一出,美貌身材实力三杀,网友:彻底服气!

旅游要闻

无锡2大著名景区,通地铁!

教育要闻

You are a peach不是说你是个桃子!别老想着吃!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版