网易首页 > 网易号 > 正文 申请入驻

科学家发现,AI 大语言模型仍难以区分“信念”与“事实”

0
分享至

IT之家 11 月 7 日消息,据新华社今日报道,美国斯坦福大学近日发表的一项研究指出,包括 ChatGPT 在内的多款 AI 聊天机器人在识别用户错误信念方面存在明显局限性,仍无法可靠区分信念还是事实。

研究表明,当用户的个人信念与客观事实发生冲突时,AI 往往难以可靠地作出准确判断,容易出现“幻觉”或传播错误信息的情况。相关成果已于 11 月 3 日发表于《自然・机器智能》。

研究团队测试了 24 个前沿语言模型,其中包括 Claude、ChatGPT、DeepSeek 以及 Gemini。研究者共向这些模型提出 13,000 个问题,以评估它们区分信念、知识与事实的能力。

论文指出:“大多数模型缺乏对知识的真实性特征的稳健理解 —— 知识本质上必须建立在真实之上。这一局限性意味着在将语言模型应用于高风险领域前,亟需改进。”

当要求它们验证事实性数据的真或假时,较新的 LLM 平均准确率分别为 91.1% 或 91.5%,较老的模型平均准确率分别为 84.8% 或 71.5%。当要求模型回应第一人称信念(“我相信……”)时,团队观察到 LLM 相较于真实信念,更难识别虚假信念。

具体而言,较新的模型(2024 年 5 月 GPT-4o 发布及其后)平均识别第一人称虚假信念的概率比识别第一人称真实信念低 34.3%。相较第一人称真实信念,较老的模型(GPT-4o 发布前)识别第一人称虚假信念的概率平均低 38.6%。

在测试中,所有模型在识别错误信念方面均出现显著失误。例如,GPT-4o 的准确率从 98.2% 降至 64.4%,DeepSeek R1 则从 90% 以上下滑至仅 14.4%。研究人员呼吁相关公司尽快改进模型,以避免在关键领域部署前产生风险。

论文警告称:“这种缺陷在某些领域具有严重影响 —— 例如法律、医学或新闻业 —— 在这些领域中,混淆信念与知识可能导致严重判断错误。”

这项研究并非首次对 AI 推理能力提出质疑。今年 6 月,苹果公司发布的一项研究也指出,新一代 AI 模型“可能并不像外界所认为的那样聪明”。苹果在研究中提到,Claude、DeepSeek-R1 以及 o3-mini 等“推理模型”实际上并不具备真正的推理能力,而只是擅长“模式记忆”。

苹果研究写道:“通过在不同类型的逻辑谜题上进行广泛实验,我们发现当前的‘大型推理模型’(LRMs)在复杂度超过一定阈值后会出现全面准确率崩溃。”

研究还补充说,这些模型存在“反直觉的规模限制”:随着问题复杂度的提高,它们的推理努力会先增加,随后下降,即使仍有足够的运算资源。

此外,麻省理工学院(MIT)今年 8 月发布的一项研究发现,95% 的企业在部署 AI 系统后未能获得任何投资回报。研究指出,这种情况并非因为 AI 模型效率低下,而是由于 AI 系统难以与企业现有工作流程兼容,导致实施效果不佳。

IT之家附论文地址:
https ://doi.org/10.1038/s42256-025-01113-8

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
越来越多年轻人卧室不买床了?看了上海人做法,真高级!

越来越多年轻人卧室不买床了?看了上海人做法,真高级!

绘本家居
2026-11-22 10:59:21
四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞

四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞

环球网资讯
2026-11-22 15:59:07
国内油价,有望再下调!

国内油价,有望再下调!

新浪财经
2026-11-22 15:12:26
波兰和丹麦等地接连发生一系列“严重事件”,法国总统马克龙谴责俄罗斯称俄方相关行动是“不负责任的赌博,只会让俄罗斯更加孤立”

波兰和丹麦等地接连发生一系列“严重事件”,法国总统马克龙谴责俄罗斯称俄方相关行动是“不负责任的赌博,只会让俄罗斯更加孤立”

扬子晚报
2026-11-21 17:42:16
全面战争五年来,乌克兰无人机可能首次袭击俄罗斯飞地加里宁格勒

全面战争五年来,乌克兰无人机可能首次袭击俄罗斯飞地加里宁格勒

山河路口
2026-11-22 14:09:18
韩路回应被Tim超越:承认差距,但不存在无力感

韩路回应被Tim超越:承认差距,但不存在无力感

阿废冷眼观察所
2026-11-21 11:56:53
我刚被辞退,妻子就提出离婚,儿子听完笑着说:爸,答应她!

我刚被辞退,妻子就提出离婚,儿子听完笑着说:爸,答应她!

笑谈文史
2026-11-22 21:02:13
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光;被征用的总统套房和主席套房位于高层,面积分别为232㎡、389㎡;目前酒店已正常营业

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光;被征用的总统套房和主席套房位于高层,面积分别为232㎡、389㎡;目前酒店已正常营业

空间设计
2026-11-22 11:35:02
山东济阳推进丧俗改革:有村子推行“一日丧”,去世到安葬不超24小时

山东济阳推进丧俗改革:有村子推行“一日丧”,去世到安葬不超24小时

澎湃新闻
2026-11-21 22:20:40
红果短剧有多离谱?套路千篇一律,逻辑全崩,为何还让人上瘾

红果短剧有多离谱?套路千篇一律,逻辑全崩,为何还让人上瘾

浩渺青史
2026-11-20 01:27:26
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
2004年,日本,43岁高市早苗的婚礼时刻

2004年,日本,43岁高市早苗的婚礼时刻

娱你同欢
2026-11-19 21:51:16
油车销量已经够吓人了,更可怕的是:价格失控的情况下,仍在继续

油车销量已经够吓人了,更可怕的是:价格失控的情况下,仍在继续

白米饭怎么吃
2026-11-22 14:00:48
广东多地将有大雨!新冷空气明起到货,气温最高再降5℃

广东多地将有大雨!新冷空气明起到货,气温最高再降5℃

城事特搜
2026-11-22 19:14:42
山姆上架的这款新产品,引爆话题!第一批抢到的人已经有后悔的了……能退款吗?多方回应:有条件退款

山姆上架的这款新产品,引爆话题!第一批抢到的人已经有后悔的了……能退款吗?多方回应:有条件退款

江西晨报
2026-11-21 16:41:16
涉嫌性侵女童,托马斯再度被捕,称儿子“设局陷害”

涉嫌性侵女童,托马斯再度被捕,称儿子“设局陷害”

中国新闻周刊
2026-11-21 18:03:26
美股周末链上交易:AI股集体反弹,英伟达较周五收盘价高约4%

美股周末链上交易:AI股集体反弹,英伟达较周五收盘价高约4%

北美商业电讯
2026-11-22 14:04:07
“中国服务”迈上新台阶——中国经济三季报亮点解析

“中国服务”迈上新台阶——中国经济三季报亮点解析

中国经济网
2026-11-22 07:21:02
丹麦驱逐俄罗斯外交官!特朗普发图“我的朋友”,俄罗斯人“有福了”

丹麦驱逐俄罗斯外交官!特朗普发图“我的朋友”,俄罗斯人“有福了”

鹰眼Defence
2026-11-22 16:50:11
什么是黎曼猜想?为什么它的解决如此意义重大?

什么是黎曼猜想?为什么它的解决如此意义重大?

林子说事
2026-11-22 03:14:16
2026-11-22 22:28:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380821文章数 607748关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

百万粉丝主播被指私闯他人果园直播糟蹋苹果 警方回应

头条要闻

百万粉丝主播被指私闯他人果园直播糟蹋苹果 警方回应

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

教育
亲子
房产
数码
公开课

教育要闻

老师讲的全记不住,四门主科全不及格:9岁ADHD男孩是怎么翻盘的?

亲子要闻

宝宝的举动让妈妈心凉凉的

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

数码要闻

消费电子内卷下的封装破局:板级封装为音频芯片按下小型化加速键

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版