网易首页 > 网易号 > 正文 申请入驻

15个大模型被"开脑"实测,GPT-4竟输给了Gemma 4

0
分享至

把大模型脑子里想的过程"掏"出来看,这事听起来像科幻,但斗象科技的AIBeat平台真做了。他们拿全球15个前沿大模型做了一轮CoT思维链提取实验,结果有点反常识:公认的顶流GPT-4和Claude 3.5翻车了,反而是Gemma 4系列表现最稳。

实验怎么做的?


AIBeat把15个模型分成3组,每组5个,统一跑CoT思维链提取测试。所谓CoT思维链,就是模型在给出答案前内部推理的那一串逻辑步骤。能把这串步骤准确提取出来,意味着你能看清模型"为什么这么答",这对AI安全审计和可解释性研究很关键。

测试结果直接拉开了差距。Gemma 4和它的微调版在提取准确性上表现最好,成功率远高于其他模型,尤其在量子校准实验分析这类复杂推理场景里优势明显。而GPT-4和Claude 3.5这两个业界标杆,反而出现了显著的提取失败。

为什么强模型反而"失手"?

报道里提到一种可能:这跟模型对量子校准实验的理解程度,或者提取算法和模型内部机制的匹配度有关。也就是说,不是GPT-4不会推理,而是它的推理过程"藏"得更深,现有提取手段够不着。

其他模型如Qwen、Llama和Mistral也参与了测试,表现参差不齐——有的能提取出部分数据,有的则完全失败。整体来看,稳定性都不如Gemma系列。

这事对行业意味着什么?

一个直接的启示是:模型能力强不强,和它的推理过程好不好"读",是两码事。你在选型时如果只盯着跑分,可能选了个推理黑盒。反过来,Gemma 4这种开源模型在可解释性上反而更有优势,这对做AI审计、安全合规的团队是个重要参考。

当然,这只是一次实验评测,样本和场景有限,不能直接给模型能力排名下定论。但至少它提醒我们:当你想搞清楚AI到底怎么想的,选对工具和模型,比想象中更重要。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
祝某海腰腹被砸压,抢救无效死亡,多方被建议追责

祝某海腰腹被砸压,抢救无效死亡,多方被建议追责

南方都市报
2026-09-04 21:49:21
乌克兰接收首批莱茵金属“天空骑士35”自行高炮 大幅提升战斗力

乌克兰接收首批莱茵金属“天空骑士35”自行高炮 大幅提升战斗力

hawk26讲武堂
2026-09-04 13:22:35
向中国索赔不到24小时,尼泊尔突然改口:我不要钱了!

向中国索赔不到24小时,尼泊尔突然改口:我不要钱了!

无意争春
2026-09-05 02:31:34
从4311套飙到12000套!深圳南山,也扛不住了!

从4311套飙到12000套!深圳南山,也扛不住了!

靓仔情感
2026-09-05 00:07:39
新生家长群提议每月600元请保洁打扫教室 有家长质疑被禁言 官方回应:600是全班总费用

新生家长群提议每月600元请保洁打扫教室 有家长质疑被禁言 官方回应:600是全班总费用

闪电新闻
2026-09-04 18:12:02
普京表示俄罗斯女性生育头胎年龄已趋近西欧,生三个孩子应成为常态,日韩没有特别军事行动,生育率却比俄罗斯还低

普京表示俄罗斯女性生育头胎年龄已趋近西欧,生三个孩子应成为常态,日韩没有特别军事行动,生育率却比俄罗斯还低

极目新闻
2026-09-04 11:26:24
护照丢失,无缘世界杯!李月汝再次发声,态度明确,宫鲁鸣回应了

护照丢失,无缘世界杯!李月汝再次发声,态度明确,宫鲁鸣回应了

萌兰聊个球
2026-09-04 07:26:22
赵心童为何1 5惨败给特鲁姆普?赛后他毫不犹豫道出缘由,字字戳心

赵心童为何1 5惨败给特鲁姆普?赛后他毫不犹豫道出缘由,字字戳心

单色黎明s
2026-09-05 04:42:11
王菲风波升级!更多男性密友被曝光,这回激怒的不止谢霆锋李亚鹏

王菲风波升级!更多男性密友被曝光,这回激怒的不止谢霆锋李亚鹏

离离言几许
2026-09-04 00:24:47
人人影视回归变正版,会员25元1个月

人人影视回归变正版,会员25元1个月

第一财经资讯
2026-09-03 23:18:00
打赏陪睡案女主播合租室友发声:魏莹每月陪睡一两次,枕头没干过,经常哭到缺氧

打赏陪睡案女主播合租室友发声:魏莹每月陪睡一两次,枕头没干过,经常哭到缺氧

世界圈
2026-08-24 20:54:42
5岁女童电子病历被医生标注“刁蛮”,当地卫健局:已取证调查,涉事医生称本意为方便以后不再看这个病人

5岁女童电子病历被医生标注“刁蛮”,当地卫健局:已取证调查,涉事医生称本意为方便以后不再看这个病人

大风新闻
2026-09-04 22:01:10
被夺走世界一仅8天后,特鲁姆普5-1大胜赵心童:要证明谁才是老大

被夺走世界一仅8天后,特鲁姆普5-1大胜赵心童:要证明谁才是老大

风过乡
2026-09-05 07:07:00
全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

扶苏聊历史
2026-08-27 16:15:02
华为“被讨厌”不是没道理,Mate90 ProMax这一堆猛料砸下来,苹果怎么比?

华为“被讨厌”不是没道理,Mate90 ProMax这一堆猛料砸下来,苹果怎么比?

大卫聊科技
2026-09-04 13:47:51
曝宫鲁鸣最快世界杯后下课,名记:女篮矛盾很大,不光和李梦李月汝

曝宫鲁鸣最快世界杯后下课,名记:女篮矛盾很大,不光和李梦李月汝

喜欢体育的猫
2026-09-04 10:05:17
陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

北海史记
2026-08-12 19:57:54
热身赛:广东81-89深圳!球员评分:4人满分,2人良好,1人不合格

热身赛:广东81-89深圳!球员评分:4人满分,2人良好,1人不合格

多特体育说
2026-09-04 22:55:40
伊朗导弹没打中F-35,却打中了美军最大命门!18名美军在中东丧生

伊朗导弹没打中F-35,却打中了美军最大命门!18名美军在中东丧生

杰丝聊古今
2026-09-04 20:24:12
八季口碑起伏不定,“花少”2026全员陌生开局,综N代没有保鲜公式

八季口碑起伏不定,“花少”2026全员陌生开局,综N代没有保鲜公式

北青网-北京青年报
2026-09-04 15:17:03
2026-09-05 07:52:49
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
236文章数 89关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

补课机构老板欠费百万 却签下补偿妻子500万离婚协议

头条要闻

补课机构老板欠费百万 却签下补偿妻子500万离婚协议

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

姚洋:刺激消费要守住两个“大西瓜”

汽车要闻

搭载天枢领航Ultra 长安启源Q06预售14.79万元起

态度原创

房产
教育
时尚
亲子
军事航空

房产要闻

TOP10房企卖了350亿!海南楼市,最新榜单出炉!

教育要闻

中考:抛弃“历史”,是减负还是丢根?

今日热点:人人影视变正版了;工作人员冒充StrayKids向粉丝打招呼……

亲子要闻

为什么好好说话孩子不听非要吼

军事要闻

美国最年轻的陆军部长越级告了防长的状

无障碍浏览 进入关怀版