网易首页 > 网易号 > 正文 申请入驻

AI连续剧!从「错觉」到「错觉的错觉」再到「错觉的错觉的错觉」

0
分享至

闻乐 发自 凹非寺
量子位 | 公众号 QbitAI

苹果团队一篇论文,现已升级成AI圈“论文连续剧”。

《思维的错觉》:大模型推理会崩溃。

《思维的错觉的错觉》:大模型崩溃是错觉。

《思维的错觉的错觉的错觉》:大模型还是会崩溃。

起初,苹果团队发了一篇论文炮轰所有大模型推理都是假象,遇到高复杂度长推理问题时都会崩溃,即使给他们足够的时间和计算资源。

这篇文章引起了广泛关注,有人支持也有人质疑。

在质疑的人中,有一位网友与Claude Opus“合作”写了一篇长达5页的文章,来说明大模型这种明显的崩溃是人为因素造成的。

没多久,第三篇文章也来了,这篇综合了前两篇的观点,赞同大模型崩溃是实验设计不合理这一人为因素造成的,但也强调模型在非常长的逐步执行中仍然会出错,尽管方法有所改进,但脆弱性依然存在。

也就是说,大模型在推理过程中还是会崩溃。

基于上次的经验,网友猜测第三篇文章的第一作者或许是Gemini Pro~

让我们来看看这部“连续剧”到底在“演”什么。

大模型推理到底会不会崩溃

最新的这篇文章对前两篇内容进行了双重审视,得出的结论是:你俩说的都有道理。

认同第二篇的三个关键修正
原研究的观点是:当题目难度超过临界点时,大模型推理会崩溃。

苹果的原研究是通过设计4类谜题环境(汉诺塔、跳棋交换、过河问题、积木世界),系统观察模型在不同复杂度下的行为变化。

他们进行了大量实验,对比“会思考”和“不思考”的模型组合。

发现在低复杂度任务中,那些“不思考”标准语言模型实际上表现得更好。

随着任务难度进入中等水平,“会思考”的推理模型开始显现优势。

当问题复杂度继续增加并超过某个临界点时,无论是推理模型还是标准模型都会经历完全的性能崩溃,准确率直线下降至零,甚至会减少思考token。

比如汉诺塔问题,在超过大约8个盘后,标准模型和推理模型都崩溃到0%,推理模型的输出token甚至更少,这表明当前的思维链扩展在较小深度之外就失效了。

第二篇认为这里面有三个测试瑕疵,token预算限制、评估误判、以及谜题设计的数学不可解性。

于是,作者进行了模型重新验证。

  • 替代表示法的有效性:当要求模型以Lua函数等紧凑形式输出汉诺塔解法时(而非枚举所有步骤),测试模型(如Claude-3.7-Sonnet、Gemini 2.5)在N=15时仍能保持高准确率,且token消耗远低于上下文限制(<5000token),证明模型具备递归算法理解能力,失败源于格式约束而非推理缺陷。
  • 复杂度指标的误用:原研究以 “组合深度”(最小移动步数)衡量复杂度,但汉诺塔虽需指数级步数,每步决策复杂度仅为O(1),而积木世界因涉及最优解搜索(NP难问题),实际难度更高。模型在长序列汉诺塔问题中的表现优于短序列积木问题,印证了 “解长度≠计算复杂度” 的观点。

结论就是,原研究的 “崩溃” 本质上是实验设计对模型输出限制、谜题不可解性和复杂度误判的综合结果,而非LRMs(推理模型)的根本性推理局限。

最新的第三篇认同了第二篇的三个关键修正。

大模型在面对高复杂度长推理时还是避免不了“崩溃”

虽然认为第二篇的反驳有道理,但该作者又指出:

第二篇的实验测试的是算法知识检索与代码生成,而非原实验的 “连续执行与状态追踪”。

模型可能因训练数据包含汉诺塔算法而成功生成函数,但无法证明其能无错执行3万余步(如N=15的32767步)。

也就是说,虽然汉诺塔每步规则很简单,但模型仍可能因中间步骤误差累积导致失败。

原研究中,即使向模型提供算法提示,它仍表现为崩溃,暗示瓶颈在于执行保真度而非解法发现。

简单来说就是,虽然token限制是直接原因,但模型在长序列任务中的失败反映了 “持续高保真执行” 的内在缺陷。

并且,模型在接近 “崩溃点” 时会提前减少推理投入(如推理token数下降),这一现象无法仅用token限制解释。

也就是说,即使修正了测试设计并提供了足够的输出空间,模型一旦将逐步计划扩展到数千步,仍然会开始失去对计划的追踪。

因此,这位作者认为大模型在维持非常长的推理链方面仍然存在真正的弱点。

这或许需要后续的研究跟进。

One More Thing

目前,这部“连续剧”已经发展到了第三集,有些网友看热闹不嫌事儿大,表示想快进到第四集!

你认为第四集会是什么剧情呢?

参考链接:
[1]https://x.com/rohanpaul_ai/status/1930968053027578199
[2]https://x.com/rohanpaul_ai/status/1933296859730301353
[3]https://x.com/rohanpaul_ai/status/1935746720144544157

— 完 —

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
观音手持火枪?这张"穿越P图"竟是雍正年间真迹

观音手持火枪?这张"穿越P图"竟是雍正年间真迹

砚田文化
2026-10-29 07:49:02
“请中国继续保持强大”!特朗普这句话,听懂的人都沉默了

“请中国继续保持强大”!特朗普这句话,听懂的人都沉默了

阿凯销售场
2026-11-19 19:52:46
台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

只能离开
2026-11-11 22:13:42
高市早苗罕见表态:将继承历代内阁立场,当然也包括"村山谈话"

高市早苗罕见表态:将继承历代内阁立场,当然也包括"村山谈话"

锅锅爱历史
2026-10-17 01:34:01
无比怀念邓小平!

无比怀念邓小平!

梳子姐
2026-11-17 16:32:33
网传同事跳楼身亡,月薪3900,积蓄7万,却被原生家庭逼死...

网传同事跳楼身亡,月薪3900,积蓄7万,却被原生家庭逼死...

慧翔百科
2026-11-19 11:32:49
2005年,吉林通化一名派出所副所长因嫌审讯耽误自己回家,将嫌疑人踢死;此人此前曾因刑讯逼供被判刑,却仍继续担任副所长

2005年,吉林通化一名派出所副所长因嫌审讯耽误自己回家,将嫌疑人踢死;此人此前曾因刑讯逼供被判刑,却仍继续担任副所长

人生录
2026-11-05 14:47:03
孩子是个学渣,你会怎么做?网友:我都想了N种职业了,厨师,电工,修车工……

孩子是个学渣,你会怎么做?网友:我都想了N种职业了,厨师,电工,修车工……

带你感受人间冷暖
2026-11-19 00:05:18
逐渐明白了!为什么我国GDP是美国70%,人口是他的四倍,可我们的内需就是没有美国那么旺盛了!

逐渐明白了!为什么我国GDP是美国70%,人口是他的四倍,可我们的内需就是没有美国那么旺盛了!

扶苏聊历史
2026-11-16 18:12:07
中美局势可能发生大反转,最先超过美国的不是经济,而是这个方面

中美局势可能发生大反转,最先超过美国的不是经济,而是这个方面

揽星戈
2026-11-08 19:41:50
俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

人生录
2026-10-15 06:06:09
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

桂系007
2026-11-18 23:50:36
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
腾讯首度回应美国AI新规影响:训练算力受限,模型研发被拖慢

腾讯首度回应美国AI新规影响:训练算力受限,模型研发被拖慢

芯智讯
2026-11-19 11:59:01
CBA杯-吉林惜败香港金牛对NBL首败 威尔逊+主帅全被驱逐

CBA杯-吉林惜败香港金牛对NBL首败 威尔逊+主帅全被驱逐

醉卧浮生
2026-11-19 17:50:44
U17世界杯:U17国足迎战西班牙,1950万欧VS41万欧,身价差距巨大

U17世界杯:U17国足迎战西班牙,1950万欧VS41万欧,身价差距巨大

开成运动会
2026-11-19 19:50:33
下跌近600元了!多家品牌,金饰克价下调

下跌近600元了!多家品牌,金饰克价下调

环球网资讯
2026-11-19 14:25:35
字母哥首战旧主27+13+9!热火6连胜送雄鹿11连败 阿德巴约26分

字母哥首战旧主27+13+9!热火6连胜送雄鹿11连败 阿德巴约26分

醉卧浮生
2026-11-19 10:56:03
台湾不愿意接受“一国两制”,王毅外长曾对此回应,那就满足你们

台湾不愿意接受“一国两制”,王毅外长曾对此回应,那就满足你们

叶葉夜
2026-11-19 11:29:23
2026-11-19 20:56:49
量子位 incentive-icons
量子位
追踪人工智能动态
13700文章数 176601关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

外媒问"中日领导人APEC期间是否将举行会晤" 中方回应

头条要闻

外媒问"中日领导人APEC期间是否将举行会晤" 中方回应

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

华境S五座版亮相 标配华为乾崑科技和宁德时代电芯

态度原创

本地
亲子
手机
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

亲子要闻

生孩子就是为了玩

手机要闻

MagicOS 11第三批内测今晚推送!荣耀Robot Phone等28款机型终于等到了

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版