网易首页 > 网易号 > 正文 申请入驻

AI连续剧!从「错觉」到「错觉的错觉」再到「错觉的错觉的错觉」

0
分享至

闻乐 发自 凹非寺
量子位 | 公众号 QbitAI

苹果团队一篇论文,现已升级成AI圈“论文连续剧”。

《思维的错觉》:大模型推理会崩溃。

《思维的错觉的错觉》:大模型崩溃是错觉。

《思维的错觉的错觉的错觉》:大模型还是会崩溃。

起初,苹果团队发了一篇论文炮轰所有大模型推理都是假象,遇到高复杂度长推理问题时都会崩溃,即使给他们足够的时间和计算资源。

这篇文章引起了广泛关注,有人支持也有人质疑。

在质疑的人中,有一位网友与Claude Opus“合作”写了一篇长达5页的文章,来说明大模型这种明显的崩溃是人为因素造成的。

没多久,第三篇文章也来了,这篇综合了前两篇的观点,赞同大模型崩溃是实验设计不合理这一人为因素造成的,但也强调模型在非常长的逐步执行中仍然会出错,尽管方法有所改进,但脆弱性依然存在。

也就是说,大模型在推理过程中还是会崩溃。

基于上次的经验,网友猜测第三篇文章的第一作者或许是Gemini Pro~

让我们来看看这部“连续剧”到底在“演”什么。

大模型推理到底会不会崩溃

最新的这篇文章对前两篇内容进行了双重审视,得出的结论是:你俩说的都有道理。

认同第二篇的三个关键修正
原研究的观点是:当题目难度超过临界点时,大模型推理会崩溃。

苹果的原研究是通过设计4类谜题环境(汉诺塔、跳棋交换、过河问题、积木世界),系统观察模型在不同复杂度下的行为变化。

他们进行了大量实验,对比“会思考”和“不思考”的模型组合。

发现在低复杂度任务中,那些“不思考”标准语言模型实际上表现得更好。

随着任务难度进入中等水平,“会思考”的推理模型开始显现优势。

当问题复杂度继续增加并超过某个临界点时,无论是推理模型还是标准模型都会经历完全的性能崩溃,准确率直线下降至零,甚至会减少思考token。

比如汉诺塔问题,在超过大约8个盘后,标准模型和推理模型都崩溃到0%,推理模型的输出token甚至更少,这表明当前的思维链扩展在较小深度之外就失效了。

第二篇认为这里面有三个测试瑕疵,token预算限制、评估误判、以及谜题设计的数学不可解性。

于是,作者进行了模型重新验证。

  • 替代表示法的有效性:当要求模型以Lua函数等紧凑形式输出汉诺塔解法时(而非枚举所有步骤),测试模型(如Claude-3.7-Sonnet、Gemini 2.5)在N=15时仍能保持高准确率,且token消耗远低于上下文限制(<5000token),证明模型具备递归算法理解能力,失败源于格式约束而非推理缺陷。
  • 复杂度指标的误用:原研究以 “组合深度”(最小移动步数)衡量复杂度,但汉诺塔虽需指数级步数,每步决策复杂度仅为O(1),而积木世界因涉及最优解搜索(NP难问题),实际难度更高。模型在长序列汉诺塔问题中的表现优于短序列积木问题,印证了 “解长度≠计算复杂度” 的观点。

结论就是,原研究的 “崩溃” 本质上是实验设计对模型输出限制、谜题不可解性和复杂度误判的综合结果,而非LRMs(推理模型)的根本性推理局限。

最新的第三篇认同了第二篇的三个关键修正。

大模型在面对高复杂度长推理时还是避免不了“崩溃”

虽然认为第二篇的反驳有道理,但该作者又指出:

第二篇的实验测试的是算法知识检索与代码生成,而非原实验的 “连续执行与状态追踪”。

模型可能因训练数据包含汉诺塔算法而成功生成函数,但无法证明其能无错执行3万余步(如N=15的32767步)。

也就是说,虽然汉诺塔每步规则很简单,但模型仍可能因中间步骤误差累积导致失败。

原研究中,即使向模型提供算法提示,它仍表现为崩溃,暗示瓶颈在于执行保真度而非解法发现。

简单来说就是,虽然token限制是直接原因,但模型在长序列任务中的失败反映了 “持续高保真执行” 的内在缺陷。

并且,模型在接近 “崩溃点” 时会提前减少推理投入(如推理token数下降),这一现象无法仅用token限制解释。

也就是说,即使修正了测试设计并提供了足够的输出空间,模型一旦将逐步计划扩展到数千步,仍然会开始失去对计划的追踪。

因此,这位作者认为大模型在维持非常长的推理链方面仍然存在真正的弱点。

这或许需要后续的研究跟进。

One More Thing

目前,这部“连续剧”已经发展到了第三集,有些网友看热闹不嫌事儿大,表示想快进到第四集!

你认为第四集会是什么剧情呢?

参考链接:
[1]https://x.com/rohanpaul_ai/status/1930968053027578199
[2]https://x.com/rohanpaul_ai/status/1933296859730301353
[3]https://x.com/rohanpaul_ai/status/1935746720144544157

— 完 —

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
深夜,美股大变脸

深夜,美股大变脸

新浪财经
2026-11-19 23:51:57
英媒:因曼城违规指控成立,阿波罗取消了对其所有者的20亿美元贷款

英媒:因曼城违规指控成立,阿波罗取消了对其所有者的20亿美元贷款

懂球帝
2026-11-19 16:10:44
APEC规矩不能破,外宾安保别想特殊,美国也得遵守中方安排

APEC规矩不能破,外宾安保别想特殊,美国也得遵守中方安排

金戈远望
2026-11-18 17:30:03
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
特朗普最大"贡献",就是亲手摧毁了中国人对美国的幻想!

特朗普最大"贡献",就是亲手摧毁了中国人对美国的幻想!

乌克兰小静
2026-09-25 06:58:19
广东人最怕的湿冷来了!未来两天继续降温,最低气温出现在……

广东人最怕的湿冷来了!未来两天继续降温,最低气温出现在……

佛山电视小强热线
2026-11-19 22:04:14
财政不再兜底、大公交退市、老年卡取消,四部委文件真这么说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真这么说了?

墨韵兰亭l
2026-11-18 21:24:07
倒闭8.4万家!无数中年人的“庇护所”,如今为何跌下神坛?

倒闭8.4万家!无数中年人的“庇护所”,如今为何跌下神坛?

三农雷哥
2026-10-24 14:59:15
中国已经成为全球第一个集体拒接电话的国家

中国已经成为全球第一个集体拒接电话的国家

黯泉
2026-06-26 10:44:35
黄金什么时候会跌到500块钱一克?

黄金什么时候会跌到500块钱一克?

流苏晚晴
2026-07-13 22:22:40
落地不到48小时就开练,波切蒂诺发布会推迟30分钟

落地不到48小时就开练,波切蒂诺发布会推迟30分钟

赛场速报局
2026-11-20 00:50:42
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
王子璇还原文吉儿火车换位置事件

王子璇还原文吉儿火车换位置事件

老吴教育课堂
2026-11-19 16:15:51
上海富二代娶300斤女子,3个月后妻子幸福死去,真相让人脊背发凉

上海富二代娶300斤女子,3个月后妻子幸福死去,真相让人脊背发凉

温情邮局
2025-03-24 17:51:41
从全网泪目到全网群嘲:赵本山唱的不是鸡汤,是普通人的慌

从全网泪目到全网群嘲:赵本山唱的不是鸡汤,是普通人的慌

迷世书童
2026-11-19 12:45:12
无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

无底线了!内塔尼亚胡之子被伊朗特工暗杀,弃行李连夜逃回以色列

梦史
2026-08-29 06:21:20
劝你多吃!这种国民鱼一直被低估、被当廉价鱼!

劝你多吃!这种国民鱼一直被低估、被当廉价鱼!

果壳
2026-11-19 16:20:10
人老了真的没什么意思,我爸今年75岁,独居在家每天就做三件事

人老了真的没什么意思,我爸今年75岁,独居在家每天就做三件事

千秋文化
2026-06-13 19:41:34
到达深圳后,中国台湾代表施振荣喊话大陆,赖清德交给他3个任务

到达深圳后,中国台湾代表施振荣喊话大陆,赖清德交给他3个任务

凡知
2026-11-19 10:52:17
历史性一幕出现!美专家说了句实话,中美俄谈妥了,世界也稳定了

历史性一幕出现!美专家说了句实话,中美俄谈妥了,世界也稳定了

讲者普拉斯
2026-11-19 22:37:46
2026-11-20 01:51:00
量子位 incentive-icons
量子位
追踪人工智能动态
13700文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
手机
艺术
家居
军事航空

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版