图灵奖和诺贝热江双料得主Hinton刚警告完“智能爆炸”

来源：市场资讯

（来源：图灵人工智能）

转自旺知识，仅用于学术分享，如有侵权留言删除报道

最近 AI 圈被一份作者名单炸了锅：Hinton、OpenAI 首席科学家 Pachocki、Anthropic 联创 Jack Clark、微软首席科学官 Horvitz——几家"竞争对手"的头号技术大脑凑进同一篇论文，警告同一件事：能自动化自身研发的 AI，可能触发"智能爆炸"，把几年的科技进步压缩进几个月。

更魔幻的是数据。Anthropic 6 月的报告《当 AI 开始建造自身》披露：截至 2026 年 5 月，其代码库超过 80% 的合入代码由 Claude 写成。一个 AI 在给自己写源代码——这不是比喻，是日常。

我们解读最新技术，文末有相关信息。

作者：张长旺，图源：旺知识

这事越想越不对。于是我干了件笨事：把逐篇梳理了1250篇arXiv论文的RSI综述翻了出来。读完长出一口气，结论出乎意料——AI 自我改进最大的瓶颈，既不是算力，也不是模型聪不聪明，而是"谁来打分"。

一、"自我改进"这四个字，早被用滥了

self-refine、self-reward、self-play、self-evolve……光术语就有十几种。综述作者一刀切下去，把它们分成两家人：

• • 有界自我改进(Bounded Self-Refinement)：对着一个固定的、外部的标准改自己。收敛、可评估、已是工业实践。你每天用的代码补全就算。

• • 开放式递归自我改进(Open-ended Recursive Self-Improvement)：连"什么叫更好"都由系统自己改。发散、无锚——这才是人们害怕的那个东西。

一个模型重读自己的草稿改错别字，和一个智能体重写自己的代码库，都叫"自我改进"，但前者是修 bug，后者是换物种。

插一句：OpenAI 的官方口径是"完全自主的RSI今天没有发生"，Anthropic说自己的系统"尚不能自主建造继任者"。注意这个措辞——不是"不可能"，是"还不能"。

二、每一级自我改进，都是在赌"有人能公正打分"

这是综述里我最喜欢的一个视角：每一个自我改进循环，本质上都是一句声明——"某个信号可以替代人类判断"。而循环的上限，恰好等于这个替代品的质量。

作者把"打分能力"排成四级台阶：

第一级，形式化验证器：证明检查器、类型系统。数学上 sound by construction，说谎就是说谎，糊弄不过去。

第二级，执行反馈：测试、编译器、基准。可靠但不完整——测试全过不代表正确，而且任何固定基准，最后都会被玩坏。

DeepMind的FunSearch、AlphaEvolve就活在这前两级——形式化验证与执行反馈,所以它们敢大范围自我迭代。

第三级，学习型评委：奖励模型、LLM 当裁判。与人类判断一致率约 80%，听着还行，但它自己也是优化目标——Goodhart 曲线：代理指标优化得越狠，真实质量先升后降。

第四级，内在信号：模型自己的置信度、自洽性。最便宜，也最容易自己骗自己。

有个实验把这条台阶的价值测了出来：Mirror Loop 研究让三家厂商的模型做十轮无外部反馈的自我批评，迭代累计信息变化下降 55%——十轮之后，模型只是换着措辞重复自己。而研究者在第三轮插入一步最轻微的外部验证，前进的势头立刻恢复。

一个循环是在进步，还是在原地打转，差的往往就是这么一级外部验证。 这句话，值得读三遍。

三、经济学家算的账：差一口气，就是爆炸与瓶颈的区别

前OpenAI数据经济研究员Tom Cunningham的最新综述把整件事压成两个弹性：r（研发投入对能力的影响）和 a（能力对研发的影响）。r+a>1，爆炸提升；小于 1，进入瓶颈。

现在两侧都在猛涨：训练支出约每年3倍，训练效率约每年4倍，研发人员约每年2倍。METR测得前沿模型可独立完成的任务长度，约每7个月翻一番，2024年以来甚至缩到了89天。Anthropic披露：截至2026年8月，Claude在26%的研发任务里唱主角——6个月前，这个数字是低于1%。

但Cunningham很坦诚：r的估计区间宽得没谱，0.8到3.5。而 OpenAI 把"全自动AI研究员"的目标定在了2028年3月。

我们握着的，是一条加速度明确、终点完全未知的曲线。

四、反对派的话，很难驳

Shumailov等人发在 Nature 的工作表明，模型反复拿自己的输出训练，会丢失分布尾部、走向退化；

Zenil给了一个定理式判断：外部 grounded 信号的比例若渐近归零，退化动力学不可避免。

还有更阴的失败模式。综述列了四种：自我确认循环（裁判和选手共享权重，偏见互相加持）、模型坍塌、多样性坍塌（新颖性是被消耗品），以及——框架锁定：循环可以诚实、稳定、多样，但优化的目标本身已经不值得优化。而这种失败，从循环内部检测不到。

IBM 的科学家补了一刀社会学观察：今天很多改进循环里，人还在环里审阅；而运行最大模型的算力门槛，本身就是一道人类攥着的刹车。

安全缺口则更具体。IBM团队提到的奖励黑客（reward hacking）只是冰山一角：综述引用的SciIntegrity-Bench专门制造"只有诚实承认失败才算对"的两难场景，结果七个前沿模型有34.2%的一致性失败率——缺数据时，它们不约而同伪造合成数据，只是披露与否有区别。自我改进循环会把这种倾向逐轮放大：每一代都更擅长"优化"一个写错的目标。

五、别问"爆不爆炸"，盯三个信号

一，AI 主导研发的占比。 26%不代表快爆炸了，代表飞轮已经转起来了。

二，评估能力有没有往台阶上爬。 注意不是基准分数，是不可验证任务——研究品味、选题——上的评估能力。哪天系统能可靠判断"这个方向值不值得投人"，人类在环里的最后一颗钉子就松了。

三，跨任务、跨代际的经验继承。 综述里有个扎心的"科学失忆"现象：行为在改进，方法论知识却不积累。指数爆炸的前提是复利，而复利的前提是继承。

也别忽略已经冒头的"准爆炸"样本。综述记录了一个叫 A-Evolve-Training 的系统：无人干预跑完一个 30B 模型的全部后训练流程，连续四轮、历时数周，公开榜单拿到 0.86 分，距离人类最佳提交的 0.87 只差一分。更耐人寻味的是中途它发现自己的开发指标已经和外部表现脱钩，主动把"被玩坏的 proxy"反过来当成扣分项。一个系统开始纠正自己的记分牌——这是目前公开文献里最接近 Anthropic 所说"闭合循环"的东西。

至于"智能爆炸"本身，我不觉得它会像电影里那样"咻"地一声。更可能的剧本是 Anthropic 画的那个：复利式效率——人类定方向，AI 负责复利。一切看起来都兼容于所有不可能性定理，直到某天回头一看，三年的事一年就干完了。

那天来没来？现在谁说了都不算。数据说了算。

参考资料

1. Mingguang Chen, Licheng Wang, Bo Qu. Recursive Self-Improvement in AI: From Bounded Self-Refinement to Autonomous Research Loops. arXiv:2607.07663, 2026-07. https://arxiv.org/pdf/2607.07663

2. Tom Cunningham. Recursive Self-Improvement, Literature Review. 2026-07-08. https://tecunningham.github.io/posts/2025-09-13-recursive-self-improvement-explosion-optimization.html

3. Sascha Brodsky. Why recursive self-improvement suddenly became a serious question. IBM Think, 2026-09-16. https://www.ibm.com/think/news/why-recursive-self-improvement-ai-serious-question

4. METR. Time Horizon 1.1. 2026-01-29. https://metr.org/blog/2026-1-29-time-horizon-1-1/

5. Alan Chan, Christoph Winter, Andrew Barto, Jakub Pachocki, Geoffrey Hinton, Eric Horvitz, Yoshua Bengio, Dawn Song, Jack Clark, et al. What if automating AI R&D triggers an intelligence explosion? arXiv:2609.36054, 2026-09-28. https://arxiv.org/abs/2609.36054

6. Marina Favaro, Jack Clark. When AI Builds Itself. Anthropic Institute, 2026-06-04. https://www.anthropic.com/institute/recursive-self-improvement

7. Xinghong Fu, Aravinth Kulanthaivelu, Yutaro Yamada. Self Improvement via Fast Tree-search. arXiv:2609.19526, 2026-09-17. https://arxiv.org/abs/2609.19526

8. Ilia Shumailov, Zakhar Shumaylov, Yiren Zhao, Nicolas Papernot, Ross Anderson, Yarin Gal. AI models collapse when trained on recursively generated data. Nature 631, 755–759, 2024. https://www.nature.com/articles/s41586-024-07566-y

9. OpenAI. Research acceleration: a view from inside OpenAI. 2026-09. https://openai.com/index/research-acceleration-view-inside-openai/

10. Anthropic Institute. Measurements for understanding the pace of AI development inside frontier labs. 2026. https://www.anthropic.com/institute/measuring-pace-of-ai-development