AI的“自我进化”梦，被两篇被拒的论文泼了冷水

（来源：麻省理工科技评论）

如今，大语言模型已经可以写代码、生成训练所需的合成数据，甚至优化运行自己的计算芯片。一些关于 AI 爆发发展的预测认为，研究人员谈论的“递归式自我改进”（recursive self-improvement），已经近在眼前。所谓递归式自我改进，是指 AI 可以在几乎不需要人类监督的情况下，不断改进自己。

不过，一项最新研究给这个想法泼了些冷水。研究人员发现，目前的 AI 智能体无法独立完成开放式的研究：这类研究没有标准答案，需要研究者自己判断什么问题值得追、什么证据足以支持结论，还要有一定的研究直觉和品味。而这些能力，很可能正是 AI 实现自我改进所需要的。

由普林斯顿大学彼得·柯吉斯（Peter Kirgis）和萨亚什·卡普尔（Sayash Kapoor）领衔的研究团队发现，AI 智能体已经能够解决开展 AI 研究所需的不少工程问题，但一旦进入真正需要原创性的环节，它们的判断力和创造力就明显不够。

目前，大多数研究在衡量 AI 智能体能否自动开展科研时，测试的往往都是范围比较明确、结果也容易验证的任务，比如解决某个工程问题，或者按照既定基准对小型语言模型进行后训练。

但真正推动 AI 研究向前，靠的不仅仅是把这些任务做完。研究人员还要决定提出哪些假设、什么样的证据足以回答问题，以及一条思路走不通时，什么时候该果断放弃、重新开始......

为了测试 AI 在这类任务上的能力，研究团队设计了一种新的评测方法，称为“影子评测”（shadow evaluation）。具体来说，他们从尚未公开发表的高质量论文中抽出研究问题，再把问题交给 AI，让它从头做一遍。

研究中使用的是 Anthropic 的 Claude Opus 4.8，并通过开源智能体 OpenClaw 运行。研究人员给它安排了两个问题，两个来自顶级机器学习会议 NeurIPS 2026 的论文。

第一个问题是：能否通过修改模型权重，来控制大语言模型中的“人格设定”（persona），也就是影响模型行为方式的特征。

第二个问题则是：如何设计一种检测机制，用来判断一个基于表格数据进行预测的模型，什么时候已经变得不再可靠。

由于这两篇论文当时都没有公开，AI 不可能从训练数据中直接“背出答案”，也没法上网找到现成结论。研究人员给了 AI 智能体六天时间、3000 美元的 Anthropic API 额度、用于跑实验的 GPU 算力、独立虚拟机，还能自由访问互联网。任务只有一个：完成一篇足以发表在顶级 AI 会议上的研究论文。最后，两篇 AI 论文都交给原论文作者评审，但两篇都被拒了。

人类研究者发现，这些 AI 智能体基本具备完成研究所需的工程能力。它们会检索文献、运行实验，也能把结果整理出来。真正的问题，出在研究本身。AI 会做出一些相当奇怪的实验设计，比如只拿非常小的合成数据集去检验假设；此外，它们也很难把研究思路清楚地写出来。更重要的是，它们的最终成果几乎没有给所在领域带来真正的新贡献。

问题的核心，在于创造力和判断力。AI 智能体不会花足够多的时间探索不同方向，而且很容易过早押注一条并不理想的路线。事实上，它们有时也能提出相当新颖的假设，其中一些和原论文作者最开始提出的想法很接近。但 AI 往往只根据非常有限的数据，就草率地放弃这些假设。

此外，它们可以对现有方案做一些小修小补，却很难彻底推翻原有思路，从头换一套方法重新尝试。AI 对反馈的处理同样不够理想。实验过程中，主智能体可以调用多个子智能体，也可以使用外部 AI 评审工具。但即使这些辅助系统提出了问题，主智能体通常也不会真正修改研究方法。

另一个问题是，AI 并不能有效分配 token、算力和时间等资源。即使研究人员明确告诉它们，不同研究阶段应该花多少时间、论文应该写多长，它们也经常无法按照要求执行。不过，在这么多失败中，有一件事倒没有发生：AI 没有为了得到更好的结果而“作弊”。研究人员没有发现所谓的“奖励黑客”（reward hacking），也就是为了完成目标，刻意隐瞒、篡改或者歪曲实验和数据。

那么，为什么 AI 依然并不擅长开放式的研究？卡普尔认为，这或许和目前 AI 模型的训练方式有关。现在的 AI 模型之所以越来越擅长某些任务，一个重要原因是强化学习。只要任务结果能够自动判断对错，研究人员就可以不断给模型反馈，让它在大量训练中逐渐变强。

但开放式研究不是这样。卡普尔说，“如果任务本身就是开放式的，我们就很难创建一个合适的环境来训练这些模型。”换句话说，如果连人类都无法简单定义“怎样才算做得好”，那就更难设计出一套自动化训练机制，让 AI 靠不断刷题获得这种能力。

不过，这项研究本身也存在局限。实验只测试了两篇论文，而且原论文作者知道自己评审的是 AI 生成的论文，这可能影响他们的判断。此外，研究团队在实验设计和执行过程中拥有较大的自由裁量空间，他们原本的观点和偏见也可能影响结果。

Anthropic 联合创始人杰克·克拉克（Jack Clark）曾在自己的通讯博客 Import AI 中写道，这项研究让他想起了 Anthropic 此前尝试自动化部分 AI 安全研究时遇到的问题。他认为，如今的 AI 系统中仍然缺少一种真正有价值、带有直觉色彩的创造力。这些系统虽然已经是能力极强的工程师，但仍然带有某种机械、套路化的思维方式，而这种特征可能恰恰会妨碍它们成为优秀的研究者。

不过，现在的头部 AI 公司有非常强的动力解决这个问题。过去几年，它们投入大量资源，让模型越来越擅长写代码。如今，让 AI 能够加速自身进步，也已经成为下一阶段的重要目标。OpenAI 已经把打造“自动化 AI 研究员”明确列为目标之一，Anthropic 也把能够自我改进的 AI 视为整个行业的下一座重要里程碑。

波士顿大学语言学与计算机科学教授金娜贞（Najoung Kim）长期研究如何利用 AI 智能体自动化科研，但没有参与这项研究。她认为，如果行业持续投入，并且有意识地朝这个方向努力，那么即使现在还屡屡失败，未来仍然可能取得有意思的进展。

但另一种可能是，AI 的能力发展会逐渐出现“分叉”。在那些范围明确、结果可以量化打分的任务上，AI 可能继续高速进步；但在开放式科研这种高度依赖判断力和创造力的领域，它的发展速度可能会慢得多。

于是，真正关键的问题变成了：开放式研究，对于 AI 实现递归式自我改进，到底有多重要？AI 是否必须拥有类似人类研究者的创造力，才能不断改进自身？还是说，它其实可以绕开这一点，只要不断优化那些范围更窄、容易量化和评估的任务，最终也能一路“堆”出足够强大的能力？

“如果回头看这个领域最重要的几次突破，无论是 Transformer 的发明，还是那些推动 AI 取得巨大进步的新型架构，它们都需要创造性的飞跃。”卡普尔说。

但也有人持完全不同的看法。“另一种假设是，我们实现变革性 AI，尤其是递归式自我改进所需要的一切，其实已经具备了。”按照这种思路，接下来真正需要做的，也许只是让模型训练得更快，再不断提高它在各项 benchmark 上的成绩。

究竟哪条路才是对的？

卡普尔说：“坦白说，这可能就是现在价值万亿美元的问题。”

https://www.technologyreview.com/2026/08/18/1142188/ai-recursive-self-improvement/