当AI智能体不再变强：一场关于测试时间的诚实测量

2026年9月的某一天，一群研究者盯着屏幕上的曲线图发呆。

他们让四个最先进的AI智能体，包括Claude、GPT-5.5、Kimi K2.7和Gemini，去解一道开放性编程题：把几千个形状不规则的多边形塞进一个尽可能小的矩形里。这些智能体获得了极其慷慨的预算，最多可以消耗一亿个token去思考、尝试、修改。

按理说，思考得越久，答案应该越好。这是大家对AI的基本预期，也是这几年"测试时扩展"这个概念火起来的原因，你给模型更多时间琢磨，它就该表现得更强。但研究者发现了一件让人不安的事：这些智能体在花掉几百万token之后，进步速度居然开始追不上一个极其简单的笨办法，就是让模型独立地把同一道题做很多遍，然后挑最好的一次交上去。

更扎心的是对比组。同样这道题（AtCoder编程竞赛的历史题目），换成真人高手来做，他们在连续奋战好几天之后，进步速度不但没有变慢，反而越来越快，最终反超了跑了三天的AI智能体。

这篇来自UC Berkeley、华盛顿大学、普林斯顿大学和Bespoke实验室联合团队的论文，就是想搞清楚一件事：AI智能体花的每一个token，到底值不值。

一把统一的尺子

要回答"值不值"，首先得有个办法去衡量"进步"这件事。

这比听起来难。市面上很多AI能力测试是一锤子买卖，比如著名的SWE-bench代码修复基准，你提交一个答案，系统告诉你对或错，然后这条轨迹就被扔掉了，你压根看不到这个答案是怎么一步步演化出来的。

但研究者选择了另一类任务：开放性任务。比如把圆尽可能紧密地塞进一个正方形，比如优化GPU内核的运行速度，比如设计一套算法在编程竞赛里拿高分。这类任务的好处是，每一次中间提交都能拿到一个具体分数，进步过程是能被实时观察到的。

问题在于，分数本身是个坑。举个例子，26个圆在单位正方形里打包的问题，把总分从1提高到2轻而易举，但著名AI程序AlphaEvolve把这个分数从2.634提高到2.635，就已经是刷新世界纪录了。同样是"分数涨了一点点"，在不同区间里的含金量天差地别。

如果只用地图上的公里数来衡量登山难度，你会觉得爬10公里的山比爬5公里的山难一倍。但如果这10公里全是缓坡，5公里全是悬崖峭壁，实际的辛苦程度完全反过来了。分数也是这样，同样的数字增量，在不同的位置代表的实际进步可能天差地别。如果没有一把统一的尺子，你压根没法比较"从80分到81分"和"从50分到60分"哪个更难。

于是研究者搬出了一个诞生于1952年的老工具：Bradley-Terry模型。

Bradley-Terry模型*：一种通过两两对比结果来估算每个参与者"实力值"的统计模型，国际象棋等级分（Elo）系统就是它的一个经典应用。

具体做法是，把每个智能体在每个token预算下"目前为止找到的最好答案"拎出来，两两PK，谁的分数高谁赢，然后用这些胜负记录去拟合出一个Elo等级分。这样一来，无论原始分数的单位是什么、区间是什么，最后大家都在同一套等级分体系里比较，就像围棋高手和象棋高手虽然玩的是不同的游戏，但都能用一个"段位"来大致衡量水平一样。

研究者把这套方法命名为Elo-per-token，token每花一份，就看等级分涨了多少。

独立采样：一根看不见的标尺

要判断智能体的进步是快是慢，还得有个参照物。这里出现了整篇论文里最优雅的一个数学结果。

研究者证明了一件事：如果你把同一个问题独立解答n次，每次都是完全独立、互不参考的尝试，然后取最好的一次，那么这个"最佳成绩"的Elo等级分，会随着尝试次数的对数呈严格线性增长。用具体数字说，token预算每扩大10倍（一个数量级），Elo大约涨400分。这是一条完全由概率论推导出来的直线，不依赖任何具体任务，因为背后的逻辑很简单：n次尝试中最好的一次，本质上就是在n个随机变量里取最大值，这个统计规律不管你解的是什么题目都成立。

这条线被称为独立采样参考线，它的价值不在于告诉你哪个方法最好，而在于给出一个"及格线"：如果一个智能体的自我进步速度追不上这条参考线，那说明它精心设计的思考、修改、探索的策略，实际上还不如简单粗暴地"重启十次挑最好的"来得划算。

想象一下开车去一个陌生的地方，你可以选择沿着一条路一直开下去，边开边看路牌调整方向（这类似智能体不断修改自己的方案），也可以选择每次都重新出发，换一条完全不同的路试试运气（这类似独立采样）。如果你沿着同一条路开得越久，反而越绕远路，那还不如干脆掉头重新出发。独立采样参考线告诉你的，正是"沿着这条路继续开"到底还值不值。

智能体的表现：先超车，后掉队

有了尺子和参照线，研究者在FrontierCS、ALE-Bench、MLS-Bench、FlashInfer-Bench四个开放性基准上，测试了四个智能体系统，每个任务跑五次独立会话，token预算一路加到一亿。

结果出奇地一致：在预算比较小的时候，很多智能体的表现能明显超过400 Elo每十倍这条参考线，这说明智能体调用工具、修改代码、利用环境反馈的策略，确实比盲目重来更聪明，能更快地把token转化成分数。但随着预算继续增加，几乎所有系统的边际收益都开始下滑，到了预算末期，大多数曲线的斜率已经低于参考线。

论文里有个说法特别精准，叫作最多对数线性。也就是说，智能体的进步曲线在对数坐标下最好情况下是一条直线，更常见的情况是往下弯曲，呈现出凹形。这意味着，随着token越花越多，每一块钱（每一个token）能买到的进步是递减的，而且这个递减速度，比"完全不动脑子地重复尝试"还要快。

研究者把这个由盛转衰的临界点称为规模拐点。在这个点之前，继续投入深度（也就是让同一个会话继续跑下去）是划算的；过了这个点，把预算分给新的独立会话反而更划算。这个拐点会随系统和任务不同而变化，但在四个基准里反复出现，几乎成了一种普遍规律。

人类为什么不掉队

论文里最让人意外的部分，是关于人类的对照实验。

研究者找到了AtCoder编程竞赛（一种日本主办的全球性算法设计比赛）的历史submission记录，这些比赛通常持续10到14天，选手可以反复提交、反复优化自己的解法。研究者把前10名和前50名选手的完整提交历史扒出来，用同一套Elo-per-token框架去衡量他们的进步曲线，只不过横轴从token预算换成了实际花费的时间。

结果是，人类选手的进步曲线呈现出超线性增长，也就是在对数时间坐标下是向上凸的形状，越往后，每一次时间翻倍带来的分数提升反而越大。这和智能体的表现正好相反。

在AHC014这道题目上，研究者做了一次最直接的对比：让GPT-5.6-Sol和Claude Opus 4.8跑满72小时的会话，同时把真实历史选手的进度也画在同一张图上。智能体在最初几个小时进步飞快，但很快就趋于平缓，几乎不再有明显起色。而人类选手在接下来的好几天里持续爬升，最终前十名选手的等级分反超了两个智能体。

这个结果在AHC038、AHC040等另外三个竞赛题目上得到了重复验证，四场比赛里人类选手都表现出类似的加速进步模式。

这背后可能藏着一件很朴素的事：人类在一道题上泡得越久，理解得越深，脑子里积累的直觉和洞察会形成复利效应，后面的进步会越来越轻松。这就像学一门乐器，前几周进步很慢，但一旦你的手指记住了指法、耳朵训练出了音感，之后每一小时的练习带来的提升会比刚开始快得多。而现在的AI智能体，即便拥有几乎无限的上下文和不知疲倦的运算能力，却好像缺了这种"越学越轻松"的机制，它更像是在原地反复试探，而不是真正地把经验内化成能力。

换个角度，这也印证了论文标题里的那句话：当智能体慢下来的时候，人类还没有慢下来。

换个思路能否破局

研究者没有止步于"发现问题"，他们还测试了几种专门为了突破这个瓶颈而设计的策略，看看能不能改变智能体那条向下弯曲的曲线形状。

第一类是进化式方法。AdaEvolve维护一批候选程序，让模型不断变异出新版本；GEPA则是进化提示词本身，从执行痕迹和反思中提炼改进。这两种方法本质上是把"思考"从单一会话拆解成多次短小精悍的独立尝试，理论上应该更接近独立采样的优势。

实验结果显示，这两种方法确实在预算较小时领先普通智能体三百多个Elo分，但同样的故事重演了：随着计算量增加，它们的优势逐渐被追平，最终也没能摆脱对数线性甚至更慢的增长模式。

第二类是测试时训练，也就是让模型在解题过程中实际更新自己的参数，而不只是积累上下文。研究者用TTT-Discover方法，对一个200亿参数的开源模型做强化学习式的在线微调。结果同样令人失望，这种方法确实在早期跑出了一段明显超越参考线的加速期，但最终斜率还是滑回了400 Elo每十倍这条基准线附近。

三种完全不同思路的策略，殊途同归地撞上了同一堵墙。这说明问题可能不在于智能体的具体实现方式，而在于某种更根本的东西。

粘性盆地：一个数学上的解释

论文提出了一个假说，叫作粘性盆地假说，试图解释为什么智能体的进步会系统性地放缓。

粘性盆地*：指智能体在解题早期选定的某种思路、代码结构或算法方向，一旦确定就很难被推翻，后续的大量计算只能在这个既定方向内部打磨细节，而无法跳出去重新审视最初的选择。

研究者用一个简化的数学模型证明了这个直觉：假设每次会话开始时，会随机选定一个"盆地"（可以理解成一种解题思路），盆地内部的最优表现服从某种分布，会话只能在盆地内部反复采样寻找最优解。即便盆地内部的提升是无上限的，只要两个盆地的初始差异存在，那么无论你把其中一个会话的深度延长多少倍（哪怕延长十倍、百倍），另一个会话反超它的概率始终会稳定在50%。这是个纯粹的数学结果，背后的直觉是，盆地内搜索的收益增长速度是对数的对数，慢到几乎可以忽略，而两个盆地之间天生的差距是固定的常数级别，深度优势追不上初始选择的差距。

打个比方，你去一家陌生的城市找餐厅，第一顿饭随手走进了一家看着还行的馆子，接下来这一周你都在这家馆子里反复点不同的菜，越点越懂这家店的招牌是什么、哪道菜做得最好。但无论你在这家店里吃得多精，都不会比一开始就走进了这座城市里排名第一的米其林餐厅的人吃得更好。真正决定上限的，是第一步走进哪家店的门，而不是在店里吃了多少顿。

如果这个假说成立，它给出的启示是双重的：一方面，那些解法空间里存在很多个"看起来都还不错的盆地"的开放性问题，天生就很难靠单条长会话把它优化到极致；另一方面，真正能突破这个瓶颈的智能体设计，恐怕需要有意识地设计出能够跳出盆地、推翻早期选择、重新审视全局的机制，而不是一味地在已选方向上深挖。

拐点的实际用途：分配预算

理论讲完了，论文最后落地到一个非常实用的问题：给定一亿token的固定预算，到底应该跑一个超长会话，还是拆成好多个短会话？

研究者给出了一个基于拐点的分配规则。假设通过前期测量，已经知道某个智能体在某个任务上的规模拐点出现在38M token（三千八百万），那么面对1亿token的总预算，最优策略是分成?100M/38M?等于3个独立会话，各跑33M多token。

他们在FrontierCS的多边形打包任务上真刀真枪地验证了这个规则。用Kimi Code跑出单会话的自我Elo曲线，测得拐点确实落在38M附近。然后对比了1、2、3、4、5、10个会话的六种分配方案，在1亿token总预算下，三会话方案的Elo等级分比单一长会话高出264分，比十个短会话高出355分。在MLS-Bench的另一个任务上，同样的拐点分配策略也跑赢了两个极端方案。

这个结果本身有严格的数学支撑。论文证明了两个定理：一个是说，过了拐点之后继续延长同一个会话，理论上渐进意义下会输给"冻结当前状态后独立重复采样"；另一个是说，把预算拆成K个独立会话、每个跑到拐点预算，能获得400乘以log10(K)的Elo增益，恰好延续了独立采样那条参考斜率，同时还保留了每个会话在拐点之前积累的进步。两个定理合起来，构成了一套完整的"何时该继续想，何时该换个脑子重新想"的理论依据。

这就像团队做一个项目，如果一个人埋头苦干十天，效果可能不如三个人各自独立干三天多。因为一个人在自己固有思路里越陷越深的时候，另外两个人是从零开始、带着新鲜眼光切入的，反而更容易发现被忽略的角度。但如果切分得太碎，比如变成十个人各干一天，每个人连问题还没摸透就得交卷，反而效果更差。拐点分配规则实际上就是在寻找这个"既不要一条路走到黑，也不要浅尝辄止"的平衡点。

不过研究者也坦诚地指出了这套方法目前的局限：拐点的位置似乎是任务特有的，不能简单地从整个领域的平均曲线去预测某一道具体题目的拐点。论文里举了个例子，Kimi K2.7在FrontierCS整个领域上拟合出的斜率转折点，和多边形打包这一道具体题目的38M拐点对不上号。怎么在不跑完整条曲线的情况下，提前预测出某道题的拐点在哪里，还是一个悬而未决的问题。

写在后面

读完这篇论文，最触动我的不是某个具体的数字，而是那个粘性盆地的数学证明。它用一种近乎冷酷的方式告诉你，深度优势的增长速度是根号对数级别的，慢到无论你怎么加钱加时间都追不上初始选择带来的固定差距。这意味着单纯堆算力去弥补"起点没选好"这件事，可能天生就是一件收益递减到几乎为零的事情。

论文里还有一个细节让我反复琢磨。研究者测试了四种不同参数规模的Qwen3.5模型，发现更大的模型确实起点更高，但爬升的坡度反而更平缓，397B参数模型的斜率是178 Elo每十倍，比27B模型的206还要低。规模买到的是更早的天花板，而不是更陡的爬升曲线。这多少有点反直觉，因为我们通常默认"更大的模型应该在各个维度上都更强"，但这个实验提示我们，规模和自我改进速度可能是两件需要分开衡量的事情。

还有一点值得单独说说，论文选择用AtCoder这个平台的历史真人数据来做对照，而不是随便找几个志愿者现场测试，这个选择本身就很讲究。因为AtCoder的比赛记录带着完整的时间戳和分数，研究者甚至专门做了一道筛选工序，剔除掉那些采用相对计分制、导致历史分数会随时间失真的比赛，只保留能用同一把尺子公平衡量的绝对计分制比赛。这种对数据可信度的较真，是这篇论文让人愿意相信其结论的一个重要原因。

如果智能体真的缺乏某种类似人类的持续学习机制，那么下一步的突破点，或许不在于给模型更多的token和更长的上下文窗口，而在于设计出某种能让模型"跳出盆地重新审视"的机制。这会是什么样子，是某种主动的自我怀疑机制，还是某种周期性地推翻重来的设计，现在还没有答案。

Q&A

Q1：Elo-per-token分析是什么？

A：这是论文提出的一种评测方法，把智能体在每个token预算下找到的最佳答案两两比较，用Bradley-Terry模型拟合出Elo等级分，从而让不同任务、不同分数体系的进步可以在同一把尺子上比较。

Q2：为什么AI智能体花越多token反而进步变慢？

A：论文提出粘性盆地假说，认为智能体在早期会锁定某种解题思路，之后的计算大多只能在这个思路内部打磨，很难跳出去重新选择方向，导致边际收益递减，最终甚至跑输简单的独立重复采样策略。

Q3：规模拐点如何用来分配计算预算？

A：规模拐点是智能体自我进步速度追不上独立采样参考线的临界预算点。论文证明把总预算按拐点切成若干个独立会话，比一个超长会话或者切得过碎的多个短会话效果都更好，在实验中带来了264到355个Elo分的提升。