3.8万小时、狂烧天价token：字节发现Agent的 Scaling Law

作者｜Ado
微信｜ Ado__rs

7月2日，字节 Seed 发布了一个 Agent评测项目 EdgeBench。看起来又是一个 benchmark，但它问了一个其他榜单不问的问题。

给模型一道题，做对了得分，做错了不得分。这是绝大多数 benchmark 现在的工作方式，越来越像高考。

但真实世界里，人不是这么用 AI 的。

你不会给 Claude Code出一道题然后等它交卷。你会给它一个项目、一个代码库、一批数据，然后它在那里折腾好几个小时，探索、犯错、读反馈、修正、再试。你更关心的是它浸泡在现实任务环境里一段时间之后，能不能比刚进来时更强。

但当前的 benchmark 几乎测不出这些东西。它们测量的是静态能力，模型被冻结的那一刻就知道的东西。至于从反馈里持续进步的能力、在长周期里积累经验的能力、在陌生环境里摸索出方向的能力，全在盲区里。

EdgeBench 的切口就是把盲区里的东西放进评测，解答一个问题：把Agent扔进一个陌生环境，12小时后，你能变强多少？

134个任务横跨六大领域：科学/ML、软件工程、组合优化、专业知识工作、形式化数学、交互式游戏

为此，Seed 团队搭了一个叫 EdgeBench 的实验平台。这是一个环境学习观察舱。134 个任务，每个任务设计合约让 Agent 至少跑 12 小时。

它的设计围绕四个核心维度展开：

5 个前沿模型（Claude Opus 4.8、GPT-5.5、GPT-5.4、GLM-5.1、DeepSeek-V4-Pro）在上面总共跑了约 38,000 小时。

经费在燃烧。但最终的结果价值巨大：

他们找到了 Agent 的 Scaling law。

1

四个发现：公式、路径、本质、速度

1 ）agent学习有一条被写死的数学公式

134 个任务平均：5 个模型的学习曲线被 log-sigmoid 函数高精度拟合

这是全篇论文的“灵魂发现”。

此前我们大多默认环境学习是一件混乱的事，不同任务、不同模型、不同策略，规律自然也不同。但他们的数据给出了意料之外的答案：

134 个任务的平均学习曲线，被同一个函数以 R² = 0.998 的精度精确拟合。

R² = 0.998 是什么意思？ 在人机交互和复杂系统研究里，你能看到 R² = 0.3 就已经敢写论文了。0.998 本质上不是一个"拟合问题"，这是一个发现。如果我知道一个 Agent 前两小时的进步速度，在任务集合的平均意义上，我就能比较准确地预测它 12 小时后的水平。

曲线展示被测模型的学习体感大致都是：一开始慢、找到感觉后爆发、接近天花板时又放缓。这和任何有过深度学习或深度工作经验的人的体验完全吻合。

而且，这个规律跨尺度成立：无论是 12 小时、28 小时还是 72 小时的实验窗口，拟合精度全部保持在 R² ≥ 0.993。跨领域也成立：六大任务家族各自拟合，R² 在 0.972 到 0.998 之间。

2）没有“标准”的成长路径

这个发现更有实际意义。

把 134 个任务的单任务学习曲线拉开来看，你会发现一件反直觉的事：虽然平均曲线是漂亮的 log-sigmoid，但单条曲线之间差别极大。

- 有的任务：Agent 一上来就稳步提升，曲线干净

- 有的任务：前几个小时纹丝不动，突然在某个时刻分数跳升

- 有的任务：先涨后跌再涨

- 有的任务：一开始快速上升，然后进入漫长的平台期

不同的学习策略和试错范式，在同一个评分框架下会产生截然不同的成长路径。

Agent不只是“学得快”和“学得慢”的区别。它们在怎么学上有本质差异，如果是只看最终分数而不看过程的评测方式，就完全抹平了这个维度。论文的解释是，任务是一张能力图，学习是解锁前沿向外扩张，在对数时间上走一条logistic曲线。单任务节点少所以锯齿，任务够多平均后S形浮现。论文标题里那个scaling law，指的就是这条曲线。

3）“重新理解问题”创造真进步

有经验 vs 无经验对比：连续运行积累经验比 6 次独立重启多出 6.9 分的显著优势

同一个模型（Opus 4.8），同样的 12 小时预算：

- 方案 A：让它连续跑 12 小时，所有中间产物、错误记录、已验证假设全部保留

- 方案 B：拆成 6 次独立的 2 小时跑，每次清空所有状态，只保留最佳结果

12 小时后，方案 A 比方案 B 多了 6.9 分（百分制）。而且两条曲线从一开始就分道扬镳。

这说明进步不是靠运气多试出来的，而是靠经验积累出来的。

值得关注的是实验中的引力波重建案例研究。GPT-5.5 在这个任务上跑了 12 小时，提交了 224 次，但真正推动最佳成绩进步的只有 27 次提交。

每一次突破都不是因为"多跑了一个实验"，而是因为 Agent 对问题本身的理解发生了质变。它把模糊的目标逐步拆解为可搜索的子问题，从反馈中重新定义了"什么是更好的方向"。

4）学习速度本身正在被“学习”

这个发现可能是跟产业关系最紧密的一个。

实验挑了一组所有模型“起跑线相近”的任务（首次尝试都在 6.87 分左右），然后测量每个模型在 2 小时交互后能进步多少。

结果：从 2025 年 9 月的GPT-5-Codex到 2026 年 4 月的GPT-5.5，221 天内学习效率提升了 约 8 倍，约每 3 个月翻一番。

后期模型的有效提交率在上升，但提交次数不一定更多。换句话说，不是更勤快，而是每次动手更有效。这和工程实践的直觉一致，高级工程师不一定比初级工程师写更多行代码，但更少做无用功。

AI 的能力越来越像“知识”，但"学会新东西"的能力本身，也在以惊人速度进化，而且这个速度比静态知识增长更有决定性。

1

评测环境本身，和EdgeBench同样有价值

EdgeBench 看起来像一个模型排行榜，但它测到的不是裸模型能力，而是 Agent 系统能力。

不同模型跑在不同的执行框架上。Claude Opus 4.8 使用 Claude Code 加 1M 上下文窗口，GPT-5.5 使用 Codex 加 256K 紧凑窗口。最后的分数，既包含模型本身的能力，也包含上下文管理、工具调用、反馈处理和执行框架的影响。

这反而接近真实部署。现实中的 Agent 从来不是一个孤立模型，而是模型、工具、工作流和反馈系统的组合。EdgeBench 真正衡量的，是这个组合系统能不能在长程任务里持续推进。

但这也意味着，榜单不能被粗暴理解成基础模型排名。它更像是在比较不同 Agent 系统的长期工作能力。

把EdgeBench和主流 benchmark 放在一起看，差距会更清楚：

传统 benchmark 是“静态快照”，EdgeBench 是“动态轨迹”。它们不是在同一个维度上竞争。

但这个新维度不是没有代价的，背后是巨大的资源消耗。

和EdgeBench同样让我印象深刻的东西，是把这个实验环境搭起来意味着什么。

先说一组容易被忽略的账。134 个任务，每个任务平均消耗 57.2 小时的人类专家时间，最长的单个任务投了 320 小时。即使按最低标准估，光任务构建这一项就投入了 7,500 小时以上的人力；然后是运行成本，5 个模型，每个模型在每个任务上跑 3 次，加上延长至72小时以上的运行，每次 12 小时，总计约 38,000 小时的 Agent 交互时长，对应的是天文数字的 API 调用和算力消耗。

这个成本门槛本身就意味着，长程 Agent 评测不是随便一个团队就能入场的方向。

再看工程细节。论文的附录记录了在开发过程中被 Agent 攻破的各种漏洞：有 Agent 在流体力学任务中通过 400+ 次提交反推出了隐藏测试数据的答案；有 Agent 发现反作弊检查对 baseline/ 目录豁免，于是把代码塞进那条“免检通道”里交卷。这些案例暴露了一个深层的矛盾：想要测出“学习能力”，就必须给 Agent 足够的反馈；但反馈给得越多，就越可能被 Agent 当成预言机来利用。

EdgeBench 的解决方案是物理隔离：工作容器和裁判容器分开，裁判打完分就销毁，防止Agent“作弊”：

EdgeBench 的双环反馈机制：左边是 Agent 可以自由探索的工作容器，右边是隐藏裁判，提交后才返回权威评分

• 工作容器：Agent 在里面随便折腾，编译器、调试器、日志、文档全都有，但没有“隐藏答案”
• 裁判容器：Agent 提交工件后，裁判用隐藏测试数据和私有评分标准来打分，打完容器立刻销毁

这个设计很讲究，本质上是在模拟“考场密封”和“双盲评审”的机制。把这个从工程层面做对，难度比设计题目本身大得多。这套双容器框架有自己的名字，SForge。字节把它连同134个任务中的51个一起开源了，构建环境的门槛还留在原地，使用它的入口已经打开。

在做 benchmark 的人看到这，大概都会有一种“原来你们也被Agent坑过”的共鸣。

这也是为什么 EdgeBench 让我感觉它不是“一个新的 benchmark ”，更多是一种新的软件评测系统。

它本质上是一个可观测的 Agent 运行环境。你把它当成“Agent 的 profiler”，可能比“一个新 benchmark”更准确。

把这个视角拉回到行业：当前大部分 Agent 评测还停留在“在某个测试集上一次性跑分”的阶段。EdgeBench 花了这么大代价搭一个长程实验装置，它想回答的问题其实很简单，但很重要。

1

字节自己的“AI下半场”

EdgeBench是一个让人重新想问题的理由。

长程任务和短 benchmark 之间的差别，不是时间拉长了，而是暴露出来的问题完全不同。一个只跑 10 分钟的 benchmark，Agent的行为是可以预期的：读题、思考、输出、结束。不会出什么幺蛾子。但当你把时间拉到 12 小时，麻烦就多了。Agent 会在方向正确的前提下慢慢跑偏，修好一个模块的同时搞崩另一个；会看不懂用户的反馈，把一个错误信号误读成另一个方向，然后在错误的路上持续投入几小时。

退一步想“是不是方向错了”，当前的 Agent在这方面还有欠缺。这些问题在短 benchmark 里很难被观测到，但在真实环境中，件件致命。

因此，EdgeBench 的价值就是把 Agent 评测的标准从“会不会做”推进到了“会不会持续做、学习、再做”。这两个问题之间，隔着一次评测范式的代际跨越。

对评测的范式的重新思考，总让人想到目前在腾讯负责模型的姚顺雨曾提出的“AI下半场”的判断，某种程度上，EdgeBench 就是字节自己版本的“AI下半场”。

EdgeBench 把“Agent在环境里越跑越强”这个直觉变成了可测量的学习曲线。逻辑是同构的，只是这次尺度不再是参数和算力，而是时间和反馈。

未来 AI 公司争夺的核心资源，不只是数据和算力，还有能让模型反复试错、持续进化的环境。

点个“爱心”，再走 吧