代码榜逐渐饱和，下一个前沿是AI科研，但大模型卡在了最关键一步

过去一年，Auto-Research、自进化 AI 和递归自我改进成为 AI 领域最受关注的方向之一。

模型已经可以进入代码仓库、调用工具、修改训练程序，并根据实验反馈继续迭代。部分系统还能更新记忆、积累技能、清理数据，甚至参与下一代模型所需的工程流程。

随着代码能力快速提升，传统编程评测也在逐渐趋于饱和，AI for Research被视为下一条重要能力前沿。不过，当 AI 可以完成越来越多研究动作，一个更关键的问题随之出现：

它究竟是在更高效地执行人类已经定义好的工作，还是已经能够像优秀的人类研究者一样，发现真正推动机器学习发展的新方法？

当前“自进化”叙事往往混合了三种不同能力。第一种是执行能力，即把人类给出的需求转化为代码和实验；第二种是工程优化，即在固定目标上调参、替换组件或从大量候选中筛选最高分方案；第三种才是方法发现，即识别现有方法的根本局限，提出此前不存在的新机制，并证明它能够跨数据、任务和规模继续成立。

图源：Anthropic《When AI builds itself》

而真正推动机器学习走到今天的，主要是第三类进步。卷积、残差连接、Attention、归一化、扩散模型和 PPO 的价值，并不只来自某一次固定评测上的提升。它们能够迁移到不同任务，在更多数据和计算资源下继续有效，并最终成为整个研究社区共同使用的基础。

然而，现有评测尚未真正测试这种能力。

数据挖掘型任务通常要求模型在一个固定数据集上进行数据清洗、模型选择和超参数搜索，适合衡量机器学习工程，却无法判断一个改动能否跨场景成立。Circle packing、组合优化和部分 kernel 优化依赖快速而明确的评分器，可以通过大规模采样筛选候选，却与一次实验可能耗时数小时甚至数天的真实机器学习研究存在明显差异。另一些工作虽然让模型阅读论文、提出想法和撰写报告，最终却依靠语言模型判断新颖性和写作质量，没有直接运行候选方法。

这些任务分别测试了工程执行、廉价搜索或研究表达，但没有严格回答 AI 能否发现可推广、可随规模持续有效的机器学习方法。

为填补这一评测缺口，来自加州大学伯克利分校、普林斯顿大学、清华大学、华盛顿大学、普渡大学、哈佛大学、宾夕法尼亚大学、上海交通大学、加州大学圣地亚哥分校和卡内基梅隆大学的研究团队，联合提出了 MLS-Bench。

论文：https://arxiv.org/abs/2605.08678

项目主页：https://mls-bench.com/

代码：https://github.com/Imbernoulli/MLS-Bench

MLS-Bench 包含 12 个机器学习领域的 140 个真实研究任务。每项任务都要求模型围绕一个明确的研究问题提交可运行的方法，并在多个数据、环境、模型或规模上接受检验。研究团队还在同一代码和训练流程中重新实现至少 3 种强人类方法，其中包括领域公认的最优方法，用于判断模型究竟有没有在已知方法之上继续推进。

论文主实验的结果非常直接：即使已经获得人类最强方法的完整实现，并被允许多轮运行实验，当时评测的5 个前沿模型所提出的方法，在整体表现上仍未超过人类最强方法。提示消融和领域专家分析进一步发现，模型主要擅长调优、工程优化和已有方法重组，真正新的方法机制依然少见。

MLS-Bench 的意义不只在于增加一张模型榜单，而在于改变 AI 科研能力的测量对象。

它不再把“代码能运行”或“单点分数提高”直接等同于研究进步，而是进一步追问：提升是否来自目标算法本身？是否能够迁移到未见条件？是否能随数据和计算规模变化继续成立？模型能否围绕假设组织实验，并在有限预算下建立可信证据？

为了支持持续模型跟踪，研究团队还发布了覆盖全部 12 个领域的 30 题精简版。该版本已被前沿模型纳入官方发布评测，说明模型研发机构也开始将真实科研能力视为新的前沿指标。

研究方法1. 从 12 个领域构建 140 道真实研究题

MLS-Bench 将一项任务定义为：在真实研究代码库中，围绕一个明确的研究问题改进特定方法组件，并在多个测试条件下与强人类方法比较。

完整评测覆盖语言模型预训练与后训练、视觉生成、强化学习、机器人、机器学习系统、AI for Science、优化与理论、因果推断、时间序列、主动学习和可信学习等12 个方向。

具体问题包括 KV 缓存压缩、训练目标设计、优化器、主动学习、时空交通预测、黑洞图像逆问题、抗体与抗原结合、机器人世界模型、低比特训练等。

图｜候选方法不仅要在一个实例上提高分数，还需要跨条件验证。

每个任务均包含 5 项核心要素：

1.一个来自真实研究工作的代码库；

2.一个需要改进的明确方法组件；

3.至少三个检验迁移能力的测试条件；

4.至少三种强人类方法，其中包括领域公认的最优方法；

5.所有强方法在相同代码、训练和评分流程中的复现结果。

多个测试条件是必要的。如果只在一个数据集或模型规模上评分，智能体很容易把研究问题退化成一次竞赛式优化。跨数据、环境、任务或规模的检验，才能判断收益是否属于方法本身。

完整 140 题仅运行每题一个候选方案，就需要约 700 个 H100 小时。30 题精简版覆盖全部 12 个领域，将单次评测成本降至约 100 个 H100 小时，便于模型机构进行更高频的能力跟踪。

2. 隔离目标研究问题，排除工程取巧

机器学习研究评测面临一个核心归因问题。如果智能体获得了更高分，提升可能来自新的算法，也可能来自更大的模型、更多训练数据、更长训练时间、更充分的超参数搜索，甚至对评分流程的利用。

如果这些变量没有被控制，最终分数无法说明模型是否发现了新方法。

因此，研究团队为每个任务逐行标注可以修改和必须保护的代码范围。研究优化器时，智能体不能同时修改模型结构；研究训练目标时，不能绕过问题去替换数据和评分程序。对于涉及模型结构的任务，系统还会直接检查参数规模，防止候选方案单纯通过扩大容量提高成绩。

但限制也不能过严。如果当前公认的强方法都无法在给定范围内实现，那么评测本身也会挡住真正的创新。

为此，研究团队先在统一代码库中重新实现每项任务至少三种强人类方法，再根据复现过程反向校准可修改边界：既要保证领域最强方法可以完整表达，又要保证模型不能改动目标研究问题之外的环节。

图｜强人类方法和模型提交在相同代码与训练流程中运行。

部分真实任务的原始训练成本过高，需要使用较小模型或较少数据作为代理。研究团队没有简单缩小规模，而是要求所有强人类方法在代理规模下保持原有的性能排序。只有当方法间的相对优劣不因缩放而反转时，这个代理实验才会被保留。

3. 用复现结果建立跨领域统一评分

不同领域使用的指标并不相同。图像生成关注 FID，语言模型关注困惑度或准确率，强化学习和机器人任务又使用不同回报指标。直接平均原始数值没有意义。

研究团队采用“原始指标、测试条件、任务”三级聚合。每个原始指标先以复现结果为锚点：所复现基线中的最弱者映射为 0，最强者映射为 50；存在理论上界时，上界映射为 100。随后逐层聚合，得到任务、领域和模型的整体表现。

这一评分方式不依赖指标本身的单位，而是表示候选方案相对于已知强方法的位置。由于不同强方法可能分别赢得不同指标，聚合后的人类最强方法不一定恰好等于 50 分。

研究结果1. 前沿模型整体上均未超过人类最强方法

研究团队在主实验中评测了当时的 5 个前沿模型，并设置两种工作方式。第一种直接评估模型首次提出并实现的方案；第二种允许模型作为智能体进入真实代码库，多轮运行实验、读取反馈、修改方法，再自行选择最终提交。

每个模型都能看到强人类方法的完整代码，其中包括当前公认的最优方案。因此，这项实验主要考查的不是模型能否复现论文，而是它能否在已有最强方法之上继续向前推进。

图｜网页柱状图按领域展示首次方案、多轮智能体实验与人类最强方法。论文主实验中，5 个模型提出的方法在整体表现上均未超过人类最强方法。

多轮实验能够改善不少提交，但没有改变论文主实验的总体结论。将人类最强方法直接交给模型，并不会让它自然地从这个起点继续发现更好的机制。

后续更强模型仍在持续刷新公开榜单，但当前头部成绩的绝对水平依然不高，评测远未饱和。

2. 模型更擅长调优和重组，而不是方法发现

研究团队通过改变提示进一步检查模型究竟在做什么。

当提示要求模型专注于优化和调试已有方法时，模型表现更好；当目标改为发现一种新方法时，模型反而更弱。这种差异在能力较弱的模型上尤其明显。

领域专家随后检查模型提交的代码与方法说明，观察到一个非常稳定的模式：模型经常从不同强基线中抽取损失函数、网络模块和训练技巧，再进行重新组合与参数调整。候选方案可以正常运行，有时也能获得局部收益，但真正新的方法机制很少。

图｜专家分析显示，模型方案通常贴近已经提供的强人类方法。

组合已有组件当然可以带来工程价值，但它与科学发现仍有本质区别。方法创新通常需要先解释已有方法为什么失败，再提出一个有洞见的假设，并通过跨条件实验判断该解释是否成立。当前模型往往从组合出发，再观察分数是否上涨，缺少能够指导新机制设计的研究判断。

研究团队还移除了参数规模检查。多个模型会反复尝试通过增加模型容量提高成绩，部分超出容量限制的提交甚至超过了强人类方法。恢复检查后，这类提交会被直接拒绝。这说明，如果没有严格隔离算法变量，一次看似成功的「自动发现」很可能只是工程资源增加。

3. 更多迭代和大规模采样有帮助，但无法突破上限

在 circle packing、kernel 优化和固定训练 speedrun 等任务中，一个常见策略是增加测试时计算：生成更多候选、调用更多次评分器，再从中选择最高分结果。

这类范式依赖一个重要条件，即每个候选都能被快速、明确地验证。

MLS-Bench 在验证成本相对可控的任务上测试了更多独立采样、更多轮实验、进化搜索和测试时训练。结果显示，更多尝试确实能改善简单任务上的局部结果，但收益很快饱和。在复杂深度学习任务上，增加计算没有突破原有上限，更没有超过所提供的最强人类方法。

图｜增加迭代和采样能够改善局部结果，但不会自动带来新的方法机制。

在只开放部分测试反馈的实验中，进化搜索与测试时训练维持或提高了可见条件的分数，却损害了保留条件上的表现，直接暴露出对可见目标的过拟合。

4. 更深的瓶颈在于建立和验证证据

科学发现并不只包含“提出一个方案”。研究者还要判断什么假设值得验证、什么小实验能够区分不同解释，以及如何在有限预算下分配计算资源。

研究团队在一个真实预训练环境中专门测试了这种能力。固定流程原本允许进行三次完整的 345M 参数训练；新实验将前两次训练转换成等量的灵活算力预算，由模型自行选择代理模型大小、训练 token 数、实验顺序和最终验证时机。

理论上，更自由的实验预算应该给模型更多机会。它可以先运行便宜的小规模实验，比较多个假设，再把昂贵的完整训练留给最有希望的方向。

实际结果却显示，除个别情况外，赋予模型更多自由后表现反而下降。模型没有稳定地把有限算力分配给信息价值最高的实验，也无法根据中间结果灵活修正后续计划。

图｜灵活预算测试的不只是执行能力，还包括实验选择和证据判断。

研究团队进一步允许网络搜索，并向模型提供相关论文和理论推导。额外信息有时能够改善首次方案，但经过多轮实验后，整体帮助依然有限。

图｜信息获取并不是唯一瓶颈，关键还在于如何将知识转化为假设与证据。

这些结果说明，当前模型缺少的不只是更多知识。它们不仅不擅长提出新方法，也缺少将知识转化为有洞见的假设、设计实验并建立证据所需的更广泛科学判断力。

5. 从廉价搜索走向完整的科学发现

今天常见的自动发现范式有一条清晰的发展路径。AlphaGo 和 AlphaZero 在规则明确的博弈中结合模型与搜索；AlphaTensor 将数学问题转化为可搜索动作；FunSearch 让语言模型生成程序，再用自动评分器筛选；AlphaEvolve 则通过候选库、评分和迭代生成扩展到更复杂的程序优化。

图｜这条路径不断扩大可搜索对象，但始终依赖足够快速、明确的验证。

这些系统能够成功，一个关键条件是验证足够便宜、稳定且清晰。失败候选可以被迅速淘汰，大规模采样也能弥补单次判断不足。

真实机器学习研究面对的约束恰恰相反。一次预训练、机器人实验或科学模拟可能需要数小时甚至数天，而且单次结果往往只能提供部分证据。系统不能依靠几千次完整训练暴力搜索，而必须通过小规模代理实验、假设修正和预算分配逐步获得有效信息。

因此，下一阶段的核心问题可以概括为：在验证难以规模化的条件下，实现可规模化的科学发现。

这要求 AI 完成一个真正的研究闭环：提出有洞见的假设，设计能够区分解释的实验，分配有限资源，根据不完整证据更新判断，再跨数据和规模验证最终方法。

不足与未来方向

当然，这项研究也存在一些不足。

首先，真实研究评测天然面临较高计算成本。即使使用经过校准的代理规模，完整运行 140 个任务仍需要大量 GPU 时间；如果允许模型探索更多候选，成本还会继续增加。尽管 30 题精简版降低了使用门槛，但仍无法消除真实验证本身的昂贵性。

其次，模型能力和智能体运行方式仍在快速更新，任何静态榜单都只是阶段性快照。评测需要持续加入新的模型、运行方式和研究任务，同时保留严格的变量控制，才能判断分数提升究竟来自哪里。

此外，MLS-Bench 当前聚焦于机器学习方法发现，并不覆盖科学能力的全部环节。未来还需要进一步评测问题选择、假设质量、实验设计、证据判断、跨阶段决策和研究沟通等能力。

在研究范式上，更重要的挑战是如何摆脱对廉价验证器和大规模采样的依赖。当一次验证昂贵且只能提供部分信息时，系统需要学习如何选择高信息量实验、利用代理规模推断真实规模，并在有限预算下完成完整的发现闭环。

尽管当前模型已经是越来越强的工程执行者，但从“会运行研究流程”到“能像优秀人类科学家一样发现并验证新方法”，仍然存在一段关键距离。这段距离，也定义了 Auto-Research、自进化 AI 和递归自我改进下一阶段真正需要解决的问题。

整理：学术君

如需转载或投稿，请直接在本文章评论区内留言