Auto Research 来了：当 AI 开始接管科研里最苦的活，意味着什么

Frontier-Eng Bench 揭示了一种新的 Agent 范式：真正的智能不在于一次性生成答案，而在于长期反馈中的持续优化能力。

如果几年前有人告诉我，AI 不仅能写代码、生成论文摘要，还能像一个真正的工程师那样，在实验室里反复寻找可行的策略、持续优化一个方案——我大概会觉得这个人科幻片看多了。

但最近读到一篇论文的时候，我的想法变了。

过去两年，大模型的能力突飞猛进，从写诗到写代码，从做数学题到跑实验流程，AI 擅长的事情越来越多。但真正做过科研和工程的人都清楚，最耗人的部分，往往不是提出第一个可行方案，而是后面那段漫长的「长期优化」——一个实验跑通了，但指标还差一点；一个算法能用了，但速度还不够快；一个电池快充策略成立了，但温度、寿命和析锂之间还需要反复平衡。

现实中的高价值成果，很多都不是「做出来」的，而是被持续优化出来的。而这，恰恰是过去大多数 AI Agent 系统最缺失的一环。

最近，Einsia AI 旗下 Navers Lab 发布了一个叫 Frontier-Eng Bench 的新基准测试，正试图衡量这种能力。它没有再把 AI 放进「一问一答」的选择题里，而是直接把 Agent 扔进真实工程优化环境——Agent 必须不断提出方案、运行仿真器、读取反馈、修改策略，在长期迭代中持续逼近更优解。

论文题目：Frontier-Eng: Benchmarking Self-Evolving Agents on Real-World Engineering Tasks with Generative Optimization

Arxiv: https://arxiv.org/abs/2604.12290

Github: https://github.com/EinsiaLab/Frontier-Engineering

这让我想到一个历史参照：AlphaGo 之所以强大，并不在于它每一步棋都能算对，而在于它能在数百万次自我对弈中持续进化。某种程度上，Frontier-Eng 试图回答的，也是同一个问题——当 AI 开始进入真实世界的长期反馈循环后，智能的本质，究竟该怎么衡量？

01

从「一次性答对」到「持续优化」，

范式正在切换

要理解 Frontier-Eng Bench 的意义，得先看清楚它在反对什么。

过去几年，大模型领域的 benchmark 越来越多，但本质上都在评估同一件事：模型能不能「一次性生成正确答案」。无论是代码生成、数学推理，还是任务执行，大多数测试的逻辑仍然是——答案对，或者错；任务完成，或者失败。

Frontier-Eng Bench 总览

但这里有一个被忽视的问题：真实的科研与工程，从来不是一个「对或错」的过程。

一个量子线路已经正确了，但保真度还能不能再往上抠一点？一个 GPU kernel 已经可用了，但速度还不够快？这些问题没有「标准答案」，只有「更优解」。而找到更优解的过程，往往需要成百上千次的迭代、试错和微调。

事实上，这正是 Frontier-Eng Bench 提出的核心命题——论文将其定义为「Generative Optimization」（生成式优化）。它认为，下一代 Agent 的核心能力，不应该只是「一次性给出看起来合理的答案」，而是能否在环境反馈里持续修正自己的轨迹，并在有限预算下不断优化结果。

换句话说，真正的 intelligence，可能本质上是一种长期反馈闭环中的持续优化能力。

这个判断并不只是理论推演。Frontier-Eng 设计了 47 个横跨五大领域的实验任务——量子计算与信息、运筹与决策科学、机器人与控制系统、光学与通信、物理科学与工程设计。在每一个任务中，Agent 都不是简单地「回答问题」，而是需要提出优化方案、运行仿真器、获取真实反馈、修改代码与策略，并在固定的计算预算里持续迭代。

Frontier-Eng Bench 体系概览

不只有「答对题」的聪明，更有「不断变好」的韧性。这可能才是真正长程智能的起点。

02

深度 vs 宽度：Agent 架构的关键抉择

在 Frontier-Eng 揭示的所有发现中，有一个结论让我印象最深：关于「推理算力分配」的讨论。

论文通过大量实验发现，Agent 的性能提升遵循一套双重幂律衰减规律——随着任务进入「深水区」，获得显著性能提升的难度呈指数级上升。这是一个残酷但真实的规律：越往后优化，每一个百分点的进步都越来越贵。

工程优化的双重幂律衰减

但更有意思的发现在于一个架构层面的核心争议：到底是让 Agent 并行尝试 100 种可能性（宽度），还是让它在 1 个路径上通过「反思—修正」递归 100 次（深度）？

Frontier-Eng 给出了一个非常清晰的信号：深度才是那个能撬动真正突破的杠杆。

深度 vs 宽度

这让我想到一个日常的类比。面对一道难题，是同时翻开十本参考书碰运气更有效，还是沿着一条思路反复推敲、不断修正更容易找到答案？大多数有经验的工程师和科学家都会选后者。Frontier-Eng 的数据，某种程度上用实验验证了这种直觉。

论文将这种能力称为「Deep Iterative Reasoning」（深度迭代推理）。在这背后，其实指向了一个更大的趋势：下一代 Agent 的核心竞争力，可能正在从「知道多少知识」转向「能不能在长期反馈中持续自我修正」。

一个有趣的现象是，这个结论和人类专家解决复杂问题的方式高度一致。顶级的工程师和科学家，几乎从来不靠「灵光一闪」解决核心难题，而是在漫长的试错循环中一步步逼近最优解。某种程度上，Frontier-Eng 证明了：AI 要变得真正聪明，也得学会这种「慢功夫」。

更重要的是，这个发现正在直接改变 Agent 架构设计的方向。过去，开发者们的注意力大多放在 prompt engineering 上——怎么写出更好的提示词，让模型一次就给出好答案。但如果深度迭代推理才是关键，那么未来真正重要的可能是 reasoning architecture——如何构建更强的推理侧架构，让模型能够像人类专家一样进行「慢思考」。

03

推理侧的算力红利，才刚刚开始

从产业角度看，Frontier-Eng 释放出的信号其实非常强烈。

过去几年，大模型行业的核心护城河主要来自三件事：参数规模、训练算力、高质量数据。谁的模型更大、训练数据更多、GPU 集群更强，谁就占据优势。

但 Frontier-Eng 的实验结果暗示，护城河可能正在发生转移——从训练侧转向推理侧。

不同模型的详细评测结果

换句话说，未来真正重要的，可能不只是模型「知道什么」，而是它能否在长期环境反馈中持续优化、在复杂搜索空间里稳定收敛、在有限算力下完成递归推理、在真实仿真器中不断自我修正。

这会直接改变整个 Agent 基础设施的竞争方向。因为一旦智能开始更多地来自 inference-time optimization（推理时优化），而不是一次性的预训练，那么几件事将同时发生：

首先，AI for Science 可能将迎来真正的爆发。科学研究本身就是最完美的「生成式优化」场景——提出假设、实验验证、修正假设、再验证，这个循环和 Frontier-Eng 测试的过程几乎完全一致。

其次，Agent 的开发范式会从 prompt engineering 转向 reasoning architecture。开发者将不再仅仅盯着提示词的措辞，而是去思考如何构建更强的推理链、更高效的搜索策略、更智能的反思机制。

此外，长程记忆、工具调用、搜索和反思能力将变得越来越关键，而算力分配本身也会成为一种新的基础设施能力。

从这个角度看，Frontier-Eng 不只是一个学术 benchmark，它更像是一张路线图——告诉整个行业，下一阶段的竞争焦点在哪里。

04

尾声

回到开头那个问题：AI 做科研，最难替代人类的是哪个环节？

在读 Frontier-Eng 这篇论文之前，我的回答可能是「直觉」和「创造力」。但现在我觉得，答案可能正在被改写。

Frontier-Eng 告诉我们，Agent 正在走出文字游戏的「温室」，进入物理规律的「竞技场」。它们开始学习的，不再只是如何给出一个漂亮的答案，而是如何在成千上万次失败中，一点一点地抠出那 1% 的性能突破。

而身处其中，我们往往后知后觉。但把时间维度拉长，也许多年后回看，2025 年前后这段时间，正是 AI 从「聪明的回答者」变成「执着的优化者」的转折点。

不只有聚光灯下的 OpenAI、Google DeepMind 们在推动这个进程，更有像 Einsia AI 这样的团队，在用严谨的实验框架丈量智能的真实边界。

而下一代 Agent 真正比拼的，可能不再是谁「知道得多」，而是谁能在长期环境反馈中，持续逼近最优解。这场关于「深度」与「反馈」的竞赛，才刚刚鸣枪。

*头图来源：Frontier-Eng Bench

极客一问

你觉得 AI 做科研，

最难替代人类的是哪个环节？