Anthropic研究实锤：AI还做不出真正的科研

前沿 Coding Agent 正在将机器学习研究转化为可自动执行的工作流，但现有研究多集中于结构良好的代码库、单一任务或计算机科学领域，面对分散在不同学科、缺乏完善训练与评估流程的科研项目，Agent 能否真正改进模型，仍缺少系统性测量。直接在原始科研代码库上测试 Agent 也并不可靠，原始仓库缺少明确的指标定义或规范的数据划分时，Agent 可能利用评估漏洞取得表面上的提升，而非真正改善模型。

为此，Anthropic 团队提出了 Agent4Sci，这是一个面向科学机器学习（ML for Science）任务的长程自动爬坡评测框架，覆盖 11 个科学领域、20 个基准和 25 个任务。

论文链接：https://arxiv.org/abs/2610.28763

实验中，四个前沿 Agent 合计改进了全部 20 个基准，Claude Opus 的平均相对改进达到 10.4%。然而，研究团队通过分析 Agent 的运行轨迹，发现其改进主要来自常规机器学习工程技巧，而非研究级洞察。加入三个插件技能后，Opus 的平均相对改进进一步升至 20.1%。该工作入选 NeurIPS 2026 评估与数据集赛道。

Agent4Sci的构建分为两步，先把科研任务标准化，再以三阶段协议隔离爬坡、评估与审计，限制先导实验暴露的作弊空间。

第一步是四阶段筛选加人工标准化。研究团队通过领域分类、自动筛查、人工验证和深度审查四个阶段筛选基准。以 NeurIPS 2025 数据与基准赛道为例，研究团队从 497 篇候选论文中最终选出 10 个基准，拒绝率约为 98%。每个入选任务都必须通过论文基线复现，并完成数据划分、运行环境和训练流程的标准化。

第二步是三阶段评估协议。首先，爬坡 Agent 获取论文、代码、训练数据和验证数据，在固定资源预算内修改代码、训练模型并提交结果，但无法访问测试集。随后，独立的评估 Agent 使用标准化评估流程，在保留测试集上计算最终指标。最后，审计 Agent 检查运行日志与提交产物，识别评估投机和其他学术不端行为。

图｜Agent4Sci 评估协议，爬坡、评估与审计三个 Agent 相互隔离

这种设计针对性地解决了先导实验暴露的评估漏洞。研究团队进一步使用 Claude、Codex 和 Gemini 三个模型家族的审计 Agent 交叉复核部分运行轨迹，审计结论保持一致，且没有运行被标记。不过，独立评估与审计并不意味着能够排除所有隐蔽的投机行为。

实验比较了 Claude Opus 4.6、Claude Sonnet 4.6、Gemini 3.1 Pro 和 Codex（GPT-5.4）。四者均通过各自的官方 CLI，以最高推理强度运行。每次实验提供 8 张 H200 GPU 和 12 小时预算，人类不参与实验过程中的具体决策。四个 Agent 的平均相对改进分别为10.4%、9.6%、6.8%、4.4%。不是每个 Agent 都在所有基准上取得提升，但全部 20 个基准均至少被一个 Agent 改进，单项改进幅度从 1.1% 到 64.4% 不等。

图｜四个前沿 Agent 在 Agent4Sci 上的平均相对改进

具体案例显示，提升既可能来自常规模型优化，也可能源于更有针对性的任务改造。在 PFDelta 电力潮流估计任务中，Opus 通过调整辅助损失、提高均方误差损失的权重，并改用带预热的余弦退火，将平均功率平衡损失降低了 64.4%。在 Mars-Bench 的锥体检测任务中，Opus 将原有的 RetinaNet 替换为更适合该任务的 Faster R-CNN，使 mAP 从 16.5 提升至 30.4。

然而，轨迹分析揭示了这些增益背后的局限。Agent 大量采用学习率调整、模型加深加宽、骨干网络替换和权重衰减等成熟方法，针对具体科学问题的干预则相对少见。不同 Agent 的工作方式也存在明显差异：Opus 持续监控日志并迭代实验，Codex 倾向于较早提交长时间运行的脚本，随后等待执行结束，Gemini 则介于两者之间。

针对轨迹中反复出现的问题，研究团队设计了三个轻量插件技能，分别用于研究构思、实验管理和定时检查清单。插件技能让两个 Agent 的平均改进接近翻倍。Opus 在 20 个基准中 18 个改善，PFDelta 从 64.4% 跃至 91.0%，MassSpecGym 达 39.5%，CarbonGlobe 达 35.3%。PFDelta 上的新方案读起来更像物理推理，Agent 识别出功率平衡损失可由基尔霍夫定律推导且无需标签，把它重构为训练主损失，推理时以 GNN 预测为交流潮流方程提供暖启动，逐步精化电压变量把物理残差压向零。

图｜默认运行与加装技能后的各基准改进幅度对比

研究团队表示，虽然性能提升主要来自机器学习工程而非科学推理，Agent4Sci 仍然将自动化科研中的模型改进能力转化为可复现、可审计的评测问题。它不仅衡量 Agent 能否提高指标，也尝试辨别提升究竟来自成熟的工程技巧，还是对科学问题本身的理解。

未来，Coding Agent 能否从更高效地执行实验，走向提出更有价值的研究思路，将成为衡量自动化科研能力的重要问题。

更多技术细节，详见原论文。

作者：张佳怡

如需转载或投稿，请直接在本文章评论区内留言