AutoResearch神话破灭：大模型离真正自主科研还有多远？

来源：市场资讯

（来源：让你更懂AI的 PaperWeekly）

AI 自己做科研，曾被认为是大模型时代最具想象力的方向之一。

让 Agent 阅读论文、提出假设、编写代码、运行实验，再自动生成研究报告，AutoResearch 正在推动 AI 从科研助手走向科研主体。

但最新一项研究发现，当前 AutoResearch 距离真正自主科研仍存在明显差距。

来自 Prentis AI、斯坦福等机构的研究者将 Claude、GPT、Qwen、DeepSeek 等多个模型系列，以及多个 Agent 系统放入基于真实前沿科研工作构建的任务环境中。

让它们完成从研究设想、文献检索、实验执行、结果分析、论文撰写，到最终自我验证与审查的完整流程，全面测试当前 Agent 的自主科研能力。

研究团队进一步分析了 100 个真实科研任务、8 组 Agent–模型组合和 800 条完整科研轨迹，归纳出 45 类失败模式。

结果显示，当前 Agent 最主要的瓶颈已经不再是单纯的工程执行问题，而在科研过程中的判断与修正能力。

它们能够完成实验、生成报告，却难以像研究者一样持续检查结论、质疑方法，并根据新证据调整研究方向。

研究团队将这个共同短板归结为一个核心能力缺口——缺少元认知闭环（Metacognitive Loop）。

论文题目：

How Do Agents Fail on AutoResearch: End-to-End Diagnostic Evaluation on 100 Real-World Frontier Research Tasks

论文地址：

https://arxiv.org/abs/2608.14905

项目地址：

https://prentisai.github.io/AutoResearchEval-site/

GitHub地址：

https://github.com/PrentisAI/AutoResearchEval

数据集地址：

https://huggingface.co/datasets/PrentisAI/AutoResearchEval

主流模型同场测试

过去对于 AI 科研能力的评估，通常关注最终结果，例如是否完成任务、是否达到指标、是否复现已有方法。

但科研过程并不只是得到一个答案。一个 Agent 即使交出了看起来正确的结果，也可能采用了错误的方法。一个看似有效的实验，也可能建立在数据泄漏、迎合评分指标或者循环验证之上。

这项研究直接追踪 Agent 的完整科研轨迹，寻找失败究竟发生在哪一步。

研究团队提出 AutoResearchEval，从真实前沿科研论文中构造任务，覆盖生物、医学、化学、材料科学、物理、科学计算和地球物理等 7 个领域，并覆盖完整科研流程，包括研究设想、文献检索、实验执行、结果分析、写作和审查。

这 100 个任务又分为两类：70 个开放式科学发现任务没有明确指标告诉 Agent 是否接近“正确答案”。另外 30 个目标锚定优化任务，则以人类 SOTA 或可计算指标作为目标。

〓AutoResearchEval 的任务构建、Agent 执行与评测流程

与多数围绕最终结果打分的 benchmark 不同，AutoResearchEval 会保留 Agent 完整执行轨迹，包括代码、工具调用记录、实验结果和最终报告，从而分析问题究竟发生在哪个研究阶段。

为了把过程级诊断扩展到全部 800 条轨迹，研究团队还构建了经过人工校准的 Artifact-aware Agent-as-a-Judge，不只读取最终报告，还会检查代码、执行日志和数据等中间产物。

在 50 条人工标注轨迹上，其 failure pattern 和根因分类的 Cohen’s κ 分别达到 0.75 和 0.83，明显高于单次 LLM-as-a-Judge 的 0.53 和 0.62。

〓Agent-as-a-Judge 与人工专家标注的一致性

评测覆盖 Claude Code、Codex 和 Gemini CLI 三种主流 Agent 框架，共组成 8 组框架—模型组合。

〓参与测试的 Agent–模型组合

论文并没有试图建立一个简单的“自主科研模型排行榜”。不同模型确实存在能力差异，但更重要的发现是：相似失败模式反复出现在不同 Agent–模型组合中，甚至包括这项评测中表现最强的模型。

这些问题并未集中在某个模型或某套 Agent 框架上，而是在不同组合中反复出现，更像是当前大模型科研判断能力上的共同短板。

45 类失败模式暴露共同短板

为了系统分析这些失败，研究团队提出了 ARFT（AutoResearch Failure Taxonomy）失败分类体系。

ARFT 将 45 类失败模式按照科研流程组织。其中 37 类可以定位到六个具体阶段：

• 研究想法与实验规划；

• 文献检索与知识整合；

• 实验执行与实现；

• 结果分析与解释；

• 论文写作；

• 自我验证与审查。

另外 8 类属于跨阶段失败模式，包括错误传播、目标漂移、错误路径上的“正确结果”和重新规划失败等。

同时，这些失败又被归纳为四类根因：

• 事实依据与忠实性

• 推理深度与适应能力

• 科研严谨性与目标对齐

• 工程鲁棒性

〓失败模式根因分类

而在所有失败模式中，三类认知相关问题占据了绝大多数：

• Grounding & Faithfulness：31.0%

• Scientific Integrity & Alignment：33.5%

• Cognitive Depth & Adaptability：27.6%

在全部失败模式统计中，三类非工程性问题合计占到 92.1%，而工程鲁棒性仅占 7.9%。

〓不同阶段与根因对应的失败分布

更值得注意的是，很多失败并不是因为证据不存在。相反，足以推翻结论的证据已经躺在 Agent 自己生成的代码、数据或运行日志里，它却没有把这些产物与最终报告重新核对。

研究团队发现，Agent 经常写下的是自己“原本想做”的研究，而不是实际执行出来的研究。

真正高频的短板，是 Agent 能否判断实验是否真的验证了假设、结果是否足以支撑结论，以及下一步是否应该调整方向。其中最常见的一类失败尤其反常：超过八成的轨迹中，Agent 已经意识到关键问题，却没有真正完成后续修正。

Agent 已经发现问题，却没有真正修正

在所有失败模式中，最具代表性的一类是“未纠正的自我觉察”（Uncorrected Self-Awareness）：Agent 已经发现研究过程中的问题，却没有让这种判断改变后续行动。

这一模式出现在 660 / 800 条分析轨迹中，占 82.5%，也是全部 45 类失败中出现频率最高的一类。典型表现是，Agent 已经在自我审查中明确指出某个严重缺陷，却仍然提交了没有经过修正的结论。

对于人类研究者而言，发现 baseline 不可靠通常意味着重新设计实验、替换方法或重新分析结果。而当前 Agent 往往停留在“识别问题”阶段，问题发现并没有形成后续修正。

论文随后用四条具体轨迹展示了这种元认知断层的不同表现。其中两条归入 C.2，另外两条分别归入 D.5 和 D.7，但共同指向同一个问题：Agent 已经掌握了足以改变行动的信息，却没有让这些判断真正改变后续研究过程。

〓四条 AutoResearch 轨迹中的典型失败案例

论文还展示了其他类型的失败。一个 PDE 任务中，Agent 几乎拿到了完美指标，却根本没有读取训练数据，而是直接利用 README 中给出的解析解生成预测。

另一个案例中，Agent 已经找出拖累总成绩最大的 Darcy 子任务，却把剩余预算继续花在一个已经领先的子任务上。

自主科研还缺少什么？

论文继续向下追溯三类认知根因，最终都指向同一个核心缺口：元认知闭环（Metacognitive Loop）。

在完整科研过程中，研究者不仅需要提出假设、执行实验和撰写结果，还需要持续检查自己的研究过程，不断核对产出与证据，在结果站不住脚时采取修正，并重新判断当前研究路径是否合理。

〓六个科研阶段中的失败模式与根因分布

当前 Agent 已经能把检索、实验、分析和写作串成一条科研执行链。下一阶段 AutoResearch 真正要解决的，是让“发现问题”真正变成“修正问题”。