ACL 2026 SAC Highlight｜机器学习Agent的真正瓶颈，不是写代码，而是判断哪个实验值得跑

本论文由浙江大学与蚂蚁集团联合实验室完成，并获得 ACL26 SAC Highlight 奖。本文作者：郑景升，浙江大学软件学院在读硕士生，研究方向为 LLM 智能体。本工作在蚂蚁实习期间完成。

现在的 AI 不仅能聊天，已经可以独立做机器学习实验了 —— 拿到任务，自己写训练代码、自己跑实验、看结果、改方案，循环往复直到拿出更好的模型。

Anthropic 的 Claude Code 负责人 Boris Cherny 有句话很能概括这种新范式：“我不再 prompt Claude 了，我写的是跑起来去 prompt Claude 的循环。这种被称作 loop engineering 的思路，正在成为 Agent 开发的主流 —— 不再一问一答地驱动模型， 而是设计一套自动循环， 让 Agent 在 “生成→执行→反馈→改进” 里自己迭代。

但真正卡住机器学习 Agent 的，不是写代码， 也不是循环本身， 而是循环里 “执行” 这一步太贵了。

一个机器学习方案好不好， 必须完整跑一遍才知道 —— 预处理、训练、评估整套流程，一次可能要花 9 个小时。Agent 也许能一口气写出十套方案， 可执行预算只够跑一套， 剩下九套都是浪费 。换言之，机器学习 Agent 是被 “执行时间” 锁死的： 它缺的不是生成方案的能力， 也不是跑循环的能力， 而是 “动手前先判断哪个值得做” 的能力 。

浙江大学和蚂蚁集团的一篇新论文， 针对这个问题给出了硬数据：大模型在不跑任何代码的情况下，已经能猜中哪个机器学习方案更有效 —— 准确率 61.5%， 明显高于随机和复杂度启发式 。把这种 “未跑先知” 的能力接进 Agent 后， 搜索效率提速 6 倍， 最终性能也提升了 6%。

这篇论文叫《Can We Predict Before Executing Machine Learning Agents？》， 已被 ACL 2026 接收为 SAC Highlight。

• 论文地址：https://huggingface.co/papers/2601.05930
• 代码：https://github.com/zjunlp/predict-before-execute
• 数据：https://huggingface.co/datasets/zjunlp/PredictBeforeExecute

一 、真正被卡住的，不是 “写”， 而是 “判断”

当前主流的机器学习 Agent 遵循一个很自然的范式：生成方案→执行→看反馈→改进→再来一遍 。这套 Generate-Execute-Feedback 循环本身没有问题，问题在于 “执行” 这一步的代价。

和做数学题、写代码不一样，机器学习方案的反馈来自一整套训练流程 —— 数据预处理、模型训练、验证评估 。在 MLE-Bench 这样的基准上， 一次执行可能耗时数小时 。Agent 也许能轻而易举地生成许多候选方案 ，但没有足够的执行预算逐个验证。

这就形成了一个瓶颈：Agent 的探索空间被物理执行时间硬性限死 。它能想到 10 条路 ，但只跑得起 1 条。

图 1：From Execution to Inference。传统 ML Agent 靠数小时物理执行获得反馈， 本文用 LLM 推理将判断前置到执行之前。

研究者注意到一个对人来说很显然、对 Agent 却缺失的事实：人类机器学习专家在动手前，常常已经能排除掉一些明显不合适的方案。面对小尺寸灰度医学图像，不会盲目套用需要大幅 resize 的大型 ViT；面对强类别不平衡的数据，不会忽略采样和损失设计。这种 “执行前的预判”，本质上是一种内化的执行经验。

论文想把这种人类专家才有的 “未卜先知” ，移植给 LLM。

二 、从一个问题，到一个任务

论文形式化提出了 Data-centric Solution Preference 任务。给定一个机器学习任务，模型会看到：任务描述、经过验证的数据分析报告、两个候选方案的代码，然后需要输出哪个方案更可能取胜，并给出置信度。

这个任务有一个容易踩的坑：它不是在判断代码 “复杂不复杂”。一个更长、用了更先进模型、pipeline 更华丽的代码，并不一定在当前数据上跑得更好。真正要判断的是算法设计和数据特征是否匹配 —— 数据有没有类别不平衡？图像分辨率够不够？文本有多短？训练集和测试集分布稳不稳定？

也就是说，模型不能只看代码，必须先 “读懂数据”。

图 3：框架总览。从任务定义、轨迹收集、数据筛选， 到 Verified Data Report 增强， 再到 FOREAGENT 的 Predict-then-Verify 应用。

三、让模型先读懂数据

论文发现，如果只给 LLM 候选代码，模型容易退化成浅层判断 —— 倾向于选更长、更 “高级” 的方案。但机器学习方案的好坏强依赖数据，脱离数据的代码判断意义有限。

为此，论文引入了 Verified Data Analysis Report，通过三步生成：

1. Profiling：让 LLM 写数据分析代码，提取数据规模、分布、缺失值、图像尺寸、文本长度等统计信息；
2. Verification：执行分析代码，由专家检查日志，保证统计结果可靠；
3. Verbalization：把原始统计数字转译成结构化、语义化的数据分析报告。

这一步的关键在于：原始数字对 LLM 来说往往是高熵符号，而语义化报告能把数字转成接近人类建模经验的描述 —— 数据有什么模式、这些模式为什么重要、会如何影响模型设计。模型不是在 “猜分数”，而是在建立一条从数据特征到方案适配性的因果链：

数据特征 → 建模风险 / 优势 → 方案适配性 → 预测哪个方案更可能胜出。

四、18438 对真实方案，验证 LLM 能不能 “未跑先知”

为了让这个问题可评估，研究者构建了一个大规模 Preference Corpus。数据来自两个真实 ML Agent——AIDE 和 AutoMind 在 MLE-Bench 上执行任务产生的完整轨迹，覆盖 CV、NLP、Data Science 三大领域共 26 个任务。经过去重、taxonomy 标注、专家采样，最终得到 895 个高质量实例和 18438 对方案比较。

表 1：Preference Corpus 统计。26 个任务横跨 CV、NLP、Data Science 三大领域，共 895 个高质量实例、18438 对比较。

这批数据的一个特点是：它不是合成的玩具代码， 而是真实 Agent 在探索中产生的完整 workfiow，包含大量 “逻辑不完美但能跑”、“看起来复杂但未必适配数据” 的中间态方案。判断谁更好，不能只看语法，也不能只看模型大小，必须理解数据 、代码和指标之间的关系。

主实验给出了明确的肯定回答：LLM 确实具备显著高于随机和启发式基线的执行前预测能力。

表 2：主实验结果。DeepSeek-V3.2（Thinking 模式）平均准确率 61.5%，GPT-5.1 为 58.8%，均显著高于随机基线（50.0%）和复杂度启发式基线（50.8%）。

• DeepSeek-V3.2 Thinking 达到 61.5% 平均准确率；
• GPT-5.1 达到 58.8%；
• 随机基线 50.0%， 复杂度启发式基线仅 50.8%。

复杂度启发式只有 50.8% 这一点很关键 —— 它说明 “复杂方案更好” 这种偏见本身几乎没有预测力。模型那十几个百分点的提升，来自真正从静态输入中提取到的、与执行结果相关的信号。

论文从多个角度拆解了这种预测能力的来源和边界。

数据表示影响很大。只给代码时模型已经能超过随机，但加入数据上下文后进一步提升，而把原始统计转成语义化 Verified Data Report 后效果最好。论文还做了一个对照实验：把代码配上无关的数据上下文（Context Mismatch），准确率几乎没有提升 —— 这反过来说明，预测成功靠的不是多给一点信息，而是信息和代码之间真正的语义对齐。

推理模式重要。Thinking/CoT 模式整体优于直接回答。这类任务需要模型显式展开判断：先理解数据，再分析代码，最后比较二者是否匹配。

但预测能力不随参数规模简单上升。在 Qwen 系列从 4B 到 1T 的测试中，30B 之后性能就进入平台期，1T 相对 30B 几乎没有增益。这说明执行前预测不是一个纯粹的参数规模问题，它依赖的是模型的数据语义理解、代码分析和任务归因能力，而非单纯的 “更大就更好”。

图 4：世界模型能力分析。从数据表示、领域敏感性、规模律、推理模式、置信度校准到复杂度区分能力，从 六个维度拆解预测能力的来源与边界。

置信度校准良好。模型自报置信度越高，预测准确率整体也越高。这一点对后续落地很关键 —— 预测模型不需要完全替代执行，只需要在高置信时帮 Agent 过滤掉低价值候选，在低置信时老实交给执行。

但这不是一个已经解决的问题。当任务从两两比较扩展到全局排名（Listwise Ranking），Accuracy@1 从 61.3% 掉到 31.1%—— 模型目前只擅长成对比较，还缺乏全局判别力。论文还揭示了一个更值得玩味的事实：即便真实执行，验证指标对测试性能的预测准确率也只有 72.2%（存在 Validation-Test Gap）。这意味着 “跑代码” 本身也不是完美信号 —— 隐式预测的价值在于，它用几秒推理提供了一个和数小时执行互补的、语义层面的判断维度。

五、FOREAGENT：把 “想” 变成执行前的筛选器

基于上述发现，论文进一步提出 FOREAGENT。

传统 Agent 是 Execute-then-Learn：生成一个方案，执行它，根据结果学习下一步。FOREAGENT 改成 Predict-then-Verify：并行生成大量候选→用隐式世界模型预测优劣→根据置信度过滤→只执行排名靠前的 Top-k 进行验证。真实执行不再是每个候选的必经步骤， LLM 推理成了执行前的筛选器。

图 4：FOREAGENT 性能。在 5 个 AI4Science 任务上， FOREAGENT 实现 6 倍加速、3.2 倍更多节点探索， Beat Ratio 平均提升 6%。

在 MLE-Bench 的 5 个 AI4Science 任务（覆盖 Biology、Physics、Geoscience、Ecology、Medicine）上， FOREAGENT 实现了：

• 平均 6 倍加速；
• 平均 3.2 倍更多节点探索；
• Beat Ratio 提升 + 6%。

具体配置上，每轮并行生成 m=10 个候选，用置信度门槛 c=0.7 做 gating，最终只执行 Top-k（主实验 k=1）。这组数字说明， 执行前预测不只是评测榜单上的一个指标， 它能真正改变 Agent 的搜索效率——用更少的物理执行， 探索更大的空间。

六、这件事的意义和边界

这项工作的意义不只是让 Agent 少跑几次实验。它把 ML Agent 的反馈机制从 “完全依赖外部执行” 推进到 “可以用内部预测做预筛选”。对于自动科研、AutoML、AI4Science 这类高成本任务， 这种能力可能很关键：如果 Agent 能在执行前排除大量低价值候选， 就能把有限的计算预算投向更有希望的方向 ；如果这些执行轨迹进一步用来训练 reward model， 也可能加速强化学习式的 Agent 优化。

但 61.5% 的准确率也说明这远未到终点。论文坦诚讨论了当前的边界：数据集虽覆盖 26 个任务，18438 对比较 ，但分布不完全均衡，分类和回归等主流范式占比高，音频分类 、Tabular Grading 等长尾任务样本少；CV 和 NLP 的 Verified Data Report 主要依赖元数据和统计分析，还没引入更深层的多模态分析； FOREAGENT 本身采用了相对保守的 Predict-then-Verify 实现，没有充分探索更复杂的推理时搜索策略 —— 换言之，论文给出的结果更像这个方向的下界， 而不是终点。

那个 72.2% 的 Validation-Test Gap 留下的启示也值得强调：你以为 “跑一遍代码” 就是铁标准，但其实验证集和测试集分布有差异，验证集上分数高，换到测试集上也只有 72.2% 的情况站得住。换句话说， 执行前预测并不是 “跑不起代码才退而求其次的便宜货”，它和跑代码走的根本不是一条路：跑代码看的是 “这批数据上跑多少分”，靠的是经验；LLM 预测看的是 “数据长什么样、代码逻辑搭不搭”，靠的是理解。两者各有盲区，正好互补。

未来的 ML Agent，不应只是更会生成代码，也应该更会在执行前判断 —— 哪些实验，值得做。

论文标题：Can We Predict Before Executing Machine Learning Agents？

会议：ACL 2026 SAC Highlight

作者：Jingsheng Zheng, Jintian Zhang, Yujie Luo, Yuren Mao, Yunjun Gao, Lun Du, Huajun Chen, Ningyu Zhang

机构 ：Zhejiang University, Ant Group, Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph

论文地址：https://huggingface.co/papers/2601.05930

代码与数据：https://github.com/zjunlp/predict-before-execute

数据：https://huggingface.co/datasets/zjunlp/PredictBeforeExecute