76%的性能提升与模型无关？Karpathy 700次 Loop 实验揭开 Agent 最大误区

作者 | 四月

“今天 AI 行业最大的误区，是大家都在逼 Agent 尽快干活，却没有先把底层模型和系统机制理解吃透。”

这是 前 OpenAI 联合创始人、现 Anthropic 预训练研究员 Andrej Karpathy 在 去年播客《AGI is still a decade away》中谈到观点。

他单刀直入，警示业界加强对于模型框架的重视。“OpenAI 早年也踩过类似的坑。在基础能力还没成熟时，就急着让 Agent 去完成复杂任务，结果白白浪费了五年的时间。”

这句话放到今天，依然不过时。

过去一年，Agent 已经成了AI圈最拥挤的赛道。大家都在接模型、挂工具、堆工作流，仿佛只要再多套几层能力，一个真正能自主干活的 Agent 就会自然冒出来。

但问题恰恰在这里：很多 Agent 看起来不是败在“模型不够聪明”，而是败在模型之外那套更基础、更无聊、也更要命的系统工程。

最近，Hugging Face 机器学习工程师 Joel Niklaus 的实验 《Don't Train the Model,Evolve the Harness》表明：

使用同一个DeepSeek-v4-pro，不改模型权重，只优化模型外层的执行机制，就能让 Agent 在专业任务中的表现大幅提升（pooled score 从3.5% 拉升到 80.1%）。

而 Karpathy 斩获 9万 Star 的开源项目 AutoResearch （Loop Cycle） 则进一步说明，AI 真正的价值不在一次性生成答案，而在“提出修改、运行实验、自动评估、保留进步”的循环里。

一次答对靠的是模型本身，而持续迭代则靠模型和外层执行系统的组合能力。

只优化“外壳”，性能也能狂飙？

如果你还在死磕提示词，或者抱怨开源模型不够聪明，Hugging Face 最近的这个实验可能会颠覆你的认知。

为了探究 Agent 性能的瓶颈到底卡在哪里，Niklaus 拿出开源模型 DeepSeek-V4-Pro，在特定法律 Agent 基准测试上进行实验。

DeepSeek-V4-Pro 在原始 LAB harness 下的任务表现。不同法律实践领域和任务之间差异明显，说明模型表现首先受外层执行机制影响，而不只是裸模型能力。

Niklaus做了一件极其克制的事：完全冻结模型的权重，也就是不进行任何微调或继续训练，唯一的变量，是包裹在模型外层的代码和执行逻辑，也就是所谓的 Agent Harness（外层执行机制）。

令人哭笑不得的是，在最初的测试里，这个模型在某些外层机制下的得分竟然是 0%。研究团队挖出真相：模型的法律推理过程其实全对，但它总是把结果存错了文件名，导致测试程序根本读不到结果。

这意味着，0 分从来不是在测模型的智力，而是在测 Harness 是否有效。

既然问题出在“外壳”上，只要优化它，性能能提升多少呢？

实验数据给出了极其震撼的答案。同一个 DeepSeek-V4-Pro、同一批任务、同一个评测器，仅仅因为换了五种不同的外层执行机制，pooled score（综合得分）竟然在 3.5% 到 80.1% 之间剧烈波动：

从 mini-swe-agent 的 3.5%、Goose 的 23.2%、Pi 的 45.4%，一路拉到原始 LAB harness 的 63.4%。

不同外层执行机制在 held-out test 任务上的表现对比，波动区间高达 76 分。

经过约 22 轮的代码自动迭代优化后，最终在 100 个 held-out test 任务上，pooled score 从原始 LAB harness 的 63.4% 提升到了 80.1%（提升 16.7 个百分点），all-pass rate 也从 0% 提升到 5.0%。

这个完全没动过权重的开源模型，仅靠优化 Harness，其表现就追平了业界顶级的闭源模型 Claude Sonnet 4.6，而运行成本仅为原来的 1/7。

更关键的是，这套优化好的 Harness 迁移到同族小模型 DeepSeek-V4-Flash 上，依然带来了 14.4 分的提升。

这证明：代码层面的执行机制，远比 prompt提示词调优更容易沉淀和跨模型迁移。

那么，到底什么是 Harness？

前 Lightning AI 工程师、DailyDoseOfDS 联合创始人 Akshay 曾这样剖析：

一个原始的 LLM 只是一个没有内存或硬盘的 CPU；如果不是模型本身，那就是 Harness——它是管理内存、I/O 和驱动程序的操作系统。

他认为，生产级 Harness 应当包含 12 个核心组件，涵盖从流程编排、工具调用、分层存储到上下文管理和错误处理等各个环节。

例如，常见的“上下文腐烂”问题：当模型将关键信息置于上下文窗口中间时，性能会直接下降 30% 以上。

成熟的 Harness 已经拥有一套完整的工程方法来解决这个问题——压缩历史记录、屏蔽旧输出、动态获取和代理摘要，其核心在于用最少数量的高信息密度Token获得最佳结果。

基于上述实验，Niklaus 得出了一个核心结论：

Benchmark 测到的永远不是裸模型，而是“模型 + Harness”的组合能力。 最大的性能改进往往来自于简单的文件处理等自动化步骤，而非消耗大量 Token 去修改提示词。

那么，这是否意味着未来我们无需再训练模型，只需堆叠 Harness 即可？

答案并非如此。Harness 带来的提升终有极限，剩余的差距仍需模型底层能力来填补。但眼下的核心问题在于：大多数人甚至还没有构建出一个及格的 Harness，就急于堆叠更大的模型。

当你连测试工具是否存在漏洞都无从知晓时，你将永远无法确定性能瓶颈是出在模型本身，还是出在你那漏洞百出的外层代码上。

700次自动迭代、性能跃升5倍

既然模型之外的执行机制如此重要，具体该怎么搭一个能持续进化的 Agent？

AI 研究员 Codila 对 Karpathy 斩获 9 万 Star 的 AutoResearch 项目进行了二次提炼，将 630 行开源代码浓缩为五步走的“Loop Engineering”方法论。

这套方法目前在 X 上获得了超 200 万的阅读量，因为它戳中了一个核心痛点：不要指望 Agent 一次做对，而在低成本的持续试错中逼近最优解。

这套循环的逻辑看似极简:

1. 基于一个精细调整的模型，编写一份文档，告诉智能体要探索哪些方向以及要遵循哪些约束条件。

2. 仅允许智能体修改训练脚本；评估和评分脚本已锁定，无法修改。因为这可以防止智能体为了获得更高分数而擅自降低标准。

3. 让Agent进入以下循环运行：提出变更 → 训练 → 评估 → 保留好的、改进并舍弃不好的改进

Karpathy 用他凭借 20 年经验手动调整的模型跑了两天，结果令人咋舌：

Agent 自动运行了 700 次实验，找出了 20 项连他自己都忽略的代码改进。 比如，注意力机制中遗漏的一个标量乘数，导致注意力过度分散到多个“头”上，这种需要海量耐心的精细优化，人类在十几轮后就会筋疲力尽，但 Agent 不会。

Shopify 首席执行官 Tobi Lutke 连夜用内部模型进行了测试，醒来后发现质量提高了 19%，而优化后的模型大小也减少了一半。

而要使这个循环有效运作，核心不在于智能体有多聪明，而在于三个基本要素是否做对了：

• 验证器：自动判断结果好坏的机制。没有它，Agent 就是在给自己批作业，跑一万次也毫无意义。

• 状态文件：记录每次尝试的结果，避免页面关闭或进程重启后从头再来。

• 停止条件：达到目标或撞到最大轮次必须停止，否则会持续运行烧光你的 Token 预算。

当然，不是所有任务都值得大动干戈建一套 Loop 循环。Codila 提出了一个“四项全能”的适用标准：

• 一是任务高频（至少每周重复一次，否则收不回构建成本，一次性任务用个好提示词就够了）；

• 二是验证可自动化（无需人工干预读取和修复）；

• 三是 Token 预算能消化冗余（循环必然伴随大量重试，小预算扛不住）；

• 四是 Agent 能访问真实的运行环境（不能闭着眼睛盲目迭代）。

请注意，这四个条件缺一不可，否则成本将远超收益。

顺着这条思路，研究人员进一步提出了“双层自动研究（Bilevel Autoresearch）”，详情见论文：《Bilevel Autoresearch: Meta-Autoresearching Itself 》。

他们在原有循环外再套了一层循环：内层循环负责优化模型，外层循环则负责优化内层循环的搜索逻辑。

结果同样令人震撼：

在使用同一个大型模型的情况下，性能比 Karpathy 的基准测试结果提升了整整 5 倍，且所有提升均来自架构的改进。

外层循环的关键作用在于打破了 LLM 的“思维定势”：内层循环极易陷入模型先验认知的搜索模式，即使策略失效也会反复尝试；而外层循环强制模型去探索它本能回避的方向，从而榨取出超越模型自身认知的潜力。

然而，需要警惕的是，Loop 自转也会带来两个隐性代价：

一是理解债：循环生成的代码并非人工一行行敲出，仓库代码与开发者真正理解的代码差距越来越大。一旦系统崩溃，Debug 成本极高。

二是认知让渡：循环一旦跑通，人极易停止思考。同样的工具，有人用来加速已理解的工作，有人却用来逃避理解工作，最终结果天差地别。

当试错成本趋近于零

回到开头 Karpathy 的警示。为什么“逼 Agent 一次做对”是个伪命题？

因为现实世界的问题，从来不是靠一次灵感迸发就能解决的。

Hugging Face 的实验和 Karpathy 的 Loop Cycle，其实共同指向了 AI 发展的一个底层逻辑变迁：真正的 AGI 不是靠模型单点爆破出来的，而是靠系统工程把“试错的成本”无限降低。

当试错成本足够低，Agent 就能像一个不知疲倦的实习生，在成百上千次的碰壁中自动纠偏、自动成长。我们过去总在纠结“马（模型）跑得够不够快”，却忘了给它套上“车架和方向盘（Harness）”，更忘了给它设定“导航和刹车（Loop 的验证与停止条件）”。

这不仅是工程方法论的升级，也是对人类认知的考验。当外层机制开始自转，人最容易犯的错误就是“认知让渡”——用工具来逃避思考，而不是加速思考。

落到我们个体用户层面，AI真正的护城河，从来不在于你用了多大的模型，而在于你能否构建一套让模型在真实世界中不断进化的系统，同时保持人类对系统底层逻辑的清醒掌控。

参考：

1.https://huggingface.co/spaces/joelniklaus/harness-optimization#the-dev-frontier-moved-in-a-few-big-steps

2.https://x.com/0xCodila/status/2072329149520232639

声明：本文为 AI 前线原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。

会议推荐

大会限时早鸟票享 8 折专属优惠，现在报名立减 1160，更多详情可扫码或联系票务经理 13269078023 进行咨询。

今日荐文

你也「在看」吗？