YC最新判断：Harness比模型更重要

9月3日，ARC Prize（一个测试接近人类极限推理能力的综合考试）公布了 ARC-AGI-3 的最新成绩，数据有点反直觉。

同一个模型——GPT-6 Astra，同样的推理强度，在两套不同的 Harness下，却跑出来了截然不同的成绩：

放进标准 Harness，得分 62.7%；换成 Provider Adapter Harness，得分 98.6%。

请注意，这不是两个模型的对比，是同一个模型的两次考试，分差 35.9 个百分点。

更反直觉的是成本。得分更高的那一组，花费反而更低：从约 2.61 万美元降到 1.73 万美元，降了约 34%。

大脑没换，只是换了工作方式，Agent 几乎变成了另一个水平。

几天后，YC 专门办了一场 Paper Club，主题就叫《Why the Harness Matters More Than the Model》。这场分享由 YC 的 François Chaubard 主持，请来了三组不同视角的研究员：Prime Intellect 的 Seth Karten、斯坦福的 Jon Saad-Falcon，以及 YC 自己的 Josh France 和 Regan Bell。

他们的研究侧重不同，但都把目光放到了同一件事上，模型外面的那套东西——Harness。

先说基本结论：AI 竞争的胜负手，正在从"谁的模型更强"，转向"谁能把模型更好地组织起来"。

模型能力正在变成一种"给定条件"。在这个条件相同的情况下，Agent 之间还能差出 36 个百分点。这 36 个百分点，就是 Harness 的价值空间。

那么问题来了——Harness 到底是什么？它为什么能拉开这么大差距？这篇文章硅基君就顺着这场分享拆一下。

Harness，就是模型外面那套"工作方式"

Harness 这个词的本义是"马具"——套在马身上，把马的力量传导到车上的那套装置。

放在 AI 语境里，它指的就是大模型在完成真实任务时，外面那一整套运行框架：系统提示词怎么写、上下文怎么组织、能调用哪些工具、记忆存在哪、子 Agent 怎么分工、会话怎么管理。

一个形象的区分是，模型决定"大脑有多聪明"，Harness 决定"这个大脑干活时手里有什么"。

Agent 执行任务的时候，能看到哪些资料、能用什么工具、前面做到哪一步还能不能接着干，这些都不由模型决定，而由 Harness 决定。

YC 合伙人 François Chaubard 亲历过这种变化。

今年3月，他在试用 Karpathy 的自动研究项目时，最初只是想加个界面，好看清楚 Agent 到底在做什么、实验跑到哪一步。结果做着做着，资料检索、实验、评审、写作、进度管理陆续被接了进来——他后来才发现，自己无意中搭出了一套完整的 Harness。

现在他只需要给出研究方向和评价指标，后面的工作就由多个 Agent 持续推进。三四月份产出的论文还比较粗糙；到后来，他会一次丢进去多个研究想法，让系统自己跑，过一阵回来收结果，质量已经相当不错。

模型没有更新换代，但 Agent 交付的结果越来越好。

这背后有一个很朴素的道理：模型决定上限，Harness 决定你能不能摸到这个上限。

这里还要补一句背景。Harness 这类工作，过去在机器学习圈子里一直"不上台面"。改提示词、接工具、套任务循环，听起来更像工程优化而不是模型研究，甚至有人公开质疑这算不算真正的 AI 研究。

但现在，这个被轻视的环节，已经可以直接拉开成绩了。

/ 02 /

Harness和模型的边界，正在被打通

过去几年，Harness的重心一直是增加能力。现在，Harness本身开始成为优化对象。

最先被优化的，是提示词。以前提示词不好用，靠人一次次试。现在 DSPy 这类系统可以自己尝试不同写法，再用测试结果挑出效果最好的版本——把"调提示词"从手艺活变成了搜索问题。

第二步，优化 Harness 本身。

Darwin Gödel Machine（DGM）走得更远：它不只调提示词，还可以直接修改运行 Agent 的 Harness 代码。一套任务流程不好用，就换一种写法，再用测试结果判断新版本是不是更好。在论文实验中，这套系统把 SWE-bench 成绩从 20% 提高到 50%。

第三步，让历史经验进入下一版。

Continual Harness 补上了另一块：Agent 可以回看过去的任务记录和结果，再决定要不要修改提示词、增加技能、更新记忆，或者调整子 Agent 配置。

也就是说，过去一次次跑任务留下的经验，开始沉淀进下一版 Harness。

而当前更激进的方向，是开始让模型本身也在运行中继续学习——把 Agent 刚产生的数据重新用于训练，甚至在测试阶段直接更新模型权重。

这意味着什么？

优化的方向，正在从 Harness 往模型里面走。Agent 的进步，开始依赖 Harness 的迭代。

换句话说，Harness 和模型之间的边界，正在被打通。

/ 03 /

好的 Harness，不需要把流程写死

一个反直觉的发现是：模型越来越强以后，Harness 反而不需要把每一步都替它写好。

过去做 Agent，常见的思路是把流程拆得很细：第一步做什么，第二步调用什么工具，第三步怎么判断结果。这样做的好处是稳定，但问题也很明显——任务一旦变长、环境发生变化，提前写好的流程很容易失效。

Prime Intellect 的 Seth 在演讲中介绍了团队开发的 Prime Agent。它的思路正好相反：少规定流程，多给模型准备可以调用的资源。

其中一个核心设计叫“信息分层”。Agent 需要的信息，被放在三个不同的地方。

当前最重要、正在使用的信息，直接放进上下文；如果历史信息太长，就先压缩，只保留当前任务真正需要的部分。

程序、计算结果和任务进度，则保存在一个持续运行的 REPL 里。可以把它理解成一个不会因为一次调用结束就清空的编程环境。Agent 前面写过什么代码、算出了什么结果、任务进行到哪里，后面都可以直接接着用。

长期记忆、技能和提示词则放在外部存储里，不需要一直塞进上下文，需要的时候再取出来。

子 Agent 也是同样的设计。它们完成一次任务以后，并不会马上被“清空”。之前积累的上下文可以保留下来，之后再次被唤醒时，能够直接接着原来的工作继续做。

也就是说，Prime 重新划分了 Harness 和模型之间的职责。这种设计的价值，在长周期任务里最容易体现。

Seth 团队曾让 Agent 连续玩七天《异星工厂》。这是一款非常复杂的自动化经营游戏，玩家需要自己规划生产线、调配资源、解锁技术，而且过程中随时可能因为一次错误操作改变后续路线。

七天时间里，Agent 一共调用了 633 个子 Agent，产生超过 2300 万输出 Token。最终完成了 196 项技术中的 24 项，并把下一项“高级电路”的研究推进到 71%。

过程中还发生过一次严重失误，进度从已经完成 5 项技术倒退到只剩 1 项。但系统并没有因此清空状态、重新开始。

此前的程序、资源情况、任务记录依然保留着，模型可以根据新的局面重新判断下一步怎么走，然后继续推进。

这其实就是 Harness 在长周期任务里的核心价值。对长周期任务来说，中间会遇到大量无法提前预设的情况。模型需要根据当前结果自己决定下一步，而 Harness 负责把此前的状态和工作结果保存下来，让这些决定可以连续发生。

不过，给模型更大的自主空间，并不意味着 Harness 可以替代模型本身。

在 ARC-AGI-3 公开集上，Prime 搭配 Claude Opus 5 的 RHAE 得分达到 95.5%；换成 Terra 之后，只有 25.7%。

同一套 Harness，底层模型不同，结果仍然可以差出近 70 个百分点。

所以准确的说法是，Harness 很重要，但它不能替代底层模型能力。它放大的是模型已有的能力，而不是凭空创造能力。

/ 04 /

小模型不够强，全靠Harness来撑

还有一个更实际的场景，是个人 AI 的本地化。

今天大量个人 Agent 依赖云端大模型。写作、研究、编程、日程都可以交给它，但代价很直接——长期 API 费用可能达到数千美元，而且邮件、文件这些个人资料还要不断发到云端。

斯坦福研究者 Jon Saad-Falcon 在演讲中介绍的 OpenJarvis，想解决的就是这个问题：尽可能把个人 AI 搬回自己的设备上。

麻烦在于，本地模型还没有强到可以直接替代云端模型。

Saad-Falcon 提到，现在本地模型和最前沿模型之间，大概还有 6—12 个月的能力差距。而且这个差距，并不是把 Claude 换成一个开源模型就能解决。

他们做过一个很直接的实验：把 OpenClaw 和 Hermes Agent 原本使用的 Claude Opus 4.6，直接换成 Qwen3.5-9B，其他东西全部不动。结果两项测试的准确率分别掉了 24.8 和 38.8 个百分点。

那么问题来了，这个差距，能不能从模型外面补回来一部分？

OpenJarvis的思路是，把整个 AI 系统都纳入优化范围。它把个人 AI 拆成五层：模型选什么，模型怎么跑，Agent 怎么工作，能调用哪些工具和记忆，以及系统后面怎么继续学习。

每一层都可以单独调整，再重新组合。比如，更强的云端模型可以先分析失败案例，判断问题出在哪，再帮本地系统修改配置；等优化结束后，真正每天运行的仍然是本地模型。

一句话就是，大模型负责判断，小模型负责执行。

效果如何？在 Qwen3.5-9B 本身完全不变的情况下，整套系统优化后，在上述两项测试中分别追回了约 56% 和 77%的性能损失。

放到更完整的八项测试里，表现最好的一套本地方案平均准确率做到 80.3%，而 Claude Opus 4.6 是 83.5%，差距已经缩小到 3.2 个百分点。其中有四项测试，本地方案已经追平或者超过最好的云端结果。

更重要的是，这个结果是在很低的运行成本下做到的。按照这组测试的口径，本地方案的边际 API 成本大约只有云端的八百分之一，端到端延迟也缩短到了大约四分之一。

OpenJarvis 证明了一件事，个人 AI 从云端走向本地，不一定要等到小模型完全追平大模型，Harness 本身就可以先把一部分能力差距补回来。

/ 05 /

Agent 进了公司，Harness 要管的是运维和权限

最后一个场景，是企业。

当 Agent 真正进入公司，问题就不只是"能不能干活"了。几十个 Agent 同时运行，它们怎么部署、怎么维护，能访问什么信息、又能修改什么，开始变得同样重要。

YC 内部对 Agent 的探索从 2025 年初就开始了。最早只是系统提示词、工具和任务循环，后来陆续接入 Slack、定时任务和虚拟机，让 Agent 可以修改代码、运行测试，甚至拥有类似"自己电脑"的工作环境。

但当 YC 把这套能力扩到全公司，问题马上出现了。

团队一度在虚拟机里部署了 50 多个 Hermes Agent，每个人都要单独配置；某个 Agent 出了故障，工程师还得逐个登录对应实例去排查和修复。Agent 数量一多，维护成本立刻就上来了。

YC 的 Josh France 和 Regan Bell 介绍了他们内部开发的 Harness——QM，就是为了解决这类规模化问题。

QM 的核心改动是：不再让 Agent"住"在某一台机器里。对话、上下文和长期状态被集中保存，虚拟机和隔离环境则变成需要时再调用的资源。Agent 可以根据任务选择不同机器，甚至切换模型服务商。

到了这一步，Harness 的角色已经不只是"给单个 Agent 接工具"了，而是开始负责一群 Agent 的状态、资源和运行方式。

但规模化之后，真实办公环境暴露了三个很难绕开的问题。

第一个，Agent 会把局部问题当成全局问题。

YC 曾尝试让 Agent 根据运行记录自己发现 Bug、修改系统，效果好坏参半。团队把其中一种失败模式叫"主角综合征"：Agent 只看到自己遇到的那一小块问题，却可能提出影响整个系统的修改。目前这类修改仍需人工把关。

第二个，Agent 太容易提前放弃。

明明还有时间和工具，尝试几次之后就可能直接宣布任务失败。YC 的做法是做了个 Grind Tool——给任务设定最低运行时间或 Token 预算，在达到门槛以前不允许它结束。

第三个，也是最麻烦的，是权限。

Agent 进入 Slack 之后，可以看到大量上下文，却未必真正理解哪些信息能告诉谁。人类知道同事私下说的话不能随便转进另一个群，但 Agent 如果没有明确的权限边界，敏感信息就可能在不同会话之间流动。

YC 目前的做法是：大部分数据库权限保持只读，需要写入时先由 Agent 提出方案，再由人确认。

但人工审核也不是万能答案。随着员工越来越信任 Agent，人可能逐渐习惯直接点击通过——审核本身也会退化成一道形式。

这意味着，企业 Agent 下一阶段真正要补的，可能已经不是更多能力，而是一套既能把 Agent 规模化跑起来、又能把权限真正管住的 Harness。

过去两年，行业的注意力几乎全押在模型上。这没有错，模型仍然是地基。但接下来，差距会越来越多地产生在地基之上。

模型决定你能走多快，Harness 决定你能不能一直走下去、走多远。

文/元元