翁荔最新博客：我们可能高估了模型，却严重低估了那层“脚手架”

几天前，前 OpenAI 安全研究副总裁、Thinking Machines Lab 联合创始人翁荔（Lilian Weng）发布了关于“Scaling Laws, Carefully”的技术博客。

近日，她又更新了一篇名为“Harness Engineering for Self-Improvement”的最新博客[1]。这次，她将焦点聚焦于一个 AI 领域火热讨论的议题——已成为当前 AI Agent 系统的重要工程层的 Harness Engineering。

如果说 Scaling Laws 决定了一代模型的天花板有多高，那 Harness 就是决定这个模型在现实任务中可以走多稳、多远的那层操作系统。

从翁荔这篇新博文可以看到的是，她试图在回答一个关键问题：在真正能够修改自身权重的“硬递归”仍十分遥远时，真正能够持续实现递归自我提升（RSI，Recursive Self-Improvement）的循环，是否可能先从模型外面的这层“脚手架”开始？

图丨相关博客文章（来源：https://lilianweng.github.io/posts/）

Harness 的概念，可以理解成包裹在大模型外的一套系统。它不只是简单的提示词模板，而是决定着模型如何思考和规划、调用哪些工具和行动、如何管理上下文和执行工作流的运行时环境。

翁荔在文章里提到，当下像 Claude Code 和 Codex 这类成功的编程智能体产品，它们的核心优势很大程度上来自精心设计的 Harness。

一个成熟的 Harness 类似于操作系统，它能封装复杂的逻辑，同时保持接口简单：让模型无需将整个工作流和所有日志都“塞”进有限的上下文窗口中，而是基于文件系统这类持久化存储来管理状态和产物。这种设计模式，让智能体能够处理更长周期的任务，在一定程度上可避免在长上下文的混乱中迷失。

（来源：https://openai.com/index/unrolling-the-codex-agent-l

沿着这个思路，翁荔系统梳理近期一系列相关的研究，总结出一条 Harness 从手工设计到自我优化的演进路线。在她看来，早期 Agentic Context Engineering 等框架的尝试，更像是将上下文当作一个不断演化的“操作手册”，通过生成、反思和筛选的循环，让模型可以从成功或失败的轨迹中提炼出结构化的要点，进而更有效地管理记忆。

（来源：https://github.com/yasasbanukaofficial/claude-code）

更进一步地，Meta Context Engineering 将上下文管理本身也变成了一个可优化的对象，让一个元智能体去搜索和改进管理上下文的“技能”，进而达到双层优化的目标。

而像 Meta-Harness 这样的工作，则直接将Harness 的代码作为一种搜索空间，让编码智能体进行编写、测试和迭代新的 Harness 代码，甚至能生成多个候选方案，并找出其中的帕累托最优解。

这种让智能体进行自身系统代码改进的思路，在进化搜索领域也有所体现。比如，Darwinian Gödel Machine 提出了一种让编码智能体能够修改自身 Harness 代码库的框架，通过一个基于性能排名的选择机制，不断产生新的版本。

实验表明，在 SWE-bench Verified 这类编程基准上，Darwinian Gödel Machine 发现的智能体可以达到 20% 到 50% 的通过率，与手工设计的智能体相当甚至更优。

不过，翁荔也强调，这并不意味着未来只优化 Harness。更长期来看，Harness 与模型权重的联合优化，仍可能成为递归自我提升的重要方向。

图丨智能体上下文工程的框架示意图（来源:https://arxiv.org/ab）

翁荔认为，这种“元方法论”的转向是当前最值得关注的趋势：我们不再只是让模型给出更好的答案，而是在制造一套能持续改进“如何获得更好答案”的机制。

在这个回路里，Harness 自身成为优化对象，逐步减少依赖人工编写的启发式规则，转向更多可自动搜索的通用机制；工程师的角色也从编写具体规则，转变为设计更通用的进化框架。

不过，翁荔并没有把这条路描绘成一条坦途。她在文章的后半部分，客观地列出了这项研究面临的一系列现实瓶颈。其中，最大的挑战之一来自评估。目前的自我改进循环在那些有明确、快速、客观评估指标的任务上效果显著，比如写代码、解数学题。

图丨元上下文工程的框架示意图（来源：https://arxiv.org/abs/2）

但如果面对模糊的判断，例如“这项研究是否有品味”“这个结果是否真的重要”，系统就很容易失效，甚至会为了实现通过测试的目标学会作弊，也就是所谓的“奖励黑客”。

安全则是另一个隐患。如果允许模型自由修改系统代码，抽象边界和权限控制就会被打破，可能引发灾难性后果。因此翁荔强调，人类的角色不是被排除在循环之外，而是需要向上移动，在环路外扮演架构师和方向指引者的角色，负责设计可编辑的边界和进行关键节点的审查。

在文章的结尾，翁荔并没有呈现迈向 RSI 的虚幻的愿景，而是列出了一份务实的挑战清单：如何设计好的评估器、如何管理上下文和长期任务的记忆、如何解决进化中的多样性坍缩、如何应对奖励黑客，以及如何平衡短期任务成功与代码库长期健康之间的关系。

她指出了一个容易被忽视的问题：目前的优化大多基于沙盒内的短期奖励，但现实中的软件工程需要兼顾可维护性、向后兼容性和未来开发负担。这些“长期成功”的指标，正是当前系统最不擅长处理的问题。

如果说上篇关于 Scaling Laws 的文章是在提醒大家，那个用于规划数十亿算力投资的公式没有想象中可靠，那么，这篇关于 Harness 的文章则更像是在告诉公众，通向递归自我提升的第一步，很可能并不是修改模型本身，而是先优化模型之外那个不起眼的 Harness。而这条路本身，也充满了需要小心绕开的“坑”。

或许，真正的 RSI 不是突然某天模型开始修改自己，而是悄悄开始于一次次 Harness 优化中。

参考资料：

1.https://lilianweng.github.io/posts/2026-07-04-harness/

排版：刘雅坤

注：封面/首图由AI辅助生成