网易首页 > 网易号 > 正文 申请入驻

翁荔最新博客:我们可能高估了模型,却严重低估了那层“脚手架”

0
分享至



几天前,前 OpenAI 安全研究副总裁、Thinking Machines Lab 联合创始人翁荔(Lilian Weng)发布了关于“Scaling Laws, Carefully”的技术博客。

近日,她又更新了一篇名为“Harness Engineering for Self-Improvement”的最新博客[1]。这次,她将焦点聚焦于一个 AI 领域火热讨论的议题——已成为当前 AI Agent 系统的重要工程层的 Harness Engineering。

如果说 Scaling Laws 决定了一代模型的天花板有多高,那 Harness 就是决定这个模型在现实任务中可以走多稳、多远的那层操作系统。

从翁荔这篇新博文可以看到的是,她试图在回答一个关键问题:在真正能够修改自身权重的“硬递归”仍十分遥远时,真正能够持续实现递归自我提升(RSI,Recursive Self-Improvement)的循环,是否可能先从模型外面的这层“脚手架”开始?


图丨相关博客文章(来源:https://lilianweng.github.io/posts/)

Harness 的概念,可以理解成包裹在大模型外的一套系统。它不只是简单的提示词模板,而是决定着模型如何思考和规划、调用哪些工具和行动、如何管理上下文和执行工作流的运行时环境。

翁荔在文章里提到,当下像 Claude Code 和 Codex 这类成功的编程智能体产品,它们的核心优势很大程度上来自精心设计的 Harness。

一个成熟的 Harness 类似于操作系统,它能封装复杂的逻辑,同时保持接口简单:让模型无需将整个工作流和所有日志都“塞”进有限的上下文窗口中,而是基于文件系统这类持久化存储来管理状态和产物。这种设计模式,让智能体能够处理更长周期的任务,在一定程度上可避免在长上下文的混乱中迷失。


(来源:https://openai.com/index/unrolling-the-codex-agent-l

沿着这个思路,翁荔系统梳理近期一系列相关的研究,总结出一条 Harness 从手工设计到自我优化的演进路线。在她看来,早期 Agentic Context Engineering 等框架的尝试,更像是将上下文当作一个不断演化的“操作手册”,通过生成、反思和筛选的循环,让模型可以从成功或失败的轨迹中提炼出结构化的要点,进而更有效地管理记忆。


(来源:https://github.com/yasasbanukaofficial/claude-code)

更进一步地,Meta Context Engineering 将上下文管理本身也变成了一个可优化的对象,让一个元智能体去搜索和改进管理上下文的“技能”,进而达到双层优化的目标。

而像 Meta-Harness 这样的工作,则直接将Harness 的代码作为一种搜索空间,让编码智能体进行编写、测试和迭代新的 Harness 代码,甚至能生成多个候选方案,并找出其中的帕累托最优解。

这种让智能体进行自身系统代码改进的思路,在进化搜索领域也有所体现。比如,Darwinian Gödel Machine 提出了一种让编码智能体能够修改自身 Harness 代码库的框架,通过一个基于性能排名的选择机制,不断产生新的版本。

实验表明,在 SWE-bench Verified 这类编程基准上,Darwinian Gödel Machine 发现的智能体可以达到 20% 到 50% 的通过率,与手工设计的智能体相当甚至更优。

不过,翁荔也强调,这并不意味着未来只优化 Harness。更长期来看,Harness 与模型权重的联合优化,仍可能成为递归自我提升的重要方向。


图丨智能体上下文工程的框架示意图(来源:https://arxiv.org/ab)

翁荔认为,这种“元方法论”的转向是当前最值得关注的趋势:我们不再只是让模型给出更好的答案,而是在制造一套能持续改进“如何获得更好答案”的机制。

在这个回路里,Harness 自身成为优化对象,逐步减少依赖人工编写的启发式规则,转向更多可自动搜索的通用机制;工程师的角色也从编写具体规则,转变为设计更通用的进化框架。

不过,翁荔并没有把这条路描绘成一条坦途。她在文章的后半部分,客观地列出了这项研究面临的一系列现实瓶颈。其中,最大的挑战之一来自评估。目前的自我改进循环在那些有明确、快速、客观评估指标的任务上效果显著,比如写代码、解数学题。


图丨元上下文工程的框架示意图(来源:https://arxiv.org/abs/2)

但如果面对模糊的判断,例如“这项研究是否有品味”“这个结果是否真的重要”,系统就很容易失效,甚至会为了实现通过测试的目标学会作弊,也就是所谓的“奖励黑客”。

安全则是另一个隐患。如果允许模型自由修改系统代码,抽象边界和权限控制就会被打破,可能引发灾难性后果。因此翁荔强调,人类的角色不是被排除在循环之外,而是需要向上移动,在环路外扮演架构师和方向指引者的角色,负责设计可编辑的边界和进行关键节点的审查。

在文章的结尾,翁荔并没有呈现迈向 RSI 的虚幻的愿景,而是列出了一份务实的挑战清单:如何设计好的评估器、如何管理上下文和长期任务的记忆、如何解决进化中的多样性坍缩、如何应对奖励黑客,以及如何平衡短期任务成功与代码库长期健康之间的关系。

她指出了一个容易被忽视的问题:目前的优化大多基于沙盒内的短期奖励,但现实中的软件工程需要兼顾可维护性、向后兼容性和未来开发负担。这些“长期成功”的指标,正是当前系统最不擅长处理的问题。

如果说上篇关于 Scaling Laws 的文章是在提醒大家,那个用于规划数十亿算力投资的公式没有想象中可靠,那么,这篇关于 Harness 的文章则更像是在告诉公众,通向递归自我提升的第一步,很可能并不是修改模型本身,而是先优化模型之外那个不起眼的 Harness。而这条路本身,也充满了需要小心绕开的“坑”。

或许,真正的 RSI 不是突然某天模型开始修改自己,而是悄悄开始于一次次 Harness 优化中。

参考资料:

1.https://lilianweng.github.io/posts/2026-07-04-harness/

排版:刘雅坤

注:封面/首图由AI辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
泪流满面!母亲离世85天后,子女才发现3年前写下的遗书,生死看淡,豁达文字打动无数网友

泪流满面!母亲离世85天后,子女才发现3年前写下的遗书,生死看淡,豁达文字打动无数网友

火山詩话
2026-11-18 13:53:54
普京特朗普提前放话,深圳这场碰面,一定抓住和金正恩谈话的机会

普京特朗普提前放话,深圳这场碰面,一定抓住和金正恩谈话的机会

缘史记
2026-11-18 14:29:27
毛主席气场最强的一张照片,仅凭一个抽烟动作就无人能比!

毛主席气场最强的一张照片,仅凭一个抽烟动作就无人能比!

微野谈写作
2026-11-18 10:55:09
就在大家都以为中国会坚决回应时,北京却选择了战略克制。

就在大家都以为中国会坚决回应时,北京却选择了战略克制。

回京历史梦
2026-08-22 18:23:43
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
轻松一刻:现在正常走都会疼,小时候跑过去都不疼~

轻松一刻:现在正常走都会疼,小时候跑过去都不疼~

莱月昂
2026-11-18 22:21:17
湘雅二院“虾滑论文”火了:湖南写成人类,一厘米刻12毫米,还拿了五项基金!

湘雅二院“虾滑论文”火了:湖南写成人类,一厘米刻12毫米,还拿了五项基金!

迷世书童
2026-11-18 00:05:12
是击毁、击落,还是干扰?中国如何应对印度可能到手的图-160

是击毁、击落,还是干扰?中国如何应对印度可能到手的图-160

文史道
2025-01-24 20:16:55
iPhone 18、Air 2屏幕进入量产准备,明年3月发布基本确定

iPhone 18、Air 2屏幕进入量产准备,明年3月发布基本确定

科技兽
2026-11-18 22:35:10
路虎卫士松赞朝圣之路联名版上市:限量发售20台,售价79.88万元

路虎卫士松赞朝圣之路联名版上市:限量发售20台,售价79.88万元

IT之家
2026-11-18 16:13:38
深圳APEC领导人会议今日开幕,你必须知道的10件事

深圳APEC领导人会议今日开幕,你必须知道的10件事

刘润
2026-11-18 08:07:50
CBA杯-天津胜NBL上海玄鸟拒爆冷 尼克斯34+7+7+5+9失误

CBA杯-天津胜NBL上海玄鸟拒爆冷 尼克斯34+7+7+5+9失误

醉卧浮生
2026-11-18 17:55:57
“被白嫖了”42岁单亲妈妈,怀了30岁网友的娃,让她打掉还拉黑她

“被白嫖了”42岁单亲妈妈,怀了30岁网友的娃,让她打掉还拉黑她

江山挥笔
2026-06-04 21:03:25
杨超越在工厂打工时候的照片曝光!网友炸了:这妥妥的厂花啊!

杨超越在工厂打工时候的照片曝光!网友炸了:这妥妥的厂花啊!

黎兜兜
2026-08-25 22:25:21
油价调整:注意,预计下调390元/吨,跌幅继续下探!

油价调整:注意,预计下调390元/吨,跌幅继续下探!

金投网
2026-11-18 10:41:08
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-16 15:09:51
康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

康生中伤周总理,吴法宪报告林彪,林:不要上当,他自己想当总理

江东浪流史
2024-12-22 08:00:03
“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

“我们自愿有何罪”?三男三女聚众淫乱,三亚高知换妻游戏案始末

易玄
2026-09-13 11:43:30
一周多达10次,48岁男子不幸猝死,妻子:多次劝说,他就是不听

一周多达10次,48岁男子不幸猝死,妻子:多次劝说,他就是不听

杜医生聊健康
2026-07-24 17:49:27
抗美援朝最难启齿的一幕:17岁女卫生员为救战友突破生理底线,事后绝口不提,44年后秦基伟的回忆才揭开真相

抗美援朝最难启齿的一幕:17岁女卫生员为救战友突破生理底线,事后绝口不提,44年后秦基伟的回忆才揭开真相

磊子讲史
2026-11-11 16:38:00
2026-11-18 23:12:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17503文章数 515373关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

追上特朗普专机 马斯克又来了

头条要闻

追上特朗普专机 马斯克又来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
艺术
时尚
家居
军事航空

数码要闻

34999元起,华硕RTX Spark迷你主机ProArt GR1X发售

艺术要闻

深邃宁静的风景油画,奥地利著名风景画家弗舍尔

裤子+靴子,冬天最经典搭配,松弛又时髦

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版