网易首页 > 网易号 > 正文 申请入驻

谷歌掀翻Agent基准,登顶HF榜首,全新架构把死世界唤醒,AI刷题作弊时代终结

0
分享至



过去两年,全球AI圈最热闹的狂欢,莫过于给大模型套上各种“外骨骼”。

给它接工具、加记忆、套工作流、写提示词工程,行业把这套把戏包装成了一个高大上的词汇: Agent Harness(智能体驾驭层)

所有人都在疯狂给模型这匹“野马”勒紧缰绳。

但几乎没人抬头看一眼脚下的路: AI脚下的整个世界,根本就是死的。



EnvHarness 官方主页:智能体有了缰绳,现在轮到世界了

无论是写代码的 SWE-bench、逛网页的 WebArena,还是在虚拟房间里找钥匙的 ALFWorld,智能体面对的永远是几十个、几百个 人类手工搭建的固定考场

考题永远不变,反馈单一僵死

其结果极其荒谬:AI把题库背得滚瓜烂熟,在排行榜上斩获惊人高分; 可只要现实世界泛起一丝涟漪,它立刻原形毕露,当场瘫痪。

就在这两天,华盛顿大学圣路易斯分校博士生 Chengsong Huang (在 Google Cloud AI Research 实习期间主导)联手多位顶尖学者,发布了一项新研究:

《EnvHarness: Awakening Static Worlds for Agent Learning》 (论文编号 arXiv:2608.19880)。

开源代码与论文同步放出,很快以断层票数登顶 Hugging Face Daily Papers 当日榜首


论文上线当天斩获最高票,引发学术界与工业界集体围观

这篇论文用一种极其巧妙的姿态,掀翻了目前整个AI Agent领域的训练范式:

不要再去改模型了,去改世界!

考场是死的,考生再努力也只是个“背题家”

要看懂这项突破,我们必须先戳破当前大模型训练最大的泡沫: 验证器危机(Verifier Crisis)

在AI的世界里,什么是 验证器(Verifier)

就是考官手里的“标准答案判定器”

比如在软件工程基准里,验证器就是几套极其严密的单元测试; 在网页任务里,验证器就是检查数据库状态有没有改对。


中文社区精准点评:智能体基准最大的坑,就是世界从来都是死的

一套高可靠的验证器,往往需要顶级人类工程师耗费数年沉淀。 这是AI基准测试最宝贵的资产

为了让AI学到新东西,过去业界有两条路:

  1. 改模型(Agent Harness)

    :模型不动,在外面包一层复杂的反思、记忆、行动循环。但这就像给考生换更好的眼镜和笔,考卷本身没变,学到最后必然撞上收益递减的铁墙。

  2. 生造新世界(如 SWE-smith 等自动生成路线)

    :用AI大批量生成成千上万道新题。但问题是, AI生成的判题器极不可靠 ,错误百出,清洗成本高到吓人,甚至还会把AI教偏。

一边是昂贵却冻结的“死考场”,一边是海量却充满幻觉的“假考场”。

AI Agent 的进化,硬生生卡死在这个死胡同里。

而谷歌团队给出的解法,堪称一次降维打击般的 工程解构

核心逻辑极其冷酷:底层的模拟器内核不动,人类写好的黄金验证器不动;但在环境的输入输出接口上,套上一层“可编程包装”!

官方阐述:静态环境是核心瓶颈,EnvHarness 将可控层从模型移到了环境

他们把原本僵死的考场,改造成了一个 能够根据考生弱点、随时动态出题的“活教官”

三把手术刀:如何把一个静态世界“物理切开”?

在标准接口层( reset()step() ),EnvHarness 为静态环境装上了三件即插即用的武器。

这三把手术刀,直接把原本密不透风的死环境拆解成了随心所欲的教学教具:


EnvHarness 的三大组件:Stage、Contract 与 Chain

1. Stage(改写开局):逼你走出舒适区

如果任务是“把桌上的苹果放进冰箱”,传统环境每次重置,苹果都在桌上。 AI做了一百遍,学会的只是“抓取眼前物体”。

Stage 插件直接在开局动态改写物理状态 :它会故意把苹果藏进抽屉,甚至锁进柜子。

原任务的目标没变(最终还是要把苹果放进冰箱,原体验证器依然能判分),但这一改动,瞬间逼迫智能体在解题前 必须先学会“搜索与探索”

2. Contract(契约守卫):拦截一切投机取巧

这是最让做题家AI崩溃的设计

在软件修复任务(SWE-bench)中,很多大模型喜欢“盲猜代码”,改完直接提交,赌一把运气。

Contract 插件在交互层横插一脚 :如果检测到智能体在提交补丁前 从未运行过测试套件 ,Contract 会直接无情拦截提交请求,并向它返回一条报错信息。

底层环境的代码一行没改,但规则被改写了: 想交卷? 必须先自测! 瞬间逼出智能体严谨的工程习惯。

3. Chain(链式串联):终结短视,训练长程毅力

把原本独立的单回合任务,像链条一样接起来。 修完一个bug,立刻接着处理依赖项,把原本只需5步的短视行为,硬生生拉长成跨越数十步的复杂长程战役。

三者叠加,原基准的人类验证器完全通用,但 环境的教学密度被拉高了数倍

杀手锏 EnvRigger:同一个模型,自己当自己的魔鬼教官!

如果只是人类专家手动写这些插件,那依然无法规模化。

这项研究最惊艳的灵魂,在于他们研发的自动化闭环系统: EnvRigger(环境装配器)

EnvRigger 将待训练的智能体完全视为黑盒,开启了一套窒息的四步进化循环:

  1. Observe(观察)

    :调取智能体最近所有的成功与失败交互轨迹;

  2. Diagnose(诊断)

    :找出智能体的 系统性缺陷 (例如“总是不看目录结构就瞎写文件”);

  3. Write(编写)

    :直接生成真实的 Python 插件代码,针对性地魔改环境;

  4. Validate(验收)

    :把智能体扔进新环境里跑,检验这个改动是否“既保持了题目可解,又精准教会了缺失的能力”。

看到这里,DeepMind 的研究员 Anastasia Razdaibiedina 在 X 上直接追问了一个致命问题:

“EnvRigger 是否必须外挂一个更庞大、更聪明的上帝模型(比如用 GPT-4.5 教 Qwen)?”

第一作者 Chengsong Huang 只回了一句斩钉截铁的短句:

“just the same model!”(就是同一个模型!)

面对 DeepMind 研究员追问,作者确认:完全无需更大模型,同尺寸自进化成立

自我进化闭环(Self-Improvement)由此成立。

模型无需更强大的神级外援,只需切换视角:作为考生时它在试错,作为教官时它在读错题本、给自己设卡。 它在与不断变难的世界搏击中,自己把自己拽出了泥潭!

真实测试断崖式反差:盲目刷题,甚至会让AI“变蠢”!

在软件工程(SWE-bench Verified)、网页交互(WebArena)、具身智能(ALFWorld)以及办公表格(OfficeQA、SpreadsheetBench)五个严苛基准上,这套方案展现出了近乎碾压的实力:


规模实验曲线:传统环境在固定预算下迅速走平,EnvHarness 持续攀升

  • ALFWorld 的分布外测试(OOD)中,从 EnvHarness 提炼出的技能,相比原始环境 成功率狂飙约 9.0 个百分点

  • SWE-bench Verified 上,成功率从 49.88% 提至 52.58%,同时 执行步数直降约 9.8% (AI不再盲目兜圈子,解决问题更加干脆利落);

  • 在强化学习(RL)设定下,在 EnvHarness 训练出的策略全面击溃在原始静态环境里训练的模型。

SpreadsheetBench(复杂办公表格) 的实验则呈现出更强烈的反差:

在静态原始环境里反复刷题提炼出来的技能,放回基准测试时,得分居然比“什么都不学的初始基线”还要低!

这就是所谓的 “过拟合陷阱”

在固定不变的干净世界里,AI反复强化已知的错误直觉,学到了一堆自作聪明的偏门技巧。 一遇到真实世界的杂乱格式,立马全面崩溃。

而 EnvHarness 故意制造的动态干扰,反而逼着它建立起了可靠的抗挫力与逻辑鲁棒性。

终局思考:从“缰绳工程”到“培养皿工程”

长久以来,AI 圈一直流传着一个深刻的比喻:

“足够聪明、能够长途驾驶的智能体,更需要 一片可以自由漫游的原野 ,而非一条勒得更紧的缰绳。”

开发者热议:智能体研究正从缰绳工程(Harness)跨入培养皿工程(Vat)

很多人把过去两年的大模型应用开发戏称为 Harness Engineering(缰绳工程) ,所有人都在绞尽脑汁地用 Prompt、工作流框架去约束那个脆弱的模型核心。

而 EnvHarness 的出现,吹响了 Vat Engineering(培养皿工程) 的号角。

早年在强化学习领域,以 ACCEL 为代表的“无监督环境设计(UED)”就证明过:只有不断针对学习者的遗憾值(Regret)动态生成关卡,才能诞生通用的智能。


Google Research 官方仓库 google-research/envharness 已全面开源

如今,这股思潮终于借由 Python 可编程包装与大语言模型的自省能力,全面杀入了软件工程、网页与自动化工作流。

AI的下一个战场,将转向“谁能为AI构建一个会呼吸、会反击、会进化的活世界”。

那些只靠背题刷榜的“高分低能”智能体,他们的好日子,彻底过头了。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
汪明荃黄淑仪传不和五十年世纪同框,合照一处细节证明没有嫌隙,黄淑仪曾被汪明荃误伤:她没有问候我

汪明荃黄淑仪传不和五十年世纪同框,合照一处细节证明没有嫌隙,黄淑仪曾被汪明荃误伤:她没有问候我

TVB资讯台
2026-08-24 23:18:10
斯诺克武汉公开赛:赵心童晋级 吴宜泽出局

斯诺克武汉公开赛:赵心童晋级 吴宜泽出局

极目新闻
2026-08-24 23:57:42
河北石家庄通报兽药无处方销售问题:8家门店被立案调查

河北石家庄通报兽药无处方销售问题:8家门店被立案调查

澎湃新闻
2026-08-24 12:32:05
每一个长得漂亮身材又好的女孩子,都不简单…

每一个长得漂亮身材又好的女孩子,都不简单…

微微热评
2026-08-24 00:03:08
宇树IPO:追高、被套,多久能回血?

宇树IPO:追高、被套,多久能回血?

36氪财经
2026-08-24 15:24:18
1974年,陈毅夫人张茜病重,粟裕夫妇前往看望,并定下两家儿女亲事

1974年,陈毅夫人张茜病重,粟裕夫妇前往看望,并定下两家儿女亲事

雍亲王府
2026-08-24 15:10:12
大陆两名男子驾驶油皮艇,轻松登陆台岛!网友:不用打了,统一吧

大陆两名男子驾驶油皮艇,轻松登陆台岛!网友:不用打了,统一吧

风干迷茫人
2026-08-21 09:46:03
一男子手术失败快不行了,妻子抱着他哭得肝肠寸断,谁料,男子却凑到妻子耳边说了句话,听完当场就笑了...

一男子手术失败快不行了,妻子抱着他哭得肝肠寸断,谁料,男子却凑到妻子耳边说了句话,听完当场就笑了...

设计最前沿
2026-08-23 20:14:36
如何一眼看出两个人私下里发生了秘密关系?网友:海关需要你

如何一眼看出两个人私下里发生了秘密关系?网友:海关需要你

夜深爱杂谈
2026-08-21 20:04:26
今天,跳水大跌!背后发生了什么?

今天,跳水大跌!背后发生了什么?

中国基金报
2026-08-24 15:56:58
花200多元,在横店“扇对手一巴掌”

花200多元,在横店“扇对手一巴掌”

中国新闻周刊
2026-08-24 11:30:16
英超首轮超级乱局!BIG5集体翻车心跳拉满,只有阿森纳独善其身

英超首轮超级乱局!BIG5集体翻车心跳拉满,只有阿森纳独善其身

体坛说球77
2026-08-24 10:26:57
王玉雯的这双腿也是无敌般的存在

王玉雯的这双腿也是无敌般的存在

草莓解说体育
2026-08-23 10:12:43
丁俊晖输球没关系,可怕是中国龙的赛后发言,他已经没有心气了

丁俊晖输球没关系,可怕是中国龙的赛后发言,他已经没有心气了

南海浪花
2026-08-24 00:47:46
斯诺克最新战报!斯佳辉打丢超分球,德比战连输2局,萝卜火箭领先!

斯诺克最新战报!斯佳辉打丢超分球,德比战连输2局,萝卜火箭领先!

刘姚尧的文字城堡
2026-08-24 10:32:02
年轻人的“麻将瘾”,捧出一门暴利生意

年轻人的“麻将瘾”,捧出一门暴利生意

DT商业观察
2026-08-24 12:00:49
准备对以色列开战?土耳其向叙利亚部署大量装甲车、坦克

准备对以色列开战?土耳其向叙利亚部署大量装甲车、坦克

咸鱼金脑袋
2026-08-22 23:28:25
海口星巴克打伞女为什么不适合考公

海口星巴克打伞女为什么不适合考公

关尔东
2026-08-23 21:44:41
这一天终于来了!事发广西,教师超员,不给续签,让直接滚蛋...

这一天终于来了!事发广西,教师超员,不给续签,让直接滚蛋...

慧翔百科
2026-08-24 08:30:53
“美国与以色列之间发生罕见冲突”

“美国与以色列之间发生罕见冲突”

封面新闻
2026-08-23 22:39:22
2026-08-25 00:24:49
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
768文章数 9344关注度
往期回顾 全部

科技要闻

宇树科技,3天跌了1000亿

头条要闻

一家自驾3500公里送娃报到 "送子求学"淋成"逆子求学"

头条要闻

一家自驾3500公里送娃报到 "送子求学"淋成"逆子求学"

体育要闻

42张照片 珍藏世界杯的热辣滚烫

娱乐要闻

韩沛颖开撕《主角》剧组引发全网热议

财经要闻

宇树IPO:追高、被套,多久能回血?

汽车要闻

智能超混 国民家轿 上汽大众ID. ERA 5S上市 限时8.99万元起

态度原创

游戏
教育
手机
旅游
军事航空

《GTA6》黑客投票结果遭篡改?国外玩家炸锅

教育要闻

足启新程逐绿茵,筑梦少年绽芳华!2026年济南市校园足球夏令营圆满举办

手机要闻

华为nova17顶配改名Pro Max:2亿像素红枫影像下放,中端市场要迎来新冲击!

旅游要闻

现在去延庆旅游,到底有多好玩?

军事要闻

美国与以色列发生“罕见冲突”

无障碍浏览 进入关怀版