网易首页 > 网易号 > 正文 申请入驻

「假电脑」教AI用电脑,出的题连GPT-6 Astra都做不对

0
分享至



你是否也好奇 GPT-6 Astra 惊人的 computer-use agent (CUA) 电脑使用能力如何训练得到?

来自微软研究院 (Microsfot Research), 北卡罗来纳大学教堂山分校 (UNC-Chapel Hill), 佐治亚理工大学 (Gatech), 和美国东北大学 (Northeastern University) 的研究者提出了最新研究成果 WildAWM。



  • 论文标题:Agent World Model in the Wild: Computer-Use Agent Environment Synthesis
  • arXiv 链接:https://arxiv.org/abs/2610.26828
  • 项目主页:https://msr-orchard.github.io/WildAWM/
  • 开源代码:https://github.com/MSR-Orchard/WildAWM
  • 开源环境、任务与模型:https://huggingface.co/collections/ChilleD/agent-world-model-in-the-wild

想让 agent 学会用电脑,最简单直接的办法就是让它在电脑环境中进行交互、训练,可是一方面真电脑环境成本高、很难大规模铺开,而且可能会引入安全风险,比如 OpenAI 最近披露了一起 agent 在线环境中学习却意外地攻击了 huggingface 服务器的事件。

WildAWM 使用合成的个人电脑环境(有 shell,有文件系统,有浏览器,有常见的应用 MCP 服务比如 email)来作为现实训练环境的替代。而且,为了避免间接蒸馏私有模型的嫌疑,WildAWM 完全使用开源模型进行合成。合成环境后,再在里面合成高质量的 agent 任务、对应的 verifier 验证器,来组成 {environment, task, verifeir} 训练样本,只在这些合成的环境中训练两个 Qwen 模型(Qwen3.6-35b-a3b 和 Qwen3.5-4b),却在 8 个横跨 web agent, claw agent 和 GUI computer-use agent OOD 常见评测榜单上全部有提升。



视频链接:https://mp.weixin.qq.com/s/gamAVH5qDdXx-Y0sXXvodA

从 Agent World Model (AWM) 到 WildAWM

最近,前沿实验室已经展现了 RL 对于 agent 的性能提升有巨大的帮助。agent 要在交互里学,需要和环境进行交互。拿真实系统交互并不现实:环境没法大批量复制,状态也很难重置,agent 一旦点错,删掉的文件、发出去的邮件都是真的,还可能带来安全隐患。

今年 2 月,研究团队发布了 Agent World Model(AWM,ICML 2026)。区别于 world model 往往使用神经网络模拟环境、预测下一个 state(作为环境),AWM 用代码和数据库合成可执行、可交互的环境,一共生成了 1000 个,覆盖各种日常场景,专门用来给多轮调用工具的 agent 做强化学习。只在这些合成环境里训练,模型在三个 OOD benchmarks 上都有不错的分布外泛化。

WildAWM 是这个系列的新工作,这次面向通用的计算机使用 agent(computer-use agent,CUA),不再一个个地合成工具环境,而是直接合成一整台个人电脑。

合成一整台电脑环境

真正的 computer-use agent 应该是 agent 可以访问这台电脑的任何界面,而不局限于一种界面,agent 可以使用 CLI 就像 coding model 一样用代码高效完成任务,也可以使用 GUI,操纵鼠标、键盘访问图形界面网页,也可以接入 MCP service 发现便捷的软件 services(比如 email)。

网站、应用、MCP 服务和本地文件都在一台机器上,状态也连在一起。已有的合成方法大多做的是每个应用各自是一个孤立的环境,比如专门合成 terminal 环境的,比如专门合成网页环境的等等。

WildAWM 的每个环境都是某一个人的电脑。合成从一个虚构人物开始:先定下这个人的职业、联系人、常去的网站和手头在忙的几件事,再把这些事排成一天一天的计划。接着,使用一个 coding agent(GLM-5.2 加 OpenCode)按天把计划落到环境里,往数据库里写记录,往文件夹里放文件,每一天都接着前一天的状态往下做,自然数据也会一天天合成得越来越多。注意这些网页,应用,数据全部是合成的,全部在本地,不需要联网。



图 1: WildAWM 合成世界,包含 GUI web,MCP,CLI 三种 agent 常见的 computer-use 接口

为了让这个世界前后一致,每一天的状态都要独立重放两次,两次结果完全一样,所有服务和网站也都正常,才会留下来。还会启动另一个 agent 核对当天的数据和计划对不对得上。整个过程合成了 36 个人物、640 个世界状态。到最后一天,一个世界里平均有 17 万多条数据库记录和 50 个左右的本地文件,复杂程度超过同期的合成环境类工作。

高质量的合成 Task 是另一个难题

环境有了,接下来要在里面出题 Task。

WildAWM 合成的 Task 叫跨界面(cross-agent-interface, XAI)任务,每道题都必须用到 GUI、MCP 和 CLI 三种接口。

比如一道题:Jordan 要在 2 月 21 日跑半马,想在比赛前再确认一下跑表买哪块。训练笔记里记着几块备选的 GPS 手表,之前已经 “定下” 了一块,但 Jordan 想按比赛要用的标准,也就是 GPS 精度、屏幕看不看得清和预算,重新排一遍。agent 得先写个 python 脚本,从笔记里把候选表找出来排好序,存成文件。接着登录 Amazon,这时搜出来的手表可能不止一款,题目没给型号,只描述了外观(黑色圆形表壳,深色表带内侧有浅灰纹路),得看商品图来挑。加进购物车以后,还要往本地日志里补一条带日期的记录,写明选了哪块表、多少钱,最后在聊天应用里告诉好朋友 Naomi 选了哪一块。完成这个任务需要横跨多种 agent 界面,充分使用合成的环境。

这些任务平均包含 4.2 个子任务,要切换 3.1 次接口,74.5% 的任务做到中途还要回到之前用过的接口,有的需要超过 100 多步,是 long-horizon agent 任务。



图 2: agent 完成合成的任务需要横跨多种 computer-use 接口:CLI, GUI, 和 MCP

那么,怎样才能合成这样的高质量 task 呢?尤其是在不依赖任何闭源前沿模型的情况下,如何解决:

  • 任务有效性 (Task Solvability),确保合成的任务是可以正常被完成的;
  • 任务难度(Task Difficulty),确保合成的任务是有足够的难度的,毕竟市面上大多数的 benchmarks 都已经饱和,我们必须要合成足够难度的任务,比如难倒 GPT-6 Astra 的任务
  • 任务验证器的可靠性(Verifier Reliability),合成的 task 都有一个验证器,用于自动判定 agent 是否完成了任务,提供训练的奖励信号,必须确保足够准确和可靠,才能给出有效的 agent RL 强化学习信号



图 3:WildAWM 的整体流程。左边合成世界,中间详细介绍了合成任务的各个阶段,最右边用合成好的环境、任务和验证器做强化学习

WildAWM 的做法是在合成阶段就引入大量不同的 agent 去实际去尝试这些题目。研究团队使用 3 个开源模型(GLM-5.2、DeepSeek-V4-Flash、MiniMax-M3),配上 6 种 agent harness,其中 OpenCode、Codex、Claude Code 是编程 agent,Nanobot、OpenClaw、Hermes Agent 是 claw agent。每次合成的 task 要跑至少 6 次,一半给提示。

每次跑完由三种验证方式来评价:生成器写的验证脚本(verifier)、LLM judge,还有一个拥有最高权限的,可以自己进环境查看前后状态的 coding agent judge。它们依次增加了 test time 的时间和计算,理应会越来越准确。但是在 RL 训练当中,我们需要一个高效的验证器,也就是通常是一个脚本。所以我们的目的是将验证脚本 verifier 的准确度对齐 Agent Judge。

有了这些 agent 实际的执行过程 trajectory,一道 Task 要连过 5 道关才算合格:

  1. 评判一致:6 次执行里,verifier、LLM judge 和 agent judge 的结论必须完全一致。
  2. 初始未完成:agent 什么都不做的时候,verifier 必须判失败,免得出现一开始就 “已完成” 的题。
  3. 可解:6 次执行里至少要成功一次。
  4. 难度:不给提示的 3 次如果全都成功,说明题太简单,需要修改加难度。
  5. 反事实探针:大模型容易顺着别人的话说。研究者故意把相反的结论告诉 agent judge,让它重新查,它要是改了判定结果,那说明这次判定就不靠谱,需要重新修改

经过这些关卡,最后,2,551 个任务草稿里留下了 341 道合格的题目。



图 4: 合成任务的漏洞,每过一道关卡,就会筛选掉很多不合格的 task

这些合成的 Task 质量到底怎么样

先看能不能做(Task Solvability)。研究者用 24 种模型和框架的组合(前面 3 个开源模型加上闭源较强的模型 Opus-4.8,各配 6 种框架)来做这批题,每道题都至少被一种组合做出来,就算只用合成时那 3 个较弱的开源模型,也能做出 95% 以上。



图 5: 合成的 Tasks 能够被多少 agent 解决:每个 task 都至少被一个 agent 成功解决,但没有一道能够被所有 agent 都解决

再看难不难 (Task Difficulty)。合成阶段不给任何提示时,agent 的平均成功率只有 21.3%,341 道题里有 273 道被标成了难题。在验证集上,GPT-6 Astra 第一次就做对的比例约为 Pass@1 60%,让它做 8 次,Pass@8 仍有 27.3% 的题一次都没做出来。WildAWM 完全使用开源模型,却能合成出让 GPT-6 Astra 都做不对的题(注意每到题都验证过是可以被解决的)。



图 6:各类模型在合成的 WildAWM 环境和 tasks 上的性能,右图展示了 Test time scaling 下的性能表现

最后看验证器(Verifier Reliability)。在随机抽取的 100 条 agent 执行记录上(包含成功的和失败的),验证脚本 Verifier 和 agent judge majority 投票的一致率是 95%,Cohen's κ 为 0.90。一个轻量的验证脚本,判得和这些又重又贵的 agent judge 差不多准,这确保了 RL 训练时使用的 reward 足够可靠。



图 7:Verifier 和 agent judge 的一致性评估

只在合成环境里训练

能不能泛化到真实世界?

341 道题分成三份:100 道用于 SFT,208 道用于强化学习,33 道留作验证测试集。训练先用 GLM-5.2 在 SFT 那部分题上的 100 条轨迹做热启动,再跑最多 64 步强化学习,训练算法使用 GRPO,训练两个 Qwen 模型(Qwen3.6-35b-a3b 和 Qwen3.5-4b)。

评测选了 8 个训练时完全没见过的 OOD benchmarks,分三类:web agent(WebArena、Online-Mind2Web)、claw agent(QwenClawBench、ClawEval)、GUI computer-use agent(CUA-Gym、OSWorld-Verified、OSWorld 2.0、Agents' Last Exam)。



图 8:WildAWM 训练的模型在 8 个分布外 benchmarks 上的性能表现

两个 Qwen 模型在 8 个 benchmarks 上全部提升。Qwen3.6-35B-A3B 的平均分从 42.84 涨到 53.42,提高了 10.58 分,在 ClawEval、OSWorld-Verified、WebArena 和 CUA-Gym 上分别涨了 16.67、16.06、13.72 和 12.22 分。训练后,它在 WebArena 上和 GLM-5.2 打平(67.26),在 Online-Mind2Web 上超过了 GPT-5.5(80.77 对 72.22)。Qwen3.5-4B 的平均分从 21.83 涨到 30.04,提高了 8.21 分。在 WildAWM 自己的 33 道验证测试集上,35B-A3B 的通过率从 5.68% 提到 35.98%,和 GLM-5.2 (20x 的参数)的 37.88% 已经相差不远。



图 9:只在合成世界里训练后,Qwen3.6-35B-A3B 在每个 benchmark 上的涨幅

为了探究 WildAWM 合成环境到底贡献了什么 agent 能力,作者们还进行了更加深入的研究,下面节选两个重要的研究:

5 道 Task 质量关卡是不是都有必要?研究者每次去掉一道进行消融实验,重新合成 SFT 数据来训练 Qwen3.5-4B,平均分都会下降,降幅在 2.60 到 9.30 分之间。影响最大的是评判一致和初始未完成。



图 10:WildAWM Task 合成 5 道关卡的消融实验结果

RL 强化学习训练有带给 agent 哪些改变?

  1. 相邻两次工具调用之间切换接口的比例,从 18.4% 升到了 25.5%,接近 GLM-5.2。这说明 agent 对于不同的电脑接口使用更加熟练,对于不同的需求,可以切换到最合适的接口进行完成任务
  2. RL 让模型更能做长任务:在 40 到 120 步这一段,只做 SFT 的模型多解出 9.7 个百分点的题,完整训练后(+RL)的模型多解出 17.0 个百分点。
  3. RL 不能给模型带来超越 Teacher model 本身的能力:将任务根据难度分成多个桶,可以发现即使经过了 RL 训练,agent 也只能够在 easy, medium, hard 中获得提升,而不能在 teacher model GLM-5.2 都不会做的 hardest 题中取得提升,这个发现和现在的主流研究也比较一致,RL 只能激发、排列组合 base model 已有的能力。



图 11:强化学习后 agent 的行为分析

全部开源

WildAWM 的合成流水线、341 个环境和任务、两个训练好的 Qwen 模型,还有整理好的 Harbor 格式的数据集,都已经全部开源。从生成环境、出题到判分,整个过程只用开源模型,不依赖任何闭源的前沿模型,可以直接使用,也可以进行复现。

研究团队认为,这为开源模型指出了一条路:自己合成可以不断扩大的环境和高质量的任务,在里面自己学习,进行迭代重复,最终成为强大的通用计算机使用 computer-use agent,整个过程不依赖任何闭源模型,避免间接蒸馏。这为开源模型奠定了 Recursive Self-Improvement (RSI)的基础。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
法国士兵被曝在乌执行机密任务,俄外长提出警告

法国士兵被曝在乌执行机密任务,俄外长提出警告

参考消息
2026-11-18 18:21:54
9连胜+联盟第一!场均39+7+8!恭喜东契奇,你距离MVP越来越近了

9连胜+联盟第一!场均39+7+8!恭喜东契奇,你距离MVP越来越近了

兵哥篮球故事
2026-11-18 19:06:32
小米回应雷军APEC发言紧张:这么大的国际场合,紧张太正常啦

小米回应雷军APEC发言紧张:这么大的国际场合,紧张太正常啦

潇湘晨报
2026-11-17 20:47:10
比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

比缅北凶险100倍!曾经的旅游胜地,如今黄赌毒俱全,乱象随处可见

琅琊财经
2026-07-31 22:02:18
中国“第一女神探”聂海芬,光环背后是多少老百姓含冤入狱?

中国“第一女神探”聂海芬,光环背后是多少老百姓含冤入狱?

星宇共鸣
2025-05-21 18:05:05
被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

被丈夫满文军揭发,服刑11个月重获自由,李俐为何出狱7年才离婚

梦醉为红颜一笑
2026-11-17 18:57:37
从确诊到去世仅15天,“央视最帅主持人”的遭遇为人们敲响警钟

从确诊到去世仅15天,“央视最帅主持人”的遭遇为人们敲响警钟

银河史记
2025-11-03 19:31:33
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
大逆转!湖人118-114击败黄蜂!东契奇创79年纪录,格兰姆斯爆砍47分

大逆转!湖人118-114击败黄蜂!东契奇创79年纪录,格兰姆斯爆砍47分

篮球大视野
2026-11-18 15:12:35
晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

温读
2025-03-13 18:28:10
002242,强势涨停!昨日曾“地天板”

002242,强势涨停!昨日曾“地天板”

证券时报
2026-11-18 11:08:06
1984年,铁路警察王林生请假回到湖南探望母亲,之后就失去踪迹,枪库里的16支手枪以及1510发子弹也不见踪影

1984年,铁路警察王林生请假回到湖南探望母亲,之后就失去踪迹,枪库里的16支手枪以及1510发子弹也不见踪影

唠叨说历史
2026-11-17 11:30:50
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
冷空气 “控场”,贵州最低气温跌到1℃

冷空气 “控场”,贵州最低气温跌到1℃

新浪财经
2026-11-18 16:13:47
比股票还亏得惨的基金,今年前三季度亏损前10,有的亏近50%!

比股票还亏得惨的基金,今年前三季度亏损前10,有的亏近50%!

财经智多星
2026-10-04 10:27:17
不查不知道,一查吓一跳,原来为国争光的王虹,私下生活这么壕

不查不知道,一查吓一跳,原来为国争光的王虹,私下生活这么壕

北海史记
2026-11-05 18:19:36
深圳高光时刻:特朗普率17人天团访华!普京凌晨抵达获高规格迎接

深圳高光时刻:特朗普率17人天团访华!普京凌晨抵达获高规格迎接

时尚的弄潮
2026-11-18 14:09:16
两名俄军逃兵潜入基辅,干了三个月外卖骑手,攒到工资买了手机打算逃离,才被乌克兰发现

两名俄军逃兵潜入基辅,干了三个月外卖骑手,攒到工资买了手机打算逃离,才被乌克兰发现

扶苏聊历史
2026-10-31 14:38:33
王毅外长的话,让日媒担忧:中国对日本的定性,或已发生根本转变

王毅外长的话,让日媒担忧:中国对日本的定性,或已发生根本转变

一路荒凉如歌a
2026-11-18 01:57:39
带着对皇马的怀旧感情回归!穆帅表示2013年本可留在皇马,但出于热爱离开

带着对皇马的怀旧感情回归!穆帅表示2013年本可留在皇马,但出于热爱离开

福酱的小时光
2026-11-18 17:04:47
2026-11-18 19:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

家居
旅游
数码
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版