网易首页 > 网易号 > 正文 申请入驻

清华、伯克利开源uni-robot-agent:GPT-6 Astra竟输给了Qwen3.8-Flash-Next

0
分享至


机器人使用智能体(Robot-use agent,RUA)已展现出可观的零样本操作能力,但仍严重依赖前沿专有模型。在这一背景下,研究人员虽能调用模型能力,却拿不到模型权重,也就难以利用机器人实际操作中积累的经验进行下一步训练。同时,API调用产生的大额费用,以及无法自行优化模型推理的限制,也让大规模实验难以开展。

为使 RUA 研究走向普惠,清华大学丁宁、刘知远、徐梦迪、周伯文等团队联合强化学习大牛、加州大学伯克利分校教授 Pieter Abbeel团队推出并开源了 uni-robot-agent,这是一个面向开源权重 robot use 的统一 harness,且支持进一步训练。


论文链接:https://arxiv.org/abs/2611.01560

在没有特权输入的情况下,Qwen3.8-Flash-Next(+uni-robot-agent)在 RoboDojo 的性能超越了 GPT-6 Astra(+RoboProbe)以及多个经过任务微调的 VLA/WAM 基线模型。


图|uni-robot-agent 的实验结果与系统概览

他们没有先为每项任务训练专门策略,而是从工具接口、环境信息和执行反馈入手,探索现成模型已经具备的 Robot-use 能力。

这项工作首先面对一个问题:开放模型操作机器人失败,究竟是模型能力不足,还是系统没有把必要的信息和工具组织好?

如果一开始就加入模拟器真实状态、直接告知任务是否成功的反馈,或者针对具体任务编写技能,虽然可能提高成绩,却也增加了判断通用能力来源的难度。

因此,他们选择先建立一个通用、可靠的 harness,也就是连接模型与机器人环境的交互框架。它统一不同模型、机器人形态、任务和环境中的工具接口与反馈格式,让模型能够通过一致的交互方式完成操作,也为后续利用仿真和真实机器人数据开展联合训练提供基础。


图|跨环境的工具复用

其中一个关键判断是,机器人操作未必需要依赖部署时无法获得的额外信息。经过合理组织的相机标定信息、机器人描述,以及能返回有效反馈的可靠工具接口,已经能够支持开放模型完成有竞争力的操作。这让研究重点从不断补充任务专用信息,转向如何组织模型可以使用的真实环境信息。

Harness 同时考虑了交互效率。机器人执行动作时,模型推理可以与工具执行重叠,减少两者依次等待带来的耗时。agent 运行时、工具和机器人后端也采用可替换设计,便于研究人员更换组件、比较不同方案。对于需要持续收集机器人交互经验的训练研究,这些设计直接关系到系统能否扩展。


图|串行交互与流水线执行

在 RoboDojo 上,未经额外机器人专项训练的 Qwen3.8-Flash-Next 配合 uni-robot-agent,在不使用特权输入的设置下取得 31.39 分,超越了 GPT-6 Astra 配合 RoboProbe 的28.97 分。


图|RoboDojo 上的结果

他们还在 19 项真实桌面操作任务中测试了系统,并在摘要中将其表现概括为具有竞争力。仿真与真实环境的共同测试,使研究关注的不只是某一个模拟器中的成绩,也包括统一交互方式能否用于物理机器人。

在建立开放模型操作基线后,他们进一步比较了不同代际、系列和规模的模型,并分析操作轨迹中的失败模式。他们将常见问题归纳为视觉理解、空间定位、几何编码和具身推理四类。


图|与有效机器人操作相关的四类能力

这些问题涉及从理解观测到生成行动的多个环节。他们据此提出,机器人操作能力可能来自多种通用能力的共同作用,未来训练应推动这些能力协同发展。这里呈现的是基于模型比较和轨迹分析提出的研究判断,尚不能将四类能力之间的关系视为已经确立的因果机制。

他们也指出,uni-robot-agent仍难以处理精细操作和可靠的长程执行任务。

整体来看,通过提供共享的交互接口、可替换的组件以及结构化的执行反馈,uni-robot-agent 为采集机器人交互数据、开发训练方法以及评估其对 agent 行为与任务表现的影响,提供了一个统一的基础。

更多技术细节,详见原论文。

作者:张佳怡

如需转载或投稿,请直接在本文章评论区内留言

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
随着日本1-2被绝杀 亚洲9队首轮踢完 U17国足输最惨 附世界杯积分榜

随着日本1-2被绝杀 亚洲9队首轮踢完 U17国足输最惨 附世界杯积分榜

侃球熊弟
2026-11-21 22:43:40
冲上热搜!全军暂停采购八马茶业

冲上热搜!全军暂停采购八马茶业

深蓝财经
2026-11-21 16:09:33
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
TVB男星抽中台庆45万大奖,本职工作是酒店厨师,感谢妻子的付出

TVB男星抽中台庆45万大奖,本职工作是酒店厨师,感谢妻子的付出

悦君兮君不知
2026-11-20 21:32:48
台湾股市崩盘,台媒:很多人借钱炒股,股灾影响恐蔓延到日常生活

台湾股市崩盘,台媒:很多人借钱炒股,股灾影响恐蔓延到日常生活

海峡导报社
2026-11-21 15:40:07
数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

可达鸭面面观
2026-11-21 08:21:38
“产品难道要卖给空气”,299台注塑机仅8名工人,引全网热议!网友:机器人必须交税,把税发给失业的人

“产品难道要卖给空气”,299台注塑机仅8名工人,引全网热议!网友:机器人必须交税,把税发给失业的人

火山詩话
2026-11-21 07:08:37
参与军采项目涉嫌违规,顺丰速运、八马茶业等被暂停全军采购资格,自11月19日起生效,范围为全军

参与军采项目涉嫌违规,顺丰速运、八马茶业等被暂停全军采购资格,自11月19日起生效,范围为全军

大风新闻
2026-11-21 17:03:03
曼城1-1富勒姆4轮不胜!哈兰德进球被吹 1.35亿标王世界波

曼城1-1富勒姆4轮不胜!哈兰德进球被吹 1.35亿标王世界波

念洲
2026-11-21 22:23:58
局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

秋风妃
2026-11-21 14:13:31
别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

命运自认幽默
2026-11-21 07:52:54
一次爆出黑料超过33年总和!纽约时报发长文痛批黄仁勋:当众折磨当下属成人礼、所有高管都是受害者

一次爆出黑料超过33年总和!纽约时报发长文痛批黄仁勋:当众折磨当下属成人礼、所有高管都是受害者

可达鸭面面观
2026-11-22 00:02:18
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
俄方称克里米亚大桥铁路运输已全面恢复

俄方称克里米亚大桥铁路运输已全面恢复

每日经济新闻
2026-11-21 19:12:52
从日本火到美国,这片果然有点猛

从日本火到美国,这片果然有点猛

虹膜
2026-11-20 23:00:34
确诊不到一年,患全球罕见变异白血病小伙去世 生前最大愿望是活着陪妈妈回四川老家

确诊不到一年,患全球罕见变异白血病小伙去世 生前最大愿望是活着陪妈妈回四川老家

红星新闻
2026-11-21 15:12:39
彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

林杰论事
2026-11-21 18:01:18
第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

大风新闻
2026-11-21 11:57:02
江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

指尖新闻沈阳晚报
2026-11-21 08:51:23
突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

往史过眼云烟
2026-11-21 11:39:08
2026-11-22 00:39:00
学术头条
学术头条
致力于学术传播和科学普及,重点关注AI4Science、大模型等前沿科学进展。
1519文章数 5081关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
健康
亲子
教育
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

亲子要闻

萍萍六个月做四维,哥哥不开心原因竟是…

教育要闻

“这就是富养的下场”,女儿上学十天请假四次,网友们讥讽:后面一直受着就行

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版