网易首页 > 网易号 > 正文 申请入驻

CoRL 2026|移动双臂灵巧操作,也能从人类示范中学?

0
分享至



双手提起水果篮,转身,将它送到另一张桌子前。对人来说,这只是一个普通的日常动作;但对机器人而言,却需要移动底盘、躯干、双臂、头部和灵巧手的持续协调。要让机器人学会这样的全身操作,需要大量高质量的示范数据。然而,随着移动能力与灵巧手的引入,机器人遥操作示范的采集愈发复杂,甚至需要多名操作者协同完成。

人类日常操作中,恰好蕴含着丰富的全身协同经验。那么,能否直接利用这些人类示范,帮助机器人学习复杂的移动双臂灵巧操作?

围绕这一问题,香港科技大学、北京智源研究院、北京大学等机构的联合研究团队提出了DexRoam,构建了一套从第一视角人类示范采集、全身动作对齐,到机器人策略学习与真机执行的完整系统。该工作已被CoRL 2026接收。

DexRoam 的核心价值在于,在解决人机动作差异的同时,保留人类示范中连续、精细的全身协同关系,使其能够与机器人数据共同用于策略训练,为复杂移动双臂灵巧操作拓展数据来源,并减少对高成本机器人遥操作示范的依赖。



  • 论文标题:DexRoam: Learning Mobile Bimanual Dexterous Manipulation from Egocentric Whole-Body Human Demonstrations
  • arxiv 链接:https://arxiv.org/abs/2609.35761
  • 项目主页:https://dexroam.github.io/
  • 采集对齐代码链接:https://github.com/zhourui9813/DexRoam
  • 策略训练代码链接:https://github.com/zhourui9813/DexRoam-Policy-Training



视频链接:https://mp.weixin.qq.com/s/n85xt5c1JGEyQ6ztMVPT_Q

方法框架:从人类全身示范到机器人策略学习

轻量化采集人类与机器人全身示范



图 1 DexRoam 数据采集系统

DexRoam 构建了一套无需外部动捕设备的便携式第一视角全身采集系统。示范者只需佩戴 Meta Quest 3 头显和头戴式 ZED Mini 双目相机,即可同步记录第一视角视频、全身关节运动与手部关键点,无需外部摄像头、环境标记或额外的身体追踪器。系统还将相机画面实时显示在头显中,使采集时的视觉体验与后续策略训练的视觉观测保持一致。

此外,团队还搭建了一套单人全身遥操作系统,通过 VR 头显、控制器与数据手套,即可同步控制机器人底盘、躯干、双臂、头部和灵巧手。两套系统分别提供人类与机器人示范,为后续联合学习建立数据基础。

跨越人机差异,保留连续全身协同



图 2 DexRoam 三阶段人机动作对齐流程

为了克服人机差异,同时保留连续的全身协同动作,DexRoam 设计了本体对齐、动作语义对齐和时间对齐三个阶段。

第一步,本体对齐:建立人与机器人之间的动作映射。

针对人与机器人的身体结构差异,DexRoam 以人体骨盆为参考建立坐标系,将人的移动、躯干、双臂和头部运动映射到对应的机器人部件,并通过手部重定向生成灵巧手指令,保留全身动作的相对运动关系。

第二步,动作语义对齐:统一人类与机器人的动作表达。

仅完成本体映射,动作中仍包含人体身高、臂长和初始姿态等差异。DexRoam 进一步将底盘、躯干和双臂运动表示为相对动作表征,减少对人体绝对姿态的依赖,使两类示范具有一致的控制含义。

第三步,时间对齐:匹配人和机器人的执行节奏。

针对人和机器人执行速度的差异,DexRoam 按照任务进度重新采样人类轨迹,在保留原有运动轨迹的同时,匹配机器人示范的时间尺度,提供更加一致的时序监督。

从人类示范中学习移动灵巧操作

经过三阶段对齐,人类与机器人示范可以通过统一的观测—动作接口,共同用于 VLA 策略训练,无需针对人类数据额外修改模型结构,即可从人类示范中学习移动与灵巧操作的协同关系

团队采用GR00T N1.7 和π₀.₅两个 VLA 模型,并探索三种训练策略:人机联合训练、人类预训练后使用机器人数据微调,以及人类预训练后进行人机联合微调,验证这一框架在不同模型与训练方式下的有效性。

实验结果:DexRoam 从动作迁移到真机学习

让人类动作真正适配机器人



图 3 人机动作分布的 PCA 可视化

团队首先验证 DexRoam 的人机动作对齐效果。如图 3 中 PCA 可视化结果显示,仅完成本体重定向时,两类动作分布仍存在明显差异;经过完整对齐,分布重叠程度显著增加。



图 4 对齐前后人机动作分布差异的 MMD 与 SWD 指标对比

定量评估中,MMD 和 SWD 指标分别平均降低了41.7%和 31.1%,且转换后的人类轨迹能够在真机上成功回放。

这些结果验证了DexRoam 三阶段对齐方法的有效性,既保证了人类动作在机器人上的可执行性,也缩小了人机动作分布差异,为联合策略学习提供更加一致的动作监督。

让人类经验转化为真机能力



图 5 DexRoam 主要实验结果,GR00T N1.7 与π₀.₅在五项任务上的成功率与任务完成度对比

团队进一步通过真机实验评估 DexRoam 的策略学习效果。如图 5 所示,结果表明,在两个 VLA 模型和五项任务上,三种结合人类示范的训练策略均带来了性能提升。 其中,「人类预训练+人机联合微调」表现最佳,GR00T N1.7 的平均成功率从29%提升至 56%,π₀.₅从32%提升至 57%

除了成功率提升,人类示范还为机器人引入了新的操作方式。以拿取薯片罐为例,仅使用机器人数据训练的策略主要从正面抓取,容易在物体朝向变化时将其碰倒;加入人类示范后,机器人能够根据物体朝向选择侧面抓取。这一动作仅存在于人类示范中,未出现在机器人训练数据中,直观展示了人类操作经验如何拓展机器人学到的动作模式。

让有限的机器人示范发挥更大价值



图 6 不同机器人示范数量下,结合人类示范的策略学习效果对比

除了提升成功率,DexRoam 还展现出减少机器人数据需求的潜力。团队在保持人类示范数量不变的情况下,逐步减少机器人示范进行训练。

如图 6 所示,结果表明,在两个 VLA 模型上,结合人类示范并将机器人数据量减半,仍能达到与完整机器人数据基线相近的任务表现。 这意味着,在上述实验设置下,经过对齐的人类示范能够替代约 50%的高成本机器人遥操作数据,同时保持相近的任务表现。

进一步的少样本实验也显示,仅引入少量机器人示范,策略表现便明显提升,体现了人类操作经验与有限机器人数据相结合的价值。

总结:从人类示范走向移动全身灵巧操作

DexRoam 展示了人类数据在复杂全身操作中的潜力:即使是需要底盘移动、双臂配合与精细手指控制持续协同的移动灵巧操作,人类示范也能够跨越本体差异,成为机器人直接学习的动作监督。 机器人学习的不再只是孤立的抓取或移动动作,而是贯穿整个任务的连续全身协同。

这一结果也为机器人数据规模化提供了新的方向:人类数据的价值不仅在于丰富的视觉和任务信息,更在于其中蕴含的大量细粒度、相互关联的全身动作经验。 随着这些经验能够被有效迁移到机器人上,复杂移动灵巧操作的学习有望逐步摆脱对高成本全身遥操作数据的高度依赖,为更大规模的机器人技能学习打开新的可能。

目前,团队已开源 DexRoam 的采集与对齐代码、策略训练代码,为后续相关研究提供支持。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

中国“捡钱”时代或将来临:如果手中只有10万,试试死啃这两条线

米老鼠的世界
2026-08-26 14:20:23
儿子欲娶母瘫痪、父赌博、两弟弟读书的女友,清醒妈妈:要钱就断绝关系!扶贫婚姻会毁孩子一生

儿子欲娶母瘫痪、父赌博、两弟弟读书的女友,清醒妈妈:要钱就断绝关系!扶贫婚姻会毁孩子一生

菁妈育儿
2026-11-18 13:36:22
周鹏降薪300万回归才两个月再次离队,广东队3胜5负外教已经下课

周鹏降薪300万回归才两个月再次离队,广东队3胜5负外教已经下课

生活新鲜市
2026-11-17 09:00:00
收评:创业板指涨0.85% 算力租赁概念全天强势

收评:创业板指涨0.85% 算力租赁概念全天强势

证券时报
2026-11-18 15:28:05
41岁男子谎称37岁求职,遭拒后起诉被年龄歧视并索赔10万,法院判了

41岁男子谎称37岁求职,遭拒后起诉被年龄歧视并索赔10万,法院判了

极目新闻
2026-11-18 08:26:33
官宣了!罗伯特・帕丁森成为新一任007

官宣了!罗伯特・帕丁森成为新一任007

齐鲁壹点
2026-11-17 07:20:15
大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

大二女生去按摩,男技师让她脱内裤跪着背对着他,整个人贴了上来,店长:包厢没监控,赔700块

一丝不苟的法律人
2026-11-08 16:44:48
10分钟打爆韩国,却还在踢第四级别!苗润东离中超到底有多远?

10分钟打爆韩国,却还在踢第四级别!苗润东离中超到底有多远?

曹老师评球
2026-11-17 21:43:08
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

古书奇谈
2026-11-17 10:23:42
马斯克遇上大麻烦!星链被欧洲围堵,欧洲为何对星链下手了?

马斯克遇上大麻烦!星链被欧洲围堵,欧洲为何对星链下手了?

普陀动物世界
2026-11-18 05:49:40
官媒点名!4位明星化身老赖,最后一位臭名昭著,给大众提了个醒

官媒点名!4位明星化身老赖,最后一位臭名昭著,给大众提了个醒

林轻吟
2026-11-10 07:17:48
国际货币基金组织预测:中国2027年GDP,将彻底领先日本5倍以上!

国际货币基金组织预测:中国2027年GDP,将彻底领先日本5倍以上!

生活新鲜市
2026-11-18 05:52:20
上层作孽,害死好人

上层作孽,害死好人

我是历史其实挺有趣
2025-08-02 08:59:00
30岁河南外援渴望进国足:若被归化很荣幸!在中国3年像活在电影里

30岁河南外援渴望进国足:若被归化很荣幸!在中国3年像活在电影里

我爱英超
2026-11-18 00:01:01
扎堆成年出道!贝儿、黄多多等萌娃陆续进圈,星二代的高起点,是红利也是枷锁

扎堆成年出道!贝儿、黄多多等萌娃陆续进圈,星二代的高起点,是红利也是枷锁

随性的海浪
2026-11-18 13:16:02
九一三事件后,黄永胜的孩子们都有什么命运?

九一三事件后,黄永胜的孩子们都有什么命运?

华人星光
2026-11-17 15:10:05
曝光东莞路边价格刺客!不少人中招!

曝光东莞路边价格刺客!不少人中招!

东莞潮事儿
2026-11-18 12:27:36
东风-61洲际导弹列装,引发岛内震动!台专家:敲打美国,管好自己安排在第一岛链上的所谓“看门狗”

东风-61洲际导弹列装,引发岛内震动!台专家:敲打美国,管好自己安排在第一岛链上的所谓“看门狗”

每日经济新闻
2026-11-18 10:28:14
金融危机真的不远了?华尔街开始疯狂抛售黄金,这意味着什么

金融危机真的不远了?华尔街开始疯狂抛售黄金,这意味着什么

奇思妙想生活家
2026-11-18 04:43:33
特斯拉即将推出 2026 年度大更新,重磅新功能来了!

特斯拉即将推出 2026 年度大更新,重磅新功能来了!

XCiOS俱乐部
2026-11-17 20:45:14
2026-11-18 16:12:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

健康
家居
亲子
教育
手机

情绪真能让健康人"伤心至死"?

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝气人但是聪明的4个行为

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版