网易首页 > 网易号 > 正文 申请入驻

戴着VR头盔教机器人抓握,机器人当场就学会了

0
分享至

机器之心报道

编辑:小舟

机器人的动作往往略显笨拙,机械感太重。现在,它们可以像人一样灵活了。

近年来,机器人领域涌现出许多有趣的进展,比如机器狗会跳舞,会踢足球,双足机器人搬东西。通常这些机器人都依赖于根据感官输入生成控制策略。尽管这种方法避免了开发状态估计模块、建模对象属性和调整控制器增益方面的挑战,但需要大量的领域专业知识。即使取得了诸多进展,但学习瓶颈让机器人难以执行任意任务,无法实现通用的目标。

要了解机器人学习的关键,一个核心的问题是:我们如何收集机器人的训练数据?一种方法是通过自监督的数据收集策略收集有关机器人的数据。虽然这种方法比较稳健,但即使对于相对简单的操作任务,通常也需要数千小时与真实世界交互的大量数据。另一种是在模拟数据上进行训练,然后迁移到真实机器人(Sim2Real)。这允许机器人以快几个数量级的速度学习复杂的机器人行为。然而,设置模拟机器人环境和指定模拟器参数通常需要广泛的领域专业知识。

实际上还有第三种方法,收集训练数据还可以要求人类教师提供演示,然后训练机器人快速模仿人类的演示。这种模仿方法最近在各种具有挑战性的操作问题中显示出巨大的潜力。然而,这些工作中的大多数都存在一个根本性的限制——为机器人收集高质量的演示数据是很困难的。

基于上述问题,来自纽约大学和 Meta AI 的研究者提出了 HOLO-DEX,这是一个收集演示数据和训练灵巧机器人的新框架。它使用 VR 头显(例如 Quest 2)将人类教师置于身临其境的虚拟世界中。在这个虚拟世界中,教师可以从机器人的眼睛中查看机器人「看到」的场景,并通过内置的姿势检测器控制 Allegro 机械手。

看起来就像是人「手把手」教机器人做动作:

HOLODEX 允许人类通过低延迟的观察反馈系统为机器人无缝提供高质量的演示数据,它有以下三个优点:

  • 与自监督的数据收集方法相比,HOLODEX 基于强大的模仿学习技术,可以在没有奖励机制的情况下快速训练;
  • 与 Sim2Real 方法相比,学得的策略可以直接在真实机器人上执行,因为它们是在真实数据上训练的;
  • 与其他模仿方法相比,HOLODEX 显著减少了对领域专业知识的要求,只需要人们操作 VR 设备。

论文链接:https://arxiv.org/pdf/2210.06463.pdf

项目链接:https://holo-dex.github.io/

代码链接:https://github.com/SridharPandian/Holo-Dex

为了评估 HOLO-DEX 的性能,该研究在六个需要灵巧操作的任务上进行了实验,包括手持物体、单手拧开瓶盖等。该研究发现人类教师使用 HOLO-DEX 可以比单图像遥操作(teleoperation)的先前工作快 1.8 倍。在 4/6 任务上,HOLO-DEX 学习策略的成功率超过了 90%。此外,该研究还发现通过 HOLO-DEX 学得的灵巧策略可以泛化到新的、未见过的目标对象上。

总的来说,该研究的贡献包括:

  • 提供了一种借助 VR 头显让人类教师在混合现实中实现高质量遥操作的方法;
  • 实验表明,HOLO-DEX 收集的演示可用于训练有效且通用的灵巧操作行为;
  • 该研究还对所提方法中的各种决策进行了分析和消融实验,以验证每一个关键设计的效用。

此外,与 HOLO-DEX 相关的混合现实 API、研究收集的演示和训练代码均已开源:https://holo-dex.github.io/

HOLO-DEX 架构概览

如下图 1 所示,HOLO-DEX 分两个阶段运行。在第一阶段,人类教师使用虚拟现实 (VR) 头显向机器人提供演示。这个阶段包括创建一个用于教学的虚拟世界、估计(estimate)教师的手部姿势、将教师的手部姿势重定位到机械手上,最后控制机器人的手部。在第一阶段收集了一些演示之后,HOLO-DEX 的第二阶段学习视觉策略来解决演示的任务。

该研究使用 Meta Quest 2 VR 头显将人类教师置于虚拟世界中,分辨率是 1832 × 1920,刷新率是 72 Hz。这款头显的基础版售价为 399 美元,相对较轻,只有 503 克,这让教师的演示操作更轻松舒适。更重要的是,Quest 2 的 API 接口允许创建自定义的混合现实世界,将机器人系统与 VR 中的诊断面板一起可视化。

使用 VR 头显估计手部姿势

相比于之前关于灵巧遥操作的工作相比,使用 VR 头显在人类教师的手部姿势估计方面具有三个好处。首先,由于 Quest 2 使用 4 个单色摄像头,其手势估计器比单摄像头估计器强大很多。其次,由于摄像机是内部校准的,因此它们不需要以前的多摄像机遥操作框架中所需的专门校准程序。第三,由于手部姿势估计器是集成到设备中的,因此它能够以 72Hz 的频率传输实时姿势。此前有研究指出,灵巧遥操作的一个重大挑战是以高精度和高频率获取手部姿势,HOLO-DEX 通过使用商业级 VR 头显显著简化了这个问题。

手部姿势重定向

下一步,从 VR 中提取的教师手部姿势需要重定位到机器手上。这首先要计算教师手部各个关节的角度,然后一种直接的重定向方法是「命令」机器人的关节变动到相应的角度。这种方法适用于该研究中除拇指以外的所有手指,但 Allegro 机械手的形态与人类不是完全匹配的,拇指不能完全套用这种方法。

为了解决这个问题,该研究将教师拇指指尖的空间坐标映射到机器人的拇指指尖,然后通过逆运动学求解器计算拇指的关节角度。需要注意的是,由于 Allegro 机械手没有小拇指,该研究也就忽略了教师的小拇指角度。

整个姿势重定向过程不需要任何校准或教师特定的调整来收集演示。但该研究发现可以通过查找从教师拇指到机器人拇指的特定映射来改进拇指重定向。整个过程的计算成本很低,并且可以以 60 Hz 的频率传输所需的机器手姿势。

机器手控制

Allegro Hand 通过 ROS 通信框架进行异步控制。给定重定向程序计算的机器手关节位置,该研究使用 PD 控制器以 300Hz 输出所需扭矩。为了减少稳态误差,该研究使用重力补偿模块来计算偏移扭矩。在延迟测试中,该研究发现当 VR 耳机与机器人手在同一本地网络上时,可以实现低于 100 毫秒的延迟。低延迟和低错误率对于 HOLO-DEX 至关重要,因为这允许人类教师对机器手进行直观的遥操作。

当人类教师控制机器手时,他们可以实时看到机器人的变化(60Hz)。这允许教师纠正机器手的执行错误。在教学过程中,该研究以 5Hz 的频率记录来自三个 RGBD 摄像机的观察数据和机器人的动作信息。由于记录多个摄像机所需的大量数据占用空间和相关带宽,该研究不得不降低记录频率。

使用 HOLO-DEX 数据进行模仿学习

收集数据后就进入了第二阶段,HOLO-DEX 要在数据上训练视觉策略。该研究采用最近邻模仿 (INN) 算法进行学习。在之前的工作中,INN 被证明可以在 Allegro 手上产生基于状态的灵巧策略。HOLO-DEX 更进一步,并证明这些视觉策略可以推广到各种灵巧操作任务中的新对象。

为了选择获得低维嵌入的学习算法,该研究尝试了几种最先进的自监督学习算法,发现 BYOL 提供了最好的最近邻结果,因此选择 BYOL 作为基本的自监督学习方法。

实验结果

下表 1 展示了 HOLO-DEX 收集成功演示的速度比 DIME 快 1.8 倍。对于需要精确 3D 运动的 3/6 任务,该研究发现单图像遥操作甚至不足以收集单个演示。

该研究检查了各种模仿学习策略在灵巧任务上的性能,不同策略下每个任务的成功率如下表 2 所示。

由于该研究提出的策略是基于视觉的,并且不需要明确估计对象的状态,因此它们能与训练中未见过的对象兼容。该研究评估了其手动操作策略,这些策略经过训练可在多种视觉外观和几何形状的对象上执行平面旋转、对象翻转和 Can Spinning 任务,如下图 5 所示。

此外,该研究还在不同任务的不同大小的数据集上测试了 HOLO-DEX 的性能,可视化结果如下图所示。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女主持人马卉直播泄露不雅照片,账号被永久封禁,本人回应来了

女主持人马卉直播泄露不雅照片,账号被永久封禁,本人回应来了

莫问先生
2024-03-19 02:50:08
刚刚,哈马斯确认“梅花A”遭以色列斩首

刚刚,哈马斯确认“梅花A”遭以色列斩首

西楼饮月
2024-03-19 09:05:23
又一家公司宣布退市,14万股民血本无归,实控人套现31亿潇洒上岸

又一家公司宣布退市,14万股民血本无归,实控人套现31亿潇洒上岸

云姐闲聊
2024-03-19 08:41:30
奥克兰街头出现“辱华车牌”!“怎么通过审核的?”

奥克兰街头出现“辱华车牌”!“怎么通过审核的?”

发现新西兰
2024-03-18 12:52:11
两会闭幕一周内连打4“虎”,中纪委:铁面反腐不慈悲

两会闭幕一周内连打4“虎”,中纪委:铁面反腐不慈悲

南方都市报
2024-03-19 13:35:15
大象帮丨湖北一老人退休金被冒领16年,金额达二十多万元

大象帮丨湖北一老人退休金被冒领16年,金额达二十多万元

大象新闻
2024-03-18 19:27:06
小米汽车价格定了!神一样的预测,雷军是天才还是鬼才?

小米汽车价格定了!神一样的预测,雷军是天才还是鬼才?

资本百科
2024-03-18 22:22:30
男子打羽毛球被流浪猫绊倒致伤残,投喂者被判赔24万元

男子打羽毛球被流浪猫绊倒致伤残,投喂者被判赔24万元

澎湃新闻
2024-03-19 12:18:26
曹雪芹家被抄家时,一共抄出多少财产?雍正拿到清单,心凉了半截

曹雪芹家被抄家时,一共抄出多少财产?雍正拿到清单,心凉了半截

知否否
2024-03-18 09:36:50
农夫山泉换新包装?强行加入的中国风,还不如“媚日”款好看

农夫山泉换新包装?强行加入的中国风,还不如“媚日”款好看

一枚小吏
2024-03-18 21:27:01
中泰证券资管李玉刚:量化只是工具,基于归纳的决策很难避免黑天鹅

中泰证券资管李玉刚:量化只是工具,基于归纳的决策很难避免黑天鹅

中国基金报
2024-03-19 07:57:11
达成协议,将集体辞职!

达成协议,将集体辞职!

鲁中晨报
2024-03-19 09:45:13
今年清明不一般,60年一遇,上坟一定要慎重,别犯了民间的5个忌讳

今年清明不一般,60年一遇,上坟一定要慎重,别犯了民间的5个忌讳

旧梦初醒已千年
2024-03-18 12:15:20
震惊!多家外国企业炮轰中国电车:缺乏技术含量,只是时代的产物

震惊!多家外国企业炮轰中国电车:缺乏技术含量,只是时代的产物

杂谈哥闲谈
2024-03-18 23:47:03
马来西亚向中国寻求稀土合作

马来西亚向中国寻求稀土合作

环球时报国际
2024-03-19 07:30:36
315后,全国各地山姆超市挤爆了!网友:其他食品真不敢吃了!

315后,全国各地山姆超市挤爆了!网友:其他食品真不敢吃了!

杂谈哥闲谈
2024-03-18 13:27:44
真实欧洲:大部分行业收入2000-3000欧!工资没比中国多多少!

真实欧洲:大部分行业收入2000-3000欧!工资没比中国多多少!

杂谈哥闲谈
2024-03-18 19:58:16
爱德华兹:李凯尔是今晚的MVP 他做了赢球所需要的一切

爱德华兹:李凯尔是今晚的MVP 他做了赢球所需要的一切

直播吧
2024-03-19 12:12:23
北京判断对了:一当选总统,普京就对外交底,停战条件其实很简单

北京判断对了:一当选总统,普京就对外交底,停战条件其实很简单

千里持剑
2024-03-18 14:54:23
美林湖畔,正在被广州年轻人抛弃....

美林湖畔,正在被广州年轻人抛弃....

房二娃
2024-03-19 11:46:25
2024-03-19 15:10:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
8805文章数 141860关注度
往期回顾 全部

科技要闻

1块顶上代5块!英伟达新王牌让世界用上AI?

头条要闻

小米回应"测试车高速逃费":未恶意逃费、未违规掉头

头条要闻

小米回应"测试车高速逃费":未恶意逃费、未违规掉头

体育要闻

温水煮青蛙,最后发现自己才是那只蛙

娱乐要闻

李惠利发声道歉!柳俊烈劈腿确凿

财经要闻

"围猎"三丰智能:合作方可能无实际业务?

汽车要闻

新能源车自燃率更低?院士9个数据错8个

态度原创

艺术
家居
房产
手机
军事航空

艺术要闻

从三场声音艺术展,“听见”艺术展览与城市的关系

家居要闻

灵动笔触,凝固慢煮时光

房产要闻

杨浦定海街道154街坊地块项目公司拟37.5386亿元正式挂牌转让

手机要闻

小米首款小折叠屏MIX Flip爆料:代号“如意”或5月亮相

军事要闻

英防相专机被干扰 导航中断30分钟

无障碍浏览 进入关怀版