网易首页 > 网易号 > 正文 申请入驻

翻车,才是斯坦福炒菜机器人学习人类的常态

0
分享至

机器之心报道

作者:大盘鸡、陈萍

Mobile ALOHA 也有翻车时刻。

电视剧中角色的惊艳亮相不一定能打动你的心,但斯坦福全职管家兼御用大厨一定能拿下你对机器人的期待。

你还记得斯坦福 Mobile ALOHA 的神操作吗?备菜、翻炒、出锅,洗衣、逗猫、浇花它是样样精通。不过它也并非一直如此优秀。人有失足,马有失蹄,ALOHA 也有翻车时刻。我们一起品鉴一下 ALOHA 的「报错」操作。

原本是为了擦酒杯下的酒渍,或许是怕观众老爷看不出,只能多洒出来一点来引起注意。



每个物品都是独立的个体,锅、油、虾、碟都将有属于自己的归宿。



抓走物品旁边的空气,四舍五入也算是抓走了物品。



别人炒菜用时五分钟,机器人大厨先用一分钟炒一炒锅。



看到这样的行动表现,打破了我们对 Mobile ALOHA 的美好期待,坐等机器人为我们养老只能是「阳光下的泡沫,一触就破」。

实际上,在最初两个 Mobile ALOHA 火爆的视频中,不少读者对于它的行为方式就有些错误的认知。比如在帮男生刮胡子这项任务中,可能大家都误以为这是机器人自主完成的,然而事实并非如此,这是通过人类远程控制完成的:



来自英伟达的研究科学家 Jim Fan 对此发布了推文,提醒大家别因为视频的惊艳程度就忽略了其中技术真相。他提到,应该将 Mobile ALOHA 看作是一辆制造精良的跑车,而它仍需要人类驾驶才能表现出自己的能力。现在的水平与能够完全自主的厨师还有较大的差距。



其实,研究团队在发布 Demo 时的项目页面中就对 Mobile ALOHA 的工作进行了明确分类。其中包括 Mobile ALOHA 能够自主完成的任务以及需要远程操作完成的任务。

研究团队在介绍时表示,对于一些简单的任务,Mobile ALOHA 可以在 50 次学习之后达到 90% 的行动成功率。对于一些简单的任务,如炒一只虾仁(有且只有一只)、拿块抹布、摆放好椅子,Mobile ALOHA 无需人类指点,还是可以自己 hold 住的。



Mobile ALOHA 可以自己完成的任务

不过,更加复杂的任务,如像炒虾仁滑蛋、打蛋、装盘等复杂操作,它依旧需要人类远程操控,而且有些视频还做了 10 倍加速处理。



依旧需要远程操控才能完成的任务

在机器人技术领域,从人类示范中进行的模仿学习已经取得了令人瞩目的成绩。其实训练 Mobile ALOHA 的过程就是像是在玩游戏 —— 操作机器人直到动作通关。Mobile ALOHA 之所以能够让人发出惊叹,是因为它所展示的任务不局限于桌面操作。这些复杂且灵活的动作源于研究者开发的一套系统,用于模仿需要全身控制的双臂移动操作任务。利用 Mobile ALOHA 收集的数据,进行有监督的行为克隆。

在上一篇文章中,我们已经分享了 Mobile ALOHA 具体的技术细节,但是并不直观。



图(左)展示了操作机器人最简单的方法就是将操作员的腰部与移动底座系在一起的。

加州大学圣地亚哥分校学生梁力天在 X 上发布了 Mobile ALOHA 的体验视频,他操纵 ALOHA 拿取箱子上的物品。简单来讲,如果你现在拥有了 Mobile ALOHA,最重要的一步就是需要你与 Mobile ALOHA「合二为一」。

虽然梁力天没有体验炒虾这样的高难度任务,但是依旧对 Mobile ALOHA 的技术表示了认可:它的直接关节映射使用起来非常直观,这使它成为比 VR 控制器更好的解决方案。这样的能力,只要 3.2 万美元的预算真的太值了。



图源:https://twitter.com/litian_liang/status/1744555501860638921

https://twitter.com/DrJimFan/status/1744786506810900679

在这个体验视频发出后,大家都很好奇,远程操控的原理到底是什么?Jim Fan 是这样解释的:

训练机器人就像在真实世界中玩游戏,一个人操作一个操纵杆来执行任务和收集数据,在遇到安全问题时进行及时的干预。

远程操控可以通过不同的方式完成,这里有一些其他选择:

  • 动作捕捉(MoCap):应用动捕系统来捕捉手部关节的细粒度运动。例如,演示者可以佩戴 CyberGlove 并操纵对象。CyberGlove 会实时捕捉运动信号和触觉反馈,然后将其重新定位到人形机器人上。
  • 另一种比较笨拙的方法是佩戴专用手套以及进行一些标记(markers)。NVIDIA 的 DexPilot 可实现无标记且无需戴手套的数据收集。人类操作员只需徒手即可执行任务。
  • VR 头显:将训练室视为虚拟现实游戏,并扮演机器人,这样做的优势是可以进行可扩展的远程数据收集。

最后,Jim Fan 说道,「我相信,只要有好的硬件,到 2024 年底,我们就能大幅提升自主技能。」



https://twitter.com/DrJimFan/status/1744786506810900679

https://twitter.com/tonyzzhao/status/1743378437174366715

https://mobile-aloha.github.io/resources/mobile-aloha.pdf

https://mobile-aloha.github.io/

https://twitter.com/litian_liang/status/1744555501860638921

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
王思聪私生子后续,专家:如果男方不认,只有几千块抚养费

王思聪私生子后续,专家:如果男方不认,只有几千块抚养费

紫雨说娱乐
2024-06-12 12:35:17
辣眼睛!中外拳击宝贝穿短裤亮相疑似走光,风头盖过中日两大拳王

辣眼睛!中外拳击宝贝穿短裤亮相疑似走光,风头盖过中日两大拳王

拳击时空
2024-06-12 06:13:37
NBA“Logo原型”杰里·韦斯特去世,享年86岁

NBA“Logo原型”杰里·韦斯特去世,享年86岁

澎湃新闻
2024-06-12 23:06:30
A股:重磅,三部门和高盛齐发声!不出意外的话,A股将这样走!

A股:重磅,三部门和高盛齐发声!不出意外的话,A股将这样走!

兵哥闲聊
2024-06-12 13:11:40
最新积分榜有变!一场3-0让日本女排跌第5,土耳其女排收获第7胜

最新积分榜有变!一场3-0让日本女排跌第5,土耳其女排收获第7胜

元爸体育
2024-06-12 21:22:15
再见,科韵路!曾经的千亿游戏街

再见,科韵路!曾经的千亿游戏街

楼主说楼市
2024-06-12 19:59:31
极氪001高速120码追尾大货车,A柱扛住撞击乘员舱保持完整!副驾乘客:极氪真硬啊,这条命极氪给的

极氪001高速120码追尾大货车,A柱扛住撞击乘员舱保持完整!副驾乘客:极氪真硬啊,这条命极氪给的

和讯网
2024-06-12 13:27:50
关于组织市直机关党员干部参加无偿献血倡议书!

关于组织市直机关党员干部参加无偿献血倡议书!

新闻先锋
2024-06-12 15:04:28
真诚地给华为道个歉

真诚地给华为道个歉

关尔东
2024-05-01 00:25:49
事发上海五星级酒店!母女泡澡时,房门突然开了…值班经理却说:流程没问题

事发上海五星级酒店!母女泡澡时,房门突然开了…值班经理却说:流程没问题

上观新闻
2024-06-12 14:53:32
离谱!撕裂+肌腱脱臼,刚复出就趴窝,6000万先生真是脆到家了

离谱!撕裂+肌腱脱臼,刚复出就趴窝,6000万先生真是脆到家了

球童无忌
2024-06-12 11:27:18
具俊晔菲律宾演出一片凄惨,只卖出24张票,现场布置太寒酸!

具俊晔菲律宾演出一片凄惨,只卖出24张票,现场布置太寒酸!

古希腊掌管月桂的神
2024-06-11 22:33:31
江苏高邮市疾控中心主任顾正荣接受审查调查

江苏高邮市疾控中心主任顾正荣接受审查调查

鲁中晨报
2024-06-12 09:31:05
俄罗斯越打越有钱,中国货把俄包圆了,美西方都被整懵了

俄罗斯越打越有钱,中国货把俄包圆了,美西方都被整懵了

娱乐的硬糖吖
2024-06-12 07:57:39
泰媒:尽管无缘晋级18强赛,但泰国队仍将获得1100万泰铢奖金

泰媒:尽管无缘晋级18强赛,但泰国队仍将获得1100万泰铢奖金

直播吧
2024-06-12 16:01:09
嫦娥六号即将返回,NASA局长:允许中国分享月球样本,引发热议!

嫦娥六号即将返回,NASA局长:允许中国分享月球样本,引发热议!

吾天
2024-06-12 02:13:23
曝45岁伏明霞离婚,净身出户原因揭晓,71岁百亿丈夫只说6个字

曝45岁伏明霞离婚,净身出户原因揭晓,71岁百亿丈夫只说6个字

深度知局
2024-05-20 19:25:53
伤害了多少人!孤儿考生事件反转:当天吃过午饭,家境并不贫寒

伤害了多少人!孤儿考生事件反转:当天吃过午饭,家境并不贫寒

教育人看世界
2024-06-12 15:04:00
尘埃落定,恭喜曼联,53岁名帅上位,英足坛顶流,曼城有对手了

尘埃落定,恭喜曼联,53岁名帅上位,英足坛顶流,曼城有对手了

球文速递
2024-06-12 08:20:02
71岁天赐妈陷两难?大儿去世原因曝光,网友:恐无人养老

71岁天赐妈陷两难?大儿去世原因曝光,网友:恐无人养老

嘿哥哥科技
2024-06-12 15:10:15
2024-06-12 23:30:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
9071文章数 141942关注度
往期回顾 全部

科技要闻

谁是苹果AI的“中国合伙人”?

头条要闻

男童被女邻居带走开房时弄丢 多年后找到不认亲生父母

头条要闻

男童被女邻居带走开房时弄丢 多年后找到不认亲生父母

体育要闻

国足,别辜负这场奇迹!

娱乐要闻

黄一鸣再次录视频表态孩子是王思聪的

财经要闻

徽商银行的影子 借基金向地方城投放贷?

汽车要闻

理想汽车周销量突破1万辆 单周销量首超宝马奥迪

态度原创

健康
亲子
旅游
时尚
军事航空

晚餐不吃or吃七分饱,哪种更减肥?

亲子要闻

“快哭,不然阿姨打你哦”新生儿缺氧无法哭出声音

旅游要闻

日本“黑道大哥”现街道 警察保持随时监控

今年夏天多穿彩色吧!减龄又好看

军事要闻

美国解禁乌克兰"亚速营"使用美制武器 俄方回应

无障碍浏览 进入关怀版