网易首页 > 网易号 > 正文 申请入驻

李飞飞团队具身智能新作:500美元,一切家务机器人帮你干

0
分享至

现如今机器人又是跑步又是后空翻,但到底什么时候能做上家务给人类养养老?

现在,为了挑战这个难题,李飞飞团队带来了具身智能研究最新成果——(),一个解决机器人在家庭任务中全身操作问题的综合框架。

并且,其核心组件的实现成本还不到500美元

机器人学习领域中的一个“圣杯”级挑战是执行通用的日常家庭移动操作任务。借助一款新型双臂移动机器人,我们的最新成果——BRS正在尝试攻克这一极为困难且尚未解决的难题!

拧开门把手,早上出去丢个垃圾:

等大人上班后,再帮忙整理下杂货架:

顺带收拾下客厅,将脏碗放到洗碗机里:

然后任劳任怨,再里里外外刷干净马桶:

吭哧吭哧一顿收拾下来,一个机器人就把所有家务活包圆了。

而且研究团队还发现,即使干活时出了岔子,机器人也能自我纠正。

(一开始手臂范围无法够着马桶盖,然后有一个向前倾斜身体的动作)

网友们纷纷表示,离实现可通用的家庭机器人又更进一步了。

那么,李飞飞团队究竟是如何做到的?

核心瞄准三项全身控制能力

根据论文介绍,通过细致分析BEHAVIOR-1K(包含1000项日常家庭活动的机器人测试基准),团队首先确定了机器人成功完成各种家务活动所必需的三项全身控制能力

  • 两只机械手臂之间的协同配合能力;
  • 稳定精确的导航;
  • 机械手臂末端执行器拥有广泛的可操作范围和触及能力;

尤其是最后一项,大多数人可能忽视了末端执行器控制这一关键能力。

因为在家庭环境中,日常物品通常位于不同高度和位置,因此机器人也必须相应地调整其伸展范围。

基于上述考虑,团队认为给家务机器人配备双臂、移动底座和灵活躯干,是实现全身操作的关键。

具体而言,他们选择了Galaxea R1机器人(国内星海图出品)作为硬件,其具备两个6自由度手臂(每个手臂都配备了一个平行钳口夹持器)、4自由度躯干和全向移动底座,能满足家庭任务所需的关键能力。

不过,这类复杂设计给策略学习方法带来了重大挑战,尤其是在数据规模化采集全身协作方面。

对此,BRS通过两项关键创新来解决软硬件协同问题:

  • 推出JoyLo,一种通用的低成本全身遥操作接口;
  • 提出新的学习算法WB-VIMA;

展开来说,JoyLo(Joy-Con on Low-Cost Kinematic-Twin Arms)通过基于操纵木偶的方法,利用运动学孪生臂和任天堂Joy-Con控制器,实现高效的全身控制。

同时提供丰富的用户反馈,优化了策略学习数据质量。

总成本不超过500美元的情况下,团队在R1机器人上实现了JoyLo的设计目标:

  • 高效的全身协调控制系统,实现复杂动作的流畅衔接;
  • 丰富的用户反馈机制,带来直观的远程操作体验;
  • 确保高质量的示范动作,提升策略学习效果;
  • 低成本实现方案,大幅提高系统可及性;
  • 实时、便捷的控制器设计,确保操作无缝顺畅。

而另一项WB-VIMA(Whole-Body VisuoMotor Attention)学习算法,核心目标是利用机器人的固有运动学层次结构来建模全身动作。

基于Transformer,通过自回归全身动作去噪和多模态观察注意力机制,WB-VIMA能帮助机器人有效学习协调的全身动作。

同时在训练和部署时,使用特定的优化器和噪声调度器,并在工作站上进行推理以实现低延迟控制。

值得一提的是,WB-VIMA还解决了一个关键问题:

尤其在人形机器人中,在移动基座或躯干动作中出现的微小错误会在末端执行器处显著放大

对此,WB-VIMA在预测下游组件动作时,不是孤立地进行,而是先分析上游组件当前的动作状态、位置等信息,将这些信息作为条件和依据,去推算下游组件应该做出怎样的动作,从而实现整体的协调运动。

BRS适用于各种家庭任务

研究团队在五个具有代表性的家庭任务上评估BRS,包括清洁房屋、清洁厕所、倒垃圾、放置物品到架子上和晾晒衣服。

结果表明,BRS能完成多种家庭任务。

同时,实验环节还进一步验证了两个创新方法的有效性。

整体而言,JoyLo在数据收集效率、策略学习适用性和用户体验方面表现出色,WB-VIMA在性能上优于基线方法。

对于JoyLo,团队对10名参与者进行了全面的用户研究,以评估JoyLo的效果及其收集数据对策略学习的适用性。

下图为JoyLo与VR控制器和Apple Vision Pro进行比较的示意:

从结果来看,JoyLo在所有接口中表现出色,任务成功率最高、完成时间最短,其完成任务平均成功率是VR控制器的5倍,而使用Apple Vision Pro无人能完成全部任务。

且在用户研究中,所有参与者都认为JoyLo是最友好的界面。

另外,WB-VIMA在所有任务中全面超越基准方法。

其端到端任务成功率比DP3高13倍,比RGB-DP高21倍;平均子任务表现分别优于DP3(1.6 倍)和RGB-DP(3.4 倍)。

而且WB-VIMA在任务中出错的几率更小。它与环境物体的碰撞极少,且几乎不会因施加过度力量而导致电机失去动力。

最后,关于BRS框架的所有工作已全部开源,感兴趣可以进一步了解。

项目主页:
https://behavior-robot-suite.github.io/论文:https://arxiv.org/abs/2503.05652算法代码:https://github.com/behavior-robot-suite/brs-algo机器人代码:https://github.com/behavior-robot-suite/brs-ctrl训练数据:https://huggingface.co/datasets/behavior-robot-suite/data

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
16亿!“全球最难造”的杭州地标,正式启幕!

16亿!“全球最难造”的杭州地标,正式启幕!

GA环球建筑
2026-01-23 23:07:50
何庆魁儿子爆料,闫学晶之所以有今天的发展,因为她太“会来事”

何庆魁儿子爆料,闫学晶之所以有今天的发展,因为她太“会来事”

西楼知趣杂谈
2026-01-24 07:22:04
“新疆棉花”事件的真凶许秀中,卖国求荣,如今生活困难却想回国

“新疆棉花”事件的真凶许秀中,卖国求荣,如今生活困难却想回国

北有南栀
2026-01-21 17:50:03
藏得很深的“亲美疏中”的郑丽文,佩服国台办迟迟未发出的邀请函

藏得很深的“亲美疏中”的郑丽文,佩服国台办迟迟未发出的邀请函

近史谈
2026-01-23 20:51:15
中纪委明确饭局红线:公职人员,这5类饭局别碰

中纪委明确饭局红线:公职人员,这5类饭局别碰

娱乐督察中
2026-01-16 16:25:33
炸场!杨兰兰澳洲当庭低头,车祸案藏三大反转,特权与法律的博弈

炸场!杨兰兰澳洲当庭低头,车祸案藏三大反转,特权与法律的博弈

戗词夺理
2026-01-24 16:27:37
杨瀚森NBA常规赛登场7分11秒3篮板,开拓者98-110不敌猛龙

杨瀚森NBA常规赛登场7分11秒3篮板,开拓者98-110不敌猛龙

鲁中晨报
2026-01-24 17:35:21
总台现场直击丨委内瑞拉民众继续走上街头 谴责美国军事干预

总台现场直击丨委内瑞拉民众继续走上街头 谴责美国军事干预

北青网-北京青年报
2026-01-24 17:47:31
离春节不到1个月,4位名人翻车,没一个值得同情,原因五花八门

离春节不到1个月,4位名人翻车,没一个值得同情,原因五花八门

阿雹娱乐
2026-01-24 16:46:43
CBA最新消息!曝顶级外援加盟辽宁男篮,上海男篮留用弗格

CBA最新消息!曝顶级外援加盟辽宁男篮,上海男篮留用弗格

体坛瞎白话
2026-01-24 10:09:39
503票赞成9票反对,欧洲通过决议,要求释放黎智英,中方反将一军

503票赞成9票反对,欧洲通过决议,要求释放黎智英,中方反将一军

科普100克克
2026-01-23 17:52:43
至今都无人超越的十大古装探案剧,剧情不拖沓,几集一个案子

至今都无人超越的十大古装探案剧,剧情不拖沓,几集一个案子

小Q侃电影
2026-01-24 17:47:19
官宣!成飞10机密集试飞,产能大爆发

官宣!成飞10机密集试飞,产能大爆发

武器纵论
2026-01-24 10:48:19
当不成总统了?美国最新民调数据出来,特朗普或准备 “掀桌子”

当不成总统了?美国最新民调数据出来,特朗普或准备 “掀桌子”

议纪史
2026-01-23 14:40:03
交易肯定!勇士1换1赎回嘴哥,还能这么操作?

交易肯定!勇士1换1赎回嘴哥,还能这么操作?

贵圈真乱
2026-01-24 14:28:38
印度铁了心申办2036奥运!理由太离谱:咱有14亿人,是世界第一!

印度铁了心申办2036奥运!理由太离谱:咱有14亿人,是世界第一!

科普100克克
2026-01-24 15:47:19
两大网坛传奇谴责大坂直美:粗鲁!

两大网坛传奇谴责大坂直美:粗鲁!

体育妞世界
2026-01-24 10:23:28
快船机会来了?布克严重扭伤退赛!一场伤俩!

快船机会来了?布克严重扭伤退赛!一场伤俩!

柚子说球
2026-01-24 11:49:46
打虎!杨宏勇主动投案

打虎!杨宏勇主动投案

第一财经资讯
2026-01-24 14:56:02
面部肿胀,台词黏糊,演技呆愣,没蒋欣的气质,黄宗泽也带不动她

面部肿胀,台词黏糊,演技呆愣,没蒋欣的气质,黄宗泽也带不动她

查尔菲的笔记
2026-01-24 13:16:44
2026-01-24 18:20:49
量子位 incentive-icons
量子位
追踪人工智能动态
12056文章数 176363关注度
往期回顾 全部

科技要闻

特斯拉Cybercrab即将落地 每公里不到1块钱

头条要闻

男子就医从尿道取出圆筒状、笔芯状异物 存留长达20年

头条要闻

男子就医从尿道取出圆筒状、笔芯状异物 存留长达20年

体育要闻

当家球星打替补,他们在故意摆烂?

娱乐要闻

李微漪更新:狼王格林去世,3字泪目

财经要闻

“百年老字号”张小泉遭60亿债务压顶

汽车要闻

有增程和纯电版可选 日产NX8或于3-4月间上市

态度原创

亲子
教育
游戏
数码
家居

亲子要闻

爷爷过生日,3岁女儿给爷爷买的蛋糕,可把60多岁爷爷高兴坏了

教育要闻

成绩公布!南京这两所学校喜报刷屏!

《RE维罗妮卡》情报大汇总!你想看的都在这了

数码要闻

雷神黑武士·猎刃Pro系列台式整机开售,8999元起

家居要闻

在家度假 160平南洋混搭宅

无障碍浏览 进入关怀版