网易首页 > 网易号 > 正文 申请入驻

USC团队发布HumDex:攻克人形机器人数据瓶颈,低成本灵巧操控

0
分享至

人形机器人全身灵巧操作是通向通用具身智能的核心目标之一。在这一愿景下,机器人不仅需要双臂与高自由度多指灵巧手的精细协调,还需要与全身位姿(如行走、弯腰)进行动态配合。

尽管近年来机器人的硬件设计与控制算法取得了显著进展,但高质量示范数据的获取,依然是制约该领域发展的一大核心瓶颈

在传统的人形机器人遥操作系统中,研究人员往往面临着「便携性与精度」的权衡困境: 基于光学动捕或外骨骼的系统虽然能提供高精度的姿态捕捉,但严重依赖固定的空间设施与庞大的设备,这使得数据采集被死死局限于单一的实验室环境中; 相反,基于 VR 等设备的便携式方案虽然打破了空间限制,但在面对遮挡严重的复杂操作时,追踪精度会大幅下降,且往往无法对高自由度灵巧手提供足够细粒度的控制。

为应对上述挑战,来自南加州大学(USC)PSI 实验室与 WorldEngine AI 的研究团队提出了一套名为HumDex的全新遥操作与数据采集系统。该系统结合了高精度便携追踪、基于学习的手部控制算法以及人类数据预训练机制,专为打破人形机器人高质量数据采集瓶颈、提升全尺寸操作泛化能力而设计。

  • 论文标题: HumDex: Humanoid Dexterous Manipulation Made Easy
  • 论文主页:https://psi-lab.ai/humdex
  • Github 链接: https://github.com/physical-superintelligence-lab/humdex

视频链接:https://mp.weixin.qq.com/s/BmOlW8IktiNyOEwidE9Mjg

HumDex 方法介绍

HumDex 框架框架涵盖了从高精度硬件追踪、基于学习的灵巧手重定向,到最终跨越具身鸿沟的两阶段训练范式。

全场景便携追踪方案

在实际的复杂操作任务中,由于物体和双手的相互遮挡,基于视觉或传统头显设备的追踪方案常常会丢失目标,导致操作被迫中断。这种视觉盲区严重限制了机器人能够学习的任务范围。

为了实现真正的全场景数据采集,HumDex 摒弃了对外部摄像头的依赖,采用了一套完全无线的惯性动作捕捉硬件。操作者只需穿戴轻量级的身体追踪节点以及惯性数据手套,即可在任何环境下自如地移动和操作。由于数据手套直接通过传感器获取物理姿态,即使在严重的视线遮挡下,系统依然能够高精度地捕捉多指的精细动作与全身位姿。

更值得一提的是,为了让高质量数据采集不再是少数顶尖实验室的专属,团队还验证了 HumDex 系统对低成本开源硬件的完美兼容。他们直接引入了基于 SlimeVR 开源生态的追踪方案。在这套现成的开源方案中,除手套外的全身节点总成本不到 200 美元,却能在数据采集成功率上达到与昂贵商业系统相媲美的高水准,极大地降低了人形机器人研究的硬件门槛。

基于学习的手部重定向算法

对于人形机器人而言,精准控制拥有 20 个自由度的灵巧手是遥操作过程中的另一大技术鸿沟。

传统系统通常依赖基于优化的逆运动学解算方法。这类方法不仅计算成本高昂,且需要针对不同操作者的手部尺寸进行繁琐的手动参数调节。更为致命的是,在处理复杂的精细动作时,传统方法经常会出现手指异常耦合、动作僵硬不连贯,甚至无法完成精确的捏合动作,极大地影响了接触密集型任务的成功率。

为解决这一痛点,HumDex 提出了一种基于学习的手部重定向算法。研究团队摒弃了复杂的逐帧优化过程,转而训练了一个轻量级的多层感知机网络。该网络能够将数据手套捕捉到的指尖三维位置坐标,直接端到端地映射为机器人灵巧手的 20 个关节角度。更为重要的是,这个网络仅需不到 20 分钟的成对运动数据即可完成训练。在真实部署中,这种基于学习的重定向方法实现了恒定时间的高效推理,免去了手动调参的烦恼。

跨越具身鸿沟的两阶段训练框架

除了用于遥操作机器人,HumDex 系统的极高灵活性还解锁了另一种高效的数据获取方式:直接采集人类执行任务的动作数据。人类数据的采集无需机器人参与,速度更快、规模更大。

然而,直接将人类动作映射到机器人身上往往会导致灾难性的失败。这是因为人体与机器人在动力学、关节结构和视觉视角上存在巨大的具身鸿沟。实验表明,如果将人类数据与机器人数据简单混合训练,机器人的任务成功率会直接跌至接近零。

为了充分获取人类数据中的价值,研究团队提出了一种创新的两阶段训练流程。首先,他们利用大规模、多样化的人类演示数据对 ACT 策略进行预训练,让模型学习到通用的视觉特征和运动先验;随后,再使用少量的机器人遥操作数据进行微调,将这些通用先验对齐到机器人上。

真实世界实验评估

1. 高难度长程任务与遥操作效率

为了验证 HumDex 的综合性能,团队在扫码打包、挂衣服、开门以及抓取篮子等多个极具挑战性的长序列任务上进行了评估。这些任务涵盖了精细捏合、双臂协调、柔性与铰接物体操作以及全身移动配合。

团队将 HumDex 与主流的基于 VR 的遥操作系统进行了对比。在整体数据采集效率上,HumDex 将数据收集时间缩短了 26%,并将遥操作成功率从 74.6% 大幅提升至 91.7%。更重要的是,使用 HumDex 采集的数据训练出的模仿学习策略,最终自主执行成功率达到了 80%,远超基线方案的 57.5%。

视频链接:https://mp.weixin.qq.com/s/BmOlW8IktiNyOEwidE9Mjg

2. 灵巧手重定向对比

为了验证基于学习的手部重定向算法的有效性,团队将其与传统的基于优化的方法进行了定性和定量对比。

在定性评估中,结果直观地显示,在面对如精确捏合等代表性的复杂手部姿态时,传统优化方法往往会发生手指异常耦合甚至彻底失效;而 HumDex 的学习方法则能忠实、稳定地完成追踪,实现更平滑的接触过渡与可靠的单指独立控制。

在定量评估中,团队选取了三个极其依赖精细接触的子任务进行测试。实验数据表明,无论底层追踪硬件是基于惯性传感器还是基于 VR,HumDex 提出的基于学习的手部重定向算法都显著提升了遥操作的成功率。

3. 零样本泛化能力:人类数据带来的质变

在抓取面包的策略评估中,团队重点测试了两阶段训练框架在分布外场景下的零样本泛化能力。测试覆盖了机器人微调数据中从未见过,而人类数据包含的三种情况:未见过的位置(目标物体在桌面上的随机坐标)、未见过的物体(将面包替换为苹果、香蕉或树叶等形状)以及未见过的背景(铺上不同颜色的桌布)。

实验结果表明,仅用机器人单环境数据训练的策略在面对上述变化时性能急剧下降;而采用了两阶段训练(引入人类数据预训练)的策略,在所有分布外场景下的成功率均实现了近两倍的巨大提升。这充分证明了人类数据提供的通用视觉与运动先验能够被有效地迁移到机器人身上,极大地拓宽了策略的泛化边界。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
爆冷3连败!从西部第一跌落神坛,夺冠热门倒下,NBA确实变天了

爆冷3连败!从西部第一跌落神坛,夺冠热门倒下,NBA确实变天了

篮球扫地僧
2026-11-16 16:56:16
局势彻底反转了!中方准时行动,俄也介入了,高市后路已被封,日本成不了军事强国,掀起舆论广泛热议

局势彻底反转了!中方准时行动,俄也介入了,高市后路已被封,日本成不了军事强国,掀起舆论广泛热议

民宿体验志
2026-11-15 19:41:13
皇马连环暴击!穆里尼奥惨遭重创!伯纳乌这下悬了

皇马连环暴击!穆里尼奥惨遭重创!伯纳乌这下悬了

奶盖熊本熊
2026-11-16 09:03:54
旺达喷伊卡尔迪的现女友:你现在花的钱都是我帮伊卡尔迪挣的

旺达喷伊卡尔迪的现女友:你现在花的钱都是我帮伊卡尔迪挣的

懂球帝
2026-11-16 03:11:06
3艘航母,12艘驱逐舰,180架战机全部到达预定作战海域,这仗非打不可?

3艘航母,12艘驱逐舰,180架战机全部到达预定作战海域,这仗非打不可?

聚峰军评
2026-11-16 16:56:20
普京要来参加APEC 俄罗斯女记者先被深圳惊到

普京要来参加APEC 俄罗斯女记者先被深圳惊到

看看新闻Knews
2026-11-16 22:11:12
广州一男子在机动车道上逆行“跑酷”,连续跳上四辆小车后离去,当地:接到相关警情,已移交派出所处理

广州一男子在机动车道上逆行“跑酷”,连续跳上四辆小车后离去,当地:接到相关警情,已移交派出所处理

潇湘晨报
2026-11-16 22:04:09
你赚过最意外的一笔钱是什么?网友:路边哭,哭来几百块!

你赚过最意外的一笔钱是什么?网友:路边哭,哭来几百块!

带你感受人间冷暖
2026-11-17 00:05:22
年薪5800万,却拖累全队!詹姆斯压力变大,你或许该被76人送走

年薪5800万,却拖累全队!詹姆斯压力变大,你或许该被76人送走

老梁体育漫谈
2026-11-17 00:14:30
今年冬天可能是60年以来最反常的冬天,有三大特点,大家要注意

今年冬天可能是60年以来最反常的冬天,有三大特点,大家要注意

铭记历史呀
2026-11-16 01:53:59
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
当下 “发不出工资” 的 4 个行业!比想象中还严重!

当下 “发不出工资” 的 4 个行业!比想象中还严重!

职场资深秘书
2026-11-16 15:09:51
墨西哥总统抵达深圳!中方贴身女保镖又被认出,还是那位河南姑娘

墨西哥总统抵达深圳!中方贴身女保镖又被认出,还是那位河南姑娘

秋枫凋零
2026-11-17 00:34:38
泽连斯基:普京生活在另一个现实里!我不认为特朗普是“克拉斯诺夫”

泽连斯基:普京生活在另一个现实里!我不认为特朗普是“克拉斯诺夫”

鹰眼Defence
2026-11-15 17:13:26
突然,拉升!全球“股王”,传出大消息!

突然,拉升!全球“股王”,传出大消息!

证券时报
2026-11-16 20:20:34
11月16日俄乌最新:有明确证据,纵火令来自俄军情机构?

11月16日俄乌最新:有明确证据,纵火令来自俄军情机构?

西楼饮月
2026-11-16 21:43:00
普京特朗普同时来深圳,中方把三方会晤压在最后,用意很深

普京特朗普同时来深圳,中方把三方会晤压在最后,用意很深

刘振起观点
2026-11-16 14:21:26
深圳中小学秋假明日开始!深圳市教育局发布致家长的一封信

深圳中小学秋假明日开始!深圳市教育局发布致家长的一封信

南方都市报
2026-11-16 20:10:45
场均数据跌至生涯新低,詹姆斯向教练组提了一个请求

场均数据跌至生涯新低,詹姆斯向教练组提了一个请求

日常碎碎念啊
2026-11-17 00:30:27
央视曝光:建筑垃圾侵占基本农田,整改一个月后仍原封未动

央视曝光:建筑垃圾侵占基本农田,整改一个月后仍原封未动

齐鲁壹点
2026-11-16 07:02:45
2026-11-17 01:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14488文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

家居
教育
艺术
房产
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

房产要闻

从林屿间到林屿熙岸,招商蛇口在崖州湾为何总出爆款?

军事要闻

哈马斯拉法旅指挥官死于以军空袭

无障碍浏览 进入关怀版