北京
训练人形机器人执行长视野、灵巧的操作任务需要高保真的遥操作数据。虽然大规模人类视频数据集可以提供广泛的运动先验，但关键的微调步骤取决于机器人特定的演示，这些演示将会包含灵巧操作的全部复杂性。
传统的基于虚拟现实的手部跟踪依赖于视觉，这使得其更容易受到追踪遮挡和超出视线范围的影响。在高精度操作场景中，这些跟踪间隙会直接降低数据质量，导致最终降低模型性能。
MANUS手套如何融入ψ₀遥操作系统
南加州大学物理超智能(PSI)实验室建立了一个单操作者全身远程操作框架，该框架有意地分离了三种控制流：上身姿态跟踪、灵巧手控制和局部运动命令。每个流都由专用的感测模态来处理。
MANUS手套专门处理灵巧手控制流。设置工作如下:
1. PICO VR头戴式设备和手腕追踪器可以捕捉头部和手腕的姿态，并将其输入多目标反向运动学解算器，以计算手臂和躯干的配置。
2. MANUS手套捕捉操作者精细的手指运动，覆盖灵巧手的所有自由度。拇指、食指和中指的运动被重定位到安装在宇树G1人形机器人上的三指Dex3-1灵巧手上。
3. 腰部和脚部跟踪器向基于强化学习的下体控制器提供高级运动命令。
通过将MANUS手套与PICO手腕追踪器配对，该团队获得了完整可靠的手和手腕末端执行器姿态，而不依赖于基于视觉的VR手追踪。正如作者在论文中所述:
“这种设计避免了常见的遮挡和超出视线范围问题，并为全身灵巧操作提供了更精确的手部姿势预估。”
为什么手部数据对培训渠道如此重要
域内遥操作数据的质量直接决定了ψ₀行动专家对特定任务的微调程度。文中的三阶段训练方法明确了这种依赖性:
1. VLM的骨干在约为829小时的以人类自我视角录制的视频(EgoDex)上进行预训练，学习广泛的动作表现。
2. 基于流的多模态扩散转换器(MM-DiT)动作专家在人形日常数据集上进行后期训练：约31小时的真实世界人形机器人数据。
3. 动作专家对每个任务的80个遥控演示进行微调，这些演示是使用上述系统收集的。
因为第三阶段完全依赖于遥控数据集，在数据收集时精确的手指跟踪对部署时的操作性能有直接的上游影响。用单个手指转动水龙头、从芯片罐中拉出托盘或在擦拭过程中稳定碗等任务需要手部姿势的高精度，这种精度是基于视觉的跟踪无法持续提供的。
结果
ψ₀接受了八项真实世界的长时间运动操作任务的评估，每项任务包括三到五项连续的子任务，包括抓握、倾倒、旋转、行走、蹲下、搬运、推和拉。该模型优于所有基线，包括GR00T N1.6、π0.5、EgoVLA、H-RDT、扩散策略和ACT，尽管使用了大约十分之一的总训练数据，但平均整体成功率比第二好的基线GR00T N1.6高40%以上。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
