搜维尔科技：MANUS数据手套高保真人类演示，扩展双手机器人学习

收集灵巧演示数据的挑战

训练通用机器人操作策略需要大量高质量的人类演示数据。然而，许多现有的远程操作系统难以可靠地捕捉灵巧的双手操作。

基于视觉的VR系统，例如Apple Vision Pro，在不同的光照条件下可能会出现腕部追踪抖动、遮挡和手指位置估计不准确等问题。SteamVR追踪虽然精度更高，但需要在环境中放置外部追踪器，限制了便携性。基于标记点的动作捕捉系统，例如Vicon，虽然精度高，但部署成本高昂且复杂。

为了应对这些挑战，卡内基梅隆大学的研究人员开发了BiDex，这是一种便携式双手远程操作系统，旨在收集高质量的演示数据，用于机器人学习。

便携式双手动遥控操作器，配备BiDex

BiDex是一款便携式、低延迟的双手远程操作系统，它将高保真手部追踪与关节级手臂控制相结合，实现了自然的人机运动传递。值得注意的是，MANUS数据手套作为本研究评估的三个系统（包括 Vision Pro、SteamVR 和 BiDex）的通用手部追踪解决方案。这种设计选择使研究人员能够将手臂追踪方法对整体远程操作质量的影响分离出来，而不是将手臂和手部追踪的差异混为一谈。

MANUS手套利用电磁场传感器追踪指尖位置并估算每个手指的关节角度，无需外部摄像头或追踪基础设施。这些数据通过逆运动学实时重新定位，将操作者的手部运动映射到机器人关节空间。在手臂追踪方面，BiDex采用受GELLO启发设计的辅助机械臂，该机械臂能够镜像操作者的手臂运动，并提供精确的腕部姿态和关节测量数据。这种组合实现了对机械臂和灵巧多指手的同步控制。

远程操作性能

由于通过 MANUS 手套保持手部追踪的一致性，因此观察到的系统间性能差异主要归因于每个系统如何处理手臂追踪。在实验中，BiDex 在多项操作任务中均优于 Vision Pro和SteamVR。

在品客薯片交接任务中，BiDex的完成率达到了95%，而SteamVR和Vision Pro的完成率分别为80%和60%，同时BiDex完成任务的速度也显著更快（6.5秒vs.17.5秒和 21.6秒）。在倒瓶任务中，BiDex的成功率也最高（85%），而Vision Pro和 SteamVR的成功率分别为70%和60%。

对灵巧机器人学习的启示

BiDex的研究表明，灵巧机器人学习的关键制约因素往往是演示数据的质量，特别是手臂追踪的精度，而非学习算法或机器人硬件本身。本研究通过MANUS手套保持手部追踪的一致性，仅改变手臂追踪方法，从而提供了比以往研究更清晰的对比。最终得到的系统支持多种便携式双手操作任务，从筷子夹取和敲击到餐具清洗和钻孔，能够收集到流畅协调的演示数据，满足需要精细手部动作和双手交互的需求。

关于搜维尔科技

我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus总部签署代理合作协议，成为其在中国大陆地区的授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。