搜维尔科技：字节跳动公司利用MANUS数据手套推进双手灵巧操作

将视觉-语言-动作策略扩展到具有高自由度灵巧手的双臂机器人，面临着一项根本性的数据挑战。ByteDexterV2机械手每只手拥有21个自由度，构成了一个56自由度的双臂系统，传统的远程操控方法难以胜任。正如字节跳动Seed的研究人员在其GR-Dexter技术报告中指出的那样，当每个末端执行器都是需要精确协调控制的多指拟人化机械手时，难度会显著增加。

为了使基于VLA的通用操作策略能够成功应用于如此大规模的场景，研究人员需要高质量的演示数据来捕捉复杂的手部与物体之间的交互。核心问题在于：如何高效地采集自然流畅的双手灵巧运动轨迹，同时保留训练稳健操作策略所必需的精细手指运动学信息。

‍用于真实机器人数据采集的高保真手部追踪

字节跳动Seed通过在其数据采集流程中采用MANUS Metagloves作为主要手部运动接口，解决了远程操作的难题。该系统结合了用于腕部姿态追踪的Meta Quest VR头显和用于捕捉精细手指动作的MANUS手套，并在手套背面安装了Quest控制器，以提高腕部和手部协同追踪的可靠性。

这种配置使远程操作员能够在执行远距离操作任务时同时控制两台配备ByteDexter V2机械手的Franka Research 3机械臂。MANUS手套捕捉到的人体手部动作通过全身控制器实时重定向到关节位置指令。手部动作重定向被建模为一个约束优化问题，该问题结合了腕部到指尖和拇指到指尖的对齐项以及避障约束，并通过序列二次规划求解。

该远程操作系统在各种任务中均展现出可靠性，从搭建积木等粗略操作到编织、书法等精细动作任务均能胜任。经过少量培训后，远程操作员即可成功完成长时间任务，从而收集到约20小时的高保真机器人轨迹数据，用于梳妆台整理和通用拾取放置实验。

‍数据质量支持跨载体转移

基于MANUS的远程操作流程不仅对收集机器人上的演示数据至关重要，而且对支撑 GR-Dexter 泛化能力的更广泛的数据策略也至关重要。人手与ByteDexter V2设计之间的拟人化对应关系，为利用大规模以自我为中心的手-物体交互数据集开辟了一条充满希望的途径。

GR-Dexter的训练方案结合了远程操控机器人轨迹、视觉语言数据、跨具身演示以及通过VR设备采集的超过800小时的人体轨迹数据。在处理MANUS手套数据时，采用以指尖为中心的重定向方法，既保留了与任务相关的接触几何形状，又不受不同具身关节层面差异的影响。这种对齐策略实现了将异构数据源无缝集成到统一的训练语料库中。

未来方向

字节跳动Seed的实现表明，将高保真手部追踪与拟人化灵巧硬件相结合，可为双手操作研究创建有效的远程操作界面。MANUS手套能够高效地收集演示数据，这些数据对于在高自由度系统上训练VLA策略至关重要。人手和机器人手的结构相似性促进了跨实体迁移，这对于将灵巧操作能力扩展到基于机械臂的系统之外至关重要。

关于搜维尔科技

我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Manus总部签署代理合作协议，成为其在中国大陆地区的授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。