搜维尔科技：用Xsens动作捕捉和Manus数据手套参与双臂遥操作基准

上海人工智能实验室推出的TeleOpBench是一款以模拟器为中心的双臂灵巧远程操作基准测试工具，它并排比较了四种远程操作流程。评估结果表明，使用 Manus公司Xsens Link动作捕捉和Xsens Metagloves手套进行动作捕捉的流程在最短时间内实现了最高的任务精度。

挑战

远程操作工具很难进行公平的比较。不同的硬件、操作人员和任务设置使得我们很难确定哪种界面能够在双臂灵巧操作中提供最佳的速度和精度组合。

解决方案

上海人工智能实验室团队 在NVIDIA Isaac Sim中构建了TeleOpBench，在一套协议和指标体系下，对三台商用机器人（优利机器人H1-2、Fourier GR1-T2、优利G1）进行了30项操作任务，然后在用户研究和一台物理双臂机器人上镜像了一个具有代表性的子集。

主要成果

• 一项基准测试，比较四种流程：动作捕捉（Xsens Link动作捕捉和Manus数据手套）、虚拟现实、外骨骼、单目视觉
• 在本次评估中，动作捕捉技术以最短的完成时间实现了最高的任务精度。
• 针对不同任务、操作员和机器人平台，设计了一种可重复使用的基准测试设置，旨在提高远程操作决策的可靠性。

在构建用于具身机器人学习的双手操作模型时，远程操作通常是获得高质量演示的最快途径。难点不仅在于数据收集，还在于选择一个值得信赖的远程操作界面，并对不同的方案进行公平的比较。

TeleOpBench正是通过引入以模拟器为中心的双臂灵巧遥操作基准测试来弥补这一差距，旨在实现对相互竞争的遥操作流程进行严格和可重复的比较。

TeleOpBench衡量什么以及它为何重要

在现实世界中比较远程操作系统非常复杂。硬件差异、环境设置和任务变化都可能对结果产生重大影响。TeleOpBench使用NVIDIA Isaac Sim来固定环境和机器人模型，然后使用一致的成功标准评估远程操作接口，其中任务成功率和完成时间是主要指标。

为了检验模拟器的结果是否真的能够转化，作者在物理双臂平台上进行了模拟实验，并报告说模拟结果与现实世界的结果高度一致。

基准测试设置简述

机器人：三种市售人形机器人，尺寸和手部设计各不相同：Unitree H1-2、Fourier GR1-T2和Unitree G1

任务：30个双手操作环境，涵盖拾取和放置、工具使用和协作操作，按复杂程度组织，以便对低保真度和高保真度界面进行有意义的比较。

接口：根据同一协议实现的四个代表性管道：

• 动作捕捉（Xsens Link和Manus手套）
• 虚拟现实设备
• 手臂和手部外骨骼
• 单眼视觉追踪

评估方案：TeleOpBench从整套测试套件中选取10个具有代表性的任务，对四名参与者进行用户研究，记录成功率和完成时间。

从概念上讲，这四个远程操作管道

TeleOpBench的优势在于它使交易空间变得具体化

• 视觉追踪技术可以降低硬件需求，但对遮挡和帧速率限制较为敏感。
• 与单眼视觉相比，VR提高了手腕和手部的追踪精度，其性能介于视觉和更高保真度的系统之间。
• 外骨骼具有运动学对准和直接映射的优势，但根据设计的不同，其活动范围也有限制。
• 惯性运动捕捉技术专注于精确捕捉身体各部分的运动，并将其稳健地映射到机器人上。

Xsens Link动作捕捉和Manus数据手套为何脱颖而出

TeleOpBench的动作捕捉流程以Xsens Links和Mnaus手套为核心构建。

• Xsens Link使用17个IMU连接到人体各部位，用于肢体运动跟踪。
• Manus公司的 Xsens Metagloves每只手可提供20个自由度，捕捉手指关节的详细运动。

结果显示

报告的评估结果显示，基于Xsens的方法在平滑度和运动精度方面表现出色，能够准确地完成任务，并且通常耗时最少。

TeleOpBenc还报告称，在绘制完成时间曲线时，惯性MoCap流水线速度最快，并且仿真和实际性能显示出很强的正相关性。

这对工程和机器人团队意味着什么

如果您选择远程操作设置来扩展演示收集，TeleOpBench提供了一种具体的方法来权衡利弊。

• 吞吐量：更快的完成时间可以转化为每位操作员每小时更多的演示。
• 可靠性：更高的成功率可减少数据集构建过程中的无效运行和清理时间。

关于搜维尔科技

我们热衷于动作捕捉技术的研发与推广。我们热衷于推动技术发展，使其处于技术前沿甚至更前沿。在这个频道上，我们想分享我们基于动作捕捉技术的最新体验。搜维尔科技与Xsens总部签署代理合作协议，成为其在中国大陆地区授权代理经销商。搜维尔科技现支持相关产品购买、咨询与售后支持等服务，欢迎垂询。