MANUS数据手套弥合灵巧手训练中虚拟模拟与现实应用的差距

本文将通过研究论文“通过Sim-to-Real传输，使用灵巧手进行关节式工具的手动操作”中的内容，描述使用Manus数据手套操作灵巧手的技术结果和方法，该案例全部基于作者发现所表述。

机器手使用人类工具

机器人学的一个主要目标是开发能够在以人为中心的环境中有效运行的系统。为此，机器人必须能够与专为人手设计的工具互动。掌握工具操作允许机器人在日常环境中执行多种任务，并超越传统的工厂自动化。

在这项研究中，加州大学圣地亚哥分校通过使用比人手自由度更少的机械手实现关节式工具的灵巧手动操作来探索这一挑战。

挑战

对于人类来说，使用剪刀或镊子感觉毫不费力。然而，对于机器人来说，使用带有活动关节的铰接工具带来了巨大的挑战，原因在于:

1. 极其复杂的接触动力学

内部关节摩擦、静摩擦、间隙和小的结构间隙很难精确建模，从而导致模拟和真实世界之间的严重不匹配。

2. 模拟到真实的传输差距很大

在模拟中表现良好的策略在物理硬件上往往会遇到困难或失败，因为物理属性的微小差异会导致较大的行为偏差。

MANUS数据手套解决方案

为了解决机器人初始化抓取姿态不稳定或不一致的问题，UCSD团队将MANUS Metagloves Pro整合进他们的工作流程：

手套被用作手部跟踪器，以提供远程操作演示。

它们提供了工具操作的初始抓取配置。

每当机器手不能可靠地实现稳定抓取时，他们就会初始化关节对象状态。

Manus在三阶段训练框架中的位置

研究小组设计了一个三阶段训练框架，MANUS手套通过在需要时提供人类演示的初始抓握动作推动了这一过程。

阶段1:模拟训练和干扰注入

使用完美对象姿态信息特权策略。

添加随机的力和扭矩以提高真实性。

每当机器人不能自主固定工具时，团队就使用MANUS手套为遥控演示提供一致的、可行的初步理解。

阶段2:策略升华到仅本体感受

仅使用联合立场和简单命令，将特权政策提炼为学生政策。

移除特权信息，以便能够在真实机器人上部署。

阶段3: CATFA触觉适应

引入CATFA(交叉注意触觉力适应)，融合触觉信号和电机扭矩反馈。

实现在线微调、干扰补偿和稳定接触控制。

(a)研究工作流程概述。模拟培训和政策提炼；(b)通过CATFA模块在硬件上进行在线调整。

结果

在手术钳、缝合器、腹腔镜器械等领域，CATFA系统取得了持续良好的使用效果。具有挑战性的工具的成功率从大约20-30%上升到100 %，而已经表现良好的任务则获得了额外的稳定性和精确性。

未来影响

在这项研究中，MANUS Metagloves Pro在机器人努力建立自主抓握时，通过提供可靠的、人类演示的初始抓握姿态来支持训练过程。这种工作流程得益于Manus高精度的手部姿态捕捉方案，Manus可以再现自然的人手动作，并捕捉铰接工具所需的细微抓握变化。通过使用平稳集成到机器人管道中的远程操作演示系统，研究人员能够确保每次试验的稳定开始状态，这实现了有效的机械学习和虚拟模拟到现实应用的转移。

在这项研究之外，使MANUS适用于抓取初始化的相同特征也支持机器人、数字人研究、VR和AR交互以及康复技术中更广泛的应用。MANUS手套为捕捉人手运动并将其转换为可用于训练、远程操作和交互控制的数据提供了一个自然的界面。