分享丨德国汉堡大学张建伟教授和清华大学孙富春教授团队联合发表RAL论文：基于多模态增强学习的灵巧手多指抓取

本文主要解决了使用高自由度拟人手-臂系统抓取未知物体的问题。这篇文章使用仿真器获得的指尖触觉感应、关节扭矩和本体感知多模态信息作为观测值来训练模型。为了让模型便于从仿真中迁移到现实中，作者把指间触觉信息二值化，关节扭矩等级化。这样就简化了将学习模型迁移到真实机器人上的难度。此外，为了降低模型学习的动作空间，作者采集了一个有各种抓握类型的机器人抓取数据集，然后使用主成分分析计算出一个高维手指运动空间到低维的映射，并将这个映射用于简化机器人多指手的控制。同时，作者应用课程学习（Curriculum learning）方法，在模型训练的过程中调整和随机化抓取物体的姿势。大量的仿真和真实机器人实验表明，这种方法在训练集和未知物体的抓取成功率方面优于不使用增强学习的基线模型。这种学习方法提供了一个鲁棒的多指抓取框架，为后面研究多指灵巧操作提供了基础。

1. 为什么要用多指灵巧手

尽管二指抓取问题已得到广泛研究并达到令人满意的成功率，但多指抓取仍远未解决。人们开始期望机器人能够接近人类的操纵能力。特别是二指手很难完成灵巧操作的任务。因此，为了使机器人达到与人手一样的灵巧性，使其能够有效地抓取不同的物体，并灵活的操作物体，如OpenAI的工作可以使用灵巧手转一个魔方。拟人化手已成为一种很有前景的解决方案，并具有在过去几年的研究中备受关注。

2.工作框架

这个工作的框架如下图所示：

本文的多指手-臂抓取系统图示。最上面的部分展示了仿真训练系统。在仿真中，作者使用多模态信息作为观测数据来训练多指抓取模型。为了简化手部的控制维度并使机器手像人手一样柔性操作，在右下角的块中，展示了使用 Cyberglove 收集 Shadow 手部姿势数据集的示意图。然后基于此数据集进行了主成分分析（PCA），以减少控制机器人手所需的输入维度。左下图说明，真机上的成功抓取实验已证明在仿真环境中训练的模型可以顺利迁移到真实机械手。

3.Shadow手关节

上图是Shadow手的关节图。Shadow手一共有24个关节，其中图中蓝色的关节是两个一组，分别布置在食指，中指，无名指和小拇指上。这4对关节是耦合的，也就是由一个电机控制两个关节的运动。因此Shadow手一共有20个电机控制。相比较二指爪或者机械臂，这是一个非常大的动作空间，如果让机器人自主学习抓取动作会很困难，或者学出的动作很不自然。因此需要使用降维的方法简化机器人的动作空间。

4. 主成分分析（PCA）降维在抓取中的应用

如前所述，高维空间的抓取很难训练，因此需要对手的运动空间进行降维。如图所示，是把Shadow手运动空间降维后前三个主要成分的运动情况。可以看出仅使用前三个运动空间，已经可以表达绝大多数的抓取运动。

5. 多模态抓取策略的训练

从图中可以看出网络的输入是由前一时刻的动作，指尖的接触，关节力和关节角组成的观测值，网络的输出为三个动作：机器人是否向上运动，腕关节的运动和手指关节的运动组成。其中手指关节的运动为降维后的数据，经过拟主成分分析得出手指的各个关节角。

6. 训练结果

如图所示，作者测试了不同的输入模态数对训练的影响。可以看出多模态的网络可以随着训练难度的增加，仍保持稳定（GRU-M3PCA5)。

此图比较了使用GRU和MLP作为网络结构对训练的影响。可以看出基于GRU的模型结果更好。

此图比较了不同的PCA降维对训练的影响，可以看出PCA为5时训练效果最好。这说明了使用PCA的确提高了训练的效果，但降维数不宜过小。这是因为过小的维度使智能体本身可探索的空间变小。

7. 真机实验

由于本文的训练是基于一个相对固定的初始手臂位置开始的，在真机实验中作者们为了实现完全的自主抓取，则需要给定一个手臂初始放置的位置。这里使用了作者们之前的二指抓取工作PointNetGPD [https://arxiv.org/abs/1809.06267] 作为生产初始抓取的方法 （如图左所示）。然后使用了一个固定的座标变换将二指抓取的姿态转换到Shadow手座的腕部标系（如图中所示）。最终的映射示意图为图右。这是最终的抓取截图。

作者简介：

梁洪濯，德国汉堡大学计算机系博士生，主要研究方向：多模态感知，机器人抓取。相关成果在RA-L, ICRA, IROS等上发表。

RA-L论文：Multifingered Grasping Based on Multimodal Reinforcement Learning

原文链接：https://ieeexplore.ieee.org/document/9664242

本文由CAAI认知系统与信息处理专委会供稿