学术分享丨Science Robotics 麻省理工学院最新研究，从仿真中学习的精确选择、定位和抓放物体的视触觉方法

现有的机器人系统在通用性和精确性两个性能目标上难以同时兼顾，往往会陷入一个机器人解决单个任务的情况，缺乏"精确泛化"。本文针对精准和通用的同时兼顾提出了解决方法。提出了SimPLE(Pick Localize和placE的仿真模拟)作为精确拾取和放置的解决方案。该方法在仅给定物体的计算机辅助设计(CAD)模型的情况下，学习在仿真模拟中拾取、抓取和放置物体。它由三个部分组成：任务感知抓取、视触觉物体位姿估计和手对手抓取的运动规划。

图1 精确拾取和放置

之后使用对象的几何形状在模拟中设计组件，然后将SimPLE转移到真实系统，而不需要任何与对象相关的实际经验。

图2 模拟生成模型

图3 现实中的部署情况

1.任务感知抓取

SimPLE根据场景的深度图像对对映抓取进行采样并计算物体姿态的初始估计。之后，我们使用在模拟中学习到的任务感知质量指标来评估每个采样抓取的质量，并命令机器人执行最佳的反足抓取（图3-A）。任务感知抓取是指选择与拾取和放置任务兼容的抓取。

2.视觉触觉物体位姿估计

一旦抓取到物体，机器人就会接收触觉观察结果并作为输入信号。将触觉图像与初始深度图像相结合，同时对可能抓取的物体姿势分布估计做了更新。（图 3-B）。

3.运动规划

给定物体姿态的最佳估计，之后机器人计算出一组运动，这其中也包括必要的物体重新抓取的情况，并将物体放置在所需的配置之中（图3-C）。最后，机器人执行开环运动（图3-D）。

SimPLE在拾放任务中的实验评估

1.精确拾放任务：

通过精确拾放任务来验证了这一方法，其中需要拾取不同形状的刚性物体并将其精确地放置在刚性夹具上。对于每个测试的对象，SimPLE首先利用该对象的CAD模型并且仅在模拟中学习其感知、掌握稳定性和规划的模型。除此之外，机器人系统由带有平行颌夹具的双臂机器人组成，手指部分安装有触觉传感器。对于每个无碰撞抓取样本，截取了以抓取点为中心对齐的原始深度图像，并将其作为视觉模型的输入。将触觉观察与之前的深度图像相结合，就可以更新物体姿态的视觉估计。最后，采用最佳视觉触觉姿势估计来计算最短路径，并找到了机器人可以执行的最简单的运动计划来放置物体。在15个物体的抓取对SimPLE进行了评估。每个物体进行20次试验。

图5 15个物体

2.基线实验

对于15个物体中的5个，还进行了一组基线实验来评估SimPLE每个核心组件的影响：任务感知抓取、触觉定位和视觉定位。每个基线消除了其中一个组件，但保留了其他两个组件。在触觉基线中，执行任务感知抓取后，姿势估计仅使用触觉信息，而不是同时使用视觉和触觉观察。在视觉基线中，执行任务感知抓取后，姿势估计仅使用视觉信息，而不是同时使用视觉和触觉观察。最后，对于与任务无关的基线，该基线没有使用任务感知的抓取选择，而是根据Dex-Net (2)的抓取质量指标选择抓取。对该基线的感知使用视觉和触觉信息来估计抓取后的物体姿势。

图6 任务感知抓取有助于感知

图7 任务感知抓取提供更好的规划解决方案

结论

在这项工作中提出了一种精确拾取和放置的方法，该方法利用离线计算来实现高度的适应性。使用相同算法以及系统来精确放置从非结构化场景中获取的对象是仍然是许多操纵问题的难题。本文所提及的方法不需要机器人或人类对这些物体的先前经验，展示了可以构建快速适应其他物体而不影响准确性的系统。实验表明，通过视觉触觉感知，在模拟中学习的机器人模型可以成功地转移到真实系统中。与基线相比的结果验证了视触觉传感的需求，以及部署端到端考虑任务要求的策略的好处。

本文由CAAI 认知系统与信息处理专委会供稿