NVIDIA 在 ICRA 上展示几何织物、手术机器人等最新机器人研究

在 5 月 13 日至 17 日于日本横滨举行的 IEEE 国际机器人和自动化大会（ICRA）上，几何织物（geometric fabrics）成为一个热门的讨论话题。几何织物是 NVIDIA 机器人研究实验室成员与合作者共同提交的七篇论文的主题之一，并于 ICRA 上发表。

什么是几何织物？

在机器人领域，经过训练的策略本质上是近似的。它们通常会正确行事，但有时也会使机器人移动得太快、与物体发生碰撞或使机器人左右摇晃，所以无法保证会发生什么。

因此，每当有人在物理机器人上部署经过训练的策略，尤其是经过强化学习训练的策略时，他们都会使用一级低级控制器来拦截来自策略的命令，然后，他们会根据硬件的限制来转换这些命令。

视频 1. 几何织物：

概括经典力学以捕捉行为物理学

在训练 RL 策略时，应在训练过程中使用该策略运行这些控制器。研究人员认为，他们的 GPU 加速 RL 训练工具可以提供的一个独特价值是将这些控制器矢量化，使其在训练和部署过程中都能使用，这正是这项研究的目的所在。

例如，研发人形机器人的公司可能会展示带有低级控制器的演示，这些控制器不仅能平衡机器人，还能防止机器人的手臂撞到自己的身体。

研究人员用于矢量化的控制器来自于过去对几何织物的研究。这篇题为《几何织物：概括经典力学以捕捉行为物理学》的文章在去年 ICRA 上获得了最佳论文奖。

DeXtreme 策略

研究人员在今年的论文中提到的手部操纵任务也来自著名的 DeXtreme 研究。

在这项新工作中，研究人员将这两项研究合二为一，在将几何织物控制器矢量化的基础上训练 DeXtreme 策略，这将使机器人更加安全，能通过名义上的织物行为来指导策略学习，并实现仿真到现实训练和部署的系统化，从而离在生产环境中使用 RL 工具更近一步。

该工作所创建的基础架构，使研究人员能够在训练期间通过快速迭代来获得正确的域随机化，从而成功进行仿真到现实的部署。例如，通过在训练和部署之间快速迭代，研究人员可以调整织物结构并在训练期间添加大量随机扰动力，实现远超先前工作的鲁棒性水平。

在之前的 DeXtreme 工作中，现实世界的实验证明对物理机器人来说非常困难。机器人在实验过程中会发生电机和传感器磨损情况，并改变底层控制行为。曾经有一次，机器人甚至出现损坏并开始冒烟！

有了几何织物控制器作为策略基础并保护机器人，研究人员发现他们可以更自由地部署和测试策略，不必担心机器人出现自毁现象。

如要了解更多信息，请参见几何织物：策略学习的安全指导媒介：

https://arxiv.org/abs/2405.02250

或观看DeXtreme 示例视频：

https://dextreme.org/fgp

ICRA 上的其他机器人研究

今年提交的其他值得关注的论文如下：

• SynH2R
• 看不见但记得住
• 点云世界模型
• SKT-Hang

SynH2R

SynH2R 的作者提出了一个框架，用于生成适合训练机器人的真实人类抓取动作。如要了解更多信息，请参见：SynH2R：合成用于学习人机交接的手 - 对象运动：

https://arxiv.org/abs/2311.05599

视频 2. SynH2R：

合成用于学习人机交接的手 - 对象运动

看不见但记得住

RDMemory 的作者测试了机械臂对之前看到但后来被遮住的对象的反应，以确保它能够在各种环境中做出可靠的反应。这项工作同时用到了仿真和现实实验。

如要了解更多信息，请参见看不见但记得住：利用具有视频追踪功能的记忆模型对未观测到的对象进行推理和规划：

https://arxiv.org/abs/2309.15278

或观看RDMemory 示例视频：

https://sites.google.com/view/rdmemory

点云世界模型

点云世界模型研究人员建立了一个新颖的点云世界模型（PCWM）和基于点云的控制策略。结果表明，这些策略可以提高机器人学习器的性能、缩短学习时间和增强鲁棒性。

如要了解更多信息，请参见点云模型提高机器人学习器的视觉鲁棒性：

https://arxiv.org/abs/2404.18926

SKT-Hang

SKT-Hang 作者研究的问题是如何使用机器人将各种物体挂到不同的支撑结构上（图 1）。虽然这个问题看似很容易解决，但物体形状和支撑结构的变化会给机器人带来多重挑战。

图 1. SKT-Hang 的机器人展示了 各种物体以及如何以不同角度悬挂它们

如要了解更多信息，请参见SKT-Hang：通过对象识别语义关键点轨迹生成技术来悬挂日常物体：

https://arxiv.org/abs/2312.04936

和/HCIS-Lab/SKT-Hang GitHub repo：

https://github.com/HCIS-Lab/SKT-Hang

视频 3. SKT-Hang：

通过对象识别语义关键点轨迹生成技术来悬挂日常物体

具有手术精度的机器人

几篇新的研究论文介绍了机器人在医院手术环境中的应用。

ORBIT-Surgical

ORBIT-Surgical 是一个基于物理学的手术机器人仿真框架，借助NVIDIA Omniverse平台上的NVIDIA Isaac Sim实现逼真渲染。

它利用GPU并行化来训练强化学习和模仿学习算法，这些算法有助于研究机器人学习，增强人类手术技能。它还能生成适用于主动感知任务的逼真合成数据。研究人员演示了使用 ORBIT-Surgical 仿真转现实功能将学习到的策略转移到 dVRK 实体机器人上。

ORBIT-Surgical 的基础机器人仿真应用将以免费开源软件包的形式发布。

如要了解更多信息，请参见ORBIT-Surgical：一个用于学习如何提高手术灵巧性的开放仿真框架：

https://orbit-surgical.github.io/

视频 4. ORBIT-Surgical：

一个用于学习如何提高手术灵巧性的的开放仿真框架

DefGoalNet

DefGoalNet 论文重点介绍了形状伺服控制，这是一项专门控制对象以创建特定目标形状的机器人任务。如要了解更多信息，请参见DefGoalNet：从可变形对象操纵演示中学习上下文目标：

https://arxiv.org/abs/2309.14463

视频 5. DefGoalNet：

从可变形对象操纵的演示中学习上下文目标

NVIDIA 机器人技术合作伙伴在 ICRA

NVIDIA 机器人技术合作伙伴在 ICRA 上展示了他们的最新开发成果。

总部位于苏黎世的 ANYbotics 展示了其 ANYmal Research 项目，该项目提供一个让用户能够访问 ROS 系统底层控制的完整软件包。ANYmal Research 是一个由数百名在顶尖机器人研究中心工作的研究人员组成的社区，包括波士顿动力 AI 研究所、苏黎世联邦理工学院和牛津大学等。

总部位于慕尼黑的 Franka Robotics 重点展示了与NVIDIA Isaac Manipulator的合作成果。这个基于NVIDIA Jetson的 AI 伴侣能够为机器人控制和适用于 Matlab 的 Franka 工具箱提供助力。

Enchanted Tools 展示了其由 Jetson 驱动的 Mirokaï 机器人。

图 2. 在 CES 2023 上展出的 Mirokaï 机器人（来源：Enchanted Tools）

了解更多信息

NVIDIA 机器人研究实验室位于西雅图，重点研究机器人操纵、感知和基于物理学的仿真。该实验室隶属于 NVIDIA 研究部门。NVIDIA 研究部门在全球拥有 300 多名顶尖研究人员，主要研究领域包括 AI、计算机图形学、计算机视觉和自动驾驶汽车等。