Intrinsic Flowstate 和 NVIDIA Isaac Manipulator 实现智能取放自动化

NVIDIA 宣布与 Intrinsic.ai 就工业机器人任务的基础技能模型学习展开合作。

工业制造中的许多拾取和放置问题仍然由人类操作员解决，为这些任务而编程机器人仍具有挑战性。例如，在机器维护环境中，作为复杂的多步骤零件制造过程的一部分，协作机器人可以用来从料仓中挑选原材料零件，并将其送入数控机床或弯曲机。

这类机器人可以使用基础模型进行编程，从而实现基础模型在物体零件、机器人形态和现实世界的工业环境等方面显著的通用性。

本文介绍了使用NVIDIA Isaac Manipulator生成抓取姿势和机器人运动的工作流，首先在NVIDIA Isaac Sim中进行仿真，然后在现实世界中使用 Intrinsic Flowstate 执行。

感知也是通过 Flowstate 完成的，在 Flowstate 中，我们使用对象姿态估计包来获得杂乱场景中可抓取对象的位置和方向。

在本文中，我们在一个具有挑战性的智能取放应用程序上演示了该系统：一个机器人在杂乱的垃圾箱中抓取金属零件，并以精确的放置姿势将其区分。这些薄金属片本身很难被感知，因为一般的深度相机难以处理镜面，同时操作也有难度，因为需要使用吸盘夹具而不是手指。

用于抓取和运动生成的

Isaac Manipulator

为了生成真空抓取的合成数据，我们使用了金属片和吸盘的 CAD 模型。在仿真过程中，我们针对每个物体尝试数千种抓取方式，并找到最优的解决方案。

良好的吸盘需要密封并避免金属板上出现的孔洞，我们还想避免金属板在运输过程中的晃动，这也是在仿真中需要确保的。

图 1. Isaac Sim 中的抓握示例

在生成了一组密集的抓取姿势后，我们使用物体姿势信息将其转换为机器人框架。然后，我们使用 CUDA 加速运动生成库NVIDIA cuMotion（由 cuRobo 提供支持）生成无碰撞轨迹，以移动机器人并实现其中一个目标抓取姿势。

其中一些姿势可能在运动学上无法实现，或者可能会发生碰撞，cuRobo 在规划轨迹时会对这两种情况进行过滤。作为参考，cuRobo 可以在 NVIDIA RTX 40 系列显卡上快速生成运动计划，仅需 30 毫秒。

在 Isaac Sim 中进行评估

我们首先在 Isaac Sim 中评估了工作流。仿真机器人来自配备有吸盘的定制 Kuka K10 机械臂的 CAD 文件。物体被随机定位，以仿真现实世界中的垃圾箱拣选场景。

我们没有使用物体检测器，而是直接从仿真器中获取物体姿态信息。我们利用了有关物体类型的地面实况信息，根据物体的初始姿态确定最佳可触及抓手。

视频 1. NVIDIA Isaac Sim 中的智能拾放功能

利用 Intrinsic Flowstate

在现实世界执行

我们的工作流直接从仿真转移到现实世界中的工作单元。实际的硬件设置包括一个外部校准的顶置多摄像头系统和一个配备吸盘的 Kuka K10 机械臂。

使用 Intrinsic Flowstate 中的原生对象姿态估计包来检测片状金属物体的位置。然后，使用 Isaac Manipulator 来计算对象的抓取位置，并计划一个无碰撞的轨迹来执行抓取任务。

最后，我们通过 Flowstate 中的位置控制器在机械臂上执行该机器人轨迹。总的来说，在演示中实现了大约 8 秒/次拾取的循环时间。

视频 2. 用于 Intrinsic Flowstate 的

基于 NVIDIA 基础模型的抓取技能

展望未来

我们计划将框架扩展到更高级的智能拾放功能，例如机器维修。在这个例子中，机器人必须将抓取的物体精确地放置在某个位置或固定装置上，以便机器进行下游处理。

欲了解更多信息，请参阅Isaac Manipulator：

https://developer.nvidia.com/isaac/manipulator

以及来自Intrinsic 的发布：利用 AI 解锁工业自动化的新价值：

https://www.intrinsic.ai/blog/posts/unlocking-new-value-in-industrial-automation-with-ai

视频 3. NVIDIA Isaac Sim 中机器维修的拾放操作