使用新 NVIDIA Isaac 基础模型和工作流创建、设计和部署机器人应用

机器人技术在智能制造设施、商用厨房、医院、仓储物流和农业领域等各种环境中的应用正在迅速扩大。该行业正在向智能自动化转型，因此要求机器人具备更强的能力来执行感知、测绘、导航、负载处理、物体抓取、复杂装配任务等功能。

AI 由于能够增强机器人的性能，因此在这一发展演进过程中起到了举足轻重的作用。通过集成 NVIDIA AI 加速功能，机器人能够以更高的精度和效率处理复杂的任务，充分发挥出它们在各种应用中的潜能。

NVIDIA 在 COMPUTEX 上发布了几项新功能来帮助机器人专家和工程师打造智能机器人，包括：

• NVIDIA Isaac Perceptor：一款适用于自主移动机器人（AMR）和自动导引车（AGV）的全新参考工作流。
• NVIDIA Isaac Manipulator：为工业机械臂提供全新的基础模型和参考工作流。
• NVIDIA Jetson for Robotics：在 NVIDIA JetPack 6.0 中进行了最新更新。
• NVIDIA Isaac Sim 4.0：带来适用于机器人学习的轻量级应用 NVIDIA Isaac Lab。

视频 1. 全球机器人开发领域的领先者正在采用 NVIDIA Isaac

来研究、开发和生产新一代 AI 机器人

NVIDIA Isaac Perceptor

AMR 和 AGV 对装配线效率、材料搬运和医疗物流至关重要。由于这些机器人需要在复杂的非结构化环境中穿梭，因此必须具备对周围环境的感知和反应能力。

Isaac Perceptor 建立在 NVIDIA Isaac 机器人操作系统（ROS）上，能够帮助原始设备制造商（OEM）、货运服务供应商、软件厂商和 AMR 生态系统加速机器人技术的开发。开发团队可以为移动机器人加入感知能力，使其能够在非结构化环境中成功导航和避障。

Isaac Perceptor 的早期合作伙伴中既有仓储/内部物流行业的领先企业，也有汽车制造商、工业机器人制造公司和机器人解决方案提供商，例如 ArcBest、比亚迪电子、Gideon、凯傲、Kudan、idealworks、RGo 和泰瑞达机器人。

Isaac Perceptor 的关键功能

Isaac Perceptor 为基于 AI 的自主移动机器人提供多摄像头 3D 环视功能。

基于 AI 的多摄像头深度感知

Isaac Perceptor 能够以 30 赫兹的频率，每秒处理每个摄像头的 1650 万个深度点。立体视差是根据来自立体摄像头的同步图像对计算得出的，并将其用于生成深度图像或场景点云。高效半监督深度神经网络（ESS DNN）为基于 DNN 的立体视差提供了 GPU 加速软件包。

图 1. ESS DNN 检测 5 米处的障碍物

多摄像头视觉惯性测距

Isaac ROS Visual SLAM 提供用于视觉同步定位与映射（VSLAM）和视觉里程测量（VO）的 ROS 2 软件包。该功能基于NVIDIA CUDA Visual SLAM（cuVSLAM）库，在无特征环境中导航时，可提供平移误差小于 1% 的稳健导航。

众所周知，VSLAM 解决方案所面临的挑战之一是在视觉特征稀疏或模式重复的环境中导航。通过融合来自多个视角的输入，可以缓解这一问题。在最新的更新中，cuVSLAM 融合了来自多个立体摄像头的并发视觉里程测量估算值。

我们的测试结果显示出明显的改进。使用多个摄像头时，机器人始终能够实现导航目标；而使用单个摄像头时，这一比例不到 25%。

表 1 cuVSLAM 与 FRVO、S-PTAM 和 ORB-SLAM2 的性能比较。cuVSLAM 在使用多摄像头的机器人导航中展现出更强大的性能

在GitHub 页面了解更多信息：

https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_visual_slam/isaac_ros_visual_slam/index.html

图 2. Isaac ROS Visual SLAM 使用一个摄像头与使用两个摄像头和四个摄像头的比较

实时多摄像头体素网格映射

Isaac Perceptor 的核心是 nvblox，它是一个由 CUDA 加速的 3D 重构库，可以识别五米以外的障碍物，从而提供 2D 成本图并在 300 毫秒内完成更新。

Isaac ROS nvblox 提供了用于重建 3D 场景和生成进行导航的本地障碍物成本图的 ROS 2 软件包。该软件包可用于静态环境以及有人员和移动物体的场景。

该版本新增了多摄像头支持，最多可使用三个 HAWK 摄像头扩大覆盖范围，提供约 270° 的视野。

有关更多信息，请访问Isaac ROS nvblox 文档：

https://isaac_ros.gitlab-master-pages.nvidia.com/isaac_ros_docs/repositories_and_packages/isaac_ros_nvblox/index.html

图 3. 使用 Isaac ROS Nvblox 进行体素 3D 重建，包括悬置障碍物的重建

NVIDIA Nova Orin 开发者套件

该开发者套件采用NVIDIA Jetson AGX Orin，可支持多达六个摄像头，包括三个立体摄像头和三个鱼眼摄像头，摄像头内的延迟低于 100 微秒。

立体摄像头的分辨率为每台 200 万像素，视野为 110X70，适用于 3D 占用网格映射、深度感知、视觉里程测量和人员检测。通过 Segway 或 Leopard Imaging 购买Nova Orin开发者套件后，即可使用 Isaac Perceptor。

Isaac Perceptor 的参考图最多可支持三个立体摄像头。该版本通过 ROS 2 软件包加强了模块化，并提供与 Nova Carter 参考机器人上的 Nav2 的参考集成：

https://nav2.org/

增强与摄像头和传感器的兼容性

Isaac Perceptor 为摄像头和传感器合作伙伴提供更加强大的集成支持。Orbbec 成功地将其 Gemini 335L 摄像头与 NVDIA Isaac Perceptor 组件集成在一起，并在 NVIDIA Jetson AGX Orin 上使用 Isaac ROS Visual SLAM 和 Nvblox 进行了演示。

LIPS 也成功地将其 AE450 摄像头与 Isaac Perceptor 组件 nvblox 进行了集成。

NVIDIA Isaac Manipulator

Isaac Manipulator 是 NVIDIA 加速库和 AI 模型的一个工作流。开发者能够使用它为机械臂或机械手带来 AI 加速功能，使其能够无缝感知、理解环境并与环境互动。

其基础模型和加速库可以作为独立模块，也可以集成为解决方案开发中的整个工作流。除了独立的模块化组件外，开发者还能获得工作流示例（ROS 2 启动脚本），这些示例结合了 Isaac Manipulator 组件，能够实现完整的端到端参考集成。

图 4. 利用 NVIDIA 组件（绿色）的 Isaac Manipulator 工作流示例

Isaac Manipulator 的早期合作伙伴包括机器人开发平台公司、原始设备制造商和 ISV/SI，例如 Intrinsic（Alphabet 旗下公司）、西门子、所罗门、达明机器人、泰瑞达机器人、Vention 和安川电机。

Isaac Manipulator 的主要特点

Isaac Manipulator 带来了可加速机械臂开发的 AI 功能。

cuMotion 加速路径规划

这款 GPU 加速运动规划器有助于缩短周期时间。cuMotion 可作为 MoveIt 2 运动规划框架的一个插件使用，该框架是由一个国际社区开发的开源项目，并由 PickNik Robotics 领导。

cuMotion 可在多个种子上并行运行轨迹优化，并返回最佳解决方案。

图 5. PickNik MoveIt 2 的 NVIDIA cuMotion 插件

所罗门是先进视觉和机器人解决方案领域的领先企业，同时也是 Isaac Manipulator 的早期合作伙伴。与传统算法相比，其拾取系统通过 Isaac Manipulator cuMotion 的增强，路径规划速度提高了 8 倍，路径奇异性的发生率降低了 50%。

表 2. 使用 Isaac Manipulator 的所罗门拾取系统的性能提升情况。

所罗门在成功率、移动时间、轨迹长度和规划时间方面都有明显改善，路径奇异性现象也有所减少。该数据由所罗门公司提供。

FoundationPose

FoundationPose 是一种新的统一基础模型，适用于单样本 6D 姿态估计和新物体追踪。该模型在遇到以前未见过的物体时，无需进行微调即可在应用中高精度地工作。

目前，FoundationPose 在 2023 BOP 未见物体 6D 定位排行榜上名列前茅。它在遮挡、快速运动以及纹理和比例等各种物体属性下都具有很强的鲁棒性，在各种场景中都能发挥可靠的性能。开发者可以从任何角度生成逼真的物体视图。从 GitHub 获取 FoundationPose 模型：

https://nvidia-isaac-ros.github.io/repositories_and_packages/isaac_ros_pose_estimation/index.html

图 6. 使用 NVIDIA FoundationPose 进行姿态估计和追踪

SyntheticaDETR

SyntheticaDETR 是一套基于实时检测转换器（DETR）的模型，用于在使用NVIDIA Omniverse生成的合成数据上进行单样本图像空间物体检测训练。与传统的物体检测器相比，它采用转换器编码器-解码器架构一次性预测所有物体，从而实现了一种更加高效的方法。

图 7. 使用 SyntheticaDETR 进行物体检测和追踪

SyntheticaDETR 使用合成数据和真实数据进行训练而成。它在使用 YCB-Video 数据集对可见物体进行 2D 检测的 BOP 排行榜上名列前茅（平均精确度为 0.885，平均召回率为 0.903）。

这些模型还可以将物体检测为 NVIDIA FoundationPose 等姿态估计器的 2D 边界框感兴趣区域。下载SyntheticaDETR 模型：https://catalog.ngc.nvidia.com/orgs/nvidia/teams/isaac/models/synthetica_detr

下载 Isaac Manipulator：

https://developer.nvidia.com/isaac/manipulator

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0，并支持所有 NVIDIA Jetson Orin 模块和开发者套件。

NVIDIA Jetson 平台服务即将推出 API 驱动的模块化服务，使用户能够更加快速、轻松地构建生成式 AI 和机器人应用，这些预构建和可定制的服务将加速 NVIDIA Jetson Orin 系统模块上的 AI 应用开发。

NVIDIA Isaac Sim 4.0

使用 Isaac Sim，开发者可以通过业界领先的传感器和机器人类型测试生成合成数据和各种虚拟复杂测试环境，从而进行高度逼真的仿真，同时对数千个机器人进行实时测试。

NVIDIA Isaac Lab

Isaac Lab 是一款基于 Isaac Sim 平台构建的轻量级参考应用，它在机器人基础模型训练中发挥着举足轻重的作用。Isaac Lab 支持强化学习、模仿学习和迁移学习，它可以训练各种机器人模型以供开发者研究设计和功能。

新版本还通过兼容性检查器实现与 VSCode 的轻松集成、为强化学习提供多 GPU 支持、通过 RTX 传感器平铺渲染提高性能，并提供优化的缓存和着色器管理。

Isaac Sim 的其他新特点包括：

• 便于使用 PIP 安装以及机器人导入等功能的向导
• 合成数据生成（SDG）速度提高了 80%，从而提高了性能
• 新的 SDG 格式，支持 COCO 格式和用于姿态估计的自定义写入器
• ROS 2 启动支持，提供端到端工作流并为基于图像的发布器提供更好的性能
• 支持更多内置机器人：包括优傲机器人 UR20 和 UR30 以及波士顿动力 Spot。还有许多人形机器人，包括 1X Neo、宇树 H1、Agility Digit、傅利叶智能 GR1、Sanctuary A1 Phoenix 和小鹏 PX5。

立即开始使用

开发者需要先下载 Isaac ROS、Isaac Perceptor、Isaac Manipulator 和 Isaac Sim 才能开始使用。

其他资源：

• 参见最新的 Isaac ROS版本说明：https://nvidia-isaac-ros.github.io/releases/index.html
• 文档：https://nvidia-isaac-ros.github.io/index.html
• 开发者论坛技术网络研讨会点播中了解关于 Isaac ROS 的更多信息：https://forums.developer.nvidia.com/c/agx-autonomous-machines/isaac/isaac-ros/600；
• https://gateway.on24.com/wcc/experience/elitenvidiabrill/1407606/3998202/isaac-ros-webinar-series?partner-ref=product-page