NVIDIA Isaac 发布更新：进一步推动机器人学习、感知与操控

在 2025 CES，NVIDIA 宣布了对NVIDIA Isaac的重要更新。NVIDIA Isaac 是一个由加速库、应用框架和 AI 模型组成的平台，可加速 AI 机器人的开发。

NVIDIA Isaac 简化了从仿真到实际部署的机器人系统开发流程。本文将聚焦 NVIDIA Isaac 的更新：

• Isaac Sim
• Isaac Lab
• Isaac Manipulator
• Isaac Perceptor

Isaac Sim 4.5 的更新

NVIDIA Isaac Sim 是一款基于NVIDIA Omniverse构建的参考应用程序，用于在基于物理的虚拟环境中开发、仿真和测试由 AI 驱动的机器人。

将于 1 月底推出的全新 Isaac Sim 4.5 将有一系列重大更新，包括以下内容：

• 参考应用程序模板
• 改进的 URDF 导入和设置
• 改进的物理仿真和建模
• 新的关节可视化工具
• 仿真精度和统计数据
• NVIDIA Cosmos世界基础模型

参考应用程序模板

Isaac Sim 已被重新设计为可定制的参考应用程序。提供了一个启动速度更快的简化模板，以及一个具备完整功能和所有依赖项的完整模板。支持根据具体需求调整应用，无论是用于无界面应用程序还是完整的 Isaac Sim 体验。

改进的 URDF 导入和设置

URDF 导入工具有了显著改进。优化用户界面，以提供更流畅的导入流程，并与其他格式的导入方式保持一致。同时，支持单独配置关节驱动器，导入后机器人即可立即使用。为了辅助关节驱动配置，还提供了基于固有频率的调谐选项。

优化的物理仿真和建模

Isaac Sim 4.5 在物理建模和仿真方面有了重大进展。用户可以定义和配置机器人组件之间的各种关节类型，设置诸如刚度和阻尼等参数，以微调关节行为。

新增关节可视化工具

新增的关节可视化工具可检查选定对象的物理属性，包括其位置、旋转、线速度和角速度以及加速度。此外，还能优化场景参数，如可变形表面或内存使用情况，在运行仿真前进行排查。

图 1.所选对象的各种属性及其与其他对象的关联

仿真精度和统计功能

新的刚体和关节动量守恒的实现，显著提升了仿真精度。

开发者能够可视化对象和场景的仿真统计数据，这些对象和场景可以相互交互，也可以完全独立。通过查看从可变形表面到缓冲区中使用的总体内存等不同参数，有助于在运行仿真之前排查问题和优化场景。

图 2.给定场景内的仿真统计数据

NVIDIA Cosmos 世界基础模型

在 CES 上宣布的 NVIDIA Cosmos 平台，结合 Isaac Sim 可生成大量可控的合成数据，可用于训练机器人感知系统。

在 Isaac Sim 中，可以通过统一各种数据输入（包括 CAD、激光雷达点云扫描以及从诸如 Edify 3D 等 AI 模型生成的 3D 对象）来构建适合仿真的 3D 场景。之后，通过编排和设置场景，以反映机器人必须执行的特定任务，并渲染图像或视频。

Cosmos 可以摄取图像和视频，并输出逼真的视频片段，然后用于策略模型的再训练。

视频 1.NVIDIA Cosmos：用于物理 AI 的世界基础模型平台

Isaac Lab 2.0 的更新

NVIDIA Isaac Lab是一个用于机器人学习以训练机器人策略的开源统一框架。Isaac Lab 基于 NVIDIA Isaac Sim 构建，帮助开发者和研究人员更高效地构建具备强大感知能力、且经过仿真训练策略的智能、适应性强的机器人。

本月底将推出新版 Isaac Lab 2.0，其在性能和可用性方面的改进如下：

• 平铺渲染：平铺渲染速度提升高达 1.2 倍，它将来自同时进行的仿真的输出合并为一张打大图像，而不是处理来自各个摄像头的众多小图像。
• 用户体验优化：通过 Python 包管理器简化安装流程。此外，Isaac Lab 将以容器形式提供，支持在不同系统间无缝迁移工作负载，无需依赖底层环境。

此次 CES 上首次发布了NVIDIA Isaac GR00T Blueprint，人形机器人开发者现在可以利用该Blueprint，通过少量人类示范构建自定义数据管线，生成大量合成轨迹数据。目前，GR00T Blueprint 还处于仅限受邀用户访问的阶段。加入人形机器人开发者计划，以便在其进入测试版时获取使用权限。

视频 2.使用 NVIDIA Isaac GR00T 简化数据收集

Isaac Manipulator 的更新

NVIDIA Isaac Manipulator基于 ROS 2 构建，包括NVIDIA CUDA加速库、AI 模型和参考工作流。通过这一工具，可以构建 AI 驱动的机械臂，这些机械臂能够感知、理解并与周围环境进行交互。

Isaac Manipulator 现在包含用于拾取和放置以及物体跟踪的全新端到端参考工作流，能够支持快速进行基本的工业机械臂开发任务：

• 物体跟踪：展示了机器人夹爪在避开障碍物的同时，能保持与移动物体的相对位置。
• 拾取和放置：展示了机器人如何在避开障碍物的情况下拾取物体并将其放置在预定区域（图 3）。

图 3.基于感知的拾取与放置

Isaac Sim 现在已经支持以上参考工作流，无需设置物理硬件即可进行快速测试。

开发者支持和其他改进包括以下：

• FoundationPose 的性能改进
• 针对机械臂用例对 nvblox 的更新
• 机器人手眼校准教程
• 基于 Isaac Sim 的工具，用于为夹爪与物体组合设置和仿真自定义抓取动作。

Isaac Perceptor 的更新

NVIDIA Isaac Perceptor 基于 ROS 2 构建，包括一系列 NVIDIA CUDA 加速库、AI 模型和参考工作流，用于开发自主移动机器人（AMR）。它使 AMR 能够在诸如仓库或工厂等非结构化环境中进行感知、定位和操作。

Isaac Perceptor 包含 CUDA 加速库，如用于 3D 场景重建的 nvblox 和用于立体视觉惯性 SLAM（同时定位与地图构建）的 cuVSLAM，开发者可以将这些库集成到现有的 AMR 工作流中。

Isaac Perceptor 的最新更新显著提升了 AMR 在诸如仓库等动态环境中的环境感知能力和操作效率。主要的新功能和改进包括：

• 全新的端到端视觉 SLAM 参考工作流
• 关于使用多个摄像头运行 nvblox 进行 3D 场景重建（含人员检测和动态场景元素）的新示例
• 通过在多个 RGB-D 相机上运行 Isaac Perceptor 改进 3D 场景重建

这些更新显著提升了 3D 场景重建能力，使得在真实场景以及复杂多变的环境中，3D 场景捕捉与地图绘制性能的精度和稳定性都得到了提高。

图 4.基于多摄像头的 3D 场景重建

NVIDIA 生态系统合作伙伴，如奥比中光、立普思（Realsense）、StereoLabs（Zed）提供兼容的摄像头。开发者支持还包括“使用 Isaac Perceptor 进行建图与定位”教程，该教程介绍如何利用 Nova 传感器，结合 cuVGL 和 cuVSLAM 库实现离线建图功能。

生态合作伙伴的应用情况

多个行业合作伙伴已宣布将 NVIDIA Isaac 集成到他们的平台和解决方案中：

• 波士顿动力正在通过 Isaac Lab 和 NVIDIA Jetson AGX Orin，把仿真策略直接部署用于推理，从而简化了部署过程。
• 为了训练 GR-1 和 GR-2 人形机器人，傅利叶团队使用 NVIDIA Isaac Gym（现已弃用）进行强化学习。他们目前正在将其工作流迁移到 NVIDIA Isaac Lab。
• Foxglove在 Isaac Sim 中开发了一个扩展程序，可实现将机器人仿真数据实时可视化，并直接在 Foxglove 平台上呈现。
• Main Street Autonomy的 Calibration Anywhere 软件使用 Isaac Perceptor 实现了传感器校准自动化，改进了机器人的传感器融合。
• Miso Robotics使用先进的机器人技术、Isaac Manipulator 和NVIDIA Isaac ROS实现了厨房任务自动化，提高了商业厨房的效率、标准化和客户满意度。
• RGo Robotics和 NVIDIA 正在使用 Isaac Perceptor 和 Isaac ROS，通过先进的 AI 和感知技术改造移动机器人。
• Scaled Foundations作为 NVIDIA 初创加速计划的成员，开发了通用机器人智能开发（GRID）平台，这是一个先进的基于云的平台，可加速机器人 AI 解决方案的开发。GRID 无缝集成了 Isaac Sim 和 Isaac Lab 技术，为机器人开发者和研究人员提供了一个端到端的平台，用于训练、仿真和部署他们的机器人应用程序。想要了解更多信息，请参阅基于 GRID 平台的 NVIDIA Isaac Sim。
• Virtual Incision正在使用包括 Holoscan、IGX、Sensor Bridge、Isaac Sim 在内的 NVIDIA 平台，并在探索使用 Cosmos 进行训练、仿真和测试，同时也在探索适用于下一代辅助机器人手术设备的推理 AI 功能。
• NVIDIA 初创加速计划成员、深度科技初创公司Wandelbots正在利用其操作系统 Wandelbots NOVA 构建定制化机器人仿真，该系统能够与 Isaac Sim 实现无缝集成。

即刻开始开发您自己的

机器人解决方案

加入 NVIDIA 开发者计划，获取有关其他资源和参考架构的更新，助力实现开发目标：

https://developer.nvidia.cn/developer-program

• NVIDIA Cosmos 可实现为物理 AI 系统构建自定义世界模型，其中包括用于机器人应用的预训练世界基础模型。
• NVIDIA Isaac Lab 是一个用于机器人学习的开源统一框架，用于训练机器人策略。
• NVIDIA Isaac ROS 基于开源的 ROS 2 软件框架构建，包含一系列加速计算库和 AI 模型，为全球各地的 ROS 开发者带来 NVIDIA 的加速技术。
• NVIDIA Isaac Sim 基于 NVIDIA Omniverse 构建，可以构建基于 OpenUSD 的应用程序，在基于物理的虚拟环境中设计、仿真、测试和训练基于 AI 的机器人和机器。