使用 OpenUSD 实现模块化和可扩展的机器人仿真和部署

在物理 AI 快速发展的推动下，机器人领域正在经历一场重大变革。它正在加快新机器人解决方案的上市时间，增强人们对其安全性的信心，并推动物理 AI 在工厂和仓库中的应用。

在 GTC 上发布的 Newton 是一个开源、可扩展的物理引擎。该引擎由 NVIDIA、谷歌 DeepMind 和 Disney Research 专为推进机器人的学习与开发而共同打造。

NVIDIA Cosmos 是一个以开放模型许可证形式发布的世界基础模型（WFM）平台，它将加速自动驾驶汽车、机器人等自主机器的物理 AI 开发。

最新版本 NVIDIA Omniverse Kit SDK 107 是机器人应用领域的又一个重要里程碑。该套件已升级到 OpenUSD 24.05 版本，并且更新了 Python、C++ 和 Linux 应用二进制接口（ABI）。NVIDIA Isaac Sim 5.0 将在 Kit 107 的基础上进行开发。这些增强功能大幅提升了传感器仿真、语言支持和二进制兼容性，可极大地促进机器人应用的开发。

用于机器人开发的系统和工具

无论是工业机器还是人形助手，AI 驱动的机器人在部署到现实世界之前都必须经过大量训练、测试和验证，其中最基础的工作是整合来自专业工具集的异构数据。目前有许多方法可用于促进机器人的开发：

• CAD 软件：创建详细的机器人 3D 模型。
• 数字内容创建工具：创建动画、仿真等内容。
• 仿真器：针对虚拟环境中真实传感器模型所感知到的各种情况，测试并验证机器人的行为。
• 机群管理软件：在一个环境中协调和管理多个机器人。

Schema（定义机器人完成任务行为的数据模型）是每个机器人的核心。它是存储高级数据和元数据的通用接口，包含以下内容：

• 运动学属性：有关机器人运动和结构的信息。
• 机器人语义：定义机器人用途和能力的数据。
• 机体层次结构：机器人组件的组织结构。
• 配置参数：控制机器人操作的设置。

图 1 机器人 Schema 示例

数据管理方面的挑战

目前，各个机器人领域的开发者都需要管理多个数据源，使得整个机器人生态系统相互脱节。机器人的各个子系统往往依赖于多个分散的数据源，而打通这些数据源十分耗时。另外，开发者还面临以下挑战：

• 不同的机器人格式：机器人的设计和表示格式多种多样，目前缺乏通用的衔接方式。
• 不同的机器人数据：机器人数据类型有 CAD 设计、机器人装配、电气和机械信息、传感器数据、物联网指标等等。
• 各种仿真求解器：目前针对特定机器人组件没有统一的专用求解器。

为了解决这些挑战，必须以统一的方式整合所有数据，才能通过复制真实世界的感知来训练、优化和操作机器人。

OpenUSD 的作用

通用场景描述（OpenUSD）是统一来自不同数据源的内容和进行大规模仿真的关键。OpenUSD 的主要优点有：

• 互操作性：OpenUSD 具有与生俱来的可扩展性，能够支持当前来自 CAD 和 URDF 的机器人数据源，在仿真环境中导入达到物理学精度的材料和运动学，并传输来自机器人传感器或工业设施传感器的实时运行数据。
• 聚合：OpenUSD 使用文件格式插件和引用来实现数据集的聚合，同时保持数据源的规范。
• 协作：OpenUSD 的合成和非破坏性编辑功能帮助人类、AI 和仿真器之间搭建起新的协同工作流。

推出适用于机器人的

OpenUSD 资产结构管线

在 GTC 2025 上，NVIDIA 与 Disney Research 和 Intrinsic AI 共同推出了适用于机器人的 OpenUSD 资产结构管线。这一全新结构和数据管线使用 OpenUSD 中的最佳实践统一机器人工作流并提供适用于所有数据源的通用语言。

图 2 适用于机器人的 OpenUSD 资产结构管线

在图 2 中，从左到右的箭头表示工作流，从右到左的箭头表示组件依赖关系。

OpenUSD 资产结构管线能够在机器人资产用于仿真和开发前，简化其准备和增强过程。该工作流能够在对资产进行高效管理、优化和增强的同时，保持资产的原始完整性和层次结构。

OpenUSD 资产结构管线的各个阶段

通过使用基于提取、转换和加载（ETL）的 OpenUSD 资产结构管线，可以将机器人资产无缝集成到仿真环境中，从而更加轻松地在各种应用中测试、完善和部署这些资产。

资产来源

• 将资产直接导入 USD（使用 Omniverse CAD 转换器或开源文件格式插件进行转换）。
• 将资产分成各个机器人组件的 USD 层或组合成一个完整机器人层。
• 保留资产的原始组织和层次结构，以方便管理和引用。

转换

• 通过重组资产优化其结构或提高其性能。
• 确保资产完全达到仿真就绪状态，同时保持其完整性。

功能

• 为每个资产添加仿真功能。
• 通过可使用变体进行配置的有效载荷组合所有仿真功能。
• 使用模块化方法实现各种工作流和提高仿真效率。

主要优点

该管线支持从来源到仿真的内容结构转换重塑，可在运行时环境（例如机器人仿真参考应用 NVIDIA Isaac Sim）内进行大规模训练和实时仿真优化。

其设计兼顾了可重用性和模块性，可支持当前的工作流和未来的创新。单一接口层可通过变体集进行配置，既统一了机器人资产结构管线，又具有根据手头任务定制资产的灵活性。

该管线使用引用保持与 CAD 数据源的链接，确保任何更新或更改都可以向下游推送或拉取。

它还能使用新的 Cosmos 世界基础模型将结构化仿真转换成逼真的视频，以此生成更丰富的合成数据用于训练物理 AI 模型。

注意事项

OpenUSD 非常灵活，因为其合成引擎与领域无关。在最基础的层面上，OpenUSD 无须知道键值对的 3D 含义就能组合键值对。不过，这也意味着在聚合 OpenUSD 格式的数据时，必须考虑与领域相关的因素。因此，OpenUSD 的标准化对于保证互操作性和数据互换性至关重要。

其中最需要考虑的因素之一是场景单位。当在 Isaac Sim 等运行时环境中使用 USD 进行机器人仿真时，建议使用将 metersPerUnit 设置为“meters”的根层，引用已经以“meters”为单位的机器人，并使用度量单位汇编器确保引用到仿真中的任何环境都已按适当比例缩放（需要时以“meters”为单位）。不建议在任何未以“meters”为单位的内容中划分子层。

OpenUSD 联盟（AOUSD）还将探索更加全面的方法处理 USD 层栈中的混合单位和其他阶段指标。但为了满足以下要求，必须对这些方法进行仔细斟酌：

• 保持性能
• 减少代码和内容的不兼容性
• 集中计算最终转换和其他受单元影响的值

图 3 OpenUSD 场景单元

即将推出的 OpenUSD 功能

适用于机器人的 OpenUSD 发展蓝图包含以下内容：

• 机器人格式概念数据映射：将 URDF、MJCF、SDFormat 等机器人格式的数据模型映射到 OpenUSD，并根据需要发布 Schema 提议，以填补概念空白。
• AOUSD 宣布在新领域成立 OpenUSD 工作组：推动特定行业的创新并扩大 OpenUSD 应用在各个新兴领域的应用，扩展对象包括工业与工程数字孪生（IEDT）专项工作组和网络专项工作组。

• AOUSD 关于可变形体和 B-reps 的提议：AOUSD 物理学工作组提议在 UsdPhysics 中添加可变形体（软体动力学），用于训练机器人机械手和抓手。AOUSD 几何工作组正在开发 B-reps 的初步 Schema。该 Schema 可用于根据需求为同一工业环境中的各种物理求解器推导 CAD 几何体的不同曲面细分（tessellation）。

• USD + FMI 提议：通过 OpenUSD 与功能模拟接口（FMI）之间的标准化协同和概念数据映射实现协同仿真（例如多个求解器对同一机器人的不同组件或其周围环境进行仿真）。
• 动态行为提议：能够实现机器人动作仿真所需的动态行为，例如封装在 ROS 桥中的动态行为或对安全区域进行仿真所需的动态行为。该提议将确定在皮克斯即将推出的 OpenExec 计划基础上实现此类动态行为所需的 OmniGraph 功能要求。

开始使用

现在可以下载基于 Omniverse 构建的 Isaac Sim，并访问 Hugging Face 上的 NVIDIA Cosmos 和 NVIDIA Isaac GR00T 基础模型。

可通过免费的 OpenUSD 课程以及深度学习培训中心（DLI）的 Learn OpenUSD 和机器人基础课程进一步巩固您的基础知识：https://www.nvidia.com/en-us/learn/learning-path/openusd/

如要加速人形机器人和工业机械臂方面的工作，请使用 Isaac GR00T 系列开源模型：https://developer.nvidia.com/zh-cn/blog/accelerate-generalist-humanoid-robot-development-with-nvidia-isaac-gr00t-n1/

图 4 仿真就绪资产