NVIDIA 推出用于机器人仿真的开源物理引擎 Newton

物理 AI 模型使机器人能够自主感知、解释、推理现实世界并与之交互。加速计算和仿真是开发新一代机器人的关键。

物理学在机器人仿真中发挥着至关重要的作用，为在真实环境中准确虚拟呈现机器人行为和交互奠定了基础。借助这些仿真器，研究人员和工程师可以安全、加速且经济高效地训练、开发、测试和验证机器人控制算法和原型设计。

机器人仿真建立在基本的物理定律之上，包括质量和动量守恒、刚体和软体动力学、接触和摩擦以及执行器建模。这些原则用于预测机器人在各种场景和环境中的行为方式，例如在使用 GPU、DPU 或其他硬件加速器时的响应。

然而，仿真往往无法完全匹配现实，这一问题被称为“仿真与现实（sim-to-real）的差距”。机器人开发者需要一个统一、可扩展且可定制的解决方案，既能模拟现实世界的物理特性，又能处理复杂行为（包括与自定义求解器的交互），并支持高可靠性等功能。

关于 Newton

Newton 是由 NVIDIA、Google DeepMind 和 Disney Research 共同开发的一款开源、可扩展的物理引擎，旨在推动机器人学习和开发。

Newton 基于 NVIDIA Warp 构建，使机器人能够以更高的精度学习处理复杂任务。Newton 与 MuJoCo Playground 或 NVIDIA Isaac Lab（用于机器人学习的开源统一框架）等学习框架兼容。

图 1. Newton 架构基于 NVIDIA Warp，可以添加自定义求解器。它可以在 MuJoCo Playground 和 Isaac Lab 等各种仿真器中工作

Newton 的关键特点包括：

开源

Newton 是开源的，为整个机器人社区提供了强大的支持。这使得机器人专家能够自由地使用和分发该框架，并为其发展贡献前沿研究成果。

NVIDIA 加速

Newton 基于NVIDIA Warp 构建，这是一个 NVIDIA CUDA-X 加速库，使开发者能够轻松编写 GPU 加速、基于内核的程序，用于仿真 AI、机器人和机器学习 （ML）。利用 NVIDIA GPU 的并行处理能力，提供了一个高性能、灵活的框架，用于构建和运行基于物理的仿真。

由 MuJoCo-Warp 提供支持

这一计划的一个关键方面是与 MuJoCo（Multi-Joint dynamics with Contact）的兼容性。MuJoCo 是一个广泛用于机器人研究和开发的开源物理引擎，特别是在涉及复杂动力学和接触丰富的环境中。开发人员可以利用现有的模型和代码，节省时间和资源，以适应不同的物理引擎。

Google DeepMind 首次推出了由 Warp 加速的开源机器人仿真器 MuJoCo-Warp。它使开发人员能够实现显著的性能提升，人形机器人仿真的实现 70 倍以上的提速，手动操作任务实现 100 倍的提速。Mujoco-Warp 将作为 Newton 中的关键物理引擎，并通过 MuJoCo-Warp 提供。了解有关 Mujoco-Warp 的更多信息：

https://github.com/google-deepmind/mujoco

可微物理

通过仿真传播梯度的能力，为机器人仿真和学习开辟了新的可能性。可微仿真器可以生成前向模式的结果，并计算仿真结果的反向模式梯度，用于反向传播以优化系统参数。

可扩展

随着现代机器人技术范围的扩大，仿真场景也随之增加。Newton 具有高度可扩展性，能够实现丰富的多物理场仿真，使机器人通过自定义求解器、积分器和数值方法与食品、布料以及其他可变形物体进行互动。

Newton 还支持将不同类型的求解器相结合，例如，Material Point Method （MPM）求解器与沙子与刚体动力学相结合。

基于 OpenUSD 构建

Newton 使用 OpenUSD 框架。OpenUSD 灵活的数据模型和合成引擎聚合了用于描述机器人及其周围环境所需的数据，而自定义求解器和其他运行时可以针对特定的机器人能力和环境进行优化。

Disney Research 将率先使用 Newton 推动其机器人角色平台发展，为下一代娱乐机器人提供支持。比如 GTC 主题演讲中和黄仁勋一起登台、以星球大战为灵感设计的富有表现力的 BDX 机器人，就是该平台的成果。

Walt Disney 想象工程研发部门高级副总裁 Kyle Laughlin 表示：“BDX 机器人只是一个开始。我们致力于以前所未有的方式，为更多角色赋予生命，而与 Disney Research、NVIDIA 和 Google DeepMind 的合作是实现这一愿景的关键。”

“此次合作将使我们能够创造出比以往更具表现力、更具吸引力的新一代机器人角色，并以迪士尼独有的方式与我们的游客建立联系。”

除了 Newton 之外，Disney Research、Google DeepMind、Intrinsic 和 NVIDIA 正在合作定义用于机器人的 OpenUSD 资产结构。这种新的结构和数据管线使用 OpenUSD 内的最佳实践来统一机器人工作流，并为所有数据源提供通用语言。

敬请关注

Newton 将为推动下一代人形机器人的发展铺平道路。这项工作的开发工作正在进行中，并计划在今年晚些时候推出第一个版本。

了解 Newton 背后技术的更多信息：

• NVIDIA Warp 是一个用于在 Python 中构建和加速数据生成以及空间计算的开发框架。
• NVIDIA Isaac Lab 基于 NVIDIA Isaac Sim 开发，是一个用于机器人学习的开源统一框架，旨在帮助训练机器人策略。

开始使用

通过免费的 OpenUSD 课程巩固您的基础知识，并学习 OpenUSD 和机器人开发基础课程：

https://www.nvidia.com/gtc/sessions/openusd/