英伟达开放物理AI模型助力机器人与自动驾驶发展

开源已成为推动机器人和自动驾驶创新的重要力量。通过提供从仿真框架到AI模型的关键基础设施，英伟达正在推动协作开发，加速实现更安全、更强大的自主系统。

在本月的CES展会上，英伟达发布了一套全新的开放物理AI模型和框架，旨在加速人形机器人、自动驾驶汽车和其他物理AI实体的开发。这些工具覆盖了机器人开发的整个生命周期——从高保真度世界仿真和合成数据生成，到云原生编排和边缘部署，为开发者提供了一个模块化工具包，用于构建能够在真实世界中推理、学习和行动的自主系统。

OpenUSD提供了通用框架，标准化了3D数据在这些物理AI工具之间的共享方式，使开发者能够构建准确的数字孪生体，并在从仿真到部署的过程中无缝复用。基于OpenUSD构建的英伟达Omniverse库，为整个技术栈提供真实仿真的数据源。

英伟达物理AI技术栈的实际应用

在CES 2025展会上，开发者将英伟达物理AI技术栈从实验室带到了展厅，展示了从重型设备和工厂助手到社交和服务机器人的各类设备。

该技术栈整合了英伟达Cosmos世界模型、英伟达Isaac技术（包括全新的Isaac Lab-Arena开源框架用于策略评估）、英伟达Alpamayo开放产品组合（涵盖自动驾驶汽车的AI模型、仿真框架和物理AI数据集），以及英伟达OSMO框架用于跨计算环境的训练编排。

卡特彼勒的Cat AI助手采用英伟达Nemotron开放模型驱动智能体AI，运行在英伟达Jetson Thor边缘AI模块上，将自然语言交互直接带入重型车辆驾驶室。操作员可以通过"Hey Cat"式的提问获得逐步指导，还可以通过语音调整安全参数。

在后台，卡特彼勒使用Omniverse库构建工厂和作业现场的数字孪生体，帮助仿真布局、交通模式和多机器工作流程。这些洞察在部署到作业现场之前会反馈到设备和车队中，使AI辅助操作更加安全高效。

LEM外科展示了其Dynamis机器人手术系统，该系统已获FDA批准并在脊柱手术中得到常规临床应用。新一代系统采用英伟达Jetson AGX Thor进行计算，英伟达Holoscan进行实时传感器处理，英伟达Isaac医疗版训练其自主机械臂。

LEM外科还使用英伟达Cosmos Transfer——一个开放的、完全可定制的世界模型，支持基于物理的合成数据生成——来生成合成训练数据，并使用英伟达Isaac Sim框架进行数字孪生仿真。作为专为硬组织手术设计的双臂人形手术机器人，Dynamis系统模拟人类外科医生的灵巧性，能够以更高精度执行复杂的脊柱手术，减轻外科医生和手术助手的体力负担。

NEURA Robotics基于完整的英伟达技术栈构建认知机器人，在部署到家庭环境和工作场所之前，使用Isaac Sim和Isaac Lab在基于OpenUSD的数字孪生体中训练其4NE1人形机器人和MiPA服务机器人。该公司使用英伟达Isaac GR00T-Mimic对Isaac GR00T基础模型进行后训练。

此外，NEURA Robotics正与SAP和英伟达合作，将SAP的Joule智能体与其机器人集成，使用Mega英伟达Omniverse蓝图在复杂、逼真的操作场景中仿真和优化机器人行为，然后将这些智能体和行为部署到公司的Neuraverse生态系统以及现实世界的机器人车队中。

AgiBot使用英伟达Cosmos Predict 2作为其Genie Envisioner（GE-Sim）平台的世界建模主干——使该平台能够生成基于强大视觉和物理先验的动作条件视频。将这些数据与Isaac Sim和Isaac Lab相结合，以及在AgiBot自有数据上进行后训练，使得在Genie Envisioner中开发的策略能够更可靠地迁移到Genie2人形机器人和基于Jetson Thor的紧凑型桌面机器人上。

Intbot使用英伟达Cosmos Reason 2开放模型为其社交机器人提供现实世界的"第六感"——利用该模型的推理能力识别超越简单脚本任务的简单社交线索和安全语境。在其Cosmos Cookbook示例中，Intbot展示了推理视觉语言模型如何帮助机器人决定何时说话以及如何更自然地与人类互动。

下一代机器人开发工具

英伟达最近推出了Agile，这是一个基于Isaac Lab的人形机器人运动操控引擎，为在Unitree G1和LimX Dynamics TRON等平台上训练强健的强化学习策略提供了完整的、从仿真到现实验证的工作流程。

机器人开发者可以使用Agile内置的任务配置、用于决策的马尔可夫决策过程数学模型、训练工具和确定性评估工具来调整策略。然后，开发者可以在Isaac Lab中对这些策略进行压力测试，并更可靠、高效地将运动和全身行为迁移到现实世界的机器人上。

社区合作与开放生态

Hugging Face和英伟达正通过将英伟达Isaac GR00T N模型和仿真框架集成到LeRobot生态系统中，将两个机器人社区联合起来。开发者现在可以直接在LeRobot中访问Isaac GR00T N1.6模型和Isaac Lab-Arena，以简化策略训练和评估。

此外，Hugging Face的开源Reachy 2人形机器人现已与英伟达Jetson Thor完全互操作，支持直接部署先进的视觉语言动作（VLA）模型，实现强健的现实世界性能。

ROBOTIS作为智能伺服器、工业执行器、机械手、开源人形平台和教育机器人套件的领先开发商，使用英伟达Isaac技术构建了一个开源的仿真到现实流水线。该工作流程从Isaac Sim中的高保真数据生成开始，使用GR00T-Mimic进行增强来扩展训练集，然后微调基于VLA的Isaac GR00T N模型，直接部署到硬件上——加速了从仿真到强健现实世界任务的转换。

Q&A

Q1：英伟达物理AI技术栈包含哪些核心组件？

A：英伟达物理AI技术栈包含英伟达Cosmos世界模型、Isaac技术（包括Isaac Lab-Arena开源框架）、Alpamayo开放产品组合（涵盖自动驾驶汽车的AI模型和仿真框架）、以及OSMO编排框架，覆盖从仿真到边缘部署的完整开发周期。

Q2：OpenUSD在机器人开发中起什么作用？

A：OpenUSD提供通用框架，标准化3D数据在物理AI工具间的共享方式，使开发者能够构建准确的数字孪生体，并在从仿真到部署过程中无缝复用。基于OpenUSD的Omniverse库为整个技术栈提供真实仿真的数据源。

Q3：这些技术在医疗机器人领域有哪些应用？

A：LEM外科的Dynamis机器人手术系统是典型应用，该系统已获FDA批准用于脊柱手术。它使用Jetson AGX Thor进行计算，Holoscan处理实时传感器数据，Isaac医疗版训练自主机械臂，并通过Cosmos Transfer生成合成训练数据，实现高精度复杂手术操作。