英伟达开源物理引擎Newton可用了！发推理模型、世界模型，全力加速机器人研发

智东西
作者 ZeR0
编辑 漠影

智东西9月30日报道，机器人学习大会（CoRL）于9月27日至10月2日在韩国首尔举办。昨日，英伟达在CoRL上宣布，开源物理引擎Newton现可通过NVIDIA Isaac Lab获取，已发布测试版本，并推出用于机器人技能的开源推理视觉语言动作模型NVIDIA Isaac GR00T N1.6，以及全新AI基础设施。

这些技术为开发者和研究人员提供了开源的机器人加速平台，能够加快迭代周期、统一测试标准、整合训练与机器人端推理，并助力机器人安全可靠地将技能从仿真环境迁移到现实世界。

人形机器人是物理AI的下一个前沿领域，需要在不可预测的世界中进行推理，适应环境并安全行动。NVIDIA Omniverse与仿真技术副总裁Rev Lebaredian谈道，通过最新升级，开发者可以拥有将机器人从研发阶段带入日常生活的三大核心工具，包括充当机器人“大脑”的Isaac GR00T，负责对机器人“身体”运作进行仿真的物理引擎Newton，以及作为机器人“训练基地”的NVIDIA Omniverse。

一、开源物理引擎Newton，可对复杂机器人动作进行仿真

开源物理引擎Newton由英伟达、谷歌DeepMind、Disney Research联合开发，基于NVIDIA Warp和OpenUSD框架构建，由Linux Foundation管理、GPU加速，现已开放使用，可助力科研人员及开发者打造功能更强大、适应性更强的机器人。

机器人在仿真环境中的学习速度更快、安全性更高，但人形机器人关节结构、平衡控制和动作模式非常复杂，现有物理引擎的性能已经难以满足。

全球超过25万机器人开发者亟需精准的物理仿真技术，以确保在仿真环境中教会机器人技能，同时安全可靠地迁移到现实世界。

借助Newton灵活的设计，以及兼容多种物理求解器的能力，开发者可对非常复杂的机器人动作进行仿真，例如在雪地或碎石路面行走、操控杯子和水果等，并能成功地将这些动作部署到现实场景中。

苏黎世联邦理工学院机器人系统实验室、慕尼黑工业大学、北京大学等众多知名高校，以及机器人技术公司光轮智能、仿真引擎公司Style3D，已经率先使用Newton。

二、开源模型Isaac GR00T N1.6，提升机器人推理能力

全新NVIDIA Isaac GR00T开源基础模型将为机器人赋予接近人类的推理能力，使其能够拆解复杂指令，并借助已有知识与常识执行任务。

借助NVIDIA Isaac GR00T N1.6，人形机器人可以同时完成移动和物体操控动作，躯干和手臂拥有更大的活动自由度，能完成各种高难度任务，比如推开较重的房门。

NVIDIA Isaac GR00T N1.6即将在Hugging Face平台上线。这一模型将集成英伟达专为物理AI打造的开源、可定制的推理视觉语言模型NVIDIA Cosmos Reason，以提升机器人推理能力。

为了在物理世界中执行类似人类的任务，人形机器人必须能够理解模糊指令，并应对各种以前未见过的复杂情况。

作为机器人的“深度思考大脑”，Cosmos Reason能够利用已有知识、常识和物理原理，将模糊的指令转化为逐步执行的计划，从而应对新场景并泛化到多种任务中去。

Cosmos Reason的下载量已超过100万次，目前在Hugging Face的物理推理模型排行榜上位居榜首。该模型还能够筛选和标注大量真实及合成数据，用于模型训练。Cosmos Reason 1现已作为AI模型部署微服务NVIDIA NIM提供。

开发者还可以利用Hugging Face平台上的开源NVIDIA物理AI数据集，对NVIDIA Isaac GR00T N系列模型进行后训练。该数据集包含数千条合成及来自真实世界的轨迹数据，下载量已超过480万次。

AeiROBOT、Franka Robotics、LG Electronics、光轮智能、Mentee Robotics、Neura Robotics、Solomon、Techman Robot、UCR等机器人制造商正评估采用Isaac GR00T N系列模型来打造通用机器人。

三、全新Cosmos世界基础模型即将推出，能创建30秒视频，模型大小缩至1/3.5

英伟达宣布了开源Cosmos世界基础模型（WFM）的全新更新。该模型下载量已超过300万次，开发者可通过文本、图像和视频提示，生成多样化数据，从而大规模加速物理 AI 模型的训练。

即将推出的Cosmos Predict 2.5将三款Cosmos世界基础模型进行整合，集成为一个功能强大的模型，大幅降低了复杂度，节省开发时间并提高效率。

它支持更长时长的视频生成（最长可创建30秒视频），同时提供多视角摄像头输出，以实现更丰富的世界仿真效果，相比上一代模型，生成结果速度更快、质量更高，而模型大小仅为上一代模型的1/3.5。

该模型能够根据真实的3D仿真场景和空间控制输入，比如深度信息、分割数据、边缘信息和高分辨率地图等，生成逼真的合成数据。

借助全新的NVIDIA Cosmos世界基础模型，开发者可生成多样化数据，从而大规模加速物理AI模型的训练。

四、训练机器人抓取技能的新工作流，在仿真环境中评估机器人习得技能

教会机器人抓取物体是机器人领域最具挑战性的任务之一。这不仅涉及机械臂的移动，还需要将抽象的指令转化为精准的动作，机器人必须通过反复试错才能掌握这项技能。

基于NVIDIA Omniverse构建的开发者预览版NVIDIA Isaac Lab 2.3新增了灵巧抓取工作流。该工作流通过自动化课程体系，在虚拟环境中对拥有多手指的机器人和机械臂进行训练，从简单任务开始，逐步提升难度。

此工作流会调整重力、摩擦力、物体重量等参数，训练机器人在不可预测的环境中也能掌握技能。

波士顿动力的Atlas机器人借助这一工作流学习抓取技能，其操控能力得到了显著提升。

让机器人掌握一项新技能（如拿起杯子或穿过房间）非常困难，在实体机器人上测试这些技能不仅耗时且成本高昂。

仿真技术为解决这一问题提供了途径，它能够在无数场景、任务和环境中测试机器人习得的技能。但即便在仿真环境中，开发者构建的测试场景往往零散且简单化，无法真实反映现实世界的复杂情况。在完美且简单的仿真环境中学会导航的机器人，一旦面临现实世界的复杂状况就会失败。

为了让开发者无需从零构建系统，即可在仿真环境中开展复杂、大规模的评估，英伟达与光轮智能联合开发了NVIDIA Isaac Lab Arena。这是一个用于大规模实验和标准化测试的开源策略评估框架，该框架即将推出。

五、全新NVIDIA AI基础设施，Meta宇树DeepMind已采用

为了让开发者充分利用这些先进的技术和软件库，英伟达推出了专为高要求工作负载设计的AI基础设施，包括：

（1）NVIDIA GB200 NVL72：一款集成了36个英伟达Grace CPU和72个英伟达Blackwell GPU的机架式系统。各大云服务提供商已开始采用该系统，以加速AI训练和推理过程，包括复杂推理和物理AI任务。

（2）NVIDIA RTX PRO服务器：为机器人开发的各类工作负载（包括训练、合成数据生成、机器人学习和仿真）提供统一架构。RAI Institute已采用RTX PRO服务器。

（3）NVIDIA Jetson Thor：搭载Blackwell GPU，能够支持机器人运行多个AI工作流，实现实时智能交互，带来机器人端实时推理功能，这对于高性能物理AI工作负载以及人形机器人等应用具有重要意义。Figure AI、银河通用、Google DeepMind、Mentee Robotics、Meta、Skild AI、宇树科技等合作伙伴已采用Jetson Thor。

结语：近半数CoRL论文引用英伟达相关技术，英伟达推进机器人研究进程火力全开

CoRL收录的论文中，近半数引用了英伟达的相关技术，包括GPU、仿真框架、CUDA加速库等。这些技术已被卡内基梅隆大学、华盛顿大学、苏黎世联邦理工学院和新加坡国立大学等领先研究实验室及机构广泛采用。

此次CoRL还重点展示了斯坦福视觉与学习实验室开展的机器人学习基准测试项目BEHAVIOR，以及由北京大学开发的用于推进基于视觉的触觉机器人研究的高性能仿真平台Taccel。

Agility Robotics、Boston Dynamics、Disney Research、Figure AI、Franka Robotics、Hexagon、Skild AI、Solomon以及Techman Robot等知名机器人公司已经采用NVIDIA Isaac 和Omniverse技术。

来自斯坦福大学、苏黎世联邦理工学院、新加坡国立大学等顶尖高校的全球科研人员，正借助 英伟达的加速计算技术及软件推进机器人研究工作。