英伟达为机器人推出懂推理的“大脑”！升级版Cosmos世界模型来了

老黄看好机器人，还真不是嘴上说说！

这不，就在正在举办的SIGGRAPH（计算机图形学）大会上，英伟达为机器人带来了全新升级的Cosmos世界模型。

Cosmos主要被用来生成符合现实世界物理规律的合成数据，自发布以来，已被Figure、Agility Robotics、通用汽车等一众知名机器人和自动驾驶公司采用。

这次升级重点聚焦在规划能力和生成速度两大方面：

• 推出Cosmos Reason：一款70亿参数、具备推理能力的视觉语言模型，可帮助机器人进行任务规划；
• 新增Cosmos Transfer-2&精简版：加速将虚拟场景转化为训练数据，并提供更快的轻量化版本。

除了软件更新，英伟达还几乎全面升级了机器人开发配套技术与硬件——包括全新的Omniverse库、RTX PRO Blackwell服务器，以及DGX Cloud云平台等。

英伟达人工智能研究副总裁Sanja Fidler表示：

• AI正在提升我们的模拟能力，而模拟能力也在推动AI系统的发展。
  这两个领域之间存在着真实而强大的结合，这种结合很少有人能做到。

如今，英伟达正凭借一整套机器人开发基础设施，全力冲击这一融合新高地。

软硬件都更新了

还是先来看看具体都有哪些更新。

软件层面，仅7B大小的Cosmos Reason尤为值得一提。

官方表示，这个模型不仅具备扎实的物理理解能力，还能运用常识进行多步推理，能用作机器人的“大脑”。

• 通过记忆和推理，它可以作为一个规划模型，推理实体Agent下一步可能采取的步骤。

同时，英伟达还推出了加速合成数据生成的Cosmos Transfer-2及其更轻量的精简版，以此大幅缩短从虚拟场景或空间控制信息到训练数据的转换时间。

这当中的精简版，主要是将70步蒸馏过程简化为了1步，从而能在RTX PRO服务器上更高速地运行。

而为了配合这些模型，英伟达还发布了功能更强大的Omniverse新库与SDK，支持机器人开发者更便捷地进行三维重建、仿真及跨平台数据互通。具体则包括下面这些：

1、实现了MuJoCo和OpenUSD这两种机器人仿真格式的数据兼容，让大量开发者可以更方便地在不同平台之间进行机器人模拟。

2、引入Omniverse RTX光线追踪和3D高斯渲染技术，使开发者能够利用传感器数据以三维形式捕捉、重建并模拟现实世界。

3、在GitHub开源机器人仿真和学习工具Isaac Sim 5.0与Isaac Lab 2.2，结合了新渲染技术和统一的数据格式，帮助机器人开发者更好地缩小虚拟仿真和现实环境之间的差距。

总之，Cosmos+Omniverse作为一对黄金搭档（前者负责构建逼真、高效的三维仿真和数字孪生环境，后者则专注于提供强大的物理AI模型和智能推理能力），当二者一结合，最终就能为机器人训练生成更精确、更大规模的数据。

搞定数据之后，接下来还有硬件问题。

对此，英伟达也专门推出了RTX PRO Blackwell服务器，覆盖训练、合成数据生成、机器人学习与仿真等工作负载。

而且借助DGX Cloud，开发者可以随时随地通过云端高效运行Omniverse和Cosmos相关应用，轻松实现大规模仿真与训练任务，极大降低了硬件门槛和运维成本。（目前DGX Cloud已经上线微软云市场）

英伟达全力押注机器人领域

以上动作不难看出，英伟达正在大力布局机器人研发领域。

至于背后考量，官方以一篇最新博客进行了详细介绍，总结起来就是：

• 计算机图形与AI正在融合，将从根本上改变机器人领域

没错，以图形学发家的英伟达，正是由于看到了图形学和AI融合的趋势以及这种趋势对机器人领域的重要影响，才选择将机器人作为下一个关注重点。

举个例子，传统机器人训练依赖现实数据，获取成本高且受限，而计算机图形技术可以打造逼真的虚拟环境，结合AI实现物理精确的仿真。

如此一来，机器人学习各种技能的门槛和成本就被打下来了，从而更有可能加速机器人落地应用。

按照英伟达研究副总裁Ming-Yu Liu的观点，英伟达的目标是构建一个完整、逼真且可扩展的“虚拟平行宇宙”，让机器人能在其中安全反复试验、不断进化。

• 物理AI需要一个逼真的虚拟环境，让机器人能够在这个安全的平行世界中反复试验、不断学习。
• 要打造这样一个虚拟世界，我们必须结合实时渲染、计算机视觉、物理运动模拟，以及2D和3D生成式AI与AI推理技术。这些正是英伟达研究团队过去二十年持续专注和不断打磨的核心领域。

显而易见，一旦这个“机器人虚拟世界”构建成功，英伟达也能将这套基础设施赋能给更多开发者和企业，帮他们更快地搞出各种机器人和AI应用。

这样一来，英伟达不仅能进一步稳固自己在图形领域的头把交椅，还能在具身智能时代继续担任“卖铲人”的角色。

嗯，多么熟悉的“套路”（doge）~

而且从老黄最近的一系列公开动作来看，他对咱们中国机器人属实尤为偏爱了。

不仅在各种场合夸夸，近来更是像曾经对待OpenAI那样（早期给OpenAI送超算），将首批Jetson Thor芯片送到了国产玩家银河通用手里。

此外，英伟达还正在和阿里云、北京人形机器人创新中心、傅利叶、加速进化、优必选、智元机器人等企业达成深度合作。阿里云更是宣布，英伟达全栈机器人及物理AI组件已通过其云端服务开放使用。

该说不说，英伟达在国内卖机器人铲子的生意算是逐渐打开局面了。

Cosmos开源地址：
https://github.com/nvidia-cosmos