英伟达团队发布最新具身模型 Cosmos-Reason1，在物理世界推理中碾压 Qwen、GPT-4o 等多个 VLM 模型

英伟达 GTC 大会热度飙升。继黄仁勋在英伟达大会上发布基础世界模型 Cosmos 引发业内讨论后，英伟达团队近日又发布了一个新的物理世界大模型：Cosmos-Reason1。

作为 Cosmos 系列的一个大模型，顾名思义，Cosmos-Reason1 更强调模型的“Reason”（即“推理”）能力。这是继 DeepSeek R1 采用纯强化学习方法替代 SFT 之后，思考推理模型在物理世界中的进一步探索；且据论文介绍，其取得了不错的成果。

论文地址：https://arxiv.org/abs/2503.15558

与 DeepSeek 跑在云端不同，Cosmos-Reason1 致力于解决的是人工智能系统与物理世界交互的问题——这要求跑在物理世界中的 AI 大模型要同时具备感知、理解与执行复杂动作的三个基本能力，即当前具身智能领域主流的研究热词“VLA”，或“具身大脑”。

根据论文介绍，Cosmos-Reason1 可以理解物理世界，并通过长思维链（Long CoT）的推理过程在自然语言中生成适当的行为决策。在这个思路上，英伟达的研究团队开发两个多模态大模型，分别是 80 亿参数的 Cosmos-Reason1-8B 和 560 亿参数的 Cosmos-Reason1-56B。

他们分四个阶段来进行数据收集与模型训练，分别是：视觉预训练、通用 SFT、物理 AI SFT、以及物理 AI 强化学习后训练。为了评估模型效果，他们分别在物理常识与具身推理两个方向上制定了 Benchmark，并取得了不错的表现。

Cosmos-Reason1 技术路线图概览

当前 Cosmos-Reason1 已开源，具身智能先锋研究者宋舒然等人也参与其中。

物理世界的 AGI 有何不同？

业内一直有观点认为，AGI 的发展会天然地分为云端 AGI 与端侧 AGI，物理世界中的 AGI 即属于后者。

但相比云端 AGI 模型（如 DeepSeek R1 等），能够与物理世界进行有效交互的 AGI 却突破缓慢，因其难度更大，不仅要具备云端 AGI 的理解、推理能力，还需要感知、决策。即使是推理环节，云端大模型的训练主要基于互联网上的大量文本数据，也难以迁移到与物理世界的互动知识中。

物理世界中的 AGI 需要具备什么能力？

英伟达团队认为，与设计擅长解决编码和数学问题的大模型不同，物理世界的大模型应该具备物理世界常识与基于物理世界的具体推理能力。这包含两方面：

一是物理常识应分为三个主要类别：空间、时间和基础物理，同时这三个类别又会被进一步划分为 16 个细粒度的子类别。这关乎到物理世界如何在物理定律下运行，以及 AI 如何与物理世界进行交互；

图注：物理常识的 16 个子类别，空间包含关系、合理性、可供性与环境；时间包含规划、相机、因果、指令、行为；基础物理包括反重力、热力学、电磁、机械学、客体永恒性、状态、属性。

二是他们认为，要为具身推理引入一个二维的知识体系，其包含跨越 5 类具身智能体的 4 种关键推理能力。这样有助于 AI 智能体在物理世界中的理解与规划。

具体而言，具身推理需要具备以下能力：

处理复杂的感官输入。与处理清晰数据表示的符号推理不同，具身推理必须从原始的、往往不完整且模糊的感官输入中提取有意义的模式。

预测行动效果。行动会产生物理后果，有效的推理需要直观地掌握因果关系。AI 系统必须预测一个物体对力会有怎样的反应，一个机器人的身体将如何与周围环境相互作用，或者一辆车辆的移动将如何受到地形和物理规律的影响。

遵循物理约束。与通常涉及优化离散选择的抽象问题解决不同，具身推理必须考虑现实世界的物理因素，如惯性、摩擦力和材料属性。它要求 AI 生成在物理约束条件下可行的长期行动规划，以确保执行过程中的稳定性、效率和安全性。

从交互中学习。在物理 AI 中，行动不是孤立发生的；每一个动作或决策都会影响环境并产生反馈。具身推理必须基于这些交互不断更新其理解，使系统能够动态地改进其行为。

在这个过程中，Cosmos-Reason1 的目标之一是使多模态大模型生成更多符合物理世界要求的反应。在视觉世界中，模型对世界的理解会被表示为视频形式，然后通过视频输入感知、理解与推理物理世界，再用自然语言将模型的反应表达出来。他们采用的是纯解码的多模态大模型架构，以及混合的 Mamba-MLP-Transformer 架构。

值得注意的是，Transformer 架构此前一直被诟病虽然擅长长序列表达、但无法高效实现空间理解，而 Mamba 架构是典型的非 Transformer 架构，英伟达团队采用 Mamba 混合或许就是为了中和 Transformer 在物理世界大模型中的短板。

他们使用张量并行度为 4 来训练 Cosmos-Reason1-8B 模型，而 Cosmos-Reason1-56B 模型则使用张量并行度为 8 和流水线并行度为 2来进行训练，以支持更长的视频训练。

为了提高模型的通用能力，在数据采集上，英伟达团队一共采用了总计 120M 的图像、视频与交互数据用于数据预训练，8M 的图像和视频数据用于通用的 SFT。

在大模型的推理中，基于规则的、可验证的大规模奖励（即强化学习方法）对解决数学、编码问题起了很大的作用。受此启发，英伟达团队也在 Cosmos-Reason1 中使用了强化学习方法来训练模型在物理世界中的推理能力。

他们探索了两种多项选择题回答的奖励类型，一种是基于人工注释的 MCQ，另一种是受视频自监督学习的启发，自动生成基于视频数据结构的 MCQ，比如用打乱的时空视频补丁来解谜题、预测视频向前或向后播放的时间箭头等。

Cosmos-Reason1 的效果

为了测试 Cosmos-Reason1 的效果，英伟达团队制定了以下基准：

在物理常识上，他们制定了 3 个基准（空间、时间与基础物理），包含了来自 426 个视频中的 604 个问题。

在具身推理上，他们建立了 6 个基准测试、包含来自 600 个视频的 612 个问题，覆盖了包括人体、机械臂、人形机器人与自动驾驶等多个构型的物理具身。

他们将 Cosmos-Reason1 与其他的大模型进行了对比，结果如下：

在物理常识的基准上，Cosmos-Reason1-8B 与 56B 的效果都显著提升，尤其是 56B 的效果全面超过 Qwen2.5-VL-7B 与 72B、Gemini 2.0 Flash 与 GPT-4o，只稍逊于 OpenAI 的 o1：

在具身推理上，显著强于其他 VLM 模型，效果提升超 10%：

雷峰网认为在直观物理上，他们的研究发现，许多主流的 VLM 大模型实际难以进行直观的物理推理。

为了测试模型的直观推理能力，他们为三个任务（时间箭头、空间谜题与物体持久性）中的每一个任务都策划了 100 个视频，并生成 100 个问题。

结果显示，现有的许多 VLM 模型在时间箭头与物理持久性的任务上表现不佳，GPT-4o 与 OpenAI o1 处理空间谜题比随机猜测强。但 Cosmos-Reason1-8B 在三个任务中都得到了显著改进：

时间箭头例子：

时间箭头例子：

参考文献：https://arxiv.org/pdf/2503.15558