英伟达加码机器人 上新Omniverse库和Cosmos模型

21世纪经济报道记者倪雨晴、实习生李金亮

在全球机器人产业加速迈向智能化、规模化的背景下，资本与科技巨头纷纷加码。

作为AI计算平台的核心玩家，英伟达正试图用“物理AI”打开新一轮增长空间。在本周的SIGGRAPH大会，英伟达推出了全新的NVIDIA Omniverse库与NVIDIA Cosmos世界基础模型，加速机器人解决方案的开发和部署。

新发布的Omniverse软件开发套件 (SDK) 和工具库可用于构建和部署工业 AI 和机器人开发仿真应用。其中，Isaac Sim 5.0和Isaac Lab 2.2开源机器人仿真和学习框架现已在GitHub上提供。这类工具可帮助开发者在虚拟环境中验证算法与硬件设计，从而缩短从概念到落地的周期，缩小仿真与现实之间的差距。

而英伟达的Cosmos模型，可以让开发者通过文本、图像和视频提示大规模生成各种用于训练机器人的数据。 其中，即将发布的Cosmos Transfer-2能快速生成逼真的合成数据。

另一款推理模型Cosmos Reason则是聚焦视觉领域。

自OpenAI的CLIP模型推出以来，视觉语言模型 (VLM) 改变了物体和模式识别等计算机视觉任务。但是，它们尚未能够解决多步骤任务，也无法处理模糊或新颖的体验。

Cosmos Reason是一款面向物理AI和机器人开发的全新开源、可定制的70亿参数推理VLM，可让机器人和视觉AI智能体像人类一样推理，利用先验知识、物理理解和常识，对现实世界进行理解与操作。

这意味着，未来的机器人不仅能“看见”物体，还能基于物理法则预测和规划下一步行动，大模型将进一步强化机器人的“大脑”。

英伟达Omniverse和仿真技术副总裁Rev Lebaredian表示：“计算机图形与AI的融合，从根本上改变着机器人。通过将AI推理与物理精准的可扩展仿真相结合，我们正帮助开发者打造未来的机器人和智能汽车，这将为各行业带来价值数万亿美元的改变。”

在近日的世界机器人大会上，Rev Lebaredian直言英伟达瞄准的目标是下一个物理AI时代，将构建智能的相同能力应用于物理世界，这对工业、经济和社会的重要性不言而喻。

“本质上，物理AI可以归结为创建关于物理定律运行的智能模型。它允许我们创建计算系统来解释我们从物理世界中感知到的东西，从而预测这些物理系统将如何随着时间的推移而演变，这样就可以相应地计划行动来控制物理世界内部的事物。” 他对于物理AI的概念这样解释。

英伟达为机器人和物理AI落地部署了三大计算机平台：一是嵌入机器人本体的计算机，例如人形机器人搭载的Jetson Thor；二是AI工厂计算机，用于在部署前通过 DGX、HGX 系统处理海量数据、训练模型；三是仿真计算机，通过物理定律生成数据并提前测试机器人，测试速度可快于现实时间，Omniverse库和Cosmos的搭配是关键。

此次更新模型和工具库，就是解决数据和仿真的问题。

关于应对机器人数据缺口挑战，Rev Lebaredian表示：“为了构建人工智能，我们需要数据，但物理AI所需的数据并不容易在现实世界中获得。我们不能通过从互联网上抓取，只能去创造它。在建立拥有足量知识的系统的基础上，我们将它与经典仿真相结合，使用模拟器生成这些数据，以扩大数据量。”

他也举了一个实操案例进行说明，“把Omniverse为一个正在执行拾取和放置任务的机器人所做的模拟输入到Cosmos中，以产生无限的变化，便可以获得训练一个合适的模型所需的足量额外数据。”

此外，Rev Lebaredian对中国机器人产业技术的发展给予了高度评价：“中国拥有制造具有强大的成本效益、高效、实用、敏捷的机器人所必需的全部要素，这是世界上其他国家所不具备的能力。”

他认为中国完全具备迎接新时代所需的正确要素，包括机电一体化等专业知识、来自计算机科学领域顶尖大学的科研人才和庞大的制造基地等，这些都很好地填补了创造足够智能和实用的机器人所缺失的拼图。

目前，国内明星机器人企业都和英伟达合作研发产品，包括傅利叶、加速进化、优必选、银河通用、宇树科技、智元机器人等。

与此同时，机器人产业竞争仍处于早期，技术标准尚未统一，落地场景的商业化节奏和成本控制仍是所有参与者必须面对的挑战。