5项重大更新，NVIDIA助力人形机器人研发迈入新阶段

近日，AI（人工智能）芯片龙头 NVIDIA 创始人兼首席执行官黄仁勋在 CadenceLIVE 2024 大会表示，人类将构建“人形机器人”时代，持续看好生成式 AI 和人形机器人的发展。

回顾 NVIDIA 在机器人领域的深耕历史可以判断，机器人和具身智能已经成为 NVIDIA 持续发力的全新增长点。在 2023 年，NVIDIA 创始人兼首席执行官黄仁勋表示具身智能是 AI 下一个浪潮，机器人产品技术开始演进升级为 NVIDIA 的核心方向，2024 年初，NVIDIA 投资人形机器人公司 FigureAI 并成立通用具身智能体研究实验室 GEAR，表示了对于该领域的持续看好。

近 7 年的布局和沉淀，使得 NVIDIA 新近发布的产品和技术如此深入人心。在 NVIDIA GTC 2024 大会上，我们看到黄仁勋不仅介绍 NVIDIA 最新的 AI 芯片和硬件方案及合作案例，还重点介绍了人形机器人相关技术产品，将全球开发者带入 AI 驱动的新时代。

从机器人原理层面，NVIDIA 正为机器人提供“大脑”技术，能快速提升机器人的智能水平，打开下游应用市场。机器人大讲堂梳理来看，会议主要包括 Project GR00T（通用基础模型）、Jetson Thor （新计算平台）、NVIDIA Isaac Manipulator（AI 软件模块）、Isaac Perceptor（视觉 AI）、新 Isaac Lab（仿真平台）这五个方面机器人亮点。

（图片来源：NVIDIA 官网）

▍通用基础模型 Project GR00T

人形机器人通用基础模型 Project GR00T（Generalist Robot 00 Technology）无疑是最令人瞩目的技术。这个 GEAR 实验室推出的 GR00T 模型是世界首款用于人形机器人的通用基础模型。GR00T 经过 NVIDIA GPU 加速仿真训练，能使人形机器人实体通过模仿学习和 NVIDIA Isaac Lab 强化学习，从少量人类演示中学习，并根据视频数据生成机器人动作，对多模态指令的接受度非常可观。

同时，GR00T 模型使用的 Isaac 工具能够为在任何环境中的任意机器人创建新的基础模型。这些工具包括用于强化学习的 Isaac Lab 和用于计算编排服务的 OSMO，从而使得 GR00T 能将各类多模式指令和过去的交互作为输入指令集，并生成机器人要执行的动作代码，最后实现更高效的端对端执行。

▍更强大的计算平台 Jetson Thor

Jetson Thor 是一个新的计算平台，能够执行复杂的任务并与人和机器安全、自然地交互。

据悉，该 SoC 基于 NVIDIA Blackwell 架构，采用第二代 Transformer 引擎，其变压器引擎可提供 800 teraflops 的 8 位浮点 AI 性能，运行带宽达 100GB/s，AI 计算性能达 800TFLOPs，多层次规划能力卓越，以运行 GR00T 等多模式生成式 AI 模型。

凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽，Jetson Thor 将显著简化人形机器人设计和集成工作，能够帮助人形机器人执行复杂的任务并安全、自然地与人和机器交互，具有针对性能、功耗和尺寸优化的模块化架构。

▍预训练模型 Isaac Manipulator

Isaac Manipulator 为人形机械臂运动生成提供灵活性和模块化 AI 功能，并拥有基础模型和 GPU 加速库集合。它在路径规划方面能提供高达 80 倍的加速，零样本感知提高了轨迹规划效率和吞吐量，使开发人员能够自动执行更多新的机器人任务。

据悉，该项目早期的生态系统合作伙伴包括安川、优傲机器人、PickNik Robotics、Solomon、READY Robotics 和 Franka Robotics。机器人开发者可以使用专门为特定任务定制的软件组件组合来感知周围环境并与之交互，通过加速 AI 模型训练和任务编程，为动态操纵任务构建可扩展和可重复的工作流。

简单来说，Isaac Manipulator 作为一个预训练模型，聚焦训练动态操纵任务，能为机械臂开发提供卓越的灵活性和模块化 AI 功能，并提供了一系列强大的基础模型和 GPU 加速库，能帮助开发者简化端到端工作流，以更高效率和更低错误率来训练机器人模型。

（图片来源：NVIDIA 官网）

▍视觉 AI 工具 Isaac Perceptor

Isaac Perceptor 提供多摄像头、3D 环绕视觉功能，将综合提升机器人的感知力和空间层次感。

这是由于 Isaac Perceptor 提供的多摄像头 360 度视觉功能，可以为机器人企业带来先进的视觉 AI 支撑，帮助其加快产品部署。目前随着视觉传感器的使用，基于视觉的功能正越来越多地用于制造和履行操作中采用的自主移动机器人和人形机器人，以提高效率和工人安全，并降低错误率和成本。据悉，Isaac Perceptor 早期采用者包括 ArcBest、比亚迪和凯傲集团，目前 NVIDIA 正计划扩大其适用范围。

▍虚拟仿真工具 Isaac Lab

训练具身智能模型需要海量的真实数据和合成数据。新的 Isaac Lab 是一个 GPU 加速、性能优化的轻量级应用，基于 Isaac Sim 而构建，专门用于运行数千个用于机器人学习的并行仿真，可用于模拟机器人学习技能，支持数千个机器人同步训练模拟。Isaac Lab 受益于 NVIDIA 此前发布的 Omniverse 技术，能用于基于物理信息、逼真且基于感知的强化学习任务。

据悉，国内人形机器人厂商傅利叶、小鹏等也参与该平台合作，并展出了机器人图像，在移动机器人领域，Isaac Manipulator 和 Isaac Perceptor 将共同降低 3D 感知成本，多传感器栈的每个 AMR 会处理来自六个传感器的视觉信息，而所有信息都会在数字孪生中进行仿真，保证最终动作执行的可靠性。

▍技术体系情况梳理

综合来看，目前 NVIDIA 已经在机器人的四个方面有着持续布局。

在机器人多模态基础模型（通用大模型）领域，NVIDIA 成立 GEAR 实验室，聚焦具身智能大模型研究，基于大规模互联网数据源训练的 LLMs 用于规划与推理、视觉-语言模型，以及专家模型，旨在打通不同模态信息间的壁垒，提升智能机器人感知、认知、交互能力，加速指令式机器人向拥有超自主决断能力的自主机器过渡；

在机器人数据集获取领域，NVIDIA 则提出了新的方案。真实世界数据是机器人迈向场景应用的基础，利用 NVIDIA MimicGen 模拟器可模拟与合成数据，从而有望将真实世界数据集扩大 100 倍，构建大规模学习所需的仿真基础设施及合成数据流水线，配合 Isaac Lab，能为智能体的学习过程提供有力支持，大大减少昂贵的人工演示工作，加快机器人 AI 化进程；

在机器人硬件和 AI 开发平台上，NVIDIA 所提供的 Isaac Lab、Jetson Thor 计算平台，结合 Isaac Perceptor，能够适应复杂环境，帮助用户搭建稳健移动与灵巧操作的机器人模型与系统，以提升其在各类实际场景下的普适性与效能，并借助生成式 AI 来文持大规模训练、开发和部署 AI 机器人，降低机器人开发门槛与开发成本。

在生态合作方面，目前 NVIDIA 已经在为 1X Technologies、Agility Robotics、Apptronik、Boston Dynamics、Figure AI、Fourier Intelligence、Sanctuary AI、Unitree Robotics 和 XPENG Robotics 等领先的人形机器人公司构建全面的 AI 平台。同时，NVIDIA 在机器人领域还与追觅科技、DriveU、禾赛科技、九号公司、奥比中光、QT Company、宇树科技等生态伙伴有着合作，拓展在机器人领域的布局。

在架构上，这些产品能够进行有机组合，从整体运行逻辑来看，其中 GR00T 模型负责训练机器人，GR00T 模型在 Omniverse Isaac Sim 上仿真，Isaac Lab 平台负责模拟多种应用场景，并将模拟数据输入模型，由 Jetson Thor 驱动运转，过程中通过 OSMO 实现跨平台拓展，形成循环迭代。由于搭载全新 GPU 算力的芯片能为运行 GR00T 模型和 Isaac Lab 平台保驾护航，形成模型+软件（平台）＋硬件（算力）一体化系统，全新 AI 解决方案也使人形机器人能在万亿参数的大语言模型上更好构建和运行实时生成式 AI。

整体而言，NVIDIA 入局机器人产业的核心逻辑是通过建立开发平台、通用模型来树立行业标准。有分析机构认为，当前机器人及人工智能相关产业仍处于第一阶段，即需要基本的算力和模型的突破，也已出现初代机器人相关产品，NVIDIA 机器人体系或将推动机器人产业快速进入载体快速发展阶段的第二阶段，促进国内及全球的机器人进入百家争鸣、百花齐放的新时期。

▍结语与未来

从产品、研发、投资多方面可以看出，NVIDIA 在机器人领域的布局综合且全面，包括工业、移动、人形机器人，并推出系列软件赋能整机厂商，包括多模态基础模型、加入动作生成的机器人模型与系统，为机器人训练构建了底层基础设施，一方面降低了机器人主机厂模型开发难度，提升机器人大脑的训练效率，另一方面也印证并加快了具身智能的产业进程，使其 AIGPU 产品在高成长性的机器人市场也能维持高占有率。

NVIDIA 作为生成式 AI 浪潮中的领航者，将有望借此在保持统一且领先的算力基座上向行业应用渗透，未来基于 NVIDIA 软硬件生态的各行业应用，将在单位算力成本下降的促进下全面开花，推动 NVIDIA 继续成为新时代的领航者。

这恰恰正如 NVIDIA 创始人兼首席执行官黄仁勋所言：“开发通用人形机器人基础模型是当今 AI 领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术，致力于在人工通用机器人领域实现突破。”