网易首页 > 网易号 > 正文 申请入驻

NVIDIA GR00T 2 发布:看完 40 万小时"人类干活"视频,机器人学会了预测世界

0
分享至


NVIDIA GR00T 2 发布:看完 40 万小时"人类干活"视频,机器人学会了预测世界

导读(放文首摘要位):2026 年 11 月,NVIDIA GEAR 团队发布第三代机器人基础模型 GR00T 2。它不再只是一个"输出动作的策略网络",而是一个同时预测"世界将如何变化"和"自己该如何行动"的世界-动作模型(WAM):零样本完成 50 个从未见过的任务,5 条演示 + 30 分钟微调把成功率拉到 95%,甚至能看清画面、给机器人"指哪打哪"。本文沿着 GR00T N1 → N1.5 → N1.7 → GR00T 2 的进化脉络,把架构、数据、能力和评测一次讲透。

0 | 先说结论:这次升级改变的是什么

2026 年 11 月,NVIDIA GEAR 团队发布了 GR00T 2。先看几个最抓人的数字:

预训练数据43.6 万小时,其中92% 是人类第一视角视频——机器人数据(2.35 万小时)反而成了配角;

在 50 个目标机器人从未见过的任务上,零样本成功率40%;每任务只需5 条演示(不到 3 分钟数据)、在单张 RTX 5090 上微调 30 分钟,成功率拉到95%;

双 22 自由度灵巧手能把GB300 服务器的内存条插进插槽,成功率 **85%**——官方原话:上一个版本的模型做不了这些任务;

与大模型智能体配合,三种玩具各连续装配 100 次,合计成功292 次;

轻量版 GR00T 2 Turbo(2B 参数)直接跑在 Unitree G1 人形机器人本体的 Jetson Thor 上,单次预测124 毫秒,机器人边走边干活的全身移动操作成为可能。

但数字之外,更值得注意的是范式变了:GR00T 2 的身份,从"视觉-语言-动作模型(VLA)"变成了"世界-动作模型(World-Action Model,WAM)"。要理解这一步为什么关键,我们得先回头看看 GR00T 1 系列走过的路。


GR00T 系列进化时间线

1 | 回顾 GR00T 1:双系统的"大脑-小脑"架构 N1:第一个开放的人形机器人基础模型

2025 年 3 月的 GTC 大会上,NVIDIA 发布了Isaac GR00T N1——官方称之为"全球首个面向人形机器人推理与技能的开放基础模型",2B 参数权重开源在 Hugging Face 上。

N1 的架构灵感来自卡尼曼《思考,快与慢》,是典型的双系统设计:

系统 2(慢思考):一个基于 Eagle-2 的视觉-语言模型(VLM),负责看懂场景、理解指令、拆解任务,输出"规划 token";

系统 1(快思考):一个扩散 Transformer(DiT),用流匹配(flow matching)实时生成连续动作。

打个比方:**大脑想清楚"做什么",小脑负责"怎么动"**。这个设计让 N1 能做多步骤、双手协调的任务,而且用少量真机或仿真数据微调就能适配新任务、新本体。同一时间,NVIDIA 还配套发布了与 Google DeepMind、Disney Research 合作的开源物理引擎Newton,以及从少量人类演示合成训练数据的GR00T Blueprints——"模型 + 数据管线 + 仿真"的组合拳从这时就打好了基础。


架构演进:从"双系统串联"到"一个 Transformer 同时预测世界与动作"

N1.5 与 N1.7:快速迭代的一年

N1.5(2025 年 5 月):升级到 3B 参数,语言指令理解、新物体/新环境泛化能力增强,新增 Fourier GR-1 人形本体,并接入 Flux 生成的合成轨迹数据;配套的 GR00T-Dreams 蓝图可以把少量演示批量"想象"成合成训练数据。

N1.7(2026 年 4 月):第一个可商用版本——代码 Apache 2.0、权重采用 NVIDIA Open Model License;3B 参数的推理型 VLA,开始正式支持灵巧手控制,训练数据覆盖双臂、半人形、人形多类本体。

一年左右的时间里,N1 系列走完了"开源立标杆 → 快速迭代 → 商用许可"三步。但双系统架构有一个绕不开的"接缝"问题:

系统 2 输出的是语言化的"规划",系统 1 只管照着执行。两个系统对世界的理解并不共享——VLM 的规划是抽象的,DiT 并不真正知道"照做之后世界会变成什么样"。如果执行过程中世界偏离了预期,系统 1 自己发现不了,系统 2 也只能靠外部的视觉反馈事后纠偏。

GR00T 2 的核心转变,正是从这个"接缝"下手的。

2 | GR00T 2:从"策略"到"世界-动作模型(WAM)"

GR00T 2 是一个基础世界-动作模型:用一个扩散 Transformer,**联合去噪"未来视频"和"机器人动作"。

什么意思?模型每一拍同时生成两样东西:

未来视频——"如果我这么做,接下来 2.5 秒世界会变成什么样"(三个相机视角的画面);

动作块——"未来 t 到 t+H 时间段的关节目标序列"。

预测世界的动作,而不是只输出动作,这一步棋带来三个连锁收益:

人类视频变成了"养料":普通视频里没有动作标签,以前的 VLA 学不到太多东西;但 GR00T 2 学习的是"物理交互如何展开",看人类干活就能学会物体的运动规律和操作逻辑——这正是它敢把 40 万小时人类视频灌进预训练的前提;

动作有了"意图"可检查:模型输出的不再只是关节角度序列,还有一段可看的"想象视频"。计划对不对,人能看、智能体也能看;

可以被更高层的智能体指挥:因为它预测的是"自己正朝着什么结果行动",外部推理模型可以把 GR00T 2 当一个工具来调用——这一点在后面的"智能体控制"部分会展开。

架构细节上(见上面对比图右侧):模型读取3 个相机(头部 + 左右腕)最近 0.8 秒的观测(320×224 分辨率)、语言指令(经 cross-attention 注入)和机器人本体状态;扩散 Transformer 联合去噪过去/未来视频,动作 token 同时注意过去与未来视频;输出动作块交给**各本体的专用小任务头(per-robot head)**转成电机指令,执行完一块,读入新观测,循环往复。


模型的真实输入:头部相机 + 左右腕相机,共 0.8 秒历史(Dexter 双手装配玩具卡车)

值得强调的一个细节:官方演示视频里的"未来"画面,是模型在那一刻生成的三相机视频,不是真实录像——相当于我们第一次能直接"看见"机器人脑中的计划。

3 | 数据引擎:43.6 万小时,人类视频占 92%

GR00T 2 的预训练配方由三部分组成:

数据类型

规模

人类第一视角视频(Human-1M)

402,730 小时

人们工作时的头戴相机视频

手持 UMI 夹爪演示

10,184 小时

覆盖 2,897 个任务

机器人遥操作

23,500 小时

YAM 双臂、Franka、Sharpa/Wuji 灵巧手、Unitree G1

其中机器人数据细分:YAM 15,146 h;YAM 上的 ABC-130k 数据集 3,591 h;Sharpa 灵巧手 2,890 h;天机(Tianji)臂上的 Wuji 手 1,256 h;DROID(Franka)350 h;Unitree G1 275 h。另外,10 万小时人类视频已以 Human-1M-100K 的名字在 Hugging Face 开放下载——对研究者来说这是个不小的礼包。


GR00T 2 的预训练数据配方

人类视频到底有没有用?官方做了一个非常干净的 scaling 实验:分别在 0、1%、10%、100% 人类视频上预训练四个模型,然后在 72 个下游 Dexter 任务上评估:


人类视频越多,任务进度单调上升:视频 rollout 64%→77%,真机 50%→70%

结论一目了然:每一个数量级的视频扩展都带来了真机收益。这也是"WAM 范式"最硬核的证据——因为只有学会预测世界,互联网规模的人类视频才能为机器人所用。数据不再受限于昂贵的遥操作,机器人的"教科书"第一次和 LLM 一样,指向了互联网级的数据海洋。

4 | 三大新能力:迁移、灵巧、快适应 4.1 X-Adaptability:人类教,机器人学

GR00T 2 最有趣的能力叫跨形态适应(cross-adaptation,官方简称 X-Adapt):目标机器人自己不需要看过任何这个任务的演示。

人类 → 机器人:化学实验的四个任务(衬滤纸、滴管移液、载玻片涂抹、传送带投掷包裹)全部只由戴手套的人类演示,机器人零遥操作数据。结果:GR00T 2 四个任务全部完成(65% / 30% / 10% / 50%),而 GR00T 1.7 和"去掉跨形态预训练"的消融版本几乎全军覆没(0%)。



上:人类演示(戴头显+手套,衬滤纸);下:Dexter 双手自主完成同一任务

手持 UMI → 机械臂:只用 GEAR 的手持 UMI 夹爪演示,YAM 机械臂(自身夹爪构型都和 UMI 不同)完成了传送带分拣投掷(86%,50 件物品的分拣比例;GR00T 1.7 只有 28%,π0.5 为 0%)、玩具自卸卡车端到端装配(60%,长程任务,可达 4 分钟)和 NIST 板拆卸(50%)。

可穿戴外骨骼 → 灵巧手:DexUMI 是与机器人手关节一一对应的可穿戴外骨骼,人的手指动作直接映射给机器人。仅凭 DexUMI 演示,双 XHAND1 手的机器人学会了做早餐(香蕉酸奶 + 舀格兰诺拉)和划火柴点灯、再把火柴插进水里熄灭这类高动态任务。

4.2 灵巧操作:能插 GB300 内存的"手"

在 Dexter 平台(天机体 + 双 22 自由度 Sharpa 灵巧手)上,每任务只用少量遥操作数据后训练(约 6 个 epoch),GR00T 2 完成了一组"上一个版本做不了"的长程灵巧任务:贴快递面单 60%、手电筒换电池 55%、玩具卡车组装 65%、粗盐过滤 85%、显微镜操作 55%、**GB300 内存条安装 85%**。作为对比,π0.5 和 GR00T 1.7 在这些任务上几乎全部接近 0。


Sharpa 灵巧手把内存条插入 GB300 服务器(成功率 85%)

更妙的是"人类 → 仿真 → 真实"的路线:从仅一条人类使用锤子的演示出发,先在仿真中重建任务、用强化学习打磨,再把学到的技能直接迁移到真机灵巧手上——单条演示也能淬炼出手中工具使用的技能。

4.3 快速适应:5 条演示,95% 成功率

50 个未见任务:零样本 40% → 1 条演示 71% → 5 条演示 95%

在 50 个"只出现在其他机器人数据或人类视频中"的任务上:零样本(只给指令)成功率 40%,且40/50 个任务至少成功一次;失败案例多数不是"不知道该做什么",而是某一步执行精度不够。补上几条演示,这个缺口迅速合拢——1 条演示 → 71%,5 条演示(<3 分钟数据)→ 95%,其中 37 个任务全试全成。每次适应只是单张 RTX 5090 上 30 分钟的 LoRA 微调。

补一步,更狠的:真机强化学习。只用"任务成败"这一信号,三个富接触插入任务(固定管件 / 线缆 / 充电器)从监督后训练的 66% / 76% / 40% 提升到88% / 94% / 96%(GRPO 诱导的自我模仿)——真机 RL 正在变成后训练的常规武器。

5 | 智能体化:大模型当"指挥官",GR00T 2 当"双手"

如果说前面的升级都在"模型内部",那 Agentic GR00T 2 展示的是"模型外部"的玩法:前沿推理智能体 + GR00T 2 分工协作。

智能体(System 2,指挥官):把长任务拆成步骤、检查进度、必要时写代码;通过WAM API调用 GR00T 2;

GR00T 2(System 1,执行者):负责脚本难以写出的富接触操作。

工程上一个值得关注的细节:整套系统跑在MCP 工具服务器上——智能体的工具箱里除了 wam_act(调用 GR00T 2),还有 get_image、localize_object 等观测工具,以及 move_to_pose、set_gripper 这类CaP(code-as-policy)技能(后端是 SAM3 + cuRobo)。当零件掉落、进度卡住,智能体会调 CaP 技能"修复现场",再把控制权交还给 GR00T 2。

结果:每次装配试验都先把所有零件倒乱在桌面上(开局分布是后训练数据里没见过的),智能体加持下三种玩具各 100 次连续装配,成功98 / 97 / 97 次——合计 292/300。同一个策略不用智能体只有 71~84 次,纯监督后训练只有 23~69 次。智能体还能把真机 RL 学的插入技能串成长任务:换用 RL 策略后,5 根网线插交换机 12/20 → 19/20,5 个充电器插人手指定的插座 2/20 → 20/20。


视觉引导示例:YAM 上玩汉诺塔,规划器在相机画面上标出环和目标柱

视觉引导(Visual Steering)是另一个亮点。语言指令常常说不清"抓哪个、放哪里、用哪只手",尤其在杂乱场景。现在规划器直接在 GR00T 2 的相机画面上标注抓取点和释放点(颜色区分手臂),接近、抓取、搬运、释放的其余动作由 GR00T 2 自主生成;每步之后规划器再看一眼,决定继续、重试还是停止。效果:YAM 上"做什么+在哪里"类指令成功率40% → 92%,长程垃圾分类从 0 完成到17/20。训练还不需要任何新数据——标记直接从已有演示的夹爪状态里提取。


智能体把 RL 插入技能组合成"5 根网线依次插交换机"的长任务

当然也要诚实记录局限:画面标记表达不了物体的最终朝向和抓-放之间的运动方式(倒水、擦拭),这些仍靠语言;Dexter 上的长程垃圾分类还很少能完整跑通——这是官方承认的系统当前上限。

6 | GR00T 2 Turbo:跑在机器人身上的"轻量版"

完整版 GR00T 2 很强,但人形机器人要在全身移动、保持平衡的同时精确放置双手,推理必须够快。于是有了GR00T 2 Turbo:2B 参数的视频-动作联合 Transformer + 高压缩视频编码器,动作时域与完整版一致。

经过推理优化后,单次预测延迟(中位数):

配置

优化前(eager BF16)

优化后

G1 · Turbo ·Jetson Thor(本体)

720 ms

124 ms

G1 · Turbo · RTX 5090

225 ms

38 ms

YAM · GR00T 2 · RTX 5090

551 ms

180 ms

Dexter · GR00T 2 · GB300

219 ms

48 ms

124 ms 意味着 Turbo 每秒规划一次 1.6 秒的全身运动 token,再交给SONIC 全身控制器以 50 Hz 执行——"推理模型选任务 → Turbo 想象与规划 → SONIC 出关节目标",官方称之为"慢思考、快行动"。于是我们看到了这样的画面:G1 穿着围裙,在咖啡厅自主舀爆米花、装杯,再走到休息区递给同事——48 次试验全部成功;清桌(多样物品)成功率 93.3%。


GR00T 2 Turbo 本体驱动 Unitree G1:舀爆米花、递送,全程自主

Turbo 并非处处不如完整版:YAM 上固定管件 90%、断路器插线 100%,反而高于GR00T 2;但多数灵巧任务上仍是完整版更强。另外官方验证了仿真数据的威力:加入仿真后,Turbo 的分布外真机成功率从 **6.7% 拉到 63.3%**——"世界-动作模型更会用仿真数据"。


G1 弯腰拾起毛巾放进洗衣篓:行走、弯腰、抓取一气呵成,控制器全部跑在机器人身上

7 | 仿真闭环:数字孪生里的"预演"

GR00T 2 的开发流程里,仿真不再只是训练数据的来源,更是评估与开发的先遣队:

用智能体辅助的real-to-sim工作流(输入真机视频、3D 扫描、照片,借助 SimFoundry 工具重建几何、外观、碰撞),为真实任务搭建高保真数字孪生;

仿真评估与真机表现强相关(成功率 Pearson 0.92 / Spearman 0.89,Elo 相关系数 0.93 / 0.90);

于是,数据管线的改动先在仿真里做小规模验证,推理设置先在仿真里筛选,再上真机。

这相当于给机器人模型的迭代装上了"风洞"——**开发闭环从"真机试错"前移到"仿真预演"**。


真实任务在仿真中的高保真重建(Isaac Lab)

8 | 脉络与思考:三条主线看懂这场进化

把 N1 → N1.7 → GR00T 2 串起来看,有三条非常清晰的主线:

① 架构:从"双系统串联"到"一个网络想象世界"。N1 用 VLM 规划 + DiT 执行,两级系统之间靠"规划 token"衔接,各有各的世界观;GR00T 2 把"预测世界"和"预测动作"合进一个扩散 Transformer,规划与执行共享同一个想象——系统 2 的角色则外化给了外部推理智能体。这其实是把 LLM 领域"模型 + Agent"的分层架构搬到了机器人上:**模型越来越像"小脑+世界观",智能体承担"大脑"**。

② 数据:从"机器人数据为主"到"人类视频为主"。N1 时代的主角是跨本体遥操作数据;GR00T 2 的配方里 92% 是人类第一视角视频,且 scaling 实验证明每一步扩展都有真机收益。机器人学习的瓶颈第一次从"没有数据"转向"如何消化数据"。

③ 系统:从"单模型"到"模型 + 智能体 + 仿真"的闭环。智能体负责长程规划与容错恢复,GR00T 2 负责灵巧执行,仿真负责评估与预演;LoRA 少样本适配(30 分钟、单卡)和真机 RL(GRPO 自我模仿)成为后训练的标准动作。

冷静一点看,离"可靠劳动力"仍有距离:零样本 40% 意味着一半以上的未见任务仍会失败;灵巧任务还需少量真机数据;视觉引导表达不了复杂运动语义;Turbo 与完整版在能力与速度上仍需取舍。但方向已经足够清楚——当机器人开始"想象未来",它就同时获得了从人类视频学习、被智能体指挥、在仿真里预演这三种加速方式。

对从业者,笔者认为有三个可带走的实操启示:

数据管路可以分层建设:人类视频(便宜、海量)→ 手持 UMI(中等成本、任务聚焦)→ 遥操作(昂贵、本体精确),三层配比是可以显式优化的对象;

"预训练底座 + 少样本 LoRA + RL 打磨"正在成为机器人版的标准微调工作流,30 分钟单卡微调的成本结构会改变行业玩法;

给模型留"被指挥"的接口(如 WAM API、画面标记),比把所有智能塞进一个模型更现实——这可能是机器人版"MCP 时刻"的起点。

参考

GR00T 2 项目主页(含白皮书 PDF、全部演示视频):https://research.nvidia.com/labs/gear/gr00t-2/

GR00T N1 论文:arXiv 2503.14734;N1 发布新闻稿:NVIDIA Newsroom(GTC 2025)

GR00T N1.5 研究页:research.nvidia.com/labs/gear/gr00t-n1_5

GR00T N1.7:Hugging Face 博客(huggingface.co/blog/nvidia/gr00t-n1-7)、GitHub NVIDIA/Isaac-GR00T

Human-1M-100K 数据集:Hugging Face(nvidia)

Mbot具身智能实验室

让尖端科技触手可及,人人皆可探索未来


Mbot基础交流群等你加入,下方扫码联系

具身-杰西

Mbot具身-小助手

Mbot-视频号

Mbot-公众号

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
央八定档!《两京十五日》本是冲着林更新去的,却被男一狠狠惊艳

央八定档!《两京十五日》本是冲着林更新去的,却被男一狠狠惊艳

大眼妹妹
2026-11-20 02:15:24
继《伟大的长征》后,于和伟出演60集抗日战争时期,家国史诗级大剧

继《伟大的长征》后,于和伟出演60集抗日战争时期,家国史诗级大剧

容妃
2026-11-20 16:09:25
英伟达暴跌14%,“AI交易”抛售加剧使得美股进入回调区间

英伟达暴跌14%,“AI交易”抛售加剧使得美股进入回调区间

界面新闻
2026-11-21 06:45:36
1979年索马里买26架战机赖账1700万,中方8年7次催收无果,最后发现4台报废发动机比这笔钱更值钱

1979年索马里买26架战机赖账1700万,中方8年7次催收无果,最后发现4台报废发动机比这笔钱更值钱

磊子讲史
2026-11-20 19:00:10
小泽一郎如何戳穿高市的“外交胜利”?

小泽一郎如何戳穿高市的“外交胜利”?

天真无牙
2026-11-20 12:55:47
带岳母抓妻子出轨,认出床上那人后,岳母失声尖叫

带岳母抓妻子出轨,认出床上那人后,岳母失声尖叫

雾岛夜话
2026-04-03 11:30:58
油价大降0.52元/升后“再大降”,下次11月26日调价,倒计时7天!

油价大降0.52元/升后“再大降”,下次11月26日调价,倒计时7天!

猪友巴巴
2026-11-19 09:14:41
韩国教授坦言:放眼全球,唯独韩国瞧不起中国;而在中国人眼里,压根没有韩国的位置

韩国教授坦言:放眼全球,唯独韩国瞧不起中国;而在中国人眼里,压根没有韩国的位置

z千年历史老号
2026-10-08 17:02:34
降价18.78万,奥迪 “头等舱” 新车:继续开售 !

降价18.78万,奥迪 “头等舱” 新车:继续开售 !

沙雕小琳琳
2026-11-21 08:33:12
《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质?

《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质?

唠叨说历史
2026-11-21 10:31:16
APEC中国时间|超出计划的访问,特朗普在深圳的27小时

APEC中国时间|超出计划的访问,特朗普在深圳的27小时

澎湃新闻
2026-11-20 15:09:03
“我爸是大官”韩方奕街头打死警察,判死缓不到7年却获成功减刑!

“我爸是大官”韩方奕街头打死警察,判死缓不到7年却获成功减刑!

零点历史说
2026-10-18 10:55:11
《GTA6》预告片的金发比基尼美女找到了!不是女主

《GTA6》预告片的金发比基尼美女找到了!不是女主

游民星空
2026-11-21 10:15:23
扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

头狼追球
2026-11-20 13:01:14
特朗普期待黄仁勋回归

特朗普期待黄仁勋回归

参考消息
2026-11-21 11:22:12
特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

砚底沉香
2026-11-20 09:44:10
美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今近况如何?

凡知
2026-11-21 01:31:33
两岸统一货币,台湾慌了

两岸统一货币,台湾慌了

燕梳楼频道
2026-11-20 12:16:58
《GTA6》通关了!主播连播50小时不睡 游戏内39小时

《GTA6》通关了!主播连播50小时不睡 游戏内39小时

游民星空
2026-11-20 16:16:19
NBA杯:骑士128-119击退步行者!哈登狂轰51+6+6,米切尔20分

NBA杯:骑士128-119击退步行者!哈登狂轰51+6+6,米切尔20分

全景体育V
2026-11-21 10:58:48
2026-11-21 12:16:51
杰西讲具身 incentive-icons
杰西讲具身
一名分享AI前沿的分享官,专注具身智能前沿知识
184文章数 1关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
旅游
手机
数码
本地

运动风,漫不经心地穿才“松弛”!

旅游要闻

产业规模破万亿元!高铁直达、夜场升级,冰雪消费提前升温

手机要闻

首款鸿蒙AI手机!华为星芒OSTA O1Pro发布,售价5499元起

数码要闻

高驰VERTIX 4运动手表曝光:1.47英寸AMOLED屏幕

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

无障碍浏览 进入关怀版