网易首页 > 网易号 > 正文 申请入驻

智元发布GE-Act 2.0,首次验证原生世界—动作模型预训练与Scaling路径

0
分享至

来源:市场资讯

(来源:环球网资讯)

来源:环球网

如果把训练数据从 300 小时扩大到 30,000 小时,机器人模型能否像大语言模型一样,随数据增长不断解锁新能力?

智元最新发布的原生世界—动作模型(World Action Model,WAM)GE-Act 2.0,首次系统回答了这个问题。与沿用现成视频生成模型的主流路线不同,GE-Act 2.0 的所有模型参数,包括视觉表征、未来生成、动作预测等核心组件均从随机初始化开始,在具身操作数据上从头训练。训练完成后,模型不针对评测任务做任何微调和示范,直接在陌生场景、陌生物体上,接受语言指令跟随、多技能操作和陌生环境泛化等真机零样本(Zero-shot)检验——覆盖 100 项原子任务、20 类技能、两种机器人本体。

结果显示,随着数据规模扩大 100 倍,模型不仅原有技能更稳定,还逐步解锁了此前完全无法完成的新任务,包括折叠毛巾、嵌套纸杯、拔插笔盖、插花等较精细动作,原生世界—动作模型的 Scaling 路径首次被系统性验证。


图中每个任务接受四档数据量训练(300 小时/ 1200 小时/ 5000 小时/ 30000 小时),随着训练数据不断扩大,技能覆盖范围与任务成功率同步扩大,这验证了原生世界-动作模型预训练与Scaling路径

项目主页及论文:https://ge-act-v2.github.io/

一、用 Zero-shot 检验预训练,用 100 倍数据验证 Scaling

针对评测任务做额外训练,能刷高成绩,却分不清能力来自通用预训练还是“考前特训”。GE-Act 2.0 因此把真机零样本表现作为标准:不微调、不示范、不换模型,测试中的场景、背景、光照和物体实例均未进入训练。在相同训练配方下,最后一阶段分别使用 300 / 1,200 / 5,000 / 30,000 小时四档数据,三条 Scaling 线索清晰可见:

技能“逐格点亮”:取得非零成功率的任务,在 G1-OP 机器人上从 39 项增至 76 项,在 G2-90D 机器人上从 24 项增至 72 项。折叠毛巾、嵌套纸杯、拔插笔盖、插花等较精细动作在小规模数据训练的模型上无法被理解,当数据达到3万小时规模时出现显著的能力顿悟;

任务成功率持续提升:G1-OP 机器人总体成功率从 17.1% 提升至 44.1%,G2-90D 机器人从 13.4% 提升至 31.1%,且 5,000 到 30,000 小时仍未见明显饱和;

“富本体”带动“稀缺本体”:G1-OP 机器人贡献超 50% 训练数据,G2-90D 机器人占比不足 2%,但后者仍随共享数据扩大提升 17.7 个百分点,显示出跨本体能力迁移真实发生。


随着训练数据规模扩大,两种机器人本体的多数技能持续提升,数据占比不足2%的G2-90D同样获得明显增长。

作为补充,微调后的 GE-Act 2.0 在 RoboTwin 陌生环境测试中取得 60.52% 成功率,在 GenieSim 指令遵循测试中获得 0.770 分,均超过 π0.5、GR00T N1.7 等参与比较的模型。

二、原生World Action Model 如何预训练:GE-Act 2.0 给出了方法论

传统动作模型“看到什么就做什么”;世界—动作模型多走一步:先预测“这样做下去,世界会变成什么样”,再决定动作。然而大多数世界—动作模型从现有的视频生成模型出发,再接入动作模型,这种方法难以看清世界预测与动作能力究竟如何从具身数据中获得。GE-Act 2.0 设计了面向具身操作重新设计整套架构,给出了从头预训练的完整方法论。


GE-Act 2.0架构

原生高效表征:一帧画面压缩为 24 个 token

机器人既要看清物体和运动,又要控制计算成本。GE-Act 2.0 设计更高效的视觉编码器 CoAE,将一帧 256×384 画面压缩为 24 个视觉 token,仅为 DINOv3 的十六分之一,同时保留语义、运动与局部结构。压缩后反推动作的精度与 DINOv3、V-JEPA 2.1 等高信息量表征接近,在 4,000 条机器人操作数据的受控测试中,指令—画面匹配准确率达 97.95%,为五种对照表征中最佳。

原生视觉规划器:让“想象”与“行动”共同优化

世界模型负责预测未来,逆动力学模型(IDM)负责生成动作。传统方法需要多轮计算才能生成未来,计算与显存占用极高,既难以让两个模型共同训练,也会拖慢推理速度。GE-Act 2.0采用一步式视觉规划,一次生成完整未来,并让动作误差直接反馈给世界模型。配合高效视觉表征,模型在RTX 5090显卡上生成一个chunk连续动作仅需104毫秒,大幅优于现有大部分WAM。

联合训练方案:KASO 破解“预测和动作对不上”

同一任务常有多种正确做法:模型想象“左手抓取”,数据记录的却是“右手”,各自合理,合在一起就是错误信号。GE-Act 2.0 以知识对齐选择性优化方法(KASO):一次生成多个可能的未来,只选择与真实动作最一致的结果参与训练,来解决这个问题。在陌生场景的分布外(OOD)评测中,机器人选对指令目标的比例较基线提高7.5个百分点,最终完成抓取的成功率提高10个百分点。


KASO从多个预测未来中选出与真实动作最一致的结果,再用于联合训练,避免未来预测与动作监督错位

三、一套“吃进所有数据”的架构:遥操、无本体、Rollout、失败数据各就其位

机器人训练与部署中产生的数据形态各异,传统模仿学习依赖完整的“指令—画面—动作”配对,大量数据因此被浪费。GE-Act 2.0 提出的数据架构让每类数据承担合适的学习任务:

3.9 万小时“指令—视频”数据预训练世界模型,学习环境如何变化——其中包含 3,000 小时无本体数据(不带动作标注的第一视角与人类操作视频);

3.2 万小时机器人轨迹预训练逆动力学模型(IDM),学习“画面这样变化时机器人做了什么”——其中包含 2,000 小时失败操作与真实场景部署回流(rollout)数据,不要求成功标签;

3 万小时“指令—视频—动作”完整数据进行联合训练,把两种能力连接起来。

借助逆动力学模型,无指令、无成功标签、甚至失败的轨迹都能还原出动作监督信号——失败数据也能成为训练资产。


分阶段预训练

结语

GE-Act 2.0 验证了原生世界—动作模型可规模化的预训练路径,也是从“世界预测”走向“世界驱动行动”的关键一步。在智元 GE 世界模型体系中,GE-Sim 面向策略评估与环境构建,GE-Act 将未来预测转化为真实机器人的操作能力。当更多类型的具身数据被统一利用、零样本能力随数据规模持续增长,具身基础模型的 Scaling 路径,正在变得更加清晰。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
日本队没料到,如今他们的心腹大患,除了孙颖莎外,还有22岁的她

日本队没料到,如今他们的心腹大患,除了孙颖莎外,还有22岁的她

悦君兮君不知
2026-09-29 18:40:25
1-2!随着U23国足无缘亚运会决赛,7人可进国家队踢主力,这3人或彻底退出

1-2!随着U23国足无缘亚运会决赛,7人可进国家队踢主力,这3人或彻底退出

篮球圈里的那些事
2026-09-30 19:41:24
东方甄选公开道歉:所有在直播间购买了“溜溜凳”的用户,全面退款不退货,退款金额为货价的二倍;此前“交个朋友”也已道歉

东方甄选公开道歉:所有在直播间购买了“溜溜凳”的用户,全面退款不退货,退款金额为货价的二倍;此前“交个朋友”也已道歉

都市快报橙柿互动
2026-09-30 15:27:15
今年火了一种穿法,叫“长裙+长裤”,初秋这么叠穿,时髦又高级

今年火了一种穿法,叫“长裙+长裤”,初秋这么叠穿,时髦又高级

时尚穿搭生活馆
2026-09-30 21:10:39
刘欢离世仅5天,赵丽颖病情曝光令人心痛,复婚二胎传闻真相大白

刘欢离世仅5天,赵丽颖病情曝光令人心痛,复婚二胎传闻真相大白

喜欢历史的阿繁
2026-10-01 00:40:34
外媒惊叹:中国4:0横扫夺金不可怕,可怕的是连卫冕都这么轻松

外媒惊叹:中国4:0横扫夺金不可怕,可怕的是连卫冕都这么轻松

云上乌托邦
2026-09-30 17:18:53
上海楼市,撕裂了

上海楼市,撕裂了

阿离家居
2026-09-30 05:04:02
CBA公布体测结果!沈梓杰、王哲林等26人不合格,广东连续两年要补测

CBA公布体测结果!沈梓杰、王哲林等26人不合格,广东连续两年要补测

多特体育说
2026-09-30 23:23:33
演员杜淳妻子“王灿被骗灌肠”冲上热搜,其自曝遭养生骗局,店家诱导她购买千元排毒套餐,竟被工作人员灌错位置,事后店家敷衍道歉

演员杜淳妻子“王灿被骗灌肠”冲上热搜,其自曝遭养生骗局,店家诱导她购买千元排毒套餐,竟被工作人员灌错位置,事后店家敷衍道歉

扬子晚报
2026-09-28 19:36:19
东航回应“空姐下跪道歉事件”:旅客手肘被碰出现威胁言行,乘务员受到惊吓,愿被温柔以待的不只是乘客

东航回应“空姐下跪道歉事件”:旅客手肘被碰出现威胁言行,乘务员受到惊吓,愿被温柔以待的不只是乘客

每日经济新闻
2026-09-30 17:15:56
很多人都搞错了!日本殖民韩国 40 年,真不是没同化成功,当年韩国差点就丢掉自身民族认同了

很多人都搞错了!日本殖民韩国 40 年,真不是没同化成功,当年韩国差点就丢掉自身民族认同了

扶苏聊历史
2026-09-30 11:23:58
你身边有神人一般的存在吗?网友:跟一个朋友同居叫她丢垃圾,她把垃圾桶丢了

你身边有神人一般的存在吗?网友:跟一个朋友同居叫她丢垃圾,她把垃圾桶丢了

带你感受人间冷暖
2026-09-25 00:05:49
重磅!NBA新规正式出炉,布朗成“反面”教材,留给SGA的机会不多了

重磅!NBA新规正式出炉,布朗成“反面”教材,留给SGA的机会不多了

球童无忌
2026-09-30 15:44:30
去年我国25至29岁结婚人数最多

去年我国25至29岁结婚人数最多

第一财经资讯
2026-09-30 21:58:11
王楚钦发言后的最后一个眼神,我突然理解,樊振东为什么不回来了

王楚钦发言后的最后一个眼神,我突然理解,樊振东为什么不回来了

十点街球体育
2026-09-30 01:15:06
伊拉克:美军撤离,乱局开始……

伊拉克:美军撤离,乱局开始……

微评社
2026-09-30 16:53:08
“最风流”美女主持:把两个有妇之夫玩弄于股掌之中,如今怎样了

“最风流”美女主持:把两个有妇之夫玩弄于股掌之中,如今怎样了

悦君兮君不知
2026-09-29 14:04:03
CBA宣布重要决定,中国男篮疑似又被坑了,日韩联赛再次嘲讽

CBA宣布重要决定,中国男篮疑似又被坑了,日韩联赛再次嘲讽

宗介说体育
2026-09-30 13:07:56
余承东预热华为Mate 90系列旗舰新机:大家一次次选择我们,我们就得一次次拿出进步

余承东预热华为Mate 90系列旗舰新机:大家一次次选择我们,我们就得一次次拿出进步

IT之家
2026-09-30 20:26:08
波切蒂诺谈曼城裁决报道:若属实,我们经历了一段欺骗时期

波切蒂诺谈曼城裁决报道:若属实,我们经历了一段欺骗时期

坠入温柔晚风
2026-09-29 21:43:39
2026-10-01 01:16:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4944895文章数 9701关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

美国著名演员史泰龙发声:我糟蹋了自己的身体

头条要闻

美国著名演员史泰龙发声:我糟蹋了自己的身体

体育要闻

30天30队·火箭:乌度卡的控制欲

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

“杭州六小龙”迎来价值重估

汽车要闻

燃油车的最佳平替 长城大狗HEV简单好开更经济

态度原创

手机
家居
教育
房产
公开课

手机要闻

部分用户反馈iPhone 18 Pro扬声器爆音异响,苹果或通过iOS 27系统更新修复

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

最后一个世界大学排名:THE发布最新榜单,英国大学又站起来了?

房产要闻

利好频发!国庆置业窗口期,收好这份优惠攻略!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版