网易首页 > 网易号 > 正文 申请入驻

全球首个原生3D动力学预测世界模型,RoboScience为机器人操作提供更精准的物体运动预测

0
分享至



近期,RoboScience 机器科学团队发布了全球首个原生 3D 动力学预测世界模型 WorldFlow —— 让机器人能够根据眼前的场景和任务指令理解操作意图,想象物体接下来在三维空间中该如何移动,从而为机器人操作提供更精准的物体运动预测。



视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ

对于人类而言,在伸手拿起杯子的那一刻,大脑便完成了从抓握、移动到放置的推演。这种对物理世界的瞬时预判,正是一切操作的基石。 然而,机器人想要真正想象物理世界,仍面临两大挑战:

  • 视频生成模型:从海量视频中积累了丰富的物理交互经验,能够生成逼真的未来画面,但物体的三维运动隐含在二维像素变化中,还需借助几何重建和运动跟踪等方法提取这些物理信息,不可避免地引入累积误差。
  • 跳过视频生成、直接预测三维运动轨迹:这类方法虽然直接,但缺乏来自物理世界的视觉信号,模型无法理解不同物理实体的接触与交互过程,预测能力难以泛化。

这促使团队重新思考:视频中丰富的视觉信息,能否让模型直接理解和预测三维运动?

基于这一思路,该团队正式发布世界模型 WorldFlow,让模型在真实世界和仿真场景中学习预测三维物理世界的运动,打破视觉表征与三维运动割裂的困局,为机器人操作提供更准确的三维动力学预测。



  • 论文:WorldFlow: Joint Video and 3D Motion Prediction via Large-Scale Pretraining
  • 链接:https://arxiv.org/abs/2610.39278
  • 项目主页: https://worldflow-rbs.github.io/

原生 3D 动力学预测:

让机器人真正 “预见” 未来

WorldFlow 的核心创新,是将三维运动作为与视频并列的独立生成模态,让模型不再依赖生成视频后的轨迹提取,而是在同一生成过程中同步预测未来画面与物体的三维运动。

给定观测画面、一句语言指令和目标物体,WorldFlow 就能联合预测出未来视频和目标物体的三维轨迹。以论文中的示例为例,面对 “拿起黑色拖鞋,放到鞋架第三层” 的指令,WorldFlow 不仅能够预演拖鞋被拿起、移动并放上鞋架的画面,还能直接预测拖鞋上的各个点在三维空间中的移动路径与最终落点。



由于二维画面与三维运动天然存在鸿沟,为了让模型知道哪个三维点的运动对应画面中的哪个像素,团队设计了两套互补的编码机制:三维点几何编码帮助模型理解物体在三维空间中的位置及几何关系;时空位置编码则将运动轨迹与视频画面建立对应,使模型能够关联特定物体的运动与相关视觉区域。

在 Mixture of Transformer(MoT)架构中,视频与运动通过双向注意力交换信息,并在统一生成过程中共同去噪:视频提供物体外观、接触与遮挡等视觉线索,三维运动提供空间位移信息。

以下模型在家居场景的真实场景推理结果:













百万多源样本预训练:

从海量数据中学习物理运动规律

为了让 WorldFlow 掌握丰富的物体运动规律,团队搭建了一套数据管线,整合了来自仿真场景、机器人操作场景及人类操作场景的17 个数据源,构建了约144 万条训练样本。每条样本既包含任务指令下的操作视频,又包含被操作物体在三维空间中的运动轨迹,使模型不仅学习 “画面该如何变化”,还能同步学习 “物体该如何移动”,从多样化的任务和场景中学习三维运动先验。

为评估模型在机器人场景下的动力学预测效果,团队还构建了一个覆盖仿真场景、真实场景和空间认知场景的基准测试 WorldFlowBench,并通过平均位移误差(ADE)与终点位移误差(FDE)评估轨迹预测精度。

消融实验论证:

联合生成为何更胜一筹?

引入视频监督,优于 “单一的运动预测”

在消融实验中,团队将 WorldFlow 与仅预测三维运动的模型变体进行了对比。两者采用相同的网络架构、训练数据及超参设置,区别在于是否引入视频生成。结果表明,引入视频监督信号能够显著提升三维运动预测能力,使得模型在仿真场景、真实场景和空间认知场景下的 ADE 分别降低48.5%、19.8% 和 55.9%, FDE 分别降低54.4%、25.7%、68.5%



直接生成视频和运动轨迹,优于 "先生成视频、再跟踪轨迹"

团队将 WorldFlow 与 “先生成视频,再通过 Track4World 或 4RC 等方法跟踪三维轨迹” 的两阶段方案进行对比。以 Track4World 为例, WorldFlow 在仿真场景、真实场景和空间认知场景下的 ADE 分别降低42.0%、19.0% 和 27.7%, FDE 分别降低46.0%、26.6% 和 43.5%



从运动预测走向真实操作:

开启具身智能新范式

WorldFlow 的价值不仅在于提升运动预测精度,更在于探索了一种连接世界模型与机器人操作的新范式:以物体三维运动轨迹为接口,将任务意图转化为机器人操作的规划依据。例如,面对 “把绿色饼干盒放在半透明盒子上” 的指令,WorldFlow 可以预测饼干盒的三维移动轨迹与目标落点,机器人再结合自身的臂展、关节约束与抓取方式,规划出可执行的操作动作。



视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ



视频链接:https://mp.weixin.qq.com/s/nxr34ClHbxqVW3aULfyYVQ

在真机实验中,团队对比了目前领域内领先水平的运动预测模型 μ₀ 和 WorldFlow,通过 12 项任务考验模型能否赋予机器人抓取放置(Pick and Place)、物体堆叠(Stacking)和空间理解(Relative Placement)三类能力。相对于 μ₀,WorldFlow 在与其共用同一套抓取与控制系统的情况下将生成出正确轨迹的概率从 25.0% 提升至 97.2%,将真机操作成功率从 11.1% 提升至 66.7%

这一范式让物体三维轨迹也可以成为跨机器人本体的通用规划接口:面对相同任务,不同形态的机器人可以共享物体运动目标,再通过各自的控制系统完成操作。从 “看见未来画面” 到 “预见三维运动”,WorldFlow 为世界模型与机器人执行之间建立了更加直接的连接,也为面向真实物理世界的通用具身智能探索了新的技术路径

关于团队

  • 鲁宇豪:WorldFlow 共一作者,清华电子系硕士毕业,当前在 RoboScience 机器科学从事世界模型等相关工作。
  • 陈炯旭:WorldFlow 共一作者,中山大学智能工程学院硕士毕业,当前在 RoboScience 机器科学从事世界模型等相关工作。
  • 王圣:RoboScience 机器科学世界模型团队负责人、WorldFlow 项目负责人,香港科技大学博士。 聚焦具身智能与世界模型,具有视觉语言动作(VLA)模型及端到端自动驾驶研究背景。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

林杰论事
2026-11-21 18:01:18
台湾股市崩盘,台媒:很多人借钱炒股,股灾影响恐蔓延到日常生活

台湾股市崩盘,台媒:很多人借钱炒股,股灾影响恐蔓延到日常生活

海峡导报社
2026-11-21 15:40:07
强迫女友发生关系,18岁男子获刑3年,出狱后两人复合同居,女友因吵架提及强奸旧事被杀害;该案即将一审开庭

强迫女友发生关系,18岁男子获刑3年,出狱后两人复合同居,女友因吵架提及强奸旧事被杀害;该案即将一审开庭

大风新闻
2026-11-21 19:30:06
黄金连跌十日,创下近14个月新低,何时能反弹?专家给出判断

黄金连跌十日,创下近14个月新低,何时能反弹?专家给出判断

极目新闻
2026-11-21 21:46:47
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

念洲
2026-11-21 13:12:32
露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

平老师666
2026-11-21 08:49:53
金饰克价年内大跌超650元

金饰克价年内大跌超650元

21世纪经济报道
2026-11-21 13:31:39
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

第三次喊话力挺黄仁勋,特朗普向英伟达董事会下“政治通牒”:希望黄仁勋重返英伟达担任CEO,强调要保护像他这样的“人才”

大风新闻
2026-11-21 11:57:02
“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

舒山有鹿
2026-11-20 16:20:23
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
德州发布最新人事任免

德州发布最新人事任免

中国山东网
2026-11-21 12:52:14
局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

林杰论事
2026-11-21 18:05:57
现在好了,全崩了

现在好了,全崩了

飞跑的鹿
2026-11-21 11:23:56
一回到美国,特朗普就说:中国也能生产芯片,要明白,如果我们不卖,他们会自己制造

一回到美国,特朗普就说:中国也能生产芯片,要明白,如果我们不卖,他们会自己制造

互联鱼
2026-11-22 00:10:10
美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

美悬赏1000万美元搜集缅甸电诈园区线索,知情人:园区以“欧美盘”为主,已基本搬空

红星新闻
2026-11-20 15:33:23
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

珠三角港
2026-11-20 10:44:17
2026-11-22 03:48:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

墨西哥女总统发布深圳行vlog

头条要闻

墨西哥女总统发布深圳行vlog

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
房产
教育
亲子
旅游

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

教育要闻

2026-2027年度“地球小博士”报名来了,小博士”11套真题免费下载

亲子要闻

果然祖坟冒青烟也有累的时候!网友:祖坟也得歇歇,不能一直冒烟

旅游要闻

旅游淡季,喜洲的马车队在默契中略显萧瑟,幸好有旅游团的支撑

无障碍浏览 进入关怀版