网易首页 > 网易号 > 正文 申请入驻

Sora 2 之后,北京人形WoW具身世界模型带来aha时刻

0
分享至

近年来机器人的“体能”正在以肉眼可见的速度进步——后空翻、跑酷、马拉松,这些曾经只属于人类的运动能力,如今机器人也能轻松完成。然而,让机器人完成一个后空翻很难,但让它“理解”面前的水杯为什么倒下后水会洒出来,或许更难。

继Deepseek在大语言模型开源促进行业发展后,北京人形机器人创新中心再次打破边界并开源了全新的世界模型架构,提出了一个让机器人真正“看见、理解并行动于世界”的具身世界模型——WoW(World-Omniscient World Model),帮助具身智能机器人快速学习掌握各项技能,助力行业打造“最好用”的机器人。

一经发布,该模型便受到学术界产业界广泛关注,其中Huggingface官方留言:Excellent work,并重点推荐希望上传更多内容。斯坦福具身智能大佬 、PI创始人、清华合作文章也引用了WoW具身世界模型技术报告。这意味着北京人形机器人创新中心在具身世界模型领域走在世界前列。

这不仅仅是一次视觉模型的升级,更是一个融合了视觉、动作、物理感知与推理的统一世界生成框架。 它让 AI 不再只是“看视频”或“生成图像”,而是能通过交互学习世界的物理规律,并在真实环境中自主操作。如果说GPT系列让机器“读懂语言”,Sora系列是在“看世界”,那么 WoW 就是让机器人“理解物理世界”,并且给到算法触摸世界的双手。创新的技术架构、完全开源的策略、完整的工具支持,使得WoW有望成为世界模型领域的“Deepseek"。

相较于 Sora 2, WoW 具身世界模型在模拟机器人操作的时空一致性、物理推理能力表现更为出色。

图 WoW生成依次抓取火方块,柔性方块,水方块

图 WoW生成打开乔布斯自传书

图 Sora 2生成依次抓取火方块,柔性方块,水方块

图 Sora 2生成打开乔布斯自传书

创新的技术架构体系,重新定义世界模型能力边界

北京人形提出了一个全新的多模态大模型框架,将世界生成(World Generation)、动作预测(Action Inference)、视觉理解(Vision-Language Models, VLM) 和自我反思(Refiner Agent)融合为一个统一系统,成功解决传统架构物理一致性、因果推理和跨本体跨场景跨动作泛化方面的局限。

图 WoW 是一个融合了感知、预测、判断、反思与行动五个环节的具身世界模型。它从真实的机器人交互数据中学习,能在已知与未知场景中生成高质量、物理一致的机器人视频,最终让想象中的动作真正落地于现实执行。

WoW具身世界模型系统由四个核心组件构成:

DiT 世界生成基座模型(Diffusion Transformer) —— 具备真实世界推理与生成能力的[物理引擎+想象系统]

WoW具身世界模型能够根据环境状态与历史帧,预测未来场景、推演物理演化、还原动态因果链。在此基础上,北京人形从800万条海量机器人与物理世界交互轨迹, 并自建数据优化精炼管线,筛选出200 万条高质量的训练集,训练了多个版本的世界模型, 从1.3B → 2B → 7B → 14B参数的全系列扩展,并验证了随着模型规模提升,物理一致性与生成稳定性以及泛化性呈显著上升趋势。

域内(In-domain)泛化生成:

图 WoW生成打开洗碗机

图 WoW生成打开水龙头放下苹果

图 WoW生成机械臂生成依次按下红色按钮,收拾餐具,按下绿色开关(长程任务)

域外(Out-of-domain)泛化生成:

(a)北京人形具身天工2.0

图 WoW生成具身天工2.0把橙子放进盘子里

图 WoW生成具身天工2.0倒酒

图 WoW生成具身天工2.0把面包放进面包机

(b)更有趣的泛化

图 WoW生成其他类型机器人打招呼

图 WoW生成从梵高的向日葵画里拿出向日葵

图 WoW生成机械臂夹爪工作轨迹流

WoW 不是在记忆训练场景,而是在学习“物理规律的抽象本质”,具备跨机器人形态泛化、任务泛化、场景泛化全方位能力,这类“视觉+物理”的泛化能力,是通向具身智能(Embodied Intelligence)的关键指标。

图 机器人本体形态泛化

图 机器人动作任务泛化

图 更多泛化能力

SOPHIA 自反范式(Solver–Critic–Refiner) —— 业内首次提出SOPHIA框架,让世界模型“自己教自己”。

WoW 具身世界模型遵循 SOPHIA 范式——将大语言模型 (LLM) 与 扩散 Transformer (DiT) 结合起来,在语言引导下生成物理上合理的未来,通过“生成预测(predict)—批评(critic)—修正(refine)”的迭代循环机制,将“想象(imagination)”与“推理(reasoning)”统一为具身智能的基本组成部分,正类似于人类智能“想象-验证-修正-再想象”的核心特征,让模型越看越准,越生成越真实。

图 左侧展示了 动态评论模型(Dynamic Critic Model Team),它通过真实与合成视频的标注训练,学会判断生成画面的物理合理性。右侧展示 Refiner Agent(优化智能体),根据评论模型的反馈不断改写提示词、重新生成视频,形成一个“生成—批评—改进”的闭环优化过程。

FM-IDM 逆动力学模型(Flow-Mask Inverse Dynamics) —— 从视频到动作,给算法触摸世界的双手

WoW具身世界模型实现[视频生成]和[机器人动作]闭环,通过给定连续两帧预测视频,FM-IDM能够计算出机器人末端执行器的动作变化量,从视觉“想象”中反推出真实可执行的运动指令,让模型真正实现从视频到行动的闭环,意味着AI不再停留在“想象中”,而能真正“动手”去验证自己的理解,标志着真正实现从生成到执行的跨越。

图 给定连续两帧预测视频,FM-IDM(Flow-Mask Inverse Dynamics Model)能够计算出机器人末端执行器的动作变化量(ΔAction),从视觉“想象”中反推出真实可执行的运动指令,让模型真正实现从视频到行动的闭环。

WoWBench 世界基准 —— 全球首个针对具身世界模型的综合基准,让“想象力”第一次有了可量化的科学标准

北京人形提出了专测“物理一致性与因果推理”的新基准 WoWBench, 也是全球首个针对具身世界模型的综合基准,从四大核心维度评估模型能力——感知理解、预测推理、决策与规划、泛化执行,覆盖包括视觉保真与时间一致、指令理解与语义正确性、物理与因果推理、规划与任务分解等多个指标,采用混合评测机制(专家模型+GPT或精调VLM+人类专家)进行评分,确保模型表现与人类认知保持一致。

图 WoWBench 围绕五个核心组成部分构建:(左上)多维评测体系,从视频质量、规划推理、物理规律、指令理解四个角度评价生成结果;(中上)对应具身世界模型的四大核心能力——感知、规划、预测与泛化;(右上)依托多源数据构建流程,融合自采、开源与AI生成数据,并结合 GPT 预筛选 + 人类标注 的混合机制,形成高质量的视频–指令对(图中三张饼图展示了数据分布统计);(中部)采用双评测机制:专家模型评估运动与一致性,GPT或精调VLM评估指令理解与任务规划;(底部)还邀请了12位领域专家进行人工评审,确保模型表现与人类认知一致。

实践测评,WoW性能领先强势基线模型

经评测验证 WoW具身世界模型,区别于传统仅追求视觉保真度的视频生成,WoW 的“自我优化循环(SOPHIA 框架)”使模型能从推理—生成—反思的闭环中不断改进,在WoWBench四大指标中全面领先,未加入SOPHIA Agent自优化模块前,WoW-DiT在人类与自动评测中已经均取得最高分(Overall = 49.39),远超Cosmos-Predict、CogVideoX等强势基线模型,加入 SOPHIA Agent自优化模块(Self-Optimization Framework) 后,总体评分更是进一步提升至 51.97,超过所有对比模型。

表 WoW-DiT本身已经在人类与自动评测中均取得最高分

表 加入 SOPHIA Agent自优化模块(Self-Optimization Framework) 后,WoW+Agent 的总体评分进一步提升至 51.97,超过所有对比模型。

WoW具身世界模型学习到的不仅具备外观一致性,并且具备物理机制的一致性,在物理模拟指标量化测评中,在复杂动力学(软体、流体、光学)等场景中全面领先,特别是非刚体动力学的柔性物体或流体中优势显著。

表 物理模拟指标量化

在不同难度的机器人实验中,WoW具身世界模型驱动的FM-IDM中,简单任务成功率高达94.5%,远超传统逆动力学基线模型,中等难度的成功率达到 75.2% (创下新SOTA,尤其在中等任务上显著超越其他方法),当部署到实际机械臂上,WoW 生成的动作几乎可直接执行,实现“从像素到动作”的完整闭环。

表 不同难度级别下的视频回放成功率基准

图 WoW 在真实机器人环境中的有效性。(左)展示了 WoW 在真实机器人上执行的 简单与中等难度任务 的成功轨迹示例。 (右)展示三种不同世界模型骨干(backbone)在现实世界准确性比较的定量结果。在所有基础模型中,微调都极大地提高了现实世界中的性能,其中 WoW-cosmos2 达到了 最高得分,展现了最优的实际执行能力。

从 3万 到 200万 条交互轨迹,WoW 的性能几乎呈幂律增长——证明真实交互数据比纯视觉数据更能塑造“世界理解力”。14B 参数版本在复杂物理任务上表现最稳健,此外7B模型也能在效率与效果间取得理想平衡。

图 WoWBench 各模型多维细粒度性能对比图

开源开放,构建世界模型的研究基础设施

北京人形机器人创新中心开源WoW具身世界模型部分模型权重,推理代码与WoWBench,这种程度的开源,使得全球研究者不仅能够复现论文结果,更能够在WoW的基础上进行深入研究和应用开发,大大降低了世界模型研究的入门门槛,加速具身智能机器人走入生活方方面面。

开源部分模型权重:包含1.3B、2B、7B、14B三个参数量级的预训练模型。

开源训练推理代码:从数据预处理到模型部署推理的流程代码。

开源WoWBench评估基准:首个专门针对具身世界模型的综合测试标准。

应用前景广阔,实现从技术到产业的全面赋能

北京人形发布的WoW具身世界模型,凭借创新的技术架构,优越的性能表现以及开源开放合作赋能,助力具身智能机器人多场景落地。

学术研究层面:北京人形为世界模型研究提供统一的基准平台和可比较的评估体系,并将WoWBench基准和模型开源,加速研究进展,促进科研复现。

技术演进层面:智能体自我训练平台,北京人形提供自优化接口,WoW世界模型可作为交互式生成模拟沙盒,使VLM在长时序任务规划中“自我调试逻辑错误”,可显著提升模型在模糊任务中的自我修正与反思能力。

产业应用层面:一方面WoW具身世界模型可以实现数据迁移与扩增,从少量真实数据出发,生成更多合成样本,完成“想象-生成-再标注-迁移”的自循环过程,让AI拥有“自我造数”能力。

图 少量真是数据出发,生成更多合成样本

另一方面WoW具身世界模型可以从视觉“想象”中反推真实可执行的动作指令,可迁移真实机器人本体上执行抓取、装配等各类操作任务,使机器人具备了在复杂环境中自主理解与执行自然任务指令的能力。

图 想象迁移真实机器人本体

WoW通过系统性结合完成了 想象世界 → 理解物理 → 生成视频 → 执行动作 → 再学习 的逻辑闭环,当 AI 拥有“手”和“身体”,能够真实地探索世界、干预世界、理解因果、积累经验,它将不再只是世界的观察者,而成为一个真正的智能体。

此前,北京人形机器人创新中心“具身天工Ultra”获得全球首个人形机器人半程马拉松冠军,并且采用”全自主“方式在首届世界人形机器人运动会,获得100米短跑项目的冠军,成为人形机器人史上首个百米“飞人”,充分展示其“最能跑”的领先技术实力;基于”慧思开物“平台下的”具身大小脑协同,北京人形仅凭天轶2.0一款机器人,在首届世界人形机器人运动会一举斩获一金三银一铜的优异成绩,表现出卓越的泛化能力——面对毫米级物料插装、复杂路径搬运、行李识别与运送等任务,均能在无人干预下高效完成,能够在多个垂直场景中同时达到顶尖水平,且在效率上不输专用机器人,同样也证明了其“最好用”。

本次WoW具身世界模型的开源,进一步展现了北京人形机器人创新中心在大脑方面的领先实力,从[理解世界]到[重建世界],WoW具身世界模型让我们看到人工智能真正成为具身智能体的未来,围绕“最能跑、最好用”北京人形机器人创新中心将持续开源开放,加速具身智能落地应用。

论文地址: https://arxiv.org/pdf/2509.22642
项目地址: https://wow-world-model.github.io/#
开源代码地址: https://wow-world-model.github.io/
开源模型地址:https://huggingface.co/WoW-world-model

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
以色列,突然发起大规模军事行动!以军士兵把枪口对准中国记者

以色列,突然发起大规模军事行动!以军士兵把枪口对准中国记者

每日经济新闻
2026-08-08 23:22:18
卫生间的5个“先进设计”,如果都没有,说明你家装修已经落伍了!

卫生间的5个“先进设计”,如果都没有,说明你家装修已经落伍了!

设计最前沿
2026-07-15 15:15:00
企业都这么难了,还要落实劳动法吗?

企业都这么难了,还要落实劳动法吗?

杜千
2026-08-09 15:50:09
NBA有史以来最炸裂的自由市场!

NBA有史以来最炸裂的自由市场!

贵圈真乱
2026-08-10 18:20:26
美的电饭煲因为造型过于抽象,火到韩国了!网友:坏了,这是真的

美的电饭煲因为造型过于抽象,火到韩国了!网友:坏了,这是真的

小柱解说游戏
2026-08-02 15:35:35
2国拒签反华声明,当场把16国代表顶了回去,把新西兰外长气坏了

2国拒签反华声明,当场把16国代表顶了回去,把新西兰外长气坏了

古史青云啊
2026-08-10 14:23:45
洪灝:大级别调整持续到8月底,如果要抄底,未来2-3周,时间窗口的开启会变得更清晰

洪灝:大级别调整持续到8月底,如果要抄底,未来2-3周,时间窗口的开启会变得更清晰

投资作业本Pro
2026-08-09 21:20:12
北大化学才女李天乐,潜伏在顶级药企工作十年,她利用职务之便领取铊,将清华丈夫一点点“熬”死在病房

北大化学才女李天乐,潜伏在顶级药企工作十年,她利用职务之便领取铊,将清华丈夫一点点“熬”死在病房

人生录
2026-07-30 00:05:08
8月10日人民币对美元中间价调升20个基点

8月10日人民币对美元中间价调升20个基点

证券时报
2026-08-10 09:34:15
快船官宣签约河村勇辉!已签下训练营E10合同 预计将出战季前赛

快船官宣签约河村勇辉!已签下训练营E10合同 预计将出战季前赛

罗说NBA
2026-08-10 08:51:25
2026手握存款100万,我却亲眼目睹5个朋友家庭存款崩塌

2026手握存款100万,我却亲眼目睹5个朋友家庭存款崩塌

另子维爱读史
2026-08-08 21:10:25
直降17万元,路虎卫士110 HSE限时售价72.8万元起

直降17万元,路虎卫士110 HSE限时售价72.8万元起

IT之家
2026-08-10 11:16:18
乌克兰弹道导弹即将参战!新无人机酷似F117,“火烈鸟”导弹飞得更低

乌克兰弹道导弹即将参战!新无人机酷似F117,“火烈鸟”导弹飞得更低

鹰眼Defence
2026-08-07 16:04:26
法媒:姆巴佩7月31日告别耐克,将和出人意料的新品牌签约

法媒:姆巴佩7月31日告别耐克,将和出人意料的新品牌签约

懂球帝
2026-08-10 01:50:07
土木堡之变中战死的重臣

土木堡之变中战死的重臣

小豫讲故事
2026-08-06 06:00:15
北大团队颠覆性发现:戴牙套矫正牙齿或诱发全身炎症,补充两种常见氨基酸可有效缓解

北大团队颠覆性发现:戴牙套矫正牙齿或诱发全身炎症,补充两种常见氨基酸可有效缓解

医诺维
2026-08-10 17:22:04
山东高速男篮官宣,新援法耶加盟球队

山东高速男篮官宣,新援法耶加盟球队

闪电新闻
2026-08-10 11:48:01
哈梅内伊早已暗中布局!穆杰塔巴病重只是引子,美国斩首战略在伊朗体制面前彻底失效,这才是伊朗真正的底牌

哈梅内伊早已暗中布局!穆杰塔巴病重只是引子,美国斩首战略在伊朗体制面前彻底失效,这才是伊朗真正的底牌

林杰论事
2026-08-10 01:07:25
男女自愿发生关系后,务必做好这几件事!避免被恶意诬告强奸

男女自愿发生关系后,务必做好这几件事!避免被恶意诬告强奸

小虎新车推荐员
2026-08-10 17:40:28
拒绝42次逆袭封神,46岁生三胎,离开巨星嫁普通人,吉赛尔的选择让多少女人清醒

拒绝42次逆袭封神,46岁生三胎,离开巨星嫁普通人,吉赛尔的选择让多少女人清醒

东方不败然多多
2026-08-08 10:57:01
2026-08-10 18:35:00
雷峰网 incentive-icons
雷峰网
关注智能与未来!
70446文章数 656210关注度
往期回顾 全部

科技要闻

马斯克又放大招:星链要吃掉全球一半流量

头条要闻

南太行失联女子在悬崖下200米被发现 事发区域未开发

头条要闻

南太行失联女子在悬崖下200米被发现 事发区域未开发

体育要闻

阿森纳的39号球衣,有了最适合的主人

娱乐要闻

演员秦焰去世 享年72岁

财经要闻

宇树科技今日申购,中一签能赚多少?

汽车要闻

实打实的体量感 家越07能否成为20万内家用SUV新爆款?

态度原创

艺术
本地
数码
旅游
公开课

艺术要闻

光影为诗,寂静为境|哈默肖伊的室内宇宙

本地新闻

课本里的童年,绍兴正上演

数码要闻

从550MB/s的SATA到14.9GB/s旗舰:ChinaJoy一个展台装下了长江存储全家档

旅游要闻

北京焦庄户地道战遗址纪念馆发布临时闭馆公告

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版