网易首页 > 网易号 > 正文 申请入驻

霸榜三大基准!优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

0
分享至

三大基准全榜登顶Thinker-WM 斩获三项第一

日前,优必选 Thinker-WM在三大公认具身世界模型基准评测中全部拿下第一名,刷新行业成绩:

WorldOlympiad:

Thinker‑WM 取得综合得分 0.740 位列榜首。该基准基于大量真实机器人交互数据构建,覆盖十余种不同机器人本体与多类相机配置,重点考核模型跨机器人形态、跨视角的泛化能力。模型取得 3D 一致性 0.531、交互保真度 0.765,两项单项指标位居全部参评模型首位,体现模型对三维几何结构与机器人交互过程的精准建模能力。



EWMBench:

Thinker‑WM 取得综合总分4.66,超过 Qwen‑RobotWorld、Sora2 等主流模型。EWMBench 完整考核场景一致性、机器人末端运动正确性、指令语义对齐三大能力维度。得益于表征层面的多模态联合建模,Thinker‑WM 在反映机器人轨迹时空匹配的 nDTW(归一化动态时间规整)、表征运动速度与加速度合理性的 Dyn(动力学一致性)等机器人运动核心指标上实现领先。



WorldArena1.0 Track-1:

在仿真环境基准 WorldArena Track‑1,Thinker‑WM 在视觉画质、内容一致性、物理合理性、3D 几何精度、指令遵循等 12 项关键评价维度整体领先,兼顾仿真环境下视觉生成质量与物理交互可信度。

Thinker‑WM 以表征层统一的Unified Dynamic Transformer(UDT)为核心,将 RGB 图像、度量深度、机器人动作纳入同一套共享动态表征联合演化,实现视频‑动作联合生成、世界预测、策略推理、视频转动作、逆动力学等多项能力合一,为具身智能提供新一代基础世界模型底座。



Thinker-WM技术突破:表征层面实现视觉、几何、动作多模态统一

让机器人在真实世界落地干活,最难的不是识别眼前物体,而是预判环境下一步变化。这也是世界模型存在的价值与意义,而过往世界模型普遍采用 “拼接式” 方案:视频生成负责画面、策略网络负责动作、几何预测负责空间信息,模块独立计算,再通过接口拼接输出。

但这套技术模型的问题在于,动作改变环境、环境约束动作,几何结构同时影响两者,物理上紧密耦合的信号被拆分到不同模块,丢失其内在因果关联。

举个例子,“一个杯子被推下桌子”这件事情,在语言里是一句话描述,在动作里是一串关节命令,在视频里是一段穿越画面的物体运动,在深度里是一组连续变化的距离场。四种表述指向的是同一个事件,而不是四个不同的对象。所以,要求模型生成其中任何一种,本质上都是在追问同一个过程。

但这种重叠又是不完全的。动作既不携带外观,也不携带上下文,同样的关节命令,放在空桌子上和放在杂乱的桌子上,含义完全不同。语言也不携带时空细节,“杯子被推下桌子”这句话,既没有规定从哪一侧推、用多大力、以什么速度推,也没有规定手的具体轨迹、杯子翻转几圈、最终落在哪里。视频不携带显式几何和度量,其仅使用一系列像素表示,既不知道杯子的尺寸,也不知道杯子的距离。深度也不携带外观、命名语义和意图,它给出表面在哪里、如何遮挡、如何接触,却不告诉你那是杯子还是桌布,更不告诉你为什么要推它。

针对这个问题,优必选 Thinker 团队给出全新解法:不在接口处做简单合并,而是在表征层面实现多模态统一。Thinker-WM(Thinker World Model)作为优必选自研统一多模态世界模型,将 RGB 视频、深度和机器人动作编码至同一个中间表征空间,依靠一组共享参数联合演化。外观、几何、动作不再是三条独立流水线,而是同一个世界演化过程的三种表达形态。也就是说,Thinker-WM 的底层设计逻辑可以概括为:不同模态是同一过程的不同表述;模型将它们对齐到共享表征空间,并在这一共享表征上进行推理,而不是在模态接口上做条件组合。



Thinker-WM:视觉、几何与动作的统一建模框架

具体来看,RGB图像、深度信息、机器人动作分别通过各自的编码器映射到统一潜在空间,送入共享的统一动态Transformer(Unified Dynamics Transformer, UDT)进行联合时序建模,最终由各自的解码器还原输出视频、深度图、机器人可执行动作。这就意味着多模态的交互发生在Transformer内部,视觉token、几何token和动作token通过同一个注意力机制直接交换信息,而不是在输入或输出层做浅层拼接。

几何信息也不再只是辅助监督信号。Thinker-WM 把深度作为原生生成模态,与视频共享一致的潜在拓扑和时空组织。深度监督直接塑造共享表征,让物理空间结构成为世界模型的 “母语”,而非后期外挂补充模块,从而也能帮助人形机器人更准确地理解物理空间。统一建模的价值,也体现在机器人的实际执行效果上。在 RoboTwin 单任务消融实验中,引入深度模态后,操作成功率较无深度基线提升了 15 个百分点,说明空间几何信息不仅有助于模型理解场景,也能改善动作生成与任务执行。

3万小时异构数据让一个模型,解锁六种能力

依托多模态统一表征,所有模态共享同一组参数,Thinker-WM 可以通过灵活切换条件模态与生成模态,支持六大能力模式。



同一份权重,既能预判、想象未来画面,也能反向推演机器人执行轨迹,还能从视频中提取动作信息,这正是统一表征带来的核心技术红利。



3万小时异构数据撑起通用世界模型底座

统一表征能力的背后,是优必选规模丰富、类型多元的训练数据支撑。Thinker-WM 训练语料在具身智能领域具备可观体量:

· 约2万小时第一人称人类视频:覆盖家庭、商业零售、工业等场景,补足机器人遥操作难以低成本获取的任务、物体与场景多样性,同时配套约 1 千小时的对齐深度数据。

· 约1万小时真实机器人数据:来自多款不同形态机器人,提供视觉观测与可执行动作的配对监督,其中约 3 千小时配套对齐深度标注。

· 约1千小时仿真数据:提供高精度几何、物理监督信号

不同机器人动作空间、坐标系、控制协议差异巨大。Thinker-WM 的统一思想不仅应用于模型框架上,也应用于数据选择中。该模型统一使用末端位姿表示所有机器人动作,同时为不同机器人在token中嵌入专属标签。这样不同形态的机器人可以共享同一个生成空间,又能够保留精准的本体控制能力。

数据 Infra:让海量异构数据高效支撑统一模型训练

海量数据要转化为模型能力,离不开稳定、高效的数据基础设施。面对不同机器人、人类视频与仿真数据在格式、模态和标注上的差异,优必选 Thinker 团队构建了 Data Factory,将数据管理与训练采样解耦,让多源数据按模型需求灵活组合。



Data Factory:从多源异构数据到统一模型训练

Data Factory 围绕三个关键环节支撑训练:统一组织视频、状态、动作与语言信息,按需生成不同训练模式所需的样本;通过分层质检过滤异常片段,检查深度与视频对齐,确保训练信号可靠;通过异步预取与编码复用提前准备训练数据,减少等待与重复计算。

这套数据基础设施,让多源异构数据能够被可靠组织、灵活调用、高效供给,为 Thinker-WM 六种能力模式的联合训练与持续迭代提供工程支撑。

通过Motion Probe实验设计轻量化实验:验证跨模态表征真实耦合

表征层面统一多模态,听起来是架构设计上的创新,但有一个核心疑问:模型究竟是真的在共享空间学到视觉、几何、动作之间的耦合关联,还是只是并行处理多路信息,把不同模态简单放在一起?

为回答这个问题,优必选Thinker 团队设计了轻量级 Motion Probe(运动探针)验证实验。研究团队在冻结的UDT视觉表征上接一个极小的运动预测头,只训练这个头,看能否从纯视觉表征中恢复出末端执行器的位移。



Motion Probe示意图

实验结果证实猜想:探针预测误差很低。即使没有动作监督,视觉表征中也已经编码了与动作相关的运动信息。这一结果直接证明,表征层面的多模态统一真实生效,视觉感知和动作规划不是两条相互独立的链路,而是在共享潜在空间里实现深度耦合。

这意味着什么

这也进一步说明,Thinker-WM本次技术的突破的,价值远不止一次刷榜成果。它指明具身世界模型的底层新范式:

具身智能的世界模型不应该是 “视频生成器 + 策略头” 的简单组合,而是一套完整统一的生成过程——视觉观测、空间结构、动作规划,是同一个物理世界过程的不同表达。

当机器人能够在同一表征空间内同步推演画面变化、空间结构、动作轨迹,它对物理世界因果逻辑的理解便向前迈进一大步。这也是机器人从“可以执行任务干活”,迈向“能够理解真实世界”的关键跃迁。

Thinker-WM 现已完成在优必选机器人平台上部署验证,相关技术将持续赋能下一代具身智能系统。

来源:优必选科技

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普女婿被起诉:没参议院确认,凭什么谈外交?

特朗普女婿被起诉:没参议院确认,凭什么谈外交?

影视情报室
2026-10-16 17:29:45
建国以来河北个人受贿数额最大的一起受贿案(二)

建国以来河北个人受贿数额最大的一起受贿案(二)

何艾青
2026-10-02 20:02:56
徐威也没想到,被张怡宁辛苦养大的女儿,如今成了两口子最大骄傲

徐威也没想到,被张怡宁辛苦养大的女儿,如今成了两口子最大骄傲

萧栝记录风土人情
2026-10-14 20:31:35
老蒋秘书回忆:都说国民党亡于腐败,其实坏在1944年那次秘密调防

老蒋秘书回忆:都说国民党亡于腐败,其实坏在1944年那次秘密调防

史源观点
2026-10-14 20:02:26
因支持受争议的亲巴勒斯坦组织,作家萨莉·鲁尼退出英国市场

因支持受争议的亲巴勒斯坦组织,作家萨莉·鲁尼退出英国市场

澎湃新闻
2026-10-15 16:04:38
白嫩爆乳玉腿美女打恶魔!4人联机RPG新游开启首测

白嫩爆乳玉腿美女打恶魔!4人联机RPG新游开启首测

游民星空
2026-10-16 17:22:24
巨头,突然宣布大裁员

巨头,突然宣布大裁员

中国新闻周刊
2026-10-16 15:16:03
校友李泽新携夫人向西工大捐款1亿元,两人还是西安交大校友伉俪,去年4月向西安交大捐款1亿元

校友李泽新携夫人向西工大捐款1亿元,两人还是西安交大校友伉俪,去年4月向西安交大捐款1亿元

极目新闻
2026-10-15 16:14:59
男女之间这三个身体互动,其实就是相互喜欢

男女之间这三个身体互动,其实就是相互喜欢

荔子言
2026-10-15 10:31:25
真正的高级感,是独处时那份松弛

真正的高级感,是独处时那份松弛

风起见你
2026-10-14 00:28:39
这跟没穿有啥区别?戴珊空降新加坡,粉裙身形全暴露!

这跟没穿有啥区别?戴珊空降新加坡,粉裙身形全暴露!

阿废冷眼观察所
2026-10-17 00:35:01
告别7元!沈阳桃仙机场停车场收费终于降价了!

告别7元!沈阳桃仙机场停车场收费终于降价了!

沈阳生活圈i
2026-10-16 14:00:17
中国将迎来史上最大规模的退休潮。

中国将迎来史上最大规模的退休潮。

荆楚寰宇文枢
2026-10-10 22:52:15
华为说的韬定律要成真!IBM把晶体管立起来堆

华为说的韬定律要成真!IBM把晶体管立起来堆

快科技
2026-10-16 11:41:25
胡塞的导弹,瞄准的是沙特3.3万亿美元的“2030愿景”

胡塞的导弹,瞄准的是沙特3.3万亿美元的“2030愿景”

每日经济新闻
2026-10-16 15:56:18
欧冠戴帽后标价6000万欧,阿森纳热刺争抢23岁前锋

欧冠戴帽后标价6000万欧,阿森纳热刺争抢23岁前锋

林间小温柔
2026-10-17 03:01:47
两男子和女子两次发生关系,还吹嘘!朋友不信再约一次,全进去

两男子和女子两次发生关系,还吹嘘!朋友不信再约一次,全进去

一丝不苟的法律人
2026-10-14 12:25:46
决战前夕,卢拉获得一张“王牌”,巴西大选局势将被成功逆转?

决战前夕,卢拉获得一张“王牌”,巴西大选局势将被成功逆转?

揽星戈
2026-10-17 00:14:08
陈一新会见电视剧《交锋》主创团队

陈一新会见电视剧《交锋》主创团队

政知新媒体
2026-10-16 14:45:29
金灿荣曾坦言:如果印巴全面开打,中国绝不允许巴基斯坦战败!

金灿荣曾坦言:如果印巴全面开打,中国绝不允许巴基斯坦战败!

最新声音
2026-08-27 22:16:46
2026-10-17 03:28:49
松果财经 incentive-icons
松果财经
专注商业研究,挖掘新商业机会
5794文章数 4916关注度
往期回顾 全部

科技要闻

杨天若院士:AI是中国弯道超车的机会

头条要闻

李斌、何小鹏等多人发声 "特斯拉会飞"有三大疑问待解

头条要闻

李斌、何小鹏等多人发声 "特斯拉会飞"有三大疑问待解

体育要闻

工资一分不要,曼联名将想把母队带回西甲

娱乐要闻

郭富城现身香港大学,袁咏仪夫妇全程冷漠不搭话

财经要闻

港交所拟2028年下半年实施T+1结算

汽车要闻

特斯拉会飞?全新Roadster亮相

态度原创

教育
本地
数码
旅游
公开课

教育要闻

陈行甲:别美化苦难,能不经历最好不经历

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

数码要闻

曝英特尔将推8E + 4Xe版"Panther Lake"锐炫G掌机处理器

旅游要闻

古城的南门路边集市比三月街还热闹,这里才是实打实的本地市井

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版