网易首页 > 网易号 > 正文 申请入驻

星源智发布全球首个具身交互世界模型ω-EVA

0
分享至

2026智源大会现场,星源智用一块被随机打乱的华容道棋盘,展示了具身世界模型进入机器人行动决策的可能。

华容道看似是逻辑推理题,但对机器人而言,它更接近一次连续决策:每一步移动都会改变当前局面,也会影响后续路径是否可达。机器人需要理解的不只是“现在看到什么”,还包括“如果这样移动,接下来会发生什么?”——这正是星源智具身交互世界模型 ω-EVA 试图回答的问题。



图:星源智联合创始人、智源研究院具身交互世界模型研究中心负责人 孙振国

“具身智能不仅要会看、会听、会生成动作,还需要在行动之前理解交互后果,并在真实反馈到来之前继续修正自己。”基于这一判断,星源智在本届智源大会上正式发布ω-EVA,推动世界模型从“预测世界”走向“行动反馈”。

ω-EVA:从终点反推行动,让机器人在执行前完成一次验证

ω-EVA的命名,本身也对应了这一技术逻辑。

EVA来自Envision、Verify、Act,分别对应“预演、验证、行动”。这不是一个简单的命名缩写,而是 ω-EVA 的核心控制闭环:机器人先生成候选动作,再预演这一动作可能带来的后果,随后基于后果反馈修正动作并执行。

Envision意味着,机器人在行动前并不直接执行第一版动作,而是在潜在空间中预演该动作可能造成的状态变化。

Verify是让想象后果参与动作判断:候选动作是否可能导致偏差、碰撞、失衡、遗漏,或影响后续任务流程。

Act则意味着,机器人最终执行的不是未经检查的初始动作,而是经过后果反馈修正后的动作序列。

而ω取自希腊字母Omega,代表终极与结局,并于World Model的W形成视觉孪生。它指向的是一种“以终为始”的动作生成方式:机器人不只是从当前状态直接生成动作,而是在行动前先预演动作可能导向的结果,再反过来修正当前动作。

因此,ω-EVA 想表达的并不是一个抽象的世界模型概念,而是一种更接近真实机器人控制的技术范式:从预想后果出发,反向校正当前行动。



图:ω-EVA发布会现场

从 Cardiac Copilot 到 DECO:两条研究线的交汇

ω-EVA的诞生并非一蹴而就。星源智联合创始人、智源研究院具身交互世界模型研究中心负责人孙振国在演讲中回顾,团队此前有两条重要研究线索:一条来自医疗机器人场景,一条来自双臂灵巧操作场景。

第一条线索来自心脏超声导航项目Cardiac Copilot。在这一项目中,团队发现,有经验的超声医生并不是盲目移动探头,而是会在脑中形成一种对动作后果的预期:如果探头这样移动,接下来可能看到什么切面,是否更接近目标视图,是否需要调整方向。



基于这一观察,团队设计了Cardiac Dreamer,即一个能够在隐空间中预测探头移动后心脏切面状态的模型。实验显示,这种“预演—修正”的机制能够有效降低导航误差。这一研究回答了一个关键问题:机器人系统能否在行动前,对自身动作可能带来的感知后果进行预判。

第二条线索来自双臂灵巧操作项目DECO。在该项目中,团队进一步发现,视觉、本体状态、触觉等多模态信息不应只是被简单拼接,而应以不同结构路径参与动作生成。最终,DECO通过对多模态信息的结构化组织,在双臂灵巧操作中实现了相对基线的显著提升,其中触觉模块仅使用较小参数占比,却贡献了关键性能增益。



如果说Cardiac Copilot回答的是“如何理解交互后果”,那么DECO回答的是“如何组织多模态信息参与决策”。ω-EVA正是在这两条研究线索的基础上进一步发展而来:一方面,它继承了对“动作后果预演”的关注;另一方面,它将当前状态、想象后果和动作提案组织为一个显式交互结构,使世界模型真正进入动作生成过程。

世界模型的共识:不同技术路线,正在指向同一个问题

随着具身智能从单点动作走向复杂任务执行,世界模型正在成为行业共识中的关键能力。原因在于,机器人面对的是一个连续变化的物理世界:物体会移动,接触会改变,环境状态也会因为机器人的动作而持续演化。机器人要稳定完成任务,不能只理解“现在看到什么”,还需要理解“如果这样行动,接下来会发生什么?”

围绕这一问题,当前具身世界模型主要形成了几类技术路线。

其中,第一类方向是“未来生成增强策略学习(Future Generation for policy Learning)”。这类方法通过生成未来视频或未来状态,为模型预训练、联合训练以及策略蒸馏提供额外监督信号,从而提策略的学习效率和泛化能力。Motus、DreamZero、LingBot-VA以及 Fast-WAM等工作均属于这一技术脉络。不同的是,测试时是否要建模清晰的未来,可根据实际部署的推理效率与策略成功率的要求进行权衡

第二类方向是“面向表征学习的隐空间预测(Latent Prediction for Representation)”。与显式生成未来画面不同,这类方法更多在隐空间中预测未来状态,通过学习未来embedding 来构建对环境动态更敏感、更具物理一致性的表征能力。VLA-JEPA、DINO-World、WoG、BeingH0.7等代表性工作均表明,未来预测不仅能够生成内容,更能够帮助模型形成对世界运行规律的深层理解,从而提升决策基础能力。

第三类方向则聚焦于“Rollout、Simulator 与Data Engine”。这类方法将世界模型作为数据生产和环境模拟平台,通过可控轨迹生成、大规模仿真以及数据闭环持续提升模型能力。其中,World-Env、Ctrl-World、PlayWorld等工作强调可控Rollout和模拟能力,而GigaWorld-0则进一步向数据引擎(Data Engine)演进,为具身智能提供规模化的数据供给体系。

这些探索共同推动了世界模型技术的发展,并展现出重要价值。然而,在现有研究体系中,仍存在一个尚未被充分挖掘的关键接口:世界模型与策略模型在单次决策过程中的实时交互机制。

为此,星源智团队提出了“Interactive Action Feedback(交互式动作反馈)”框架。在这一框架下,策略模型(Policy)不再只是生成最终动作,而是首先提出具体行动方案(Action Proposal);世界模型则即时评估该方案可能带来的潜在后果(Latent Consequence),并将反馈结果返回给动作生成模块,在同一次决策循环内完成修正与优化。这一机制补上了具身世界模型走向真实控制所需要的关键接口:candidate action→imagined consequence base on action-conditioned world model→corrected action。通过这种闭环交互,世界模型从传统意义上的训练辅助工具,进一步演进为实时参与决策过程的“思考伙伴”,使机器人能够在行动之前预见后果、调整策略,从而实现更高质量、更可靠的决策能力。

ω-EVA:让策略与自己的想象后果交互

ω-EVA的完整名称是Envision, Verify, and Act with Latent Interactive World Models。它提出的是一种 latent interactive world modeling范式:策略不再直接从当前观察映射到最终动作,而是在执行前先提出动作、想象后果,再根据后果修正动作。

这一范式可以概括为三个步骤:Proposal→Latent Consequence→Refinement,对应到机器人行为中,就是:动作提议→后果预演→动作修正。



首先,机器人基于当前视觉观察与语言指令生成一个初始action proposal。这个proposal并不是最终动作,而是一个需要被验证的候选动作片段。随后,action-conditioned latent world model会以该proposal为条件,在潜在特征空间中预测它可能诱导出的未来视觉状态。这里的“未来”并不是被解码成完整视频,而是以 latent consequence的形式参与后续动作决策。最后,imagined-interaction action refiner会联合当前状态、想象未来与原始proposal,对候选动作进行重写,输出 refined action chunk。

这一设计改变了世界模型在具身策略中的角色。它不再只是一个被动预测器,也不是一个独立于策略之外的模拟器,而是在action generation内部成为active feedback module。换句话说,ω-EVA让世界模型不只是回答“未来会怎样”,而是进一步回答:

如果执行这个动作,未来会怎样?如果后果不理想,动作应该如何被改写?

这正是ω-EVA与一般潜空间世界模型的关键差异。潜空间预测解决的是“未来如何被表征”;ω-EVA进一步解决的是“未来如何反过来修正当前动作”。

三阶段闭环:让世界模型从“预测未来”进入“修正动作”

ω-EVA并不是在既有策略后面简单增加一个预测模块,而是通过三阶段训练,将潜在世界模型、动作生成器和后果反馈机制逐步耦合起来。



ω-EVA 总体架构图

第一阶段是Action-conditioned Latent World Model。模型给定当前视觉特征和动作片段,预测对应未来视觉特征,并同时学习一个dynamics-aware current representation。由于模型必须预测“在某个动作条件下,场景将如何变化”,它被迫关注与动力学相关的视觉结构,例如末端执行器、被操作物体、接触区域、空间关系和任务相关区域。

这一阶段的核心并不是复原像素,而是学习action-conditioned latent dynamics。模型一方面预测未来特征,另一方面形成对当前状态中“哪些部分与未来变化有关”的表示。

第二阶段是World-aware Action Generator。在第一阶段形成的dynamics-aware表征之上,系统训练一个语言条件化的flow policy,用于生成初始action proposal。与普通视觉语言动作策略不同,这一 proposal已经建立在世界模型塑造出的当前状态表征之上,因此动作生成并不是完全脱离动力学结构的直接映射。

但到这里为止,世界模型仍主要以表征和训练信号的形式影响动作生成。真正构成ω-EVA差异的,是第三阶段。

第三阶段是Imagined-interaction Action Refiner。系统冻结前两阶段的世界模型和proposal policy,将policy 自己生成的proposal重新送回世界模型,得到由这一具体proposal诱导出的latent consequence。随后,refiner同时接收当前状态、想象未来和原始 proposal,通过三分支交互推理,直接输出refined action chunk。



ω-EVA 模型结构细节图

这个refiner并不预测一个显式verification score,也不是简单预测residual offset。它做的是更直接的事情:基于想象后果,重写完整动作片段。

因此,Stage 3的意义不在于“再加一个head”,而在于第一次真正闭合了proposal–imagination–refinement 的局部交互回路。世界模型也由此从“学习更好的表示”,变成“与具体动作候选交互,并帮助修正动作”。

Envision–Verify–Act:一次控制决策内完成后果推理

在推理阶段,ω-EVA执行的是一个完整的Envision–Verify–Act回路。



首先,系统接收当前视觉观察和语言指令,生成初始动作proposal。随后,冻结的潜在世界模型以这个 proposal为条件,预测其latent consequence。最后,refiner将当前状态、想象后果与proposal联合起来,输出最终动作片段。

这一过程的关键在于:ω-EVA并不需要真实future observation,也不需要将latent future解码为未来视频;它的consequence reasoning始终停留在紧凑的特征空间中完成。

这使ω-EVA同时具备两个特征:一方面,它在推理时保留了显式的后果推理;另一方面,它避免了像素级视频生成或多轮rollout planning带来的高成本,使这一交互回路有可能进入端侧控制。

因此,ω-EVA中的Verify并不是传统意义上的外部打分或奖励评估,而是一种consequence-aware refinement。系统不是在执行后判断动作是否正确,而是在执行前让候选动作接受一次由世界模型提供的后果反馈。

从这个意义上说,ω-EVA的核心判断是:未来不是生成给人看的,而是反馈给动作生成过程的。

可反馈、可重写、可部署:面向真实机器人的世界模型

对于真实机器人系统而言,世界模型的工程价值并不只取决于它是否能够学习物理规律,还取决于这些规律能否在控制链路中被使用。

ω-EVA的第一点价值是可反馈。

许多世界模型能够形成对未来状态的隐式预测,但如果预测结果没有进入动作生成过程,那么未来信息仍然停留在模型内部。ω-EVA将proposal-conditioned latent consequence显式暴露给refiner,使世界模型成为一次控制决策中的反馈来源。

第二点价值是可重写。

机器人动作不是文本token,可以随时撤回重写;动作一旦执行,就会改变真实世界。因此,仅仅生成一个看似合理的action chunk并不充分。ω-EVA的refiner不只是评估 proposal,而是直接产生新的 action chunk,使后果推理落实到动作改写上。

第三点价值是可部署。

由于后果推理始终在latent feature space中完成,ω-EVA 避免了推理阶段的完整未来视频生成,也不依赖额外的像素级模拟器或多轮规划搜索。这使得世界模型不只是离线训练工具,而更接近端侧实时控制中的内部反馈模块。

也正因为如此,ω-EVA的先进性并不体现在“预测更多未来”,而体现在“让未来信息以更低成本、更短链路、更明确接口参与当前动作生成”。

实验验证:闭环机制,而非单一模块,带来稳定增益

在实验部分,ω-EVA 在 LIBERO、LIBERO-PLUS 和 RoboTwin 2.0 三类仿真基准上进行了验证,这些任务覆盖单臂操作、双臂协同、长时序复杂的操作任务,以及视觉、语言和环境等不同条件的扰动测试。ω-EVA 在没有任何预训练数据的情况下仅依赖task-specific data training,就在三个benchmark达到或超过现有SOTA的水平。在libero和libero plus上,ω-EVA分别取得了98.6%和83.4%的平均成功率。在robotwin上,经过refiner修正后将stage2的成功率从88.9%提升到了90.3%,并且值得注意的是ω-EVA的残数量仅为1.2B。

这些结果的意义,不在于单纯展示一个更高的绝对分数,而在于证明完整交互管线相较于同一 proposal policy 具有稳定增益。换句话说,Stage 3 的价值来自 proposal-conditioned imagined consequence,而不是简单增加模型规模。

更重要的是消融实验。实验中分别移除了 imagined future 和 action proposal 两个分支。结果显示,去掉 imagined future 后,模型表现下降;去掉 action proposal 后,下降更加明显。前者说明,单纯依赖当前状态和proposal的通用 refiner 并不能解释Stage 3的提升;后者说明,即使保留想象未来,如果refiner不知道“是哪一个动作导致了这个后果”,也无法完成有效修正。

这说明ω-EVA的关键并不是“有一个未来预测模块”,而是当前状态、候选动作和想象后果之间的三方交互。imagined future提供评估反馈,proposal提供修正锚点,current state提供真实上下文。三者缺一,完整的行动反馈闭环就无法成立。

此外,ω-EVA 的结果是在约 1.2B 参数规模、没有额外 robot-data pretraining 的条件下取得的。这一点也构成了其方法论价值:它并非主要依赖更大规模的预训练策略,而是通过更有效的交互结构,实现compact and competitive的性能、规模与数据权衡。

表征分析与消融:为什么不是“多加一个模块”

除了成功率提升,ω-EVA 还通过表征分析与消融实验进一步说明:Stage 3的增益并非来自简单增加参数,而是来自结构化的交互闭环。



在当前表征分析中,经过Stage 1未来预测训练后,模型的空间激活更多集中到末端执行器、操作物体以及二者之间的邻近区域。这说明future-prediction objective并不是抽象地预测未来,而是在反向塑造当前状态表征,使其更关注对动作后果有意义的动力学区域。

与此同时,团队也验证了current representation的action-invariant特性。固定同一张当前图像,分别输入专家动作、dummy 动作、随机动作和 batch-shuffled 动作,得到的 current representation 数值完全一致。这说明current branch 并没有“偷看”训练动作标签;动作信息并未泄露到当前状态表征中,未来后果仍然由 action-conditioned future branch 来承担。

在 latent future fidelity 分析中,团队使用同一 diagnostic decoder 将预测 latent 可视化。结果显示,Stage 3 refined action 对应的未来结构,相比 Stage 2 proposal 更接近真实未来。这说明动作被修正后,其诱导出的未来状态在结构上更接近目标结果。

这些分析共同指向同一个结论:ω-EVA 的提升不是来自简单堆叠模块,而是来自一个明确的结构性机制——当前状态、想象后果和原始提案之间的联合交互。

世界模型的下一场竞争,是行动决策闭环

具身智能正在从“能不能动”走向“能否稳定完成任务”。与之对应,世界模型的价值也在发生转移。

在第一阶段,世界模型帮助 AI 建立对物理世界变化的理解。

在下一阶段,世界模型需要进入行动决策,使机器人能够在动作发生之前,与自己的候选动作后果交互,并据此做出修正。

如果说过去的世界模型更多回答“世界会如何变化”,那么 ω-EVA 试图回答的是一个更接近机器人本体的问题:

我的动作会如何改变世界?

以及更进一步:在行动之前,我该如何修正这个动作?



这也意味着,具身世界模型的下一场竞争,或许不再只是看见更多未来,而是在行动发生之前,让机器人做出更稳妥的选择。

正如星源智在现场所总结的,世界模型不应该只在训练时预测未来,而应该真正参与动作生成;多模态也不是简单增加输入,而是让每种感知以合适的结构参与决策。具身模型最终应从一次性的预测和动作生成,走向持续感知、想象、修正,并从真实交互中更新自己。

让模型持续感知、想象、修正,并从真实反馈中更新自己,或许正是 ω-EVA 希望开启的具身智能下一阶段。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
查了一下王虹的婚姻状况,结果让人感慨,不是身份有多特殊,而是感觉她可能不会公开自己的婚姻状态…

查了一下王虹的婚姻状况,结果让人感慨,不是身份有多特殊,而是感觉她可能不会公开自己的婚姻状态…

LULU生活家
2026-08-01 09:05:32
王虹不再回避!公开回应是否回国发展,与邓煜的态度如出一辙

王虹不再回避!公开回应是否回国发展,与邓煜的态度如出一辙

粤语音乐喷泉
2026-08-02 01:31:24
桑切斯痛斥移民危机:“这是对西班牙领土完整的侵犯”

桑切斯痛斥移民危机:“这是对西班牙领土完整的侵犯”

参考消息
2026-08-01 19:48:11
养老金调整预期讨论:江苏、广东今年上调幅度,能否达到人均60元

养老金调整预期讨论:江苏、广东今年上调幅度,能否达到人均60元

白昼说故事
2026-08-02 09:06:55
离谱!女排瓦尔加斯通过官方基因检测,千万网友以貌取人引热议!

离谱!女排瓦尔加斯通过官方基因检测,千万网友以貌取人引热议!

草莓解说体育
2026-08-02 04:48:16
中信证券:调整基本结束,8月修复可期,但并非简单超跌反弹

中信证券:调整基本结束,8月修复可期,但并非简单超跌反弹

金融界
2026-08-02 17:10:45
俄朝1亿美元跨境大桥将完工,中俄关系引关注

俄朝1亿美元跨境大桥将完工,中俄关系引关注

拾这一抹残妆月
2026-08-02 11:42:21
老板娘问我她身材好不好?我该怎么回答?

老板娘问我她身材好不好?我该怎么回答?

太急张三疯
2026-08-02 04:59:57
哈里诉《每日邮报》案败诉,面临最高4.6亿元诉讼费,为搞钱他是否孤注一掷再次向王室开刀?

哈里诉《每日邮报》案败诉,面临最高4.6亿元诉讼费,为搞钱他是否孤注一掷再次向王室开刀?

译言
2026-08-02 16:38:49
代总统不再掩饰!百亿石油全被拿下,委内瑞拉真正主人浮出水面

代总统不再掩饰!百亿石油全被拿下,委内瑞拉真正主人浮出水面

开车要双手
2026-08-01 23:20:30
航班延误4小时,给旅客发放延误餐食竟是过期泡面;祥鹏航空:已回收,无旅客食用,提供200元的现金补偿

航班延误4小时,给旅客发放延误餐食竟是过期泡面;祥鹏航空:已回收,无旅客食用,提供200元的现金补偿

大风新闻
2026-08-02 14:17:19
王虹在清华大学讲课竟然还用英文,不用文言文,太不像话!

王虹在清华大学讲课竟然还用英文,不用文言文,太不像话!

廖保平
2026-08-01 09:33:42
名记:郑钦文别把自己当女王了!奥运冠军去打最低级别比赛不丢人

名记:郑钦文别把自己当女王了!奥运冠军去打最低级别比赛不丢人

念洲
2026-08-02 13:51:21
44岁姚笛现状:回老家吃烧烤,与丈夫长期分居,在家带孩子难复出

44岁姚笛现状:回老家吃烧烤,与丈夫长期分居,在家带孩子难复出

洲洲影视娱评
2026-08-01 15:07:12
访华回国就变脸?阿努廷突然叫停陆桥项目,中方明白泰国的苦衷

访华回国就变脸?阿努廷突然叫停陆桥项目,中方明白泰国的苦衷

新一说史
2026-08-01 14:41:58
一天5瓜!索赔504万、当庭认罪、塌房、互撕,李小璐最令人意外

一天5瓜!索赔504万、当庭认罪、塌房、互撕,李小璐最令人意外

叨唠
2026-08-01 21:40:23
谢贤离世!谢婷婷最大支柱不是狄波拉谢霆锋,而是隐身43年的她

谢贤离世!谢婷婷最大支柱不是狄波拉谢霆锋,而是隐身43年的她

手工制作阿歼
2026-08-02 09:31:02
欧盟宣布向菲律宾军队提供经济援助!24小时内,14对14,1500万,欧盟这一手,真是连装都懒得装了

欧盟宣布向菲律宾军队提供经济援助!24小时内,14对14,1500万,欧盟这一手,真是连装都懒得装了

橙色书卷
2026-07-30 19:39:13
曹操撩寡妇说的金句,如今成约会开场白,男人常挂在嘴边

曹操撩寡妇说的金句,如今成约会开场白,男人常挂在嘴边

小豫讲故事
2026-08-02 06:00:12
拒绝3000万!失业流浪!24岁新星!场均20+!赌输了?

拒绝3000万!失业流浪!24岁新星!场均20+!赌输了?

篮球盛世
2026-08-01 17:03:42
2026-08-02 17:48:49
智能纪元AGI
智能纪元AGI
专注科技、科学、商业产业报道
2514文章数 10611关注度
往期回顾 全部

科技要闻

零跑月销10万破纪录!比亚迪奇瑞海外卖爆

头条要闻

中央编办批复同意组建新机构 领导班子、主要职责公布

头条要闻

中央编办批复同意组建新机构 领导班子、主要职责公布

体育要闻

1米76的他,为什么是史上最强中卫之一?

娱乐要闻

一天5瓜!“做头发”事件另有玄机?

财经要闻

长鑫科技四万亿市值背后的资本与周期

汽车要闻

历史性里程碑时刻 零跑7月交付达101267台

态度原创

房产
时尚
旅游
游戏
军事航空

房产要闻

1700亿砸下!信息量巨大!海南甩出又一个超级规划!

伊姐周六热推:电视剧《御廷谣》;电视剧《九门》......

旅游要闻

千城胜景|吉林东丰:浪漫鹿乡 花海绘夏景

名记者称《光环》新作上PS是自取其辱!损害品牌形象

军事要闻

特朗普:在伊朗和中东多国请求下 同意取消打击伊朗

无障碍浏览 进入关怀版