网易首页 > 网易号 > 正文 申请入驻

世界模型迎来因果升级:CD-LAM仅用几千步微调即可显著增强动作控制

0
分享至



人类可以轻松想象一个还没做出的动作会带来什么:手一松,杯子会掉;往前一推,抽屉会合上。动作尚未发生,大脑已经预演了可能的结果。对机器人来说,具身世界模型(Embodied World Model)会根据当前观察和未来的动作,预测动作执行后的未来画面。有了它,机器人可以先在「脑子里」预演,再决定实际怎么做。机器人规划、策略评估和数据生成等任务,都需要建立在这类预测能力之上。

为了能够利用更多的无标注数据对世界模型进行大规模训练,隐动作模型(Latent Action Model,LAM)被设计用于从画面变化里提取「隐动作(Latent Action)」充当伪标签,让世界模型在海量人类视频上预训练(Pre-training),学会「大概怎么动」。之后,仅需要少量带真实动作标注的视频进行后训练(Post-training),即可更快更好地适应真实动作控制。

Aether AI(aetherlabs.ai)与加州大学圣地亚哥分校联合开展的一项新研究发现,这条路线训练出的世界模型有一个重要问题:其画面足够流畅,但给定的动作控制信号却常被无视。通过因果分析,团队发现,问题的根源在于隐动作模型受到了视觉混杂因素的污染。世界模型应该学习「动作导致未来」,动作是因,画面是果。但当隐动作夹带背景和场景信息时,模型可能只靠画面连续性预测下一帧,而忽略真正的控制指令。

团队据此提出 CD-LAM(Causally Debiased Latent Action Model,因果去偏隐动作模型)。它不改动世界模型的主体架构、隐动作维度和动作接口,而是从模型上游净化 LAM 输出的隐动作表征,减少其中夹带的场景与背景信息进行去偏。实验显示,经过 CD-LAM 去偏后,模型的动作误差下降 30% 以上,画面质量也得到显著提升。且后训练仅需 3k-6k 步微调,仅需基线模型约 10% 的训练开销。



▲ 左三图分别比较动作误差、画面质量和机器人动作微调所需的更新步数;右图说明,普通 LAM 会把背景和场景信息混进隐动作,世界模型因此可能混淆真实动作和视觉因素。通过 CD-LAM 去偏减少这类信息后,模型性能大幅提升,且后训练所需微调更新显著降低。

该研究由 Aether AI 与加州大学圣地亚哥分校合作完成。第一作者 Yufan Wei 是 UC San Diego 博士一年级学生,该工作主要完成于其在 Aether AI 实习期间;项目负责人兼通讯作者是 Kun Zhou。



  • 论文标题:Causally Debiased Latent Action Model for Embodied Action Conditioned World Models
  • 论文链接:https://arxiv.org/abs/2607.09185
  • 代码链接:https://github.com/yufanwei/CD-LAM
  • 项目主页:https://yufanwei.github.io/CD-LAM-project-page/

一、因果分析:从干预测试追溯到 LAM 的视觉混杂

现有 LAM 大多以视频重建为训练目标,不会区分画面变化究竟由机器人动作、镜头移动还是光照变化造成。为了把下一帧重建得更像,模型可能把场景上下文、背景连续性和物体外观等信息一并编码进 “隐动作”。而在预训练阶段,世界模型对动作的理解主要来自 LAM 的输出,因此也可能继承这条捷径:依靠场景线索猜测下一帧,而不是真正学习控制指令会带来什么变化。

干预是检验因果关系最直接的方式:改变「因」,看「果」变不变。也就是改变动作,看生成结果是否随之变化。因此团队设计了两类干预测试。

  • 静止指令测试:固定初始画面,并把后续机器人动作全部设为零。理想情况下,机械臂应当保持静止,但基线模型生成的机械臂仍然明显运动。



视频链接:https://mp.weixin.qq.com/s/oIEkUvKFHGzwsATqkhcXog

  • 目标动作测试:保持初始画面不变,将动作输入替换为另一段视频中的动作序列。理想情况下,生成轨迹应当跟随新的动作变化,但基线模型的结果几乎没有随之改变。



视频链接:https://mp.weixin.qq.com/s/oIEkUvKFHGzwsATqkhcXog

因换了,果没变。

为了追溯问题来源,团队进一步检查了上游的 LAM 编码器。结果显示,基线 LAM 会对相同画面、镜头移动和视频上下文等与动作无关的信息产生明显响应,说明这些视觉因素也被编码进了隐动作。



▲ LAM 是否把与动作无关的信息编码进隐动作。三项测试分别检查:输入两张相同画面时,模型是否仍会产生非零隐动作;单纯移动镜头是否会明显改变隐动作;以及隐空间是否更多按场景、而不是按动作组织。“场景捷径泄漏” 衡量同一段视频中的不同动作是否会因为共享场景信息,而被错误地编码得更接近。所有测试只评估 LAM 编码器,不涉及世界模型生成;数值越低越好。

二、画面像,不等于动作对

PSNR 等通用指标衡量的,是生成画面与参考画面在像素层面的相似度。但论文分析显示,PSNR 对动作误差的解释力很弱,难以反映模型是否真的遵循了给定动作。为此,团队借鉴视频生成领域基于点跟踪的运动评测方法,提出了面向具身操作的 FDCE,即前景动作偏差距离:先分离机械臂和被操作物体等前景区域,跟踪前景点的运动轨迹,再计算生成轨迹与参考轨迹之间的距离,以衡量动作误差。画面质量则仍通过 PSNR 等通用指标进行评估。



▲图丨左:FDCE 的计算示意;右:PSNR 与动作误差的分布,表现出画面质量与动作控制的准确性之间存在极弱关联。

三、CD-LAM:先清理隐动作,再接入真实控制

CD-LAM 不改世界模型的主体架构,而是先从上游清理 LAM 输出的隐动作。整个训练分为三步:去偏 LAM → 训练世界模型 → 接入真实机器人动作



▲ 图丨 CD-LAM 的三阶段训练流程。 第一阶段通过三项训练目标清理 LAM 输出;第二阶段用清理后的隐动作训练世界模型;第三阶段接入真实机器人控制指令。世界模型主体、隐动作维度和输入格式保持不变。

CD-LAM 通过增加三个训练目标达到了对 LAM 的去偏:



1. 具身中心重建



其中 ô_{t+1} 与 o_{t+1} 分别是重建下一帧和真实下一帧,W_t 是逐像素权重:SAM3 标出的前景取大权重、背景取小权重。整项将重建错误惩罚的权重偏向于前景部分。



2. 动作中心对比学习



其中 v_i 是隐动作投影归一化后的表征,y_ij 标记两段视频是否属于同一动作原语。这一项奖励同动作原语对的高相似度、惩罚异类对的高相似度,即同类拉近、异类推远。



3. 隐空间校准





其中 z_t^0 是输入两张相同帧得到的「零动作」隐向量,分母是普通动作模长的滑动参照。该项只在零动作的模长超过参照的一小截时施加惩罚,把静止压向原点,不碰正常动作。搭配的 L_KL-fb 给每个维度留免罚额度,只约束超出的容量。



完成 LAM 去偏后,训练继续分两步推进。先以去偏后的隐动作为条件预训练世界模型,使其学习动作如何改变未来画面。再用带真实控制指令的机器人数据进行后训练,并通过轻量适配层将控制指令接入同一隐动作空间。

四、动作误差下降,后训练步数减少



▲ 去偏微调后、以隐动作为条件的生成结果。左半区:以从视频变化中提取的隐动作为条件正常生成;右半区:目标动作干预,即固定初始画面、把条件替换为目标隐动作。右半区是目标动作测试正,CD-LAM 在两种规模下的动作误差都显著降低。

在只使用隐动作、尚未接入真实机器人控制指令时,2B 和 14B 模型的动作误差分别下降 42% 和 26%,PSNR 分别提升 3.41 dB 和 2.14 dB。在目标动作测试中,两种规模模型相较基线的动作误差分别下降 21% 和 34%。



▲ 接入真实机器人动作、完成后训练后的结果。

接入真实机器人动作数据进行后训练后,相较于基线 2B 和 14B 模型的动作误差分别下降 34.8% 和 30.4%,PSNR 提升约 0.75 至 1.0 dB。在静止指令测试中,2B 模型的残余运动幅度减半,14B 模型则减少 76.7%。在目标动作测试中,两种规模模型的误差又分别下降 7% 和 15%,说明生成轨迹更能随输入动作变化。

视频示例|CD-LAM 重建的动作轨迹更接近参考运动。



视频链接:https://mp.weixin.qq.com/s/oIEkUvKFHGzwsATqkhcXog

视频示例|固定同一初始画面并将控制动作换成目标动作后,DreamDojo 的机械臂逐渐偏离目标轨迹,CD-LAM 的生成轨迹更接近目标运动。



视频链接:https://mp.weixin.qq.com/s/oIEkUvKFHGzwsATqkhcXog



▲ 图丨机器人动作适配效率。橙色虚线为 DreamDojo 训练 5 万步的参考水平;CD-LAM 的 PSNR 与 FDCE 均在 3000~4000 步内越过基线模型(相当于 10 倍以上的加速), 6000 步的已明显反超。

CD-LAM 同时提升了机器人动作的适配效率,仅用约 3,000 步更新就达到了 DreamDojo 训练 50,000 步的表现,相当于 10 倍多的加速。在训练至约 6,000 步时,主要指标已全面超过基线。



▲ 表|去偏视频数据量的影响。 各组使用不同时长的视频对 LAM 进行去偏,随后在同一 2B 模型上采用相同的机器人动作后训练设置。第一阶段均固定训练 1,000 步,以排除训练预算差异,单独考察数据量的影响。

值得注意的是,CD-LAM 的去偏本身也不依赖大规模的视频数据。仅使用 1 小时视频数据进行去偏训练,就能获得使用 1,000 小时数据时约 80% 的收益。说明更干净的隐动作本身可以显著减轻后续迁移负担,使世界模型在适配真实机器人动作时,不必再同时纠正预训练阶段对视觉混杂形成的错误依赖。

更多细节见原论文,模型、评测协议与训练代码均已开源。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
文班亚马53分24板8帽带队险胜独行侠,这个数据有多恐怖?为什么打成这样才赢1分?

文班亚马53分24板8帽带队险胜独行侠,这个数据有多恐怖?为什么打成这样才赢1分?

之乎者也小鱼儿
2026-11-05 15:07:45
《GTA6》被喷“预告骗” 预告人山人海 实机空荡荡?

《GTA6》被喷“预告骗” 预告人山人海 实机空荡荡?

游民星空
2026-11-19 10:05:10
在最好的年华里,遇见最好的你

在最好的年华里,遇见最好的你

疾跑的小蜗牛
2026-11-09 18:35:43
外媒写出美国的尴尬:,最怕的不是中国买到英伟达,,而是中国不买了!

外媒写出美国的尴尬:,最怕的不是中国买到英伟达,,而是中国不买了!

瓦伦西亚月亮
2026-11-19 04:21:11
网传2026年越来越多的人开始反向消费…

网传2026年越来越多的人开始反向消费…

慧翔百科
2026-11-12 08:28:44
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
普京一露面特朗普就鼓掌,这细节耐琢磨

普京一露面特朗普就鼓掌,这细节耐琢磨

大中国
2026-11-19 19:20:11
割安全绳肇事者再迎噩耗!多名律师发声:不是“赔根绳”就能翻篇

割安全绳肇事者再迎噩耗!多名律师发声:不是“赔根绳”就能翻篇

王二哥老搞笑
2026-11-19 00:07:28
非常不好的信号,骑手单价已低比东南亚…

非常不好的信号,骑手单价已低比东南亚…

慧翔百科
2026-11-03 17:28:46
广州同学聚会吃了16万6,请客的人付完钱先走,剩下的人却翻脸了

广州同学聚会吃了16万6,请客的人付完钱先走,剩下的人却翻脸了

诡谲怪谈
2025-06-09 08:45:42
胜任了,以色列宣布了!

胜任了,以色列宣布了!

故事终将光明磊落
2026-11-18 16:01:07
外交部回应金正恩会否与特朗普会晤

外交部回应金正恩会否与特朗普会晤

澎湃新闻
2026-11-19 15:49:10
腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

21世纪经济报道
2026-11-17 07:38:59
大学我默默给暗恋男同桌充了4年饭卡,10年后他在校庆捐款1200万

大学我默默给暗恋男同桌充了4年饭卡,10年后他在校庆捐款1200万

温情邮局
2026-05-18 10:44:52
难以置信!36岁女子晒小19岁男友合照,反差太大,网友评论区吵翻了

难以置信!36岁女子晒小19岁男友合照,反差太大,网友评论区吵翻了

丫头舫
2026-11-16 11:30:38
特朗普:美国不支持“台独”

特朗普:美国不支持“台独”

看看新闻Knews
2026-11-19 17:34:44
什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

黯泉
2026-11-16 18:53:19
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

中场阴谋家
2026-11-18 21:49:52
风向大变!免签来中国的老外彻底上头,回国后开始茶不思饭不想

风向大变!免签来中国的老外彻底上头,回国后开始茶不思饭不想

说宇宙
2026-11-17 19:30:05
2026-11-19 19:55:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

华境S五座版亮相 标配华为乾崑科技和宁德时代电芯

态度原创

教育
艺术
旅游
游戏
本地

教育要闻

这本书,让我戒掉了手机成瘾……担心孩子手机成瘾必看

艺术要闻

佛山“扭扭大楼”来了!80米双塔,竟然是上市公司总部

旅游要闻

重庆私藏金色环线!古银杏连绵成片,免费打卡,错过等一年

GTA6大多数PC也没法60帧!技术人士发话 升级硬件吧

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版