网易首页 > 网易号 > 正文 申请入驻

拒绝视频生成,深度跃迁提出具身基座模型全新路线

0
分享至

编辑|杨文

智能涌现的早期迹象,出现了。

机器人手拿一包爆米花,正准备将它放进微波炉,此时实验人员把微波炉门关上。数采员从未采集过这种情况的数据。机器人继续保持手中的目标物,重新打开微波炉门,接着完成原来的任务。


视频链接:https://mp.weixin.qq.com/s/waF8Tebyk02mdBo1avutDg


类似地,在另一次实验中,微波炉门只留下一条狭窄缝隙。机器人没有回到训练中学过的把手操作流程,直接用手里的包装将门推开。


视频链接:https://mp.weixin.qq.com/s/waF8Tebyk02mdBo1avutDg


这两段演示来自深度跃迁最新发布的世界动作模型 DELE-w0.5。其技术报告将这种表现称为「目标条件下的行为重组」,即当环境偏离训练轨迹,机器人仍能保留原来的任务目标,并根据新的状态调整动作。

深度跃迁是一家专注于从真实任务中持续进化的跨本体具身大脑平台公司,已完成由复星创富独家投资的天使轮融资。核心团队长期研究生成式策略、强化学习与具身智能,并围绕真实机器人任务自主研发了 DELE 系列具身大脑模型。



  • 项目主页:https://deepleap-x.com/research/dele-w0.5
  • 论文链接:https://arxiv.org/pdf/2608.22067

目前,一类世界动作模型建立在视频生成模型之上,机器人在执行动作前,需要同时预测动作和未来视觉轨迹。这种方式能够提供丰富的时空信息,但会消耗大量计算资源。为了输出一组低维动作,模型需要处理机械臂移动、物体外观和光影变化等高维视觉内容。

DELE-w0.5 放弃了这条链路。训练时,模型联合学习机器人动作和动作完成后的未来世界表征;推理时,未来世界表征分支被移除,机器人根据语言和当前视觉信息直接生成动作。

在 640 次真机实验中,DELE-w0.5 取得 62.5% 的完整任务成功率和 81.3% 的平均阶段进度。两项指标均远超过最强基线

不生成未来视频,模型如何学会动作与世界变化之间的关系?这种未来世界表征,又如何转化为真实世界中的执行能力?

视频生成技术,为何成了控制负担?

当前机器人基础模型大致有两条路线。

第一条是视觉 — 语言 — 动作模型,即 VLA。它接收语言指令、当前多视角观测和本体自身状态,然后直接输出动作。整个过程可以分为三步:输入语言指令和当前观测,接着由视觉语言模型(VLM)进行任务规划,最后由动作专家(Action Expert)将规划解码为机器人可执行的控制信号。

这条链路相对直接。模型能够学习当前观察与动作之间的映射关系,至于这些动作会给环境带来什么变化,相关信息通常被隐含地编码在模型参数中。

第二条路线是世界动作模型,也就是 WAM

视频式 WAM 会同时预测机器人动作和未来视觉轨迹,模型通过未来画面学习物体运动、空间变化和接触关系,进而获得更丰富的时空先验。问题在于,对于机器人操作而言,世界模型的目的并不是复现真实世界在每一个中间时刻的视觉信息,而是预测动作执行后达到的世界表征。中间帧仅描述不同物理状态之间的视觉过渡,不仅占用大量的模型容量和计算资源,而且无法直接刻画机器人动作所要实现的物理结果。

以开门为例,机器人真正需要完成的是稳定抓住把手、旋转把手、推开门,并让门保持在指定角度,至于机械臂在每一帧中的外观变化,控制系统没有必要逐一还原。

这种差异会直接反映在计算成本上。多帧视频 latent 通常远大于对应的动作序列,它们会增加模型的序列长度、显存占用和训练负担。在推理阶段,模型还需要对高维的视频与动作 latent 进行多轮去噪,机器人的控制循环因此受到视频生成速度的限制。

近年来,部分研究开始通过小型视频骨干、稀疏视频 token 和少步扩散等方式降低开销。这些方法能够减轻计算压力,视频轨迹依然保留在核心建模目标中。

DELE-w0.5 进一步提出:对于机器人控制,世界模型真正需要预测什么?深度跃迁将重点放在动作完成后的世界表征上

开门任务中,关键结果是门是否打开并保持稳定;杯中加冰任务中,目标是冰块进入直立的杯子,相关工具回到指定位置;冰箱取可乐任务中,机器人需要保留目标饮料,并完成冰箱关门。这些结果都可以用未来世界表征来刻画。

由此,三类模型形成了不同的预测目标。VLA 预测当前条件下的动作,视频式 WAM 联合预测动作和完整未来视觉轨迹,DELE-w0.5 联合预测动作和动作结束后的未来世界表征



模型仍然学习未来,需要处理的未来信息变得更加紧凑,也更贴近机器人控制目标。

未来世界表征只参与训练,不参与推理

DELE-w0.5 采用双流 Transformer 架构

模型首先接收语言指令、机器人当前的多视角图像和本体状态,语言指令由 Qwen3 编码,视觉信息由 DINO-v3 编码,包括一个头部视角和两个腕部视角。在动作侧,模型一次预测长度为 60 的动作序列,对于 Astribot S1 双臂机器人,每个时间步包含 14 维动作,覆盖两只机械臂的位置变化、姿态变化和夹爪状态。

模型内部包含条件流和噪声流。条件流处理语言与当前视觉,并将两类信息融合为统一的条件表征。噪声流处理加入噪声的动作序列与未来世界表征,模型通过 Flow Matching 同时学习动作去噪和未来状态去噪。


DELE-w0.5 架构概览。


未来世界表征在这里并非一张生成出来的图片。它来自 DINO-v3 对未来观察的编码,用来表征物体位置、机械臂状态和空间关系等信息,模型只需在 latent 空间学习这种状态变化,无需还原完整视觉画面,也无需生成中间视频帧。

DELE-w0.5 还设计了非对称注意力机制。训练过程中,动作 token 可以读取语言、当前观察和动作序列内部的信息,无法读取未来状态目标,这样可以防止动作预测提前看到未来答案。


训练和推理阶段的注意力掩码。


未来世界表征 token 可以读取语言、当前观察和动作。它需要学习一个具体问题:执行这组动作后,环境会进入什么状态?

未来世界表征的损失会通过共享参数参与模型训练,动作生成路径虽然不读取未来世界表征 token,其底层表征仍会受到动作后果学习的影响。这意味着,未来世界表征在 DELE-w0.5 中承担训练监督功能,它帮助模型建立动作与环境变化之间的联系,不会成为机器人每次行动前必须经过的显式步骤。

进入推理阶段后,未来世界表征 token 被全部移除,模型只保留语言、当前观察和动作,机器人无需先生成未来图片,也无需等待一段未来视频完成去噪,控制链路因此变得更短。

DELE-w0.5 没有使用开源机器人基础模型、VLA 或视频生成模型的既有权重进行二次封装,其核心基座从底层自研,模型结构、可行动世界状态表征、具身数据配方和本体适配均围绕真机任务设计。

数据显示,DELE-w0.5 在英伟达 RTX 4090 上的推理延迟中位数为 87.5 毫秒。其推理速度快于 GWP0.5、π0.5、LingBot-VLA2 和 HY-VLA,与 Spirit-v1.5 接近,同时取得了更高的完整任务成功率。

从具身智能角度看,DELE-w0.5 真正改变了什么?

DELE-w0.5 与视频 WAM 的差别,不只是生成帧数从多变少,还有模型依赖关系发生了根本变化:



视频生成关注的是观察空间中的连续变化,机器人控制关注的是物理世界中的可执行结果。对于「打开冰箱并取出饮料」这样的任务,机器人真正需要保持的是:

  • 冰箱门是否已经打开;
  • 饮料是否已经被取出;
  • 物体当前由哪只手持有;
  • 之前完成的状态是否在后续动作中被破坏;
  • 最终是否实现「饮料在手中且冰箱已经关闭」。

它并不需要在决策前复现冰箱门打开过程中的每一个视觉瞬间。因此,未来世界表征分支的价值并不只是提供额外监督,也是迫使策略学习一种结果导向的状态转移表征:一个动作是否正确,不仅取决于它是否像示范动作,还取决于它是否能够把环境推进到与任务目标一致的未来状态。

真机检验

未来世界表征是否真的改善了机器人动作,最终还要回到真实任务中检验。

研究团队在 Astribot S1 双臂机器人上设置了四项长程任务:打开一扇带把手的门、从冰箱中取出一罐可乐、向杯中加入冰块,以及将爆米花包装放进微波炉并启动加热。这些任务覆盖了接触式操作、目标提取、双手交接、工具使用、受限空间放置和最终状态确认。

实验比较了 DELE-w0.5 与 GWP0.5、XR0、π0.5、LingBot-VLA2、HY-VLA、Spirit-v1.5 和 GR00T-N1.7 七种代表性策略。所有方法使用相同的任务数据完成等量微调,并采用一致的任务指令、场景重置方式、180 秒执行预算和成功标准。4 项任务、8 种方法,每个方法在每项任务上进行 20 次正式测试,共组成 640 次真机实验

为了更加准确地衡量长程执行能力,技术报告采用两个指标。

第一个是完整任务成功率。机器人必须满足最终物理条件,整个任务才会被记为成功。

第二个是有序阶段进度。它记录机器人连续完成到了哪一步,如果前置步骤没有完成,后面的偶然动作不会被计入进度。这一指标可以显示模型究竟在哪个阶段失败,也能避免一次成功抓取掩盖后续执行问题。



有序任务阶段与完整任务完成条件。阶段 0 表示未取得有效进展,到达最终阶段表示完整完成任务。

结果显示,DELE-w0.5 在自身 80 次测试中成功完成 50 次,完整任务成功率达到 62.5%。最强基线 XR0 完成 24 次,成功率为 30.0%,DELE-w0.5 高出 32.5 个百分点,约为其 2.1 倍。在平均有序阶段进度上,DELE-w0.5 达到 81.3%,该指标下表现最好的基线 GWP0.5 为 61.3%,差距达到 20.1 个百分点。



每项任务 20 次测试的真机实验结果。平均进度对四项任务等权计算;总体成功率基于每种方法的全部 80 次测试计算



性能与效率概览。(a)平均有序阶段进度与总体完整任务成功率。(b)总体成功率与英伟达 RTX 4090 上的核心模型推理延迟中位数。(c–f)各项任务的成功率与成功完成任务时的运行时长。实心标记表示实测完成时长的中心值,空心标记表示根据遥测数据得出的估计值。

分任务来看,DELE-w0.5 的开门成功率为 80%,冰箱取可乐为 65%,杯中加冰为 45%,微波炉爆米花任务为 60%。四项任务均取得最高结果。



分阶段长程任务分析。每个单元格表示,在 20 次测试中,有序前缀得分达到或超过对应阶段的测试比例。各任务区块采用相同的模型坐标轴和概率刻度;Full 表示完整任务成功率。

真正拉开差距的地方,主要出现在任务后半程。

开门任务中,DELE-w0.5 在 20 次测试里全部到达旋转把手并推门的阶段,最终完成 16 次。多数基线能够接触并抓住把手,随后容易在旋转与推门的配合中失败。


视频链接:https://mp.weixin.qq.com/s/waF8Tebyk02mdBo1avutDg


冰箱取可乐任务中,DELE-w0.5 有 18 次成功取出目标罐,13 次完成整个任务,剩余失败主要出现在双手交接和最终关门。


视频链接:https://mp.weixin.qq.com/s/waF8Tebyk02mdBo1avutDg


杯中加冰是最长的任务。DELE-w0.5 有 19 次拿起冰铲,14 次进入杯子抓取阶段,11 次成功取得冰块,最终有 9 次完成倾倒和场景恢复。


视频链接:https://mp.weixin.qq.com/s/waF8Tebyk02mdBo1avutDg


微波炉任务中,DELE-w0.5 每次都能打开微波炉并拿起包装,16 次完成关门,12 次成功启动加热。


视频链接:https://mp.weixin.qq.com/s/waF8Tebyk02mdBo1avutDg


这组数据说明,长程操作的难点经常出现在技能之间的连接处。机器人抓住一个物体后,它还要保持此前取得的任务状态,切换执行手臂和交互对象,并把流程推进到最终条件。DELE-w0.5 更频繁地到达任务后半程,也更容易将阶段性进展转化为完整成功。

从研究评测看,62.5% 是一项亮眼结果,它显著超过同数据、同协议下的代表性基线,也证明这条技术路线具有潜力。距离工业级稳定部署,模型还需提高成功率,并接受更开放环境的检验。

研究人员还测试了 DELE-w0.5 的zero-shot 跨背景能力

从杂乱的办公工位,到开阔的会议室场景,DELE-w0.5 在桌面材质、空间布局、光照与视觉背景显著变化的环境中,依然能够完成微波炉和杯中加冰操作任务。


视频链接:https://mp.weixin.qq.com/s/waF8Tebyk02mdBo1avutDg



视频链接:https://mp.weixin.qq.com/s/waF8Tebyk02mdBo1avutDg


不依赖固定场景、不记忆特定背景,DELE-w0.5 已经具备跨背景的泛化能力。

结语

世界模型的价值,最终要由机器人能否完成任务来检验,画面生成得多真实,只代表模型对视觉过程的还原能力,动作能否围绕目标任务展开、承接前一步结果,并将环境推进到正确终态,更接近真实部署的要求。

对于具身智能,最有用的未来信息未必是一段可以观看的视频,它也可以是不追求完整视觉复现,却足以融合真实物理空间信息、以约束行动的世界表征。

DELE-w0.5 已经沿着这个方向迈出一步。它的意义不在于提前终结路线之争,在于为世界模型提供了新思路:不再以生成视觉过程为中心,而是以机器人行动结果为中心。接下来,DELE-w0.5 会为跨物体、跨场景和跨本体等任务提供全新的思想,真机部署的结果将检验这条路线能够走多远。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
F-35C锈蚀到露出绿色底漆,俯拍林肯号甲板,问题远不止舰面腐蚀

F-35C锈蚀到露出绿色底漆,俯拍林肯号甲板,问题远不止舰面腐蚀

巅峰高地
2026-09-03 21:06:42
为广州取消中小学校服统一订购点赞,校服本是学生用品,不该成为创收工具!

为广州取消中小学校服统一订购点赞,校服本是学生用品,不该成为创收工具!

微汴梁
2026-09-04 12:45:16
“韦东奕这么牛,为啥没女孩子喜欢他呢?”女儿白了我一眼说:“别的先不讲,要是有人能把这三点都接纳了,我不光服,还得佩服。”

“韦东奕这么牛,为啥没女孩子喜欢他呢?”女儿白了我一眼说:“别的先不讲,要是有人能把这三点都接纳了,我不光服,还得佩服。”

背包旅行
2026-09-01 11:59:13
我在西藏旅游,一个喇嘛见我后突然跪下:活佛,我们等了您百年

我在西藏旅游,一个喇嘛见我后突然跪下:活佛,我们等了您百年

千秋文化
2026-01-29 21:35:02
电池税开征,纯电车利润快归零了

电池税开征,纯电车利润快归零了

虎嗅APP
2026-09-04 02:54:35
搞权色交易,安徽一正厅级干部被“双开”!多名干部被通报

搞权色交易,安徽一正厅级干部被“双开”!多名干部被通报

凤凰网安徽
2026-09-04 17:46:50
美方在台湾问题上有了新说辞:若中国和平统一,美国不会反对

美方在台湾问题上有了新说辞:若中国和平统一,美国不会反对

吕醿极限手工
2026-08-27 14:18:48
埃尔多安必须明白!中俄都无法想象,上合组织混进“第二个印度”

埃尔多安必须明白!中俄都无法想象,上合组织混进“第二个印度”

小莜读史
2026-09-04 19:28:58
美军头一次这么狼狈!后撤1000公里还要被炸,拖家带口连夜跑路

美军头一次这么狼狈!后撤1000公里还要被炸,拖家带口连夜跑路

凡知
2026-09-02 00:12:30
曝37岁知名女高音歌唱家龚爽去世原因,患卵巢癌长达五年,对好友一直隐瞒病情

曝37岁知名女高音歌唱家龚爽去世原因,患卵巢癌长达五年,对好友一直隐瞒病情

裕丰娱间说
2026-09-04 12:57:04
汤家凤终于捅破窗户纸:美院的境外资助,该公布了!美院还是没有回应

汤家凤终于捅破窗户纸:美院的境外资助,该公布了!美院还是没有回应

蝴蝶花雨话教育
2026-09-03 00:05:16
大明星赵薇的前夫,判了!

大明星赵薇的前夫,判了!

微微热评
2026-07-29 12:12:29
普京就与乌克兰谈判提条件

普京就与乌克兰谈判提条件

参考消息
2026-09-03 14:10:09
万万没想到,井柏然刚翻红就被扒底朝天,刘雯一举动让局面大变

万万没想到,井柏然刚翻红就被扒底朝天,刘雯一举动让局面大变

娱圈办事处
2026-09-04 19:08:02
上面直接点名中国女排,退无可退,赵勇这次可能真的要走人了

上面直接点名中国女排,退无可退,赵勇这次可能真的要走人了

体育快递小哥哥
2026-09-04 17:57:06
上海楼市出现“置换堵点”:300万以下交易活跃,高总价房源为何越来越难流通?

上海楼市出现“置换堵点”:300万以下交易活跃,高总价房源为何越来越难流通?

童童聊娱乐啊
2026-09-04 16:15:42
武汉大学教授这事是人伦悲剧:谁都可以举报他,俩女儿不应该

武汉大学教授这事是人伦悲剧:谁都可以举报他,俩女儿不应该

中原医生
2026-09-04 09:48:03
明明去巴萨更有望冲击欧冠和拿高薪,为什么劳塔罗却直接拒绝报价,甘愿留守米兰

明明去巴萨更有望冲击欧冠和拿高薪,为什么劳塔罗却直接拒绝报价,甘愿留守米兰

大卫的篮球故事
2026-09-04 19:58:57
大众再次“低头了”!新车降到79800元,喝92油,30天卖出11352辆

大众再次“低头了”!新车降到79800元,喝92油,30天卖出11352辆

沙雕小琳琳
2026-09-04 09:58:28
以色列活捉哈马斯“反间谍总管”,受伤在地上爬行被带走

以色列活捉哈马斯“反间谍总管”,受伤在地上爬行被带走

桂系007
2026-09-02 02:45:59
2026-09-04 20:27:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13921文章数 142729关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

男子被诊断"胃癌"切除整个胃 化验结果却显示没癌细胞

头条要闻

男子被诊断"胃癌"切除整个胃 化验结果却显示没癌细胞

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

古天乐公司欠债1.49亿

财经要闻

姚洋:刺激消费要守住两个“大西瓜”

汽车要闻

小米与中创新航、欣旺达动力达成战略合作

态度原创

房产
教育
亲子
健康
公开课

房产要闻

TOP10房企卖了350亿!海南楼市,最新榜单出炉!

教育要闻

出国留学项目院校推荐:直申海外 VS 国内国际本科择校指南

亲子要闻

工程车小故事:毛毛的饼干去哪了

脑梗取栓成功≠活下来,还有这三关

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版