网易首页 > 网易科技 > 互联网 > 正文

自变量发布 WALL-SS 自回归世界模型,让机器人在“虚拟世界”练出真本事

0
分享至

世界模型已经成为具身智能的重要技术范式。它试图构建一个符合物理规律的“虚拟世界”,作为试验机器人动作的“训练场”,让机器人提前看到动作带来的结果,从而决定要执行哪些动作。

然而现有世界模型仍面临三大瓶颈:首先是模型更习惯按照视觉画面“猜测”未来,却忽略动作指令;其次是推演时间一长,画面就开始崩溃,出现物体变形、位置错乱等问题;第三是在虚拟世界中可行的动作策略,到了真实物理世界却无法复现,导致世界模型无法成为可靠的评测环境。

今日,自变量机器人正式发布 WALL-SS,即下一尺度自回归世界模型。它突破传统扩散模型以单片段生成视频的方式,创新采用“下一尺度自回归”架构:如同画家作画一般,先勾勒粗尺度轮廓,再逐层细化画面与物理细节,从而实现对未来画面更稳定、更精细的预测。

WALL-SS 实现了三方面突破:预测锚定动作,生成的未来严格遵循动作指令;长时间稳定,推演较长时间仍能保持画面和物体状态连贯;可验证性,在虚拟世界验证的动作能够作为真实世界中的有效参考。

测试结果显示,WALL-SS 的“动作跟随”得分达到0.29,是所有对比模型中唯一不为零的模型;推演时长达到60秒,画面仍未出现明显崩溃;虚拟世界与真实世界的任务成功率吻合度达到93%。

WALL-SS 学习“动作—画面变化”的物理规律,并通过下一尺度自回归,从粗到精生成未来画面。

预测画面不听动作“指挥”?WALL-SS 让动作真正控制画面生成

现有世界模型在预测未来状态时,往往高度依赖对背景和物体的先验模式,而对动作信号的细微变化不够敏感。

以机械臂抓杯子为例,手指的位置相差1毫米,在物理世界中就可能对应“成功抓起”和“撞翻杯子”两种完全不同的结果。然而,由于两种情况在视觉上高度相似,模型很容易忽略这1毫米的动作偏差,依据视觉惯性和先验经验,直接生成“稳稳抓住杯子”的虚假结果。

WALL-SS 提出了“尺度对齐的动作条件注入”:将机器人动作指令严格对齐到不同生成尺度中,让动作从生成画面的“辅助信号”变为必须遵循的核心条件。

在不同尺度的画面预测中,动作都直接参与决策:粗尺度决定机器人的大致位置,精尺度决定手指是否合拢,动作信号贯穿画面生成的全过程。同时,WALL-SS 对动作与画面进行严格对齐,统一时间轴和坐标系,并通过多摄像头信息协同,确保动作、视角与画面状态保持一致。

分别输入向左、向前、向右三种动作指令,蓝色虚线为指令轨迹,橙色实线为生成轨迹,两者高度重合,表明模型生成能够遵循动作指令。

在“动作跟随”测试中,WALL-SS 得分0.29,是所有对比模型中唯一得分不为零的模型。也就是说,此前的模型都难以让预测画面中的虚拟机器人真正遵循给定的动作指令。不仅如此,生成视频与给定动作轨迹指令的重合度也从0.251提升至0.539,提升115%。

时间一长画面就崩坏?WALL-SS 让模型分层处理记忆

世界模型面临的另一大挑战是,如何保持在长时间的稳定预测。模型需要连续生成未来的多个画面,而后续画面又建立在前面的预测基础上,因此任何细微的误差都会不断累积,最终导致预测崩溃:物体突然消失,桌面变得扭曲,机器人手中的物体瞬间回到原位。

预测崩溃的根本原因,在于模型必须将历史画面作为上下文。历史信息保留得太少,模型就容易“忘记”早先发生的事情;保留得太多,又会让上下文长度和内存开销快速增长。因此,如何在有限的资源下,持续保留对未来预测真正有用的历史信息,成为世界模型实现长时间稳定预测的关键。

WALL-SS 提出了“尺度压缩的长时间跨度记忆”:并非所有历史信息都需要被同等精细地保留,越近的记忆保留得越精细,越久远的则压缩为更粗粒度。比如,模型可以记住机器人几秒前“用左手抓住了杯子”,几十秒前“移动到了桌子旁边”,对于更久远的信息,只需保留“场景中有桌子和杯子”这样的概括。如此一来,模型不论推演多久,内存占用始终恒定。

WALL-SS 推演至60秒,画面仍保持清晰,物体位置稳定;通用视频模型在约30秒后物体消失。

不仅如此,WALL-SS 还会记住“是什么动作导致了这个画面”,在压缩视觉信息时同步压缩动作历史,让动作与结果之间的因果关系始终保持清晰。此外,自变量还提出“尺度级梦境强迫”,在训练时故意给模型“喂错题”,让它学会从错误中恢复,从而在推理过程中及时发现并修正误差。

在“流式推演”测试中,WALL-SS 能稳定推演60秒,画面依然清晰,物体位置也保持准确。作为比较,仅保留最近几帧信息的模型,推演20-30秒后就开始出现明显的画面崩坏。

虚拟世界预测“不足信”?WALL-SS 让模型成为可靠“试验场”

世界模型面临的第三个关键问题是:在虚拟世界里验证成功的动作策略,到了真实世界里是否依然有效?世界模型预测未来的目的,就是为物理世界中的动作提供依据。如果虚拟世界与真实世界存在明显偏差,预测结果就很难帮助机器人决策。

WALL-SS 提出了“视觉动力学的在线策略对齐”:让模型在自己预测的轨迹上通过强化学习“实战练习”,并根据两个裁判的反馈不断修正:一个检查“动作对不对”,即画面预测是否遵循动作指令;另一个检查“长期一致性”,即不同时间尺度下的画面是否保持连贯。通过这两重约束,WALL-SS 能进一步缩小虚拟世界预测与物理现实之间的差距。

在“闭环策略一致性”测试中,自变量在6个任务、5个训练阶段分别进行测试,发现同一策略在虚拟世界和真实世界中的任务成功率,吻合度达到93%。这意味着,虚拟世界中的测试结果已经具备较高的现实参考价值,可以将世界模型作为检验机器人动作策略的“试验场”,大幅提升筛选效率。

同一个策略在虚拟世界与真实世界中分别测试,任务成功率高度吻合,相关系数达到0.93。

不仅如此,WALL-SS 的同一个网络既能充当模拟器,也能充当规划器:模拟器根据给定的动作预测未来,规划器则根据任务目标自主生成动作路径。这样一来,就可以利用模型生成动作方案,再立即通过模拟器验证结果,整个“生成方案—验证效果—筛选最优”的闭环都在同一个模型里完成。

WALL-SS 还内置了动作解码头,可以从预测的未来画面中直接读取机器人下一步动作。传统世界模型只能回答“未来会发生什么”,还需要另一个模型将预测画面转换为动作指令;WALL-SS 则能够直接输出动作。这使 WALL-SS 不仅是一个可以预测和仿真的“虚拟试验场”,也能直接驱动机器人执行任务。

具身智能要真正走进现实世界、服务于人,很大的挑战是在真实环境中试错,成本高、周期长且存在风险。世界模型能够让机器人在动手之前“先想一步”,提前推演不同动作带来的结果,再择优执行;WALL-SS 则让这个过程更可信、更稳定、更接近真实,有望大幅缩短机器人策略开发与筛选的周期。

WALL-SS 推动的不只是一项世界模型技术的突破,更为机器人构建了一条低成本、高效率的能力成长路径——让机器人先在虚拟环境中学习和验证,再将成熟的操作能力迁移到家庭、工厂和养老院等真实场景,让机器人拥有服务千家万户的能力。

相关推荐
热点推荐
预估25万左右!凯迪拉克新车曝光:9月7日正式上市

预估25万左右!凯迪拉克新车曝光:9月7日正式上市

科技阿维
2026-08-27 10:41:18
陪玩陪睡只是开胃!百亿富豪国外偷腥,更下作的还在后面

陪玩陪睡只是开胃!百亿富豪国外偷腥,更下作的还在后面

怪味历史连连看
2026-08-17 15:33:28
千牛卫是多大的官,怎么李元芳总是显摆,搁今天是什么职务?

千牛卫是多大的官,怎么李元芳总是显摆,搁今天是什么职务?

大运河时空
2026-08-01 14:25:03
中东游客回国后,悄悄对朋友说:中国根本不是我们想象中那样

中东游客回国后,悄悄对朋友说:中国根本不是我们想象中那样

叮当当科技
2026-08-27 03:08:35
特朗普要准备打大仗了,美军怒砸1300亿美元升F-15,矛头直逼台海

特朗普要准备打大仗了,美军怒砸1300亿美元升F-15,矛头直逼台海

浮光惊掠影
2026-08-26 22:55:12
27岁姆巴佩拿下西班牙女神,身价过亿,实力才是硬通货

27岁姆巴佩拿下西班牙女神,身价过亿,实力才是硬通货

小椰的奶奶
2026-07-31 00:50:27
直线猛拉!美股巨头,利好突袭!

直线猛拉!美股巨头,利好突袭!

券商中国
2026-08-27 20:14:13
清华美院再引公愤:航天英雄被画成满身赘肉,官媒罕见发声痛批,涉事画作已下架

清华美院再引公愤:航天英雄被画成满身赘肉,官媒罕见发声痛批,涉事画作已下架

z千年历史老号
2026-08-26 20:48:25
有个体态娇小的妻子是什么体验?网友:终于知道腰间盘为啥突出了

有个体态娇小的妻子是什么体验?网友:终于知道腰间盘为啥突出了

夜深爱杂谈
2026-08-05 21:13:33
刚刚 | 著名艺术家,死因公布!

刚刚 | 著名艺术家,死因公布!

天津广播
2026-08-27 12:51:18
中方接到消息,美国正式摊牌,向全球宣布一件事,各国或协同出手

中方接到消息,美国正式摊牌,向全球宣布一件事,各国或协同出手

晴空历史
2026-08-27 18:07:28
太狠了!25岁遇害女留学生家人哭诉,此前曾感恩郑某帮忙,没想到凶手正是郑某本人,双方聊天记录流出

太狠了!25岁遇害女留学生家人哭诉,此前曾感恩郑某帮忙,没想到凶手正是郑某本人,双方聊天记录流出

火山詩话
2026-08-26 14:57:43
央企也扛不住了?一张红头文件疯传:全员免职、零赔偿套路曝光

央企也扛不住了?一张红头文件疯传:全员免职、零赔偿套路曝光

陌小尘桑
2026-07-27 14:19:59
只当过一次演员,却住上北京亿万豪宅,丈夫给她打工俩儿子也争气

只当过一次演员,却住上北京亿万豪宅,丈夫给她打工俩儿子也争气

小嵩
2026-08-28 03:19:22
台风“沙德尔”撞上天文大潮,“风雨潮三碰头”有多危险?

台风“沙德尔”撞上天文大潮,“风雨潮三碰头”有多危险?

中国青年报
2026-08-28 00:32:36
马斯克的妹妹从小就坚信,跟着哥哥有肉吃,瞒着妈妈把南非家里的房和车都卖了去加拿大投奔哥哥!妈妈哭笑不得的承认是事实!

马斯克的妹妹从小就坚信,跟着哥哥有肉吃,瞒着妈妈把南非家里的房和车都卖了去加拿大投奔哥哥!妈妈哭笑不得的承认是事实!

大白聊IT
2026-08-14 01:29:05
41岁王珞丹住进河北深山:别墅不要了,婚也不结了,她到底图啥?

41岁王珞丹住进河北深山:别墅不要了,婚也不结了,她到底图啥?

梦醉为红颜一笑
2026-08-28 05:21:01
锦观新闻:辽宁铁人队抵达成都,有不少成都球迷接机徐正源

锦观新闻:辽宁铁人队抵达成都,有不少成都球迷接机徐正源

懂球帝
2026-08-27 23:49:24
4中1、3次犯错!中国男篮大胜新星却低迷,郭士强曾弃用始末

4中1、3次犯错!中国男篮大胜新星却低迷,郭士强曾弃用始末

随梦而飞起
2026-08-28 05:49:44
炸锅!马来西亚抓335个搞诈骗的,超九成来自中国,专骗中国人!

炸锅!马来西亚抓335个搞诈骗的,超九成来自中国,专骗中国人!

史之韵
2026-08-01 12:31:50
2026-08-28 06:23:00

科技要闻

苹果邀请函:新CEO、折叠屏iPhone都要来了

头条要闻

孙宇晨代理律师:还钱就行 不给不可以

头条要闻

孙宇晨代理律师:还钱就行 不给不可以

体育要闻

因为这条规则,欧联冠军一个夏天散伙了

娱乐要闻

包贝尔幽会后陪老婆!曾炫耀谈7个女友

财经要闻

机构预测"过剩",市场却在疯抢废铜?

汽车要闻

搭华为ADS 5/增程纯电可选 阿尔法T7预售13.78万起

态度原创

教育
时尚
亲子
手机
旅游

教育要闻

这两天,南京很多家庭都将连夜上演大片!

今年秋天最美的4条裙子,配“薄底鞋”好看又松弛!

亲子要闻

孩子到底相差多大才会不干仗啊,这五个月就会打架了

手机要闻

iPhone 17再度登顶全球最畅销手机,折叠屏iPhone首年出货量预计超千万

旅游要闻

从比什凯克到撒马尔罕——穿越中亚绿洲城市

无障碍浏览 进入关怀版
×