清华阿里联手出招，让机器人告别“路痴”不再认错地方

这项由清华大学与阿里巴巴AMAP-CV-LAB联合领导，并联合上海交通大学、西安交通大学、曼彻斯特大学及伦敦国王学院共同完成的研究，于2026年7月31日以预印本形式发布，论文编号为arXiv:2607.28993。研究提出了一种名为ST-WAM（语义-时序世界动作模型）的机器人控制系统，专门解决机器人在视觉环境发生变化时动作失败的问题。

**一、机器人为何会在陌生环境里"认错地方"**

假设你在家里练习了很多次用筷子夹豆腐，闭着眼睛都能做到，但当你走进一家灯光昏黄、桌布换了颜色的餐厅，同样要夹一块同样大小的豆腐，却突然手抖了——不是豆腐变了，也不是你的手出了问题，而是周围的视觉环境让你的大脑一时间"对不上号"。

当代的机器人抓取系统面临的挑战与此十分相似。现有的一类名为"世界动作模型"（WAM，World Action Model）的机器人控制技术，是目前机器人领域的明星方案。它的工作方式有点像一位会"脑补未来画面"的厨师：在动手炒菜之前，这位厨师会先在脑海中预演一遍从拿锅到起锅的完整画面，然后再按照这个预演来指挥双手行动。WAM系统也是如此——它会先根据当前的摄像头画面，预测出接下来几帧的视频内容，再据此生成机器人的动作指令。

这套方案在标准实验室环境下表现出色，但研究团队发现了一个令人不安的现象：当实验环境稍作改变——比如换一块桌布、调暗灯光、或者将摄像头换个角度——机器人预测出来的"未来画面"并不是真实场景接下来会发生的画面，而是它在训练时见过的那个老实验室的画面。

研究团队将这一现象命名为"训练分布幻觉"（Training-Distribution Hallucination）。这个名字听起来很学术，但背后的意思其实很直白：机器人在遇到陌生视觉场景时，不是去理解眼前真实发生了什么，而是开始"做白日梦"，梦见的是训练时反复看过的那个熟悉场景。就像一个只在北京练习过开车的司机，第一次开进上海市区，脑子里浮现的导航地图却还是北京的路网——结果可想而知。

为了确认这个问题的普遍性，研究团队对两个代表性的WAM系统（LingBot-VA和Fast-WAM-Joint）进行了大规模测试。他们分别在背景纹理替换、光照变化、摄像头视角切换三种视觉干扰条件下，随机抽取了各30个案例，共180个预测结果进行人工审核。结果发现，其中整整70.6%的预测画面都明显表现出"训练分布幻觉"的特征。而在一个名为LIBERO-Plus的泛化测试集上，这两个系统的成功率从原始环境下的97.6%和98.5%，分别骤降至51.5%和59.0%——几乎折损了一半。

**二、问题的根源：像素级的预测是把双刃剑**

要理解为何会出现这个问题，需要先了解现有WAM系统预测未来的方式。它们使用的是一种叫做"VAE潜变量"（VAE latent）的图像压缩表示方法。这种方法的原理类似于把一张高清照片压缩成一个数字序列，然后用这个数字序列来代表图片的全部信息。这种压缩方式非常擅长保留画面中的视觉细节——灯光的颜色、桌布的纹理、阴影的形状——但也正因如此，这些和任务本身毫无关系的视觉细节，会与机器人真正需要关注的信息（比如"碗在哪里"、"勺子抬起来了多少"）搅混在一起，难以分开。

用一个比喻来理解：这就好比你在学习如何折叠衬衫，但教你折衬衫的老师每次示范时穿的都是同一件蓝色T恤，站在同一个白色背景前。等你真正要自己折衬衫时，却发现你的大脑记住的不只是"如何折叠"，还有"老师的蓝色T恤"和"那面白墙"。当你换了个环境，穿着不一样的人站在你面前，你的大脑一时间找不到熟悉的参照物，反而开始"脑补"那个蓝T恤的画面。

研究团队的关键洞察是：问题不在于"预测未来"这件事本身，而在于用什么方式来表示未来。像素级的重建（即VAE潜变量方式）过于依赖视觉表面细节，因而对视觉环境的变化极其敏感。于是，研究团队开始寻找一种更稳定的图像表示方式——一种能穿透视觉噪音、直接抓住场景中真正重要信息的方法。

**三、用"语义透视镜"重新看世界：DINOv3的发现**

研究团队找到的答案是DINOv3，一种由大规模自监督学习训练出来的视觉特征提取器。如果说VAE潜变量是拍了一张高清照片，那DINOv3更像是一张"物体关系示意图"——它关注的不是像素颜色，而是"这里有一个碗"、"勺子在碗的左边"、"机械臂正在靠近"这类语义层面的信息。

为了验证这一判断，研究团队设计了一个非常精巧的实验。他们从LIBERO和LIBERO-Plus两个数据集中，精心挑选了290组"三元帧组"（frame triplet）。每一组包含三张图片：两张是同一个任务在相同机器人位置、相同物体摆放状态下拍摄的画面，但一张来自正常环境，另一张来自视觉干扰环境（比如换了背景）；第三张则是同一段正常演示中较靠后的画面，代表一个不同的任务状态。

这个实验的逻辑很清晰：如果一种图像表示方法真的稳定且有区分力，那么同一状态的两张图（尽管视觉环境不同）在这种表示下应该非常相似，同时它们与代表不同状态的第三张图的相似度应该明显更低。

结果非常有说服力。在DINOv3的特征空间中，同一状态的两张图平均余弦相似度高达0.904（相似度1.0表示完全相同），而VAE潜变量只有0.686。更重要的是，当用视觉干扰版的图与其他两张比较时，DINOv3在95.2%的三元组中都能正确判断"它和同状态的正常图更像"，而VAE潜变量只有60.0%——这个数字几乎与随机猜测（50%）没有太大差别。

换句话说，DINOv3像是一副能看穿表面伪装的语义透视镜，即便桌布颜色变了、灯光暗了，它依然能认出"这是在抓那个碗"的状态；而VAE潜变量则更像是一个只认照片表面颜色的识别系统，背景一换就乱了阵脚。

**四、ST-WAM的设计哲学：既看未来，也回望过去**

基于上述发现，研究团队提出了ST-WAM（语义-时序世界动作模型）。这个系统的核心思路是：不抛弃VAE的细粒度视觉动态，而是在它旁边再建一条DINOv3的语义通道，让两者相互配合、取长补短。更重要的是，DINOv3的稳定语义特征被同时用于两个方向——既向前看（预测未来的语义状态），也向后看（从最近的历史帧中提取任务进展的证据）。

整个ST-WAM系统由两个核心模块构成，它们的分工可以用"向导"和"记录员"来理解。向导负责告诉机器人"接下来会发生什么"，而记录员负责提醒机器人"到目前为止已经做了什么"。

**五、双空间未来专家：同时预测像素和语义**

第一个模块叫做"双空间未来专家"（DSFE，Dual-Space Future Experts）。顾名思义，它在两个不同的"空间"里同时预测未来：一个是VAE的像素空间，保留精细的视觉运动细节；另一个是DINOv3的语义空间，捕捉任务相关的状态变化。

为了让这两个预测通道能够互相学习、相互校正，研究团队设计了一个"三支路变形金刚混合体"（三分支混合变换器，Mixture-of-Transformers）。可以把它理解成一个三人小组：VAE预测专家、DINO语义专家、以及负责最终生成动作的动作专家。三人各有分工，但通过一种叫做"混合注意力"的机制可以互相交流信息，让动作专家在决策时能同时参考两位预测专家的意见。

在这个三人小组的协作中，有一条严格的"信息保密规则"：两位预测专家可以互相分享各自的预测结果，当前帧的信息可以流向任何人；但动作专家不能偷看还没发生的未来——它只能使用"当前时刻"的信息来生成动作。这条规则的好处是，训练时可以通过未来画面的监督信号来改进整个系统，但到了实际部署时，未来预测的部分可以完全关掉，系统仍然正常运作，而且速度更快。

这种设计带来了一个额外的好处：DINO语义空间的预测目标，迫使系统在学习"未来长什么样"时，更多关注任务层面的状态变化（碗被拿起来了、勺子放进去了），而不仅仅是像素层面的画面变化（背景颜色、光影效果）。这种语义级别的"未来监督"，让整个动作生成过程对视觉噪声更加免疫。

**六、当前锚定意图检索：让记忆成为导航仪**

第二个模块叫做"当前锚定意图检索"（CAIR，Current-Anchored Intent Retrieval），它解决的是另一个问题：当视觉环境发生变化时，仅凭当前这一帧画面，机器人可能无法准确判断任务进行到了哪个阶段。

CAIR的工作原理可以用一个生动的比方来理解：想象你是一位刚刚醒来的人，房间里的灯光变了，窗帘颜色也换了。你想知道"我今天的工作做到哪一步了"，单靠看当前的房间可能不够——但如果你翻翻自己几分钟前拍下的照片，就能很快找到线索。CAIR做的正是这件事：它保留了机器人最近几帧的DINOv3语义特征作为"历史照片"，然后在每个决策时刻，根据当前的画面和语言指令来检索这些历史照片，提取出与当前任务状态最相关的历史证据。

具体的实现方式是这样的：系统首先用一个名为Qwen3-VL的视觉-语言大模型，分析当前画面和语言指令，提炼出一组"当前语义查询"——这组查询代表了"我现在在做什么、我需要什么信息"的综合理解。然后，系统用这组查询去匹配最近M帧（实验中M=4）的DINOv3历史特征，通过交叉注意力机制提取出最相关的历史证据，最终生成8个"意图令牌"注入动作专家的决策过程。

这里有一个细节非常关键：历史特征使用的是DINOv3，而不是VAE像素特征。这正是CAIR能在视觉变化下保持稳定的原因——DINOv3的历史记录不会因为背景颜色变了就"认不出"之前发生了什么，它记录的是"任务语义层面"的历史，而非像素层面的历史。研究团队在消融实验中验证了这一点：将历史特征替换为VAE潜变量后，性能明显下降。

**七、训练细节：一个端到端、无需额外数据的方案**

ST-WAM的整个训练过程使用"流匹配"（flow matching）技术，这是一种近年来在图像和视频生成领域非常流行的生成建模方法，可以理解为一种"从随机噪声逐步还原目标"的学习方式。三个专家（VAE预测、DINO预测、动作预测）的学习目标被整合进一个联合损失函数，一起端到端训练。

值得一提的是，为了防止VAE和DINO两个预测专家在学习时步调不一致（因为两者都在预测"未来"，需要同步），研究团队将两个未来预测专家的噪声时间步设为一致；而动作专家的时间步则独立采样，保证动作学习的独立性不受干扰。

在具体参数设置上，视觉预测专家使用了Wan2.2的50亿参数Video DiT（视频扩散模型），语义预测专家和动作专家则各使用10亿参数的DiT（均从Wan2.2预训练权重初始化）。整个系统在LIBERO数据集上训练10轮，在RoboTwin 2.0上训练5轮，不依赖任何机器人轨迹大规模预训练数据。

**八、实验成绩：在多个战场全面验证**

研究团队在四个不同的测试场景中对ST-WAM进行了全面评估。

在标准LIBERO基准测试上，ST-WAM以98.7%的平均成功率刷新了榜单最高成绩。这个数字超越了不少使用了大规模机器人数据预训练的竞争对手，包括成功率为97.7%的Motus和98.5%的LingBot-VA。在一个原本已经接近天花板的基准上继续提升，说明DINOv3语义监督不仅带来了泛化能力，还对标准场景的决策质量有正向贡献。

在更具挑战性的LIBERO-Plus零样本泛化测试上，这套系统的优势体现得更为显著。LIBERO-Plus包含超过一万个测试案例，涵盖背景纹理、光照、摄像头视角、机器人外观、语言表达、传感器噪声、空间布局七个维度的干扰。ST-WAM在这一测试集上达到72.8%的整体成功率，在没有任何机器人预训练的前提下，超越了多个使用大规模预训练的VLA（视觉-语言-动作）模型，包括OpenVLA-OFT（69.6%）和X-VLA（71.4%）。

与最直接的对比基准Fast-WAM相比，ST-WAM的提升幅度高达21.3个百分点（从51.5%到72.8%）。在所有七个干扰维度上，提升均为正值；其中在摄像头视角变化（camera）和传感器噪声（noise）两个类别上，提升幅度分别高达39.0和41.8个百分点，几乎是原来成绩的两到三倍。

在RoboTwin 2.0双臂操作基准上，ST-WAM在干净环境和随机化环境下的成功率分别为93.06%和92.48%，综合平均92.77%，位列所有对比方法之首。这一测试尤其考验机器人在双臂协调操作中的鲁棒性，ST-WAM在这里的表现同样超越了使用大规模预训练的方法。

**九、真实世界里的考验：五项任务、四种视觉干扰**

纸上得来终觉浅。研究团队在真实机器人上进行了严格的实物评测。实验平台是一台Agilex Piper六自由度单臂机器人，测试任务包括五项：将三束花插入花瓶、打开抽屉后放入钢笔并关闭、将豆子从盘子舀到碗里再放回勺子、将五个水果摆入篮子、以及将马克杯挂到挂架上。每项任务的设计都有明确的时序要求和空间精度要求，难度较高。

每种方法用50个人工演示进行训练，然后在正常条件和四种视觉干扰条件下各测试30次。干扰条件包括：替换桌面纹理（背景干扰）、改变照明强度（光照干扰）、更换物体颜色或换一个类似功能的新物体（外观干扰），以及同时施加以上三种干扰（复合干扰）。

结果显示，在正常条件下，ST-WAM平均成功率为79.3%，比Fast-WAM高出14.6个百分点，比π0高出32.0个百分点。在视觉干扰条件下，ST-WAM保持61.5%的成功率，而Fast-WAM只有25.8%，π0只有32.8%。

这个对比中有一个数字特别能说明问题：Fast-WAM从正常条件到视觉干扰条件的成功率下降了38.9个百分点，而ST-WAM只下降了17.8个百分点。也就是说，ST-WAM在遇到视觉变化时，"摔得更少"——这正是DINOv3语义稳定性在实际部署中发挥作用的直接体现。

**十、消融实验：每个设计决策背后的道理**

研究团队通过一系列精心设计的对照实验，验证了ST-WAM每个组件的必要性。

首先，"仅DINO未来"方案（只用DINO预测未来，不用VAE）在LIBERO-Plus上只有39.7%，甚至低于只用VAE的Fast-WAM（51.5%）。这说明DINOv3的语义特征并不能完全替代VAE的细粒度视觉动态——两者缺一不可，必须联合使用才能发挥最大效果。这就好比导航需要既有路名（语义）又有实时地图（像素细节），只有其中一个都会出问题。

其次，去掉语义未来预测专家（只保留CAIR）的方案得到63.5%，而进一步去掉DINO未来预测目标但保留DINO专家结构的方案只有62.9%。完整的ST-WAM则达到72.8%。这说明语义未来预测的增益不能仅用"多了一个模型分支"来解释，真正起作用的是"明确预测未来语义状态"这件事本身。

在CAIR的设计上，"无锚点历史检索"方案（用无条件的可学习查询压缩DINO历史，不使用当前场景锚定）只有56.5%，甚至低于无CAIR的双空间方案（66.4%）——这非常有趣，说明如果历史检索没有当前语境的引导，提取出来的历史信息可能是噪音而非助力，反而干扰了决策。"只用Qwen当前信息"（不引入历史）的方案有62.9%，"用VAE历史"（而非DINO历史）的方案有64.7%，都低于使用DINO历史的完整CAIR。这一系列对比共同指向同一个结论：有效的历史意图提取，需要同时具备"稳定的语义历史表示"和"基于当前场景的检索锚点"，两者缺一不可。

研究团队还通过注意力热力图做了可视化分析：在动作专家的注意力中，对DINO特征的注意力更集中于被操作物体和交互区域，而对VAE特征的注意力则分散于更广泛的场景区域。这从视觉上印证了两种表示方式的互补性——DINO聚焦于"什么在动"，VAE把握"整体场景怎么变"。

**十一、计算效率：稳健与速度的平衡**

加入了更多组件的ST-WAM，推理速度如何？研究团队在单块NVIDIA A100-80GB显卡上进行了基准测试。ST-WAM生成一个32步动作序列需要756.17毫秒，而Fast-WAM需要609.30毫秒，两者相差约1.24倍。对于大多数实际机器人应用场景来说，二者都在一秒以内，这个开销换取的是成倍的泛化能力提升，在工程上是合理的权衡。

归根结底，这项研究揭示的是一个机器人领域长期被忽视的问题：当你教会机器人一项技能，你同时也让它记住了教学环境的每一个视觉细节。一旦这些细节改变，这种记忆就会变成障碍。ST-WAM的解决方案不是让机器人"看得更清楚"，而是让它"看得更深"——透过表面的像素噪音，抓住任务本身的语义本质；透过当下的视觉混乱，找回历史记忆中的任务进展。

这对普通人意味着什么？在不远的将来，家里的扫地机器人可能不会因为你换了一块地毯就乱撞；工厂里的机械臂可能不会因为生产线灯光调整就报废一批产品；手术辅助机器人可能不会因为手术室布局略有变化就需要重新校准。研究团队表示，下一步计划将ST-WAM的鲁棒性从视觉环境变化，进一步扩展到物理动力学变化和不同机器人机体之间的迁移，这将是更大的挑战，也是更广阔的方向。

这篇论文感兴趣的读者可以通过arXiv编号2607.28993查阅完整原文，项目页面也提供了演示视频和更多实验细节。

**Q&A**

Q1：什么是"训练分布幻觉"，为什么机器人会出现这种问题？

A：训练分布幻觉是指，当机器人遇到与训练环境视觉上不同的场景时（比如换了桌布或调暗了灯光），它预测出来的"未来画面"不是真实场景的延续，而是训练时反复见过的老场景画面。根本原因在于，现有WAM系统用像素级的图像压缩方式（VAE潜变量）来表示未来，这种方式对视觉细节高度敏感，背景一变就"认不出来"，从而导致动作决策失败。ST-WAM论文对180个测试案例的人工审核显示，70.6%都出现了这一现象。

Q2：ST-WAM是如何在不额外收集机器人数据的情况下提升泛化能力的？

A：ST-WAM的核心策略是引入DINOv3作为语义表示，同时从两个时间方向加以利用：向前看时，通过双空间未来专家（DSFE）同时预测像素级和语义级的未来，用语义监督减少对视觉表面的依赖；向后看时，通过当前锚定意图检索（CAIR）从最近几帧的DINO历史特征中提取任务进展证据。整套系统端到端训练，不需要额外的机器人轨迹预训练数据，完全依赖目标任务的示范数据。

Q3：DINOv3和VAE潜变量有什么区别，为什么DINOv3更适合处理视觉变化？

A：VAE潜变量是一种把图片压缩成数字序列的方式，它会保留画面中几乎所有视觉细节，包括背景颜色、光影纹理等与任务无关的信息。DINOv3则是通过大规模自监督学习训练出来的视觉特征提取器，它更关注物体的语义信息（这是什么、在哪里、和什么关系），对视觉表面变化的敏感度低得多。论文实验显示，在290组对照帧中，DINOv3同一状态帧之间的相似度为0.904，而VAE只有0.686；在区分不同任务状态时，DINOv3准确率为95.2%，VAE只有60%。