综述 | 统一机器人学习：连接表征、视觉-语言-动作模型与世界模型

来源：专知

导读

机器人学习正在经历一个明显转向：过去许多工作分别优化感知表示、动作策略或预测模型，但真实世界机器人需要的是一个闭环系统。它既要知道环境里有什么，又要根据语言和任务意图决定怎么做，还要能预判动作会怎样改变世界。论文《Toward Unified Robot Learning: Bridging Representation, Vision-Language-Action, and World Models》正是围绕这一问题展开，试图把机器人学习中的三条主线放到同一个框架里理解。

这篇综述的核心组织方式非常清晰：第一条主线是环境表征，回答“机器人如何理解周围世界”；第二条主线是视觉-语言-动作模型，回答“机器人如何把观察和指令转化为动作”；第三条主线是世界模型，回答“机器人如何推演动作后果并支持规划”。作者进一步指出，当前领域的关键瓶颈不只在单个模块性能，而在三者之间缺少可靠整合。

论文特别强调五类开放问题：不确定性量化、分布外泛化、跨具身迁移、长上下文理解和长时域预测。这些问题共同指向一个事实：机器人不能只在离线数据集上学会模式匹配，还必须在开放、部分可观测、具身差异明显且任务跨度较长的现实环境中保持可控、可解释和可恢复。

Introduction | 引言

论文开篇从真实世界机器人智能的三项基本能力切入：感知周围环境、执行任务动作、推理动作后果。近年来，视觉表征学习让机器人能够从图像、深度、多视角和三维数据中抽取语义与几何信息；视觉-语言-动作模型让机器人可以根据自然语言指令生成动作；世界模型则尝试预测未来状态，为规划和安全执行提供前瞻能力。

但作者指出，这些方向大多沿着相对独立的路线发展。表征学习通常关注可迁移视觉特征，动作模型关注从观察到动作的映射，世界模型关注未来状态预测。单独来看，每条路线都取得了进展；放到真实机器人系统中，问题就变成了：表示是否对行动有用？动作是否能感知自身不确定性？预测模型是否能真正约束策略，而不只是生成看似合理的视频？

三条主线

本文将机器人学习组织为“理解、行动、推理”三个层面。环境表征对应理解，重点是把原始传感器输入转化为状态、语义、几何和时空结构；视觉-语言-动作模型对应行动，重点是把多模态观察和任务指令转化为控制命令；世界模型对应推理，重点是建模环境动态、预测未来并支持规划。

这种组织方式的价值在于，它避免把机器人学习简化成某一种大模型架构。对真实机器人而言，能力并不来自一个孤立模块，而来自表征、策略和预测之间能否形成闭环。例如，若表征模型不能表达接触关系和遮挡物体，策略就可能在关键状态上失败；若世界模型只会预测视觉帧，却不理解物理约束，它也难以帮助机器人可靠规划。

Background | 背景

第二节梳理机器人学习的基本设定。机器人通常通过相机、深度传感器、触觉、本体感知和关节状态获得观察，然后根据任务目标输出离散或连续动作。在经典控制和强化学习中，问题常被表述为状态、动作、奖励和转移动态；在现代机器人基础模型中，观察空间变得更丰富，任务通常以语言、图像或多模态上下文形式给出。

论文特别关注一个变化：机器人学习的输入输出正在从“低维状态到动作”扩展为“多模态上下文到动作与预测”。这意味着模型不仅要处理视觉语义，还要处理对象关系、空间布局、历史轨迹、动作条件和语言约束。由此产生的系统复杂度，正是本文提出统一视角的原因。

统一问题视角

作者将已有研究按照三条主轴组织。第一，环境表征包括状态、本体感知、二维视觉、多视角、三维和四维时空表示。第二，视觉-语言-动作模型包括端到端策略、带生成式动作头的模型以及层级推理模型。第三，世界模型包括语言条件预测、动作条件预测和可作为仿真引擎的模型。

论文也给出集成类型的讨论：有些方法是表征与策略集成，有些是策略与世界模型集成，有些是表征与世界模型集成，还有少数尝试把三者同时放入闭环。作者认为，未来机器人学习的关键不是简单堆叠模块，而是让共享状态、动作生成和未来预测在决策时真正相互约束。

Open Problems and Future Directions | 开放问题与未来方向

第三节在进入具体方法前先讨论开放问题，这也是本文和一般方法综述不同的地方。作者认为，统一机器人学习的难点不只是“模型更大、数据更多”，而是机器人系统必须面对现实世界中的不确定性、分布变化、具身差异、历史依赖和长时域误差累积。

不确定性量化

机器人执行动作时，错误可能直接影响物体、设备甚至人类安全。因此，策略不能只给出动作，还需要知道自己何时不确定。论文指出，不确定性来自多个层面：感知遮挡、状态估计误差、语言指令歧义、动作执行噪声、预测模型偏差，以及训练数据覆盖不足。

在统一系统中，不确定性不能停留在单个模块内部。一个视觉模型对遮挡区域的不确定性，应当传递给动作策略；世界模型对未来预测的不确定性，应当影响规划和安全过滤；动作模型对任务理解的不确定性，也应当触发询问、重规划或保守执行。作者因此强调，不确定性感知的闭环执行是未来机器人基础模型的重要方向。

分布外泛化

机器人训练数据通常覆盖有限物体、场景和任务，而部署环境往往存在光照、背景、对象、动力学和任务目标变化。论文把分布外泛化视为贯穿三条主线的共同挑战：表征模型需要在新场景中保持稳定，动作模型需要在新任务中避免过拟合，世界模型需要在新动态下保持预测可靠。

当前常见做法包括大规模预训练、数据增强、模拟到现实迁移、因果或几何约束、多任务学习等。但作者也提醒，视觉上的泛化不等于行动上的泛化。一个模型可能能识别新物体，却无法在接触、抓取、推拉等动作层面泛化；也可能能生成合理未来图像，却无法预测任务成功所需的关键状态变量。

跨具身泛化

跨具身泛化指同一任务能力能否迁移到不同机器人形态、关节配置、末端执行器和控制接口上。对机器人基础模型而言，这一点至关重要，因为单一机器人的数据规模通常有限，而不同实验室和产业场景使用的机器人形态差异很大。

论文指出，跨具身问题的难点在于任务意图与机器人形态容易纠缠。语言指令“拿起杯子”看似相同，但不同机器人可行动作空间、可达区域和控制频率完全不同。未来系统需要在任务层表示和具身层控制之间建立更清晰的抽象，例如通过动作 token、技能库、层级策略或统一控制接口降低具身差异。

长上下文理解

真实任务往往不是单步指令，而是包含历史交互、失败恢复、用户偏好和环境变化的长期过程。机器人需要理解过去发生了什么、当前任务处于哪一步、哪些对象已经被移动、哪些约束仍然有效。单帧视觉或短窗口策略很难处理这类依赖。

长上下文理解要求模型具备记忆、状态跟踪和任务进度建模能力。作者认为，多模态大模型和视觉-语言-动作模型为这一方向提供了机会，但机器人场景中的长上下文不仅是文本长度问题，还涉及可观测性、物体持久性、空间记忆和动作历史对未来动态的影响。

长时域预测

长时域任务中，错误会逐步累积。一个早期微小的定位误差，可能在后续抓取、放置和整理任务中放大；一个世界模型短期预测看似准确，却可能在多步滚动后偏离真实状态。因此，长时域预测既是世界模型的核心问题，也是策略可靠性的关键。

论文认为，长时域预测不能只追求像素级未来帧质量。对机器人而言，更重要的是预测接触、约束、对象关系、可达性、任务进度和失败风险等决策相关变量。未来世界模型需要从“生成未来图像”转向“生成可用于决策的未来状态”。

Environment Representation for Robot Learning | 机器人学习的环境表征

第四节讨论环境表征。机器人感知系统的目标，是把多种传感器数据转化为有利于行动和推理的表示。早期方法依赖低维状态和手工特征，后来的视觉表示学习通过卷积网络、自监督学习和视觉基础模型提升了语义泛化能力；近年来，多视角、三维和四维表示进一步把空间结构和时间动态纳入建模。

状态与本体感知表征

状态和本体感知包括关节角、速度、力矩、末端位姿、触觉信号等。它们通常维度较低、控制相关性强，因此在经典机器人控制和强化学习中非常重要。不过，这类表示对外部环境的覆盖有限，难以表达物体语义、遮挡区域和复杂空间关系。

论文认为，状态表示仍然不可替代。视觉模型可以提供丰富场景信息，但没有本体感知和触觉，机器人很难判断接触、滑移、力度和执行误差。统一系统需要把外部视觉表征与内部身体状态结合起来，而不是用视觉基础模型取代所有低层反馈。

视觉、多视角与三维四维表征

二维视觉表示推动了机器人学习的快速发展，尤其是自监督视觉预训练和视觉语言模型带来的泛化能力。但单视角图像存在遮挡、深度不确定和空间几何缺失等问题。多视角表示通过整合不同相机视角提升空间覆盖，三维表示则进一步显式建模点云、体素、场景图或神经场。

四维表示把时间纳入三维空间建模，适合描述物体运动、接触变化和场景动态。作者强调，机器人表征的评价标准不应只看识别或重建，而应看它是否支持后续行动、规划和恢复。一个好的环境表征，应当既能保留语义，也能保留任务相关几何和动力学线索。

Vision-Language-Action Models for Robot Learning | 视觉-语言-动作模型

第五节讨论视觉-语言-动作模型。这类模型把视觉观察、语言指令和机器人动作连接起来，是近年机器人基础模型最活跃的方向之一。它们的目标是让机器人能够根据自然语言任务，在复杂视觉场景中输出可执行动作。

端到端策略模型

端到端模型直接从观察和指令预测动作，通常通过大规模机器人轨迹数据训练。这类方法的优势是系统简洁，能够把感知和控制联合优化；缺点是可解释性有限，且对数据覆盖高度敏感。当环境、物体或具身平台发生变化时，模型容易出现脆弱行为。

论文指出，端到端并不等于不需要结构。即便模型接口是从多模态输入到动作输出，内部仍需要合适的表示、时间建模和任务条件机制。未来端到端策略若要在真实世界可靠运行，必须更好地处理不确定性、历史上下文和跨具身差异。

生成式动作头

许多近期模型将动作生成视为条件生成问题，用扩散模型或流匹配生成连续动作序列。相比直接回归，生成式动作头可以表达多峰动作分布，适合处理同一任务存在多种可行轨迹的场景。例如，机器人可以从不同方向抓取同一物体，也可以用不同中间步骤完成整理任务。

扩散式动作策略通过逐步去噪生成动作，通常稳定且表达力强，但采样步骤可能带来推理延迟。流匹配方法则尝试通过连续变换学习从噪声到动作的映射，可能在效率和训练稳定性之间提供新折中。作者认为，生成式动作头的重要性在于，它让动作模型从“预测一个答案”转向“建模可行动作空间”。

层级与推理增强模型

层级模型把高层任务规划和低层动作控制分开。高层模块可以负责理解语言、分解任务、生成子目标或调用技能，低层模块负责把子目标转化为连续控制。这种结构更适合长时域任务，也更便于与世界模型、符号规划器或大语言模型结合。

推理增强模型则引入链式推理、任务分解、自我检查或外部工具调用，让策略不只依赖单步感知到动作映射。论文认为，这类方法有助于提高可解释性和长任务成功率，但也面临推理延迟、错误传播和语言推理与物理执行脱节的问题。

World Models for Robot Learning | 机器人学习中的世界模型

第六节讨论世界模型。世界模型的核心思想是让机器人拥有一个可预测环境变化的内部模型：给定当前观察、任务条件或动作，它能够预测未来状态、未来观测、奖励、可行性或任务结果。这样，机器人就能在执行前评估候选动作，而不是完全依赖试错。

为什么需要世界模型

世界模型对于机器人尤其重要，因为真实世界试错成本高、危险动作不可随意执行、长时域任务需要前瞻判断。一个可靠世界模型可以支持模型预测控制、离线规划、策略训练、失败预判和安全过滤。它还可以在数据不足时提供想象式训练环境。

但论文也指出，机器人世界模型比视频生成更难。它不仅要生成看起来合理的未来，还要尊重物体持久性、接触动力学、遮挡关系、刚体约束和任务目标。对决策而言，一个视觉上漂亮但物理错误的预测模型可能会误导策略。

语言条件与动作条件模型

语言条件世界模型根据文本指令或目标描述预测未来场景，适合把高层意图转化为可能的结果。例如，给定“把杯子放到桌子右侧”，模型可以想象任务完成后的场景。动作条件世界模型则显式输入机器人动作，用于预测执行某个动作序列后环境如何变化。

作者认为，两类模型各有价值。语言条件模型更接近任务想象和目标设定，动作条件模型更适合控制和规划。统一机器人学习需要把二者连接起来：语言提供目标和约束，动作提供可执行路径，世界模型评估路径是否可行、是否安全、是否接近目标。

仿真引擎

世界模型还可以作为学习型仿真引擎，用于生成训练数据、评估策略或创建可交互环境。与传统物理仿真相比，学习型世界模型有机会从真实数据中捕捉复杂视觉外观和任务分布；与纯视频生成相比，它又必须提供可控、可验证、可用于策略优化的动态。

论文给出的诊断实验显示，当前世界模型仍会在物体持久性和物理约束上失败。例如，在遮挡情况下，模型可能无法维护隐藏物体的存在；在新动作条件下，模型可能生成违反基本几何和碰撞约束的未来。这说明世界模型还没有真正学到可靠的物理状态和因果动态。

Unifying the Perspectives | 统一视角

第七节回到全文主旨：如何把环境表征、动作模型和世界模型统一起来。作者认为，未来机器人学习不应只追求更大的策略模型，也不应只追求更强的视频预测，而应构建能共享状态、传播不确定性、闭环评估动作并持续更新世界理解的系统。

从模块拼接到闭环系统

简单模块拼接并不等于统一。若表征模型输出的特征不能被世界模型解释，预测就难以服务于规划；若动作模型不读取世界模型的不确定性，它就无法在风险较高时保守执行；若世界模型只生成像素未来，却不能反馈任务相关变量，策略也难以从中受益。

论文提出的统一方向包括三类：表征与策略集成，让感知表示直接面向动作；策略与世界模型集成，让预测模型参与候选动作评估；表征与世界模型集成，让潜在状态同时服务于理解和预测。更进一步的三元集成则要求三者在同一闭环中共同工作。

评估标准

作者强调，统一机器人学习需要新的评估方式。单独报告视觉识别精度、动作成功率或视频预测质量都不够。更有意义的评测应当考察模型在分布变化、长时域任务、遮挡状态、跨机器人平台和失败恢复中的表现，并分析错误来自表征、策略、世界模型还是它们之间的接口。

这也意味着，机器人基础模型的 benchmark 不能只追求静态数据规模，而要包含多样场景、真实交互、动作后果、长任务轨迹和安全约束。只有这样，才能区分“看起来像理解”的模型和真正能在现实中可靠行动的模型。

未来方向

论文最后总结了几个趋势。第一，共享潜在表示会越来越重要，因为它可以作为感知、动作和预测之间的共同接口。第二，未来预测会更深地进入决策过程，不只是辅助生成数据，而是参与候选动作筛选、规划和安全控制。第三，层级结构仍然关键，高层任务推理与低层连续控制需要以更稳健的方式连接。

第四，不确定性和可校准性会成为真实部署的核心指标。机器人需要知道何时可以自主执行，何时需要放慢、重试、询问或切换策略。第五，跨具身学习需要更抽象的动作和任务表示，使数据能够跨平台复用，而不是每个机器人从头学习。

Conclusion | 结论

本文的结论是：机器人学习的下一阶段将从模块化进步走向系统级统一。环境表征解决“世界是什么”，视觉-语言-动作模型解决“应该怎么做”，世界模型解决“这样做会发生什么”。三者缺一不可，但更重要的是它们如何在闭环中相互校正。

关键启示

对研究者而言，这篇综述提供了一个清晰的地图：如果关注感知，应思考表征如何服务于行动和预测；如果关注策略，应思考动作生成如何吸收不确定性和未来后果；如果关注世界模型，应思考预测是否真正支持决策，而不只是视觉上逼真。

对产业落地而言，论文也给出一个务实提醒：机器人基础模型不能只靠更大的数据和更强的多模态模型堆起来。真实环境中的可靠性来自可泛化表征、可控动作生成、可验证预测和安全闭环之间的协同。统一机器人学习的目标，正是把这些能力从并行发展推向系统融合。