无需解码器与数据增强的冗余精简世界模型

无需解码器与数据增强的冗余精简世界模型

R2-DREAMER: REDUNDANCY-REDUCED WORLDMODELS WITHOUT DECODERS OR AUGMENTATION

https://openreview.net/pdf?id=Je2QqXrcQq

https://github.com/NM512/r2dreamer

摘要

基于图像的模型强化学习（Model-Based Reinforcement Learning, MBRL）面临的一个核心挑战是：学习能够从无关视觉细节中提炼出关键信息的表征。尽管基于重建的方法展现出一定前景，但其往往将大量表征容量浪费在与任务无关的大面积区域上。无解码器方法则转而通过利用数据增强（Data Augmentation, DA）来学习鲁棒的表征，但对这类外部正则化器的依赖限制了其通用性。我们提出 R2-Dreamer，这是一种无解码器的 MBRL 框架，其采用一种自监督目标作为内部正则化器，无需依赖数据增强即可防止表征坍缩。我们方法的核心是受 Barlow Twins 启发的冗余减少（redundancy-reduction）目标，该目标可轻松集成到现有框架中。在 DeepMind Control Suite 和 Meta-World 基准上，R2-Dreamer 与 DreamerV3、TD-MPC2 等强基线方法性能相当，同时训练速度比 DreamerV3 快 1.59 倍；在包含微小任务相关物体的 DMC-Subtle 任务上，该方法取得了显著提升。这些结果表明，一种有效的内部正则化器能够支撑通用、高性能的无解码器 MBRL。代码地址：https://github.com/NM512/r2dreamer。

1 引言

学习有效的潜在表征是基于模型的强化学习（MBRL）中世界模型的核心基石，但这也带来了一项重要挑战：表征必须捕捉任务关键信息，同时避免对无关细节的过拟合。尽管循环状态空间模型（Recurrent State-Space Model, RSSM）等架构已取得显著成功（Hafner 等人，2025），一个根本性问题仍未解决：学习表征本身的最优目标函数究竟是什么？这一问题在基于图像的设定中尤为重要，因为高维观测使得表征学习本身具有内在挑战性。

在实践中，许多主流方法通过优化像素级重建目标来学习表征（Micheli 等人，2023；Zhang 等人，2023；Seo 等人，2023；Micheli 等人，2024；Alonso 等人，2024；Hafner 等人，2025）。这带来一个关键问题：学习信号被观测中空间占比大但与任务无关的部分（如背景）所主导。因此，模型被激励去精细重建这些细节，从而浪费了表征容量与计算资源，反而可能忽略那些虽小但对任务至关重要的物体。

为克服像素级重建的局限性，无解码器方法通过自监督损失来学习表征（Deng 等人，2022；Okada & Taniguchi，2022；Burchi & Timofte，2025）。为防止此类方法中常见的表征坍缩问题，它们高度依赖数据增强（DA）作为外部正则化器。然而，这种对 DA 的依赖构成了通用智能体发展的显著瓶颈（Laskin 等人，2020；Ma 等人，2025），因为变换方式的选择具有任务依赖性：随机平移可能丢弃关键的小物体，而颜色抖动在颜色本身是关键特征时反而有害。

在本工作中，我们聚焦于广泛使用的 RSSM 框架内的表征学习目标，提出 R2-Dreamer，旨在打破对解码器与数据增强的依赖。为单独考察学习目标本身的影响，我们基于成熟的 Dreamer 架构进行构建。受 Barlow Twins（Zbontar 等人，2021）启发，我们引入图像嵌入与潜在状态之间的冗余减少目标，无需外部正则化器即可防止表征坍缩，从而提供一个通用且鲁棒的基线，能够实现具有竞争力的性能。

我们的主要贡献如下：

• 为基于 RSSM 的无解码器 MBRL 提出了一种新的表征学习范式，以内部冗余减少目标取代了可能扭曲任务关键信息的启发式数据增强（DA）。
• 在标准基准（包括 DeepMind Control Suite (DMC) 和 Meta-World）上具有竞争力的性能，并在我们新提出的、更具挑战性的 DMC-Subtle 基准上表现优异；同时，通过移除解码器实现了更快的训练速度。
• 发布我们统一的 PyTorch 代码库，其中包括基于我们 DreamerV3 实现的方法与基线代码，以及 DMC-Subtle 基准，以促进未来研究。

2 相关工作

我们的工作位于模型强化学习（MBRL）与自监督学习（Self-Supervised Learning, SSL）的交叉领域。我们通过回顾 MBRL 中的表征学习策略及其应对正则化挑战的方式，来定位我们的方法。

2.1 世界模型中的表征学习

基于解码器的世界模型
在 MBRL 中占主导地位的范式（由 Dreamer 系列工作普及，Hafner 等人，2025）通过从潜在状态重建观测来学习表征。尽管该方法取得了成功，但这种基于重建的目标往往迫使模型将表征容量浪费在与任务无关的细节（如背景）上，这促使研究转向无解码器方法。

无解码器世界模型及其对数据增强的依赖
为克服重建方法的局限性，近期的无解码器方法通过不涉及像素级重建的辅助目标来学习表征，例如预测未来奖励或通过对比损失进行学习。然而，尽管其学习信号具有多样性，这些代表性工作（Ye 等人，2021；Deng 等人，2022；Hansen 等人，2022；2024；Wang 等人，2024；Burchi & Timofte，2025）都关键性地依赖数据增强（DA）——通常是随机平移——作为防止表征坍缩的外部正则化器。这种对可能扭曲任务相关细节的增强方式的根本性依赖，限制了其通用性，而这正是我们致力于解决的关键瓶颈。

除了数据增强外，一些方法通过架构机制来缓解视觉干扰；例如，VAI（Wang 等人，2021）引入了额外的注意力模块，但其依赖运动线索，可能忽略静态但对任务关键的视觉线索。另有若干工作通过向潜在特征注入高斯噪声来更直接地正则化表征（Shu 等人，2020；Nguyen 等人，2021）。相比之下，我们表明：仅凭一个基于信息论的冗余减少原则，就足以在基于 RSSM 的模型中实现稳定且有效的表征学习，且无需任何数据增强。

2.2 从不变性到基于信息的正则化

数据增强驱动的不变性
许多流行的自监督表征学习方法（包括现有无解码器智能体所采用的方法）都是基于不变性的。它们依赖数据增强（DA）来构建正样本对（例如，同一图像的不同增强视图），并训练模型为这些视图生成相似的表征，这在对比学习（Chen 等人，2020；He 等人，2020；Caron 等人，2020）与非对比学习（Grill 等人，2020；Chen & He，2021）中均有体现。在此范式下，数据增强对于防止模型坍缩到平凡解至关重要。

无需数据增强的内部正则化
我们的工作采用了与基于信息的自监督学习文献（Zbontar 等人，2021；Bardes 等人，2022）不同的思路，后者聚焦于减少特征冗余。尽管这些方法在计算机视觉领域仍使用数据增强，我们将这一原则适配为强化学习领域中完全替代基于数据增强的正则化方案。具体而言，我们在图像编码器的输出与 RSSM 的潜在状态之间应用冗余减少目标。这产生了一个足以防止表征坍缩的内部正则化器，从而使我们能够在无需任务特定增强的情况下，构建一个更通用、更鲁棒的学习框架。

3 方法

我们的方法 R2-Dreamer 重新设计了强大的 DreamerV3（Hafner 等人，2025）框架中的表征学习机制，使其无需解码器且无需数据增强（DA）。我们通过将原本基于重建的目标替换为一种受 Barlow Twins（Zbontar 等人，2021）启发的、基于冗余减少的自监督目标来实现这一目标。为单独考察我们所提出的学习目标的影响，世界模型的其他组件以及 Actor-Critic 的实现均与原始 DreamerV3 保持一致。仅这一项改动便在计算效率与鲁棒性方面带来了显著提升。本节首先详细阐述潜在动力学模型，介绍我们新的世界模型学习目标，并回顾 Actor-Critic 的学习过程。

3.2 世界模型学习

我们的核心贡献是一种新的世界模型学习目标，它替换了 DreamerV3 的重建损失。正如附录 A 中的理论动机所述，这一新目标是扩展的顺序信息瓶颈（Sequential Information Bottleneck）目标的一个易处理的代理方案。我们现在详细说明该目标的实际实现，在适用的情况下遵循 DreamerV3 的原始损失组件。

DreamerV3 目标
DreamerV3 中的世界模型通过优化四个不同的目标进行训练：重建、预测，以及两个用于正则化潜在动力学的 KL 散度项。如公式 2 所示，总体损失是这些组件的加权和。

通过冗余减少进行表征学习（LBT） 我们采用 Barlow Twins 目标作为我们的冗余减少机制。与 VICReg（Bardes 等人，2022）等其他方法相比，选择它是因其实现开销最小且超参数更少，从而减少了调优工作量。该目标定义如下：

在我们的实现中，我们 detach（分离）目标 e t以增强稳定性，类似于 TD-MPC2（Hansen 等人，2024）中的策略。尽管如此，编码器仍能接收通过投影器和 RSSM 反向传播的丰富梯度，同时奖励、回合延续、动力学和价值目标提供了与 DreamerV3 相同的任务相关监督信号。

3.3 Actor-Critic 学习

为确保我们的性能提升可归因于世界模型的表征质量，Actor-Critic 学习过程保持与 DreamerV3 一致。Critic 在想象 rollout 和回放轨迹上均进行优化，而 Actor 仅在想象轨迹上进行优化。具体而言，想象 rollout 始于从回放轨迹推断出的潜在状态，并在当前策略下使用学习到的动力学模型进行展开。

Critic 被训练以预测λ-returns 的分布，这是对未来奖励的一种鲁棒估计。Critic 的损失是预测这些 returns 的最大似然：

4 实验

在本节中，我们进行了一系列实验来验证我们工作的核心主张：即 R2-Dreamer 以一种无解码器且无数据增强（DA）的方式学习高质量表征，从而形成一个不仅计算高效而且高性能的框架。我们的评估旨在回答以下关键问题：

1. R2-Dreamer 在标准连续控制基准上，与领先的基于解码器和无解码器智能体相比表现如何？（第 4.2 节，第 4.3 节）
2. 我们的内部正则化如何处理具有挑战性的场景，其中任务相关信息细微且容易被竞争方法忽略？（第 4.4 节）
3. 学习到的表征在关注任务相关信息方面，与基线方法在定性上有何不同？（第 4.5 节）
4. 与其他设计选择（特别是数据增强 DA）相比，我们提出的冗余减少目标的直接影响是什么？（第 4.6 节）
5. 其无解码器和无数据增强的设计在实际中带来了哪些计算效益？（第 4.7 节）

我们报告 DMC 和 DMC-Subtle 上的任务得分以及 Meta-World 上的成功率，使用跨任务的均值和中位数总结结果，并在附录中提供详细的每任务曲线。在所有实验中，我们基于五个随机种子进行训练，每个种子进行 10 次评估回合，并且除非另有说明，在所有任务和基准套件中使用相同的超参数配置（见附录 F）。

4.1 实验设置

基线 我们将 R2-Dreamer 与精心选择的一组竞争性基线进行比较，以涵盖基于图像的强化学习的主要范式：

• R2-Dreamer（我们的方法）：基于我们基于 PyTorch 的 DreamerV3 复现实现。所有无解码器变体均使用这一统一代码库，以确保性能差异可直接归因于表征学习目标。
• DreamerV3（Hafner 等人，2025）：一种领先的、极具竞争力的基于解码器的世界模型。为了提供最强且最可信的基线之一，我们使用作者的官方 JAX 实现作为主要比较对象，并采用最新版本（该版本包含了 2024 年 4 月进行的若干算法改进）。
• Dreamer-InfoNCE：一种使用 InfoNCE 损失（van den Oord 等人，2019）的对比学习基线，用于探究在没有数据增强（DA）情况下的性能，该基线基于我们的 DreamerV3 复现实现。
• DreamerPro（Deng 等人，2022）：一种领先的无解码器方法，依赖数据增强（特别是随机图像平移）来防止表征坍缩。由于原始实现基于 DreamerV2，我们在我们的 DreamerV3 复现上重新实现了其核心机制，以确保公平比较。这一重新实现也提升了其性能。
• DrQ-v2（Yarats 等人，2021）：一种用于基于图像的强化学习的强大且广泛使用的无模型（model-free）智能体，作为性能参考的代表性无模型基线。它依赖数据增强作为该方法的关键组成部分。我们使用作者的官方实现。
• TD-MPC2（Hansen 等人，2024）：一种强大的无解码器基于模型的方法，它将 TD 学习与潜在空间规划相结合，并使用数据增强作为外部正则化器来防止表征坍缩。我们使用作者的官方实现。

环境 我们所有的基准测试均专注于基于像素的连续控制。我们在三个基准测试套件上评估我们的方法：

• DeepMind Control Suite (DMC) (Tassa 等人，2018)：一个被广泛采用的基于像素的连续控制任务基准测试套件，涵盖了运动（locomotion）和操作（manipulation）领域。
• Meta-World (Yu 等人，2021)：一个用于评估使用机械臂执行多样化操作任务性能的基准测试套件。我们使用 MT1 基准，其中智能体分别在 50 个不同的任务上进行训练。这些任务涉及与各种物体（包括小物体）进行交互，并需要精确的细粒度操作。
• DMC-Subtle：一个新的基准测试，旨在作为基于像素控制中表征学习的受控压力测试，其中任务关键物体被缩小，以使任务相关的视觉线索变得细微。例如，图 2 展示了 Reacher 任务，其中目标被缩小到原始尺寸的三分之一。该基准测试对象征精度提出了更高的要求。所有任务的详细修改见附录 B。

4.2 在 DeepMind Control Suite 上的性能

我们首先在 20 个标准 DMC 任务上评估 R2-Dreamer。图 3 使用均值和中位数总结了跨任务的性能。我们的方法在平均水平上与基于解码器、无解码器以及无模型的基线方法具有竞争力。这一结果表明，我们的内部冗余减少目标是一种有效的学习信号，能够在无需解码器或像数据增强（DA）这样的外部正则化器的情况下，实现具有竞争力的性能。详细的每任务曲线见附录 C。

4.3 在 Meta-World 上的性能

我们在 Meta-World MT1 上评估 R2-Dreamer，该基准包含 50 个独立训练的机器人操作任务。图 4 报告了跨任务的平均和中位数成功率，并标注了不同随机种子间的标准差。平均而言，R2-Dreamer 在跨任务的平均成功率方面与基线方法具有竞争力，即使在涉及小物体的、接触丰富的操作任务上也是如此。详细的每任务曲线见附录 D。

4.4 在挑战性环境中的鲁棒性

我们现在强调我们的方法在 DMC-Subtle 基准测试上的优势，该测试平台是一个具有挑战性的测试环境，旨在对那些要么过拟合于无关背景、要么丢弃微小关键物体的方法进行惩罚。我们假设，我们的冗余减少目标特别适用于这些对精度要求较高的任务。由于不受由任务无关背景主导的重建信号驱动，并避免了数据增强（DA）可能对关键特征造成的扭曲，我们的方法应能学习到更具聚焦性的表征。图 5 的结果证实了这一假设，显示出相对于基线方法的显著性能差距，并表明 R2-Dreamer 能够有效隔离并关注任务关键信息——这一能力对于现实世界中显著线索可能稀疏的应用场景至关重要。我们进一步分析学习到的表征，以理解这种鲁棒性的来源。

4.5 潜在表征分析

我们使用一种基于遮挡的显著性方法（Greydanus 等人，2018）来可视化策略的注意力焦点，以评估学习到的表征在捕捉任务相关信息方面的效果。针对 DMC-Subtle Reacher 任务的这一分析中，我们在每个回合的第一帧计算显著性图，以将空间焦点与时间动态分离开来。图 6 的结果揭示了明显的区别：R2-Dreamer 的显著性图清晰地聚焦于目标，表明其策略建立在任务关键的视觉证据之上。相比之下，基线方法表现出更为分散的显著性，暗示其对任务的理解不够精确。这一发现提供了强有力的定性证据，表明我们的冗余减少目标能够促使模型学习紧凑且相关的表征。

4.6 消融研究

为隔离我们的核心贡献，我们进行了一项有针对性的消融研究，以评估我们的冗余减少目标相对于数据增强（DA）的有效性。我们比较了六种变体：R2-Dreamer（我们的完整方法）、R2-Dreamer（半批量）、带 DA 的 R2-Dreamer（添加随机平移）、DreamerPro（依赖 DA 的基线）、不带 DA 的 DreamerPro，以及不带解码器的 Dreamer（无视觉辅助目标）。

首先，图 7 显示，为 R2-Dreamer 添加数据增强（DA）仅带来边际性能提升。相比之下，DreamerPro 在没有 DA 的情况下会发生表征坍缩，这证实了其对外部正则化器的关键依赖。其性能下降至接近不带解码器的 Dreamer 的水平，而后者缺乏学习视觉表征的显式目标。

我们还测试了批量大小（batch size）的敏感性，因为自监督学习（SSL）目标可能受到相关性估计的影响。与 Barlow Twins（Zbontar 等人，2021）所报告的鲁棒性一致，将批量大小减半（ B = 8
对比 B = 16
）并未导致显著的性能下降。

其次，我们在一个需要保留细粒度空间信息的设定中检验了相同的设计选择。在对精度要求较高的 DMC-Subtle 基准测试上，数据增强（DA）被证明是有害的。如图 8 所示，添加 DA 会显著降低我们方法的性能。这凸显了外部正则化器的一个关键风险：尽管它们通常具有通用性，但可能会扭曲细微的、任务关键的信息。在这种情况下，我们无需 DA 的内部机制提供了一种更鲁棒的解决方案，进一步印证了其作为 RSSM 原则性正则化器的有效性。

4.7 计算效率

我们无解码器设计的一个核心优势是其计算效率。为确保公平比较，我们在统一的 DreamerV3 复现平台上，测量我们的方法相对于基线方法的实际训练时间（wall-clock training time）。如表 1 所示，通过消除计算开销较大的图像生成过程，R2-Dreamer 相较于我们的 DreamerV3 复现实现了 1.59 倍的加速。此外，与 DreamerPro 相比，R2-Dreamer 实现了 2.36 倍的加速；DreamerPro 需要处理输入的不同增强视图以及后续相对复杂的逻辑。我们还包含了原始高度优化的 DreamerV3 JAX 实现的训练时间作为参考。这些结果表明，R2-Dreamer 提供了一种更实用且可扩展的解决方案。

5 结论

我们证明了一个原则性的内部正则化目标可以取代 MBRL 中对图像重建的需求。我们的框架 R2-Dreamer 无需解码器或任务特定的 DA，即可学习聚焦于显著特征的表征。

这种方法的优势在我们具有挑战性的 DMC-Subtle 基准上最为明显，在那里 R2-Dreamer 通过隔离微小、关键的物体，大幅优于领先的基于解码器和依赖 DA 的智能体。在跨越运动和操作领域的标准基准上，它与 DreamerV3 具有竞争力，同时实现了 1.59 倍的更快训练速度。

未来工作的一个重要方向是在具有动态且无关背景的环境中评估 R2-Dreamer，例如 Distracting Control Suite（Stone 等人，2021）。我们在 DMC-Subtle 上的结果表明，我们的内部冗余减少目标自然地避免了将表征容量浪费在无关像素上，这可能意味着对此类动态干扰具有鲁棒性。验证这一假设将进一步确立无 DA 内部正则化对于复杂视觉控制任务的有效性。扩展到像 Humanoid 这样的高维任务也是未来的方向。

通过将重点从视觉保真度转移到信息效率，我们的工作为构建智能体提供了一个可扩展的基础，在这些智能体中，启发式增强存在扭曲任务关键信息的风险。这项研究开启了对内部正则化的新探索，将其作为通往更通用、更强大学习智能体的原则性路径。

原文链接：https://openreview.net/pdf?id=Je2QqXrcQq