ECCV 2026｜Google等推出VGGRPO：用4D隐空间奖励实现世界一致的视频生成

引言

大规模视频扩散模型在视觉质量上取得了令人瞩目的成就，但它们在保持几何一致性方面往往力不从心。具体表现为：生成的视频常常出现几何漂移、摄像机轨迹不稳定以及场景结构不连贯等问题。这对于具身智能、世界动作模型等要求稳定摄像机运动和连贯 3D 几何的下游应用来说，是一个致命的缺陷。

以往为了解决这些问题，研究者们主要采取两种思路：一种是修改生成器架构，加入额外的模块或几何感知对齐；另一种是采用基于强化学习的后训练对齐。然而，修改架构可能会破坏互联网规模预训练模型的泛化能力；而现有的对齐方法不仅局限于静态场景，还依赖于 RGB 空间的奖励，这需要反复进行 VAE 解码，导致计算开销巨大，而且无法泛化到高度动态的真实世界场景中。

最近，来自 Google、哥本哈根大学、牛津大学等机构的研究者提出了 VGGRPO（Visual Geometry GRPO，收录于 ECCV 2026）。这项工作聚焦于一个核心问题：如何在不牺牲预训练模型泛化能力的前提下，高效地提升视频生成的几何一致性，并使其适用于动态场景。其核心思路是，在隐空间（latent space）中利用 4D 几何奖励，进行几何感知的视频后训练。

图 1 VGGRPO 生成的世界一致视频。左侧为基线模型，右侧为 VGGRPO 对齐后的模型。VGGRPO 在挑战性动态场景中显著减少了几何漂移和结构伪影，生成了更连贯的场景结构和更平滑的摄像机运动。

• 论文标题：VGGRPO: Towards World-Consistent Video Generation with 4D Latent Reward
• 论文主页：https://zhaochongan.github.io/projects/VGGRPO/
• 论文链接：https://arxiv.org/pdf/2603.26599

VGGRPO 做了什么？

VGGRPO 是一个由隐式几何引导的、基于组的强化学习（GRPO）视频后训练框架。它包含两个紧密耦合的核心组件：隐式几何模型（Latent Geometry Model, LGM）和 VGGRPO 训练流程。

图 2 VGGRPO 方法概览。(a) 隐式几何模型训练：通过轻量级连接层将 VAE 隐变量与几何基础模型对齐，直接从隐空间预测 4D 场景几何。(b) VGGRPO 训练：在隐空间中利用摄像机运动平滑度奖励和几何重投影一致性奖励进行 GRPO 优化。

首先，VGGRPO 构建了一个隐式几何模型（Latent Geometry Model, LGM）。通过一个轻量级的连接层，LGM 将视频扩散模型的隐变量（latents）与几何基础模型 “缝合” 在一起。这意味着，模型可以直接从隐空间解码出场景几何信息，而无需先将其解码回 RGB 像素空间。更重要的是，通过采用具备 4D 重建能力的几何模型（Any4D），LGM 让 VGGRPO 自然地扩展到了动态场景，突破了以往方法仅限静态场景的瓶颈。

在此基础上，VGGRPO 设计了两个关键的奖励机制，在隐空间中进行组相对策略优化（GRPO），彻底免去了昂贵的 VAE 解码过程。

1. 摄像机运动平滑度奖励（Camera Motion Smoothness Reward）：告别抖动的镜头

在生成的视频中，不稳定的摄像机运动往往会导致时间上的扭曲和结构上的伪影。为了鼓励稳定且符合物理规律的摄像机轨迹，VGGRPO 基于隐式几何模型预测的摄像机位姿，计算平移和旋转的加速度，对抖动的轨迹进行惩罚。平滑、近匀速的轨迹奖励接近 1，而抖动的运动则会使奖励降低。这一奖励机制促使模型生成更加平滑的镜头运动。

2. 几何重投影一致性奖励（Geometry Reprojection Consistency Reward）：跨视角的 3D 连贯性

仅仅镜头平滑还不够，同一场景在不同视角下必须保持几何上的一致。VGGRPO 利用预测的点云、深度、摄像机参数和场景光流，将预测的 3D 结构重投影到各个视角中，并比较深度图的差异。对于动态场景，它还能利用场景光流过滤掉动态区域，仅聚合静态点来获得稳定的场景表示，强有力地保证了跨视角的几何连贯性。

实验结果

图 3 静态和动态场景的定性比较。

广泛的实验表明，VGGRPO 在静态和动态场景基准测试中均取得了显著的提升。VGGRPO 在静态和动态场景的几何相关指标上均领先基线方法。在通用视频质量指标上，VGGRPO 同样超越基线，表明几何感知后训练没有牺牲预训练模型的生成能力。

图 4 奖励组件消融实验。

此外，在图 4 奖励组件消融实验中展示了单独使用摄像机运动奖励（r_motion）可以稳定摄像机轨迹，但几何伪影依然存在（绿圈标注）。加入几何重投影一致性奖励（r_motion + r_geo）后，场景几何得到进一步改善，同时保持了平滑的摄像机运动，验证了两个奖励的互补性。

VGGRPO 的意义是什么？

现在的视频生成模型不仅要生成视觉真实的画面，还需要 “创造一个符合物理规律的一致世界”。

VGGRPO 给出的答案是：不需要复杂的架构修改，也不需要昂贵的像素级奖励。通过将几何先验直接引入隐空间，并在 4D 维度上进行强化学习对齐，它让模型在生成视频时，既能保持镜头的平滑，又能构建出跨视角连贯的物理世界，并适用于动态场景。

对于世界动作模型、具身智能等领域而言，稳定而一致的世界建模能力是模型进行预测、规划与交互的重要基础。VGGRPO 为此提供了一种高效、灵活的几何感知后训练范式。

作者介绍

安照崇现为哥本哈根大学博士生，隶属于 Pioneer Centre for Artificial Intelligence 和 ELLIS 项目，导师为 Serge Belongie 教授。他于 2023 年获得苏黎世联邦理工学院（ETH Zurich）计算机科学硕士学位，导师为 Luc Van Gool 教授。他的研究方向主要包括视频生成，多模态以及世界模型。