CVPR 2026 | 1000万段驾驶视频，教会模型如何估计相机位姿

来源：市场资讯

（来源：机器之心）

不用百万级 3D 标注，模型也能从普通驾驶视频中学会「自己是怎么动的」。Wayve 的 LA-Pose 试图把未标注视频里的运动信号，转化为自动驾驶系统所需的相机位姿估计能力。

一辆车驶过一段路，它该如何知道自己刚才在三维空间中怎样移动？

对人来说，答案似乎很自然：看一段行车视频，道路、车辆、路灯和建筑如何在画面中移动，几乎就能判断相机是在直行、转弯、减速，还是停下。但对自动驾驶系统来说，这是一项核心几何感知能力。系统不仅要看见场景，还要知道相机在连续帧之间发生了怎样的平移和旋转。

过去，训练这类模型往往依赖高质量 3D 真值标注。为了得到这些标注，通常需要 LiDAR、精密标定、重建管线或仿真系统。数据越准，成本越高；成本越高，覆盖的城市、天气和道路类型就越有限。模型最后也容易继承这些数据集本身的边界。

Wayve 的最新研究 LA-Pose 换了一个切入点：先不要求模型直接学习精确 3D 位姿，而是让它从海量未标注驾驶视频里理解「运动长什么样」。这篇论文已被 CVPR 2026 接收，完整题目是 LA-Pose: Latent Action Pretraining Meets Pose Estimation。

• 论文标题：LA-Pose: Latent Action Pretraining Meets Pose Estimation

• 项目地址：https://la-pose.github.io/

• 论文地址：https://arxiv.org/abs/2604.27448

• Wayve 博客：https://wayve.ai/thinking/la-pose/

• 作者：Zhengqing Wang, Saurabh Nair, Prajwal Chidananda, Pujith Kachana, Samuel Li, Matthew Brown, Yasutaka Furukawa

• 机构：Wayve、Simon Fraser University

• 会议：CVPR 2026

一句话概括这篇论文

LA-Pose 先从约 1000 万段未标注驾驶视频中自监督学习「潜在动作」表示，再用少量 3D 标注训练一个轻量级位姿预测头，把视频里的运动规律转化为准确、高效、可泛化的相机位姿估计能力。

为什么这件事难

相机位姿估计要回答的是：相机从上一帧到下一帧，到底移动了多远、转了多少角度？这听起来像一个几何问题，但在真实道路上，情况远比干净数据集复杂。夜间、雨天、隧道、拥挤城市道路、山路和乡村道路都会出现，视觉外观变化很大，传统监督训练很难靠有限标注覆盖所有情况。

LA-Pose 的出发点是，真实驾驶视频本身已经包含了大量运动线索。车辆向前开、转弯、减速、驶入隧道，画面都会随时间发生规律变化。问题不一定是「怎样标更多 3D 数据」，也可以是「怎样让模型先从普通视频里学会运动」。

核心方法：先学运动，再学位姿

图：LA-Pose 的两阶段方法。

LA-Pose 分成两个阶段。

第一阶段是 Latent Action Pretraining。研究团队用约 1000 万段未标注驾驶视频片段进行自监督预训练，让模型学习一种「潜在动作」表示。可以把它理解为相邻画面之间运动变化的紧凑编码：车辆是否在左转、右转、直行、减速，画面结构如何随时间变化，这些信息不需要人工写成标签，而是天然藏在视频序列里。

具体来说，LA-Pose 训练了一个逆向 - 正向动力学系统。模型看到连续视频帧后，需要捕捉「当前画面如何变化到下一帧」的规律。它不知道车辆的精确速度、航向角或 3D 位姿，也没有被提供位姿标签；它只是通过观看大量驾驶视频，逐渐学会哪些视觉变化对应哪些运动模式。

第二阶段再把这种运动表示用于位姿估计。研究者冻结预训练得到的运动编码器，只在其上接一个轻量级位姿预测头，并用少量高质量 3D 标注微调。这个预测头会把潜在动作转换为相机位姿，包括相对平移、旋转、视场角和尺度。整个推理过程仍然是前馈式的，因此更接近实际部署对效率的要求。

没有位姿标签，也能长出运动结构

图：潜在动作空间中自然浮现的运动结构。

这篇论文里最直观的结果之一，是潜在动作空间自己长出了结构。

当研究者把学到的潜在动作可视化到二维空间后，相似动作会自然聚在一起，不同区域对应直行、左转、右转、停止等驾驶行为。这说明模型并不只是记住画面外观，而是在没有 3D 标注的情况下，学到了具有几何意义的运动先验。

另一个有意思的发现是：表示并不是越大越好。LA-Pose 的实验显示，一个 50 维的潜在空间瓶颈，虽然不一定最擅长重建画面细节，却比更高维的表示更适合后续位姿估计。压缩迫使模型丢掉一部分外观信息，留下更关键的运动结构。

结果：更少标注，更高精度

实验结果显示，LA-Pose 在 Waymo 和 PandaSet 等自动驾驶基准上，相比近期前馈式方法取得超过 10% 的位姿精度提升，同时所需标注数据少了多个数量级。

更重要的是，在没有参与训练的 PandaSet 上，LA-Pose 依然超过基线方法，展示出较强的跨数据集泛化能力。对于自动驾驶来说，这一点很关键：系统不能只在熟悉数据集里表现稳定，也要能面对新的城市、道路形态和天气条件。

意义：把未标注视频变成几何能力

为了更直观看到这种泛化能力，Wayve 还展示了 LA-Pose 与 VGGT 在不同真实道路场景中的对比：雨天高速出口与环岛、德国乡村窄路。 LA-Pose 的价值在于，它把「未标注视频规模」转化成了几何视觉能力。车辆每天在真实世界中产生的视频，本身就包含丰富的运动信息。只要模型能从中学到紧凑、可迁移的运动表示，再用少量标注把这种表示落到真实尺度上，就有可能改变几何感知系统的训练成本和扩展路径。

当然，LA-Pose 还不是终点。Wayve 在博客中提到，模型目前在倒车运动上仍会出现退化，一个原因是倒车在后训练数据中相对少见。团队认为，下一步需要继续扩大预训练和后训练数据，并把这种逆向动力学预训练拓展到机器人采集视频、手持视频等更广泛的动态视觉场景。

但这篇工作的信号已经很清楚：几何视觉不一定只能从昂贵标注开始。运动本身就是监督信号，而真实世界的视频中到处都有运动。

结语：运动本身就是信号

如果 LA-Pose 的方向继续成立，未来的自动驾驶系统也许可以更少依赖为每个城市、每类场景重新构建昂贵 3D 标注集，而是从不断增长的真实驾驶视频中学习更通用的几何先验。

这也是「Latent Action Pretraining Meets Pose Estimation」这个题目的意义：潜在动作不再只是世界模型或策略网络里的动作条件，它也可以成为连接视频规模与 3D 几何理解的一座桥。