小鹏联合北大为VLA模型定制视觉token剪枝方法，让自动驾驶更高效

来源：市场资讯

（来源：机器之心Pro）

VLA 模型正被越来越多地应用于端到端自动驾驶系统中。然而，VLA 模型中冗长的视觉 token 极大地增加了计算成本。但现有的视觉 token 剪枝方法都不是专为自动驾驶设计的，在自动驾驶场景中都具有局限性。

小鹏汽车联合北京大学计算机科学学院多媒体信息处理国家重点实验室发表论文《FastDriveVLA》，不仅为自动驾驶 VLA 模型中的高效视觉 token 剪枝建立了新的范式，也为特定任务的剪枝策略提供了有价值的洞察。

受人类驾驶员主要关注前景区域而非背景区域的启发，研究团队做出假设：对于自动驾驶而言，与前景信息相关的视觉 token 比与背景内容相关的视觉 token 更有价值。为了验证这个假设，研究团队构建了大规模自动驾驶标注数据集nuScenes-FG（包含来自 6 个摄像头视角的、带有前景区域标注的 24.1 万个图像 - 掩码对），通过 MAE 风格的像素重建策略和新颖的对抗性前景 - 背景重建策略，训练出了一个适用于不同 VLA 模型的、可以即插即用的视觉 token 剪枝器 ReconPruner

实验结果显示，在不同剪枝比例下，FastDriveVLA 在 nuScenes 开环规划基准测试中均取得了 SOTA 性能。FastDriveVLA 也非常高效，当视觉 token 数量从 3249 减少至 812 时，FastDriveVLA 的 FLOPs 直降约 7.5 倍；在 CUDA 推理延迟方面，FastDriveVLA 将预填充（prefill）时间减少了 3.7 倍、将解码（decode）时间减少了 1.3 倍，显著提升了推理效率。

该篇论文被 AAAI 2026 录用。

研究背景与问题

端到端自动驾驶最近展现出巨大潜力，有望彻底改变未来的交通系统。与传统的模块化自动驾驶系统不同，端到端方法在一个统一的框架中学习整个驾驶流程，这种设计不仅减少了模块之间信息传递时的误差，还增强了系统的简洁性。

然而，现有的 VLA 模型通常将视觉输入转换为大量的视觉 token，这种方法导致了巨大的计算开销和推理延迟的增加，对真实场景的车端部署提出了重大挑战，因为计算资源和推理速度都受到严重限制。

已经有大量研究尝试通过减少视觉 token 来加速 VLM 的推理，但在自动驾驶场景中都具有局限性：引入新设计的多模态投影器需要重新训练整个模型，基于注意力的剪枝策略容易受到无关信息的影响，基于相似性的剪枝策略会错误保留与驾驶无关的信息。

为了解决这些挑战，我们专为端到端自动驾驶 VLA 模型定制了一个新型的、基于重建的视觉 token 剪枝框架 FastDriveVLA。

图 1：不同视觉 token 剪枝策略的对比，（c）为基于重建的剪枝策略

方法与创新

nuScenes-FG 数据集

受人类驾驶员主要关注前景区域而非背景区域的启发，我们首先对自动驾驶场景中的「前景区域」进行了明确定义。这些区域包括行人、道路、车辆、交通标志（含交通信号灯）以及交通障碍物（如位于车道上或紧邻车道的障碍物）等对驾驶决策具有直接影响的元素。相比之下，建筑物、天空、行道树等背景区域即使被完全遮挡，通常也不会显著影响人类驾驶员的判断。然后，借助 Grounded-SAM 对 nuScenes 场景进行细粒度、语义一致的前景分割，构建了 nuScenes-FG 数据集。

图 2：nuScenes-FG 数据集，为 nuScenes 场景提供了 24.1 万个前景分割标注。

基于重建的剪枝器 ReconPruner

我们提出了一种轻量级的、可即插即用的剪枝器 ReconPruner，主要目标是让 ReconPruner 能够有效识别并选择包含有意义前景信息的视觉 token，因此借鉴 Masked Image Modeling（掩码图像建模）方法设计了 MAE 风格的像素重建策略。在训练过程中，我们选取 ReconPruner 预测的可获得高分的视觉 token 子集，用于掩码前景重建。该子集上的重建误差作为监督信号，鼓励 ReconPruner 为真正对应前景内容的视觉 token 打高分。

图 3：FastDriveVLA 框架。在训练阶段，提出了一种新颖的「前景 - 背景对抗重建」策略，以增强 ReconPruner 对前景视觉 token 的感知能力；在推理阶段，ReconPruner 可直接嵌入自动驾驶 VLA 模型，用于 token 剪枝。

对抗性前景 - 背景重建策略

但若仅仅依赖前景重建，ReconPruner 可能会采取捷径，不加区分地为所有视觉 token 打高分。我们从生成对抗网络（GANs）中汲取灵感，提出了对抗性前景 - 背景重建策略。具体来说，ReconPruner 还需要使用获得低分的视觉 token 来重建背景区域。这种对抗性设置增强了 ReconPruner 区分前景 token 和背景 token 的能力。

实验结果

实验设置

我们采用 Impromptu-VLA 作为视觉 token 剪枝的基础模型，在专为城区自动驾驶设计的大规模基准测试数据集 nuScenes 上对不同剪枝方法进行了评估。nuScenes 数据集包含 1000 个驾驶场景、每个场景约持续 20 秒。测试时，我们总计使用了 6019 个测试样本，并通过 L2 轨迹误差、碰撞率、路外率三个指标来评估开环规划的性能。

我们使用余弦调度器以 2e-5 的学习率训练 FastDriveVLA，总计进行了 10 轮训练，仅在两块 H800 GPU 上运行 3 小时就完成了训练。

不同剪枝方法在 nuScenes 数据集上的对比

FastV、SparseVLM 是基于注意力的基线，DivPrune、VisPruner 是基于相似性的基线。

总体来看，FastDriveVLA 在各种剪枝比例下均优于现有方法。特别值得注意的是，当剪枝 50% 时，FastDriveVLA 在所有指标上的表现都更加均衡。因此，我们建议，在实际部署自动驾驶系统时采用 50% 这一剪枝比例，以实现性能与效率的最佳平衡。

效率分析

为了展示 FastDriveVLA 的高效，我们从 FLOPs 与 CUDA 延迟的角度对不同剪枝方法进行了效率分析。当视觉 token 数量从 3249 减少至 812 时，FastDriveVLA 的 FLOPs 直降约 7.5 倍。在 CUDA 推理延迟方面，FastDriveVLA 将预填充提速 3.7 倍、解码提速 1.3 倍，实际推理效率显著提升。

定性可视化分析

ReconPruner 几乎完整留下了前景 token ，把背景压成极稀疏的色块，重建画面依旧清晰，证明它能在减少 token 冗余的同时保留关键信息，如图 4 所示。

再把 FastV（基于注意力）、DivPrune（基于相似性）和 FastDriveVLA 放到图 5 中进行对比，可以看到：我们的点密密麻麻落在车道、车道线和车身；FastV 几乎漏掉了车辆；DivPrune 虽然撒点更多，却几乎没往车道线上靠。