解码提速15.1倍、多任务性能不降：复旦&引望WAM-Diff2打通自动驾驶VLA自回归—扩散转换

• 论文标题：WAM-Diff2: Hierarchical AR-to-Diffusion Distillation for Highly Efficient Autonomous Driving VLA
• 论文链接：https://arxiv.org/pdf/2608.01035
• Github 仓库：https://github.com/fudan-generative-vision/WAM-Diff2
• 作者单位：复旦大学、引望智能技术有限公司

图1：WAM-Diff2的多任务性能、解码效率与长时域规划结果总览。

导读

视觉-语言-动作（VLA）模型已成为端到端自动驾驶的主流技术路线，但基于自回归（AR）解码的现有架构面临双重结构性瓶颈：其一，逐Token串行生成导致推理延迟随序列长度线性增长，严重制约实时部署；其二，训练阶段依赖真实前缀的teacher forcing机制，使模型在推理时暴露于自身生成的误差之上，引发长时序累积的曝光偏差（exposure bias）。

扩散模型支持多位置并行更新，并可在多轮去噪中反复修正中间结果，是突破上述瓶颈的自然选择。然而，现有扩散策略大多围绕单一规划任务从头训练，无法继承大规模自回归模型已习得的语义知识与多任务推理能力。一个关键问题由此浮现：能否在不依赖从头训练的前提下，将成熟的多任务自回归VLA平滑迁移为并行扩散架构？

针对这一问题，复旦大学与引望智能联合提出WAM-Diff2，一种基于三级层次化蒸馏的多任务离散扩散VLA框架。其核心贡献可概括为三方面：

1.通用架构转换范式：首次系统性地实现了多任务自回归VLA向离散扩散模型的平滑迁移，完整保留语义知识与统一接口，而非退化为单一任务的扩散规划器；

2. Block-Causal注意力与三级渐进蒸馏：提出Block-Causal注意力机制作为连接因果生成与双向生成的连续桥梁，并设计渐进式块级适配、范式一致的块级蒸馏与跨规模模型级蒸馏的三级策略，在消除曝光偏差的同时确保优化稳定性；

3.系统级效率与多任务性能的统一：仅生成范式转换即实现2.8倍解码加速，叠加FlashInfer内核优化与CUDA Graphs执行图封装后累计加速达15.1倍，且驾驶理解、视觉感知与运动规划性能均与自回归基线持平，长时域规划鲁棒性更优。

一、研究背景：

自回归VLA的效率与鲁棒性瓶颈

VLA模型将自然语言回答、目标定位与未来轨迹统一为Token序列，使单一网络能够同时承担驾驶场景理解、视觉感知与运动规划，已成为端到端自动驾驶的重要技术路线。然而，主流驾驶通用模型大多构建于自回归视觉-语言模型之上，存在两方面结构性局限。

效率瓶颈：逐Token串行解码的计算复杂度随序列长度线性增长，高推理延迟直接制约实时部署。在自动驾驶场景中，毫秒级的延迟差异可能意味着安全与事故的分野。

鲁棒性瓶颈：训练阶段依赖teacher forcing机制，模型在每一步均使用真实前缀作为输入；而推理阶段则暴露于自身生成的输出之上。这种训练-推理分布的错位导致早期误差沿长时序持续累积，即曝光偏差问题。在长时域轨迹规划中，该偏差会随预测步数单调放大，严重削弱闭环执行的可靠性。

扩散模型通过并行去噪与多轮修正，理论上可同时缓解上述两大瓶颈。然而，既有扩散策略大多围绕单一规划任务从头训练，难以继承自回归VLA在驾驶场景理解、视觉感知与多任务推理中积累的语义知识。若直接切换至大块扩散解码，实验表明NAVSIM PDMS将由88.1骤降至84.1，证明架构转换不可一蹴而就，必须循序渐进。

WAM-Diff2的核心思路正是提供一条可复用的低成本的架构转换路径：完整保留成熟自回归VLA已习得的知识与统一接口，通过Block-Causal注意力与三级层次化蒸馏，将逐Token续写平滑改造为并行去噪，从而实现多任务认知能力与并行执行效率的统一。

二、核心方法：

离散扩散模型与三级层次化蒸馏

2.1 Block-Causal注意力：连接顺序生成与并行生成的连续桥梁

WAM-Diff2基于Qwen3-VL骨干网络构建，将输出序列划分为若干解码块。块内Token可双向交互、并行修正，块间仍保持因果依赖。块大小B由此成为连接两种生成范式的连续调节变量：B=1时等价于标准自回归解码，B越大则单次并行处理的Token越多。

自然语言问答、二维检测与运动规划均被序列化至同一Token空间，全程不引入任何任务专用头。因此，本方法的转换对象是覆盖理解、感知与规划的完整VLA，而非单一轨迹生成模块。这一设计确保了架构迁移过程中多任务能力的完整性。

图2：WAM-Diff2整体架构与三级AR-to-Diffusion层次化蒸馏流程。

2.2三级层次化蒸馏：渐进式改变模型的生成范式

架构转换面临注意力模式（因果与双向）与优化目标（next-token prediction与masked denoising）的双重范式鸿沟。WAM-Diff2通过三级递进策略实现平稳过渡：

第一阶段：渐进式块级适配（Progressive Block-wise Adaptation）

将解码块大小按1→4→8→16→32逐级扩大，每一级均以前一级权重初始化。模型在小幅结构变化中逐步学习更大范围的双向依赖，避免了大步长切换导致的优化崩溃，确保注意力机制转换过程的稳定性。

第二阶段：范式一致的块级蒸馏（Block-wise Distillation）

以稳定的小块扩散教师指导更大块的学生模型。教师与学生在同一受损序列上进行预测，并采用对称Jensen-Shannon散度（JSD）对齐Token分布。相比前向KL散度易引发的mode-covering行为，JSD能够更好地保留多模态轨迹分布特性。学生由此学习如何处理带噪、不完整的中间状态，而非继续模仿自回归教师的单向续写，从源头消除曝光偏差。

第三阶段：跨规模模型级蒸馏（Model-wise Cross-Scale Distillation）

以8B、Block-32扩散模型指导2B、Block-32学生。研究发现，8B扩散教师与2B学生的Top-5 Token重合率达58.2%，显著高于8B自回归教师的51.2%；对应NAVSIM PDMS分别为88.3与79.9。该结果表明，除教师规模外，师生生成范式是否一致同样是知识高效迁移的前提条件。扩散教师与扩散学生之间的范式一致性，显著降低了知识蒸馏的摩擦损耗。

图3：三级蒸馏、蒸馏损失、Token重合率与教师范式的消融结果。

三、系统级加速：

从2.8倍到15.1倍的效率跃迁

在统一多任务模型下，Block-32的标准实现达到124.8 Tokens/s，较自回归基线的44.5 Tokens/s提升2.8倍。在此基础上，团队针对Block-Causal注意力模式定制FlashInfer计算内核，通过提升共享内存吞吐进一步加速1.7倍；进而利用CUDA Graphs封装固定去噪步数的执行图，消除CPU逐算子发射开销，再加速3.1倍。

解码延迟由22.7 ms/token依次降至8.1、4.6与1.5 ms/token，最终形成15.1倍累计加速，峰值吞吐达673.4 Tokens/s，而运动规划指标变化不超过0.5个百分点。实验进一步表明，NAVSIM、DriveBench、COCO与LingoQA上的性能大多在8～16个去噪步附近趋于饱和，部署时可根据精度与延迟需求动态配置计算预算，实现运行时可调的效率控制。

图4：不同去噪步数下的性能变化，以及多基准上的速度与精度Pareto曲线。

四、实验结果：

单一模型保留多任务能力，长时域规划更稳健

WAM-Diff2在DriveBench、LingoQA、COCO、NAVSIM与Bench2Drive五个基准上接受评估。在统一多任务协议下，全部结果来自同一冻结检查点：2B、Block-32模型取得48.80 DriveBench、65.80 LingoQA、36.30 COCO mAP、87.44 NAVSIM-v1 PDMS与87.50 NAVSIM-v2 EPDMS，同时将标准解码吞吐由44.5提升至124.8 Tokens/s。上述结果表明，模型以可控的性能代价换取显著的并行收益，并未退化为仅会规划的专用网络。

表1：统一多任务模型在理解、感知、规划与解码效率上的综合结果。

在任务专用的NAVSIM设置下，Block-32取得88.3 PDMS与88.6 EPDMS；结合候选轨迹评分后进一步提升至91.1与90.7，优于ReCogDrive（90.8 PDMS）、DriveVLA-W0（90.2 PDMS）等先进专用规划模型。在Bench2Drive闭环仿真中，模型取得49.55%成功率与78.93驾驶得分，并在紧急制动（61.67%）、交通标志遵守（85.26%）等安全关键场景中保持较强表现，印证了蒸馏框架对推理期曝光偏差的缓解作用。

表2：WAM-Diff2在NAVSIM-v1/v2上的任务专用规划结果。

表3：WAM-Diff2在Bench2Drive闭环评测与多能力测试中的结果。

图5：WAM-Diff2在驾驶理解与视觉感知任务上的定性可视化结果。

图6：WAM-Diff2在Bench2Drive上的典型失败案例。

长时域误差实验进一步揭示了扩散生成的价值。团队在12,146个NAVSIM配对样本上比较未来路点的L2误差：自回归基线的平均误差为0.5935米，WAM-Diff2为0.5589米，整体降低5.8%；两者的误差差距从第一个路点的0.002米单调扩大至第八个路点的0.082米。块内双向注意力使模型能够反复修正不确定位置的预测，从而有效抑制误差随预测时域的累积，提升闭环执行对序列漂移的鲁棒性。

图7：自回归基线与WAM-Diff2的逐轨迹点L2误差及误差降幅。

五、总结与展望

WAM-Diff2展示了一条区别于从头训练扩散模型的技术路线：先依托成熟自回归VLA获得理解、感知与规划能力，再借助Block-Causal注意力与三级层次化蒸馏，将上述能力平滑迁移至可并行执行的离散扩散架构。在实现最高15.1倍解码加速的同时，模型完整保留了自回归基线的多任务性能，并在长时域规划中展现出更强的误差抑制能力。

需要指出的是，离散Token化可能引入空间量化误差，且扩散学生的能力上界受限于自回归教师的语义推理水平，这也构成后续工作的改进方向。总体而言，该框架不依赖特定基础模型，形成一条低成本、可扩展的通用转换管线，可直接迁移至现有及未来的先进自回归VLA，为自动驾驶多模态智能在严格吞吐约束下的部署提供了可行方案。