上交大联合提出Draft-OPD方案，思考模型推测解码实现5倍无损加速！

智猩猩AI整理

编辑：金水

大模型推理成本越来越高，已成为推理链（CoT）与长文本时代的共识。

投机解码（Speculative Decoding）是目前主流的加速方案之一，即用轻量草稿模型先“猜”一串 token，再由大模型（目标模型）并行验证。

它在不改变输出分布（无损）的前提下，能显著减少目标模型昂贵的解码步数。

但现实很快暴露问题，主流草稿模型（如 EAGLE-3、DFlash）依赖监督微调（SFT），而 SFT 很快就“学不动”了。

为什么会这样？原因在于离线到在线的错位（offline-to-inference mismatch）。

SFT 时，草稿模型学的是"目标模型生成的固定轨迹"，每一个前缀都来自目标模型；可真正做投机解码时，目标模型验证的是草稿模型自己策略提出的 token 块。

决定接受长度的，是草稿模型在"自己起草状态下"的表现，而不是离线轨迹里那些静态状态。

也就是说，草稿模型训练时见到的状态，和真正推理时面对的状态，完全不是一回事。

顺着这个矛盾，上海交通大学联合清华大学提出了一个面向草稿模型的对策蒸馏框架Draft-OPD（On-Policy Distillation for Speculative Draft Models），这篇论文也已经被 EMNLP 2026 接收了。

它的核心思路很巧，用目标模型辅助 rollout 来保持序列稳定，同时在投机验证暴露出的"错误位置"上重放草稿，再用一套接受感知的蒸馏目标，让草稿模型从"被接受"和"被拒绝"的提议里同时学习。

效果上，Draft-OPD 在思考模型上实现了超过 5× 的无损加速，相比 EAGLE-3 和 DFlash 分别提升23% 和 13%。

• 论文题目：

  Draft-OPD: On-Policy Distillation for Speculative Draft Models

01

Draft-OPD 的三大协同设计

标准 OPD 是为"能独立完整 rollout 的学生"设计的，直接搬到草稿模型上会陷入两难。

（1）让草稿模型自己 rollout

EAGLE、DFlash 这类草稿模块并不是独立的自回归生成器，而是在目标模型验证下提出短 token 块的轻量头。

强行让它从头生成完整序列，会很快陷入重复、退化采样，监督信号本身就不可靠。

（2）用目标模型辅助 rollout

这样能避免退化样本，但投机验证对目标模型是无损的，被验证器丢掉的，恰恰是草稿模型提出却被拒绝的那些 token。

最终整条序列又回到目标分布，草稿模型最有价值的“自己犯的错误”信号被抹掉，等于又把 OPD 退化成了离线 SFT。

针对上面两难，Draft-OPD 用"目标辅助 rollout + 错误位置重放"把稳定与在策信号同时拿到，并通过三个相互配合的设计落地。

1、带错误位置收集的 Rollout（锚点机制）

给定 prompt，用投机解码让草稿模型提出 K 个 token 的块、目标模型并行验证。

关键在于每走一步，就把当前草稿块在序列中的起始位置记成一个"锚点（anchor）。

锚点不要求草稿模型独自生成整段，却精确保留了"草稿模型在推理时实际提出过块"的那些状态；同时整条 rollout 已是高质量目标样本，训练稳定性有了保证。

重放时还能直接复用已算好的目标模型隐状态，省掉重复计算。

2、为重放计算 Log-概率（区分接受 / 拒绝）

收集完 rollout 和锚点后，Draft-OPD 从每一个锚点重放草稿，在草稿模型自己提出的那块 token 上，分别算"学生（草稿）log 概率"和"老师（目标）log 概率"。

注意，这里连验证时被拒绝的位置也一并评估了。

验证结果自然把草稿 token 分成两拨，被接受的 （与目标足够一致、通过验证）和被拒绝的 （含第一个失败 token 及其后位置，越往后越不可靠）。

3、接受感知的蒸馏目标（Acceptance-Aware Objective）

两类 token 角色不对称，故用不同 KL 方向区别对待：

对被接受 token 用前向 KL，让草稿分布覆盖目标；

对被拒绝 token 用反向 KL，专门惩罚"草稿给高概率、目标不认同"的模式。

同时加指数衰减权重，把重心压在最早、信息量最大的失败位。取 。

02

工程落地

Draft-OPD 在工程上是一条清晰的两阶段后训练流水线，对现有投机解码基建非常友好。

训练范式上，先用常规 SFT 热身（数据与 DFlash 一致），再在已训好的草稿模型上做 Draft-OPD 在线后训练，专门针对验证时的错误“补一刀”，而不是另起炉灶。

架构采用 DFlash 式并行草稿：草稿模型与目标模型共享 embedding 层和 LM head，专门预测短草稿块。

Qwen3-4B/8B 使用 5 层 Transformer，Qwen3-30B-A3B-Thinking 使用 8 层，训练与推理块大小统一为 16。

数据方面，OPD 阶段构建 16K 在线 prompt 池（GSM8K 2K、MATH 5K、AoPS 4K、CodeAlpaca 5K），只保留题目/指令，回答由目标模型在 OPD 过程中在线生成，真正体现“对策”训练。

实现上，全部实验在 NVIDIA H200 上完成，batch size=1，开启 thinking 模式，完整超参见附录。

部署侧在 SGLang + FA3 后端评测吞吐，训练侧基于 SpecForge（开源 DFlash 训练）与 verl。

最关键的是，投机解码本身保持目标分布不变，因此 Draft-OPD 只提升效率、无损加速，可放心上生产。

03

性能评估

1、实验配置

实验采用 Qwen3-4B、8B 以及 30B-A3B-Thinking-2507 三类模型，在数学（GSM8K、MATH-500、AIME）、代码（MBPP、HumanEval、SWE-bench Lite）和分布外（MT-Bench）任务上评估，以训练 FLOPs 对齐的 EAGLE-3 与 DFlash 作为基线，主要报告实际加速比与平均接受长度 τ，且全程保持无损、不额外报告质量指标。

2、核心结果

在主表结果中，Draft-OPD 全面领先：

思考模式下温度 0 时平均接受长度 τ 从 DFlash 的 5.35 提升至 5.85，七项基准平均加速 4.88×，相对 EAGLE-3 和 DFlash 分别高出 23% 和 13%；

温度 0.6 时平均仍达 4.17×；

关闭思考且温度 0 时平均 τ 达到 6.33、平均加速 5.17×，其中 Qwen3-4B 在 MATH-500 上最高可达 7.22×。

在 SGLang + FA3 的真实部署中，Draft-OPD 在所有模型、任务与并发度（1 到 32）上均稳定领先 DFlash，平均接受长度提升 11.2%，Qwen3-30B 思考模型最高加速 17%，且吞吐增益随并发升高不降反升，说明更高接受长度切实转化为优化推理引擎中的落地吞吐。

消融实验进一步验证了各项设计的必要性，继续用目标回应做 SFT 仍不及 Draft-OPD，表明增益来自在草稿诱导状态上的蒸馏而非单纯增加数据；

混合 KL 目标优于全前向，全反向最差，说明接受与拒绝宜采用不同方向的 KL；

随机锚点明显弱于错误位置重放，强调需聚焦验证失败处；

去掉指数衰减后加速与接受长度双双下降，表明拒绝损失应重点强调最早失败位置。

04

总结

Draft-OPD 用一句话说清了核心洞见，草稿模型的瓶颈不在离线算力，而在它“自己起草时犯的错误”从未被当作训练信号。

通过目标辅助 rollout 保证稳定、错误位置重放保留在策信号、接受感知蒸馏区分对错，它把投机解码从“离线 SFT 触顶”推进到了“在验证时错误上做在线后训练”的新范式。

这一方法无损，不改变输出分布，质量零损失，可放心上生产；

实用，两阶段流水线，复用 DFlash、SGLang、verl 等现有基建，并发越高收益越明显；

可迁移，适用于所有基于训练的并行草稿架构（EAGLE 系、DFlash 系）。

论文也坦诚了局限，受算力限制，思考模式 OPD 训练最长只到 4096 token（评测用到 8192），更长生成的后期状态覆盖不足，且主实验集中在 Qwen3 + DFlash 架构。

把 OPD 扩展到更长 rollout、更多模型家族与推理后端，是自然的下一步。

关注+星标，获取AI前沿进展与开源一线动态