蒸馏效果起飞！DOPD破解「特权幻觉」，让在线策略蒸馏更有效

得益于令人印象深刻的效果，「在线策略蒸馏」 (On-policy Distillation)一直是近期的热门话题。这种方式通过使用密集的教师 Token 级信号监督学生采样轨迹，提供卓越的能力转移。为了提供高质量的监督源，从而提升蒸馏的性能，一个直观的方向是将「特权信息」 (Privileged Information)注入教师或学生自身。然而，这种 "开外挂" 的方式，不一定能让学生学得更好，反而可能陷入「特权幻觉」(Privilege Illustion)的陷阱。

• 论文标题: DOPD: Dual On-policy Distillation
• 论文链接: https://arxiv.org/abs/2606.30626

最近，来自新加坡国立大学、香港中文大学 MMLab、北京大学和京东探索研究院的研究团队提出了一种全新的在线策略蒸馏方法:DOPD(Dual On-policy Distillation) ，通过优势感知的双重蒸馏范式，成功破解了这一难题。

实验结果令人惊艳：在 LLM 设置下，DOPD 让学生模型平均提升7.5 分，闭合了89.8%的初始师生差距；在 VLM 设置下也提升了6.0分。在师生模型尺寸差距最大的情况下 (8B→0.6B) ，DOPD 的提升幅度是 Vanilla OPD 的4 倍！

图一: DOPD 在基于 LLM 和 VLM 的在线策略蒸馏中的表现。

"特权幻觉": 在线策略蒸馏中的隐形陷阱

在大模型蒸馏中，人们通常认为：给教师模型提供更多信息 (比如推理提示、视觉标注等 "特权信息") ，教师就能教得更好，学生自然也能学得更好。

但这篇论文的作者们发现了一个反直觉的现象 「特权幻觉」 (Privilege Illusion)：

表面上看，有特权信息的教师模型表现更强，但这种优势可能只是因为 "信息不对称"，而非真正的能力差距。学生模型模仿的可能只是教师利用特权信息的 "捷径"，而非真正可迁移的能力。

就像一个开卷考试考满分的老师，未必能教会闭卷考试的学生真正的解题能力。

更糟糕的是，这种特权幻觉还会导致：熵崩塌，模型过早收敛，失去探索能力；效果退化，训练后期性能不升反降；泛化变差，学到的都是 "特权依赖" 的假能力

图二：加入特权信息后的表现和熵蒸馏变化趋势。T., S., Priv. 分别代表教师，学生和加入特权信息。

DOPD: 特权优势感知的双重蒸馏

为了解决这个问题，研究团队提出了 DOPD，一种优势感知的双重蒸馏范式。

核心思想：不是所有 token 都值得用同样的方式学习。DOPD 会根据每个 token 的特权优势差距和师生预测置信，动态决定用什么方式、什么强度、监督信号来自哪里来蒸馏。

首先，分别对教师模型和学生模型在有特权信息的参与下，进行一次前向计算 (Forward Pass)，计算两者之差作为「特权优势差」 (Privilege Advantage Gap):

图三: Token 消融实验。

结合特权优势差，以及特权师生分别的预测置信，DOPD 在 Vanilla OPD 的基础上，将所有 token 分别采用四种精心设计的方式分别蒸馏:

图四: DOPD 框架。

• 高优势差 + 教师高置信 (关键知识 token)
• 策略: 「教师蒸馏」+「全词表 JS 散度」
• 目的：这是真正的能力差距所在，必须用最强的监督

• 低优势差 + 双方高置信 (共识 token)
• 策略: 「轻量教师蒸馏」+「Top-K 反向 KL」
• 目的：主要是特权信息带来的共识，保守吸收即可

• 低优势差 + 双方低置信 (不确定 token)
• 策略: 「弱自蒸馏」+「Top-K 反向 KL」
• 目的：防止模型漂移，不强行模仿不确定的内容

• 高优势差 + 学生高置信 (探索性 token)
• 策略: 「轻量自蒸馏」+「Top-K 反向 KL」
• 目的：保护学生的探索行为，不被教师压制

核心实验结果：优势显著

结果 1: 在线策略蒸馏效果提升明显，适配大语言模型 (LLM) 和视觉语言模型 (VLM) 蒸馏

在 8 个基准测试上，DOPD 平均得分 51.4，比 Vanilla OPD 高出 7.5 分，缩小了 89.8% 的师生差距。并且与三类 OPD 范式中 9 种已有 SOTA 方法相比，在所有基准上都取得了最好的表现。值得一提的是，在部分推理和编码等挑战性任务上，DOPD 甚至超越了原始教师模型。这说明特权信息真正转化成了学生的能力，而不是特权幻觉。

表一: DOPD 在 8 种 LLM-based 基准上与其他方法的对比

此外，在视觉语言模型上，DOPD 同样表现出色：平均提升 6.0 分，恢复了 69.2% 的师生差距。特别是在视觉理解任务上，DOPD 能有效蒸馏教师的视觉注意力和推理能力。

表二: DOPD 在 8 种 VLM-based 基准上与其他方法的对比

结果 2: 鲁棒性和可扩展性佳，师生差距越大，优势越明显

传统蒸馏方法有个通病：老师越强、学生越弱，蒸馏效果反而越差。但 DOPD 完美解决了这个问题：能力差距越大，DOPD 的优势越明显。为了证明 DOPD 在不同师生组合上的鲁棒性和在初始师生差距更大的组合下的蒸馏表现，进行了额外的对比实验。令人印象深刻的是：当师生模型尺寸差距较小时 (4B→1.7B)，DOPD 提升 6.2 分；而当师生模型尺寸差距很大时 (8B→0.6B) ，DOPD 提升 14.1 分，是 Vanilla OPD 的 4 倍！

表三: DOPD 在不同模型组合下的表现

图五：在不同师生尺寸比下的绝对表现提升 (左) 和师生差距减小程度 (右)。

结果 3: 持续学习和分布外性能评估依旧优异

此外，DOPD 的优势不止于此：在持续学习的三阶段蒸馏中，DOPD 能更稳定地积累能力，显著优于 Vanilla OPD 和传统的强化学习 GRPO 方法；在分布外泛化任务中，DOPD 在领域外任务中的泛化能力比第二名高出 3-4 分。

图六：三阶段持续学习任务 (左) 和分布外任务 (右) 表现评估

额外分析：进一步验证合理性和有效性

分析 1: 训练过程更加稳定且持续

稳定性是蒸馏方法的重要指标之一，很多 OPD 方法虽然最终效果不错，但蒸馏过程波动大，容易崩。DOPD 在这方面表现优异：性能曲线平稳上升，全程稳定提升，没有大幅波动；收敛速度快，在第 80 步就达到了其他方法第 200 步的水平；熵变化健康，先小幅上升 (探索)，再逐渐下降 (收敛)，最后稳定在合理水平。

图七：蒸馏过程表现 (左) 和熵 (右) 变化趋势

分析 2: 关于特权信息、Token 分类、蒸馏范式的分析，进一步说明设计的合理性

关于不同特权信息效果分析：不是暴露的答案越多越彻底越好，而是要恰到好处。研究团队测试了 5 种不同形式的特权信息。实验指出，直接给最终答案效果最差，甚至不如不给特权信息，因为学生直接背答案了，根本没学能力；特权信息不是越详细越好，而是要提供 "能力导向" 的引导；最优的特权信息是：给出与能力挂钩的提示，但不直接给答案和细节。这进一步验证了 "特权幻觉" 的存在，也说明 DOPD 选择的特权信息形式是合理的。

表四：不同文本 (左) 和视觉 (右) 特权信息注入的影响

为了直观展示 token 分类的效果，研究团队可视化了一条真实轨迹中的 token 分布，这种分布与直觉完全一致，也证明了 DOPD 的 token 分类是有实际语义意义的，不是随便分的。

图八: Token 分类结果可视化

此外，研究团队还对比了不同类型 token 以及 token 组合的作用程度，以及不同散度目标和蒸馏策略的效果。证明了 DOPD 根据不同 token 的特点和目的，设计不同的蒸馏策略的合理性和有效性。

表五：不同 Token / 组合 (左) 和蒸馏策略 (右) 的表现

分析 3: 敏感性和消融实验

敏感性分析结果显示 DOPD 对参数不敏感，在较大范围内都能保持优异性能；消融实验说明 DOPD 每个组件都有明确的贡献，合在一起才实现了最佳效果。

图六：敏感性 (左) 和消融实验 (右)

展望：在线策略蒸馏的新思路

DOPD 重新思考了在线策略蒸馏的本质。站在今天的视角回望，蒸馏技术已经走过了很长的路：从最初简单的概率模仿，到在线策略蒸馏，再到今天的优势感知双重蒸馏。每一次进步，都让我们对 "如何高效传递能力" 这个问题有了更深的理解。未来，围绕这个思路下的在线策略蒸馏可能还有很多值得探索的方向。