当学生比老师做得更好时，AI蒸馏该怎么办？

你有没有想过这样一个问题：一个厉害的老师，教一个不那么厉害的学生，是不是老师说的每句话都该照单全收？

现实往往不是这样。有时候学生在某道题上歪打正着蒙对了，老师反而栽了跟头。这时候如果还是机械地让学生"学老师的样子"，结果会很奇怪：学生明明做对了，却被硬生生拽向错误的方向。

这正是当下大语言模型训练里一个真实存在、却长期被忽视的问题。

**核心问题出在哪**

先说说背景。现在训练小模型（学生模型）常用一种叫"在线策略蒸馏"的方法。

在线策略蒸馏（On-Policy Distillation，简称OPD）：让学生模型自己生成答案，然后用更强的老师模型给这些答案打分、提供反馈，再根据反馈调整学生的参数，这个过程不依赖提前准备好的标准答案，而是让学生在自己"说话"的过程中被纠正。

这个思路听起来挺合理：老师全程跟着学生的真实表现走，针对性地指导。但问题来了，当你把好几个任务（比如生物、化学、物理）打包在一起，用同一个老师教同一个学生时，老师的可靠性是会随任务剧烈波动的。

论文里给出了一组很扎心的数据。在物理计算类任务上，老师和学生双双做错的比例高达34%,而在化学理解类任务上，这个比例只有1%。换句话说,同一个老师，在不同任务里的靠谱程度天差地别。更棘手的是,哪怕在同一个任务内部，也存在老师犯错而学生蒙对的情况,比如用Llama模型做实验时,学生在生物题上有5.9%的比例是"老师错、学生对",物理题这个比例跳到9.8%。

标准的OPD完全不管这些细节,它只看一件事：老师给每个词打的分数和学生给的分数之间的差距（术语上叫"对数比率"），差距大就使劲推，差距小就少推。可它根本不问一句："这道题到底谁做对了？"

结果就是,论文作者做了个统计：在训练数据里，即便学生和老师都做对了同一道题，这个对数比率的均值居然还是负的（Qwen3模型上是-1.31，Llama模型上是-0.22）。这意味着什么？意味着标准OPD会系统性地打压学生那些本来就答对的回答,因为它根本不知道"对"还是"错"，只会盲目地照着老师的喜好调整每一个字。

这就好比一个批改作业的助教，从来不看学生到底写得对不对,只按照"标准答案的语气"去改,哪怕学生用了一种标准答案没写但完全正确的解法，助教也会把它改得面目全非,强行往标准答案的措辞上靠。如果助教压根不参考对错，只参考"像不像标准答案"，那这个批改机制本身就有问题，迟早会把学生教得越来越糊涂。

论文团队把这种现象形象地称为"方向性冲突"：反馈的方向和学生实际表现的方向对不上。

**已有的补救办法为什么不够**

有人已经意识到这个问题，提出了一种叫OPDVR的方法（On-Policy Distillation with Verifiable Reward）。

OPDVR：先用某种验证机制判断学生答案到底对不对，如果对，就只保留那些"鼓励"方向的反馈（把负的清零）；如果错，就只保留"打压"方向的反馈。这相当于给反馈装了个"方向阀门"。

这个思路听起来已经解决了前面说的方向性冲突，但论文作者发现,这个阀门有个隐藏的副作用：它太"干净"了。

因为前面提到，即使学生做对了题，原始的对数比率均值也是负的。阀门机制是取"max(d, 0)"，也就是说只要这个比率是负的，不管多负，统统清零变成0。论文里实测，经过这个阀门处理后，学生答对题目时平均能拿到的正向反馈权重只有0.08到0.09，几乎等于没有反馈。就像你明明考了满分，老师却因为某个细枝末节的格式问题，把你的表扬信息量压到几乎听不见。方向是对了，力度却几乎归零。

而且OPDVR还有一个更深层的局限：它只看学生对不对，完全不管老师这次到底靠不靠谱。换句话说，不管老师这道题是蒙对了还是真懂了，只要学生错了，就一股脑地用老师的偏好去打压学生，这其实没有真正利用好"老师到底会不会"这个关键信息。

**DuoOPD：让学生定方向，让师生配合定支持方式**

这篇论文提出的方法叫DuoOPD，核心思路其实可以用一句话概括：方向交给学生自己说了算，但具体怎么支持这个方向，要看老师和学生这次配合得怎么样。

说得再直白一点，每次学生答题，都会出现四种组合：老师和学生都对、老师对学生错、老师错学生对、两个都错。DuoOPD针对这四种情况，分别设计了不同的处理方式，而且这套规则对所有任务通用，不需要为每个任务单独调参。

先看两种"没有分歧"的情况，也就是老师和学生意见一致的时候。

如果两人都对，论文用了一个叫Softplus的数学函数来处理反馈权重。

Softplus函数：一种让输出永远保持正值、且随输入平滑变化的数学变换，公式是log(1+e^x)，即便输入是负数，输出也不会真正归零，而是慢慢逼近一个很小的正数。

用这个函数处理之后，学生答对题目时的平均反馈权重从原来阀门机制的0.08-0.09，一下子提升到了0.57-0.65。这意味着什么？意味着原本几乎被"噤声"的正确答案，现在真正得到了应有的鼓励。这就好比一个孩子做对了题，老师不再用含糊的"嗯，也还行"打发他，而是明确告诉他"这道题你做得很好，继续保持"。如果没有这个调整，正确答案得到的激励实在太微弱，学生很难真正强化自己已经掌握的东西。

如果两人都错，同样用Softplus（取负值版本）处理，让所有错误的部分都受到打压，但打压力度仍然按照老师的偏好来细化，哪个词老师越不认可，哪个词挨的"批评"就越重。

再看两种"有分歧"的情况，这才是DuoOPD真正出彩的地方。

第一种，老师对、学生错。这时候老师手上有一份验证过的正确答案，这是一份宝贵的参考资料。论文的做法是，把老师独立做出的那份正确答案当作额外信息，塞进老师打分时看到的上下文里，让老师"对照着标准答案"去给学生的错误回答打分。

这个设计叫"用教师成功为纠错提供依据"。原文给了个很生动的例子：有道题问纳米颗粒自组装中什么控制了相互作用，正确答案是"配体相互作用"，学生却写成了"超晶格形成"。没有参考答案时，"super"这个词的负反馈权重是-19.922，加入老师的参考答案后，这个负反馈加强到了-26.795，错误的方向被纠正得更坚决了。

这就好比你写作文跑题了，老师光凭印象批评你"跑题了"，和老师手里拿着满分范文、逐字对照着指出"你这里偏离了，范文是这么写的"，批评的精准度完全不是一个量级。如果不给老师这份参考，老师可能因为被你的错误思路带偏，反而打分打得不够狠，纠错效果就会大打折扣。

第二种，学生对、老师错。这种情况下，学生其实提供了比老师更靠谱的答案，这时候的策略叫"保留学生主导的成功"。

具体做法是，把同一个任务里所有"学生对、老师错"的回答放在一起，计算一个统一的正向权重，让这批回答的每一个有效词都享有这个共享的奖励，不再逐词去看老师怎么打分，因为老师这次本来就不靠谱。

论文里也举了个例子：一道题问哪种方法在大多数系统上误差更低，正确答案是NNP/MM，老师却选了错误的FEP+。如果不做共享处理，学生回答里"A"这个关键词得到的正向权重几乎是0（只有0.00019），因为老师自己都答错了，给不出什么像样的鼓励信号。加上权重共享机制后，这个词获得了0.524的实打实奖励。

这背后的道理其实很朴素：如果你这次做对了，但带你的师傅这次反而走了弯路，总不能因为师傅没指出你的好，你的好就该被埋没吧。如果不设计这个共享机制，学生难得一次超越老师的表现，反而会被系统性地忽略，这对训练效果是种浪费。

论文里专门强调了一点，这个共享权重是"按任务分别计算"的，而不是不同任务共用一个数。原因是不同任务里老师和学生水平差距本身就不一样，比如物理计算题的权重能到0.56到0.64之间，而其他任务可能稳定在0.56到0.57。如果强行把所有任务混在一起算一个平均权重，等于用一把尺子量所有任务的难度，会抹平任务间本该有的差异。实验也证明了，按任务分开算比统一计算效果更好，在任务差异越大的场景里，这个优势越明显（分别高出0.26和0.35个百分点）。

**效果到底怎么样**

说了这么多设计思路，实际效果如何？

论文在两套模型家族上做了实验，一套是Qwen3（4B老师教0.6B学生），一套是Llama（8B老师教3B学生）。测试任务从简单的生物、化学、物理知识题，逐步扩展到更异质化的组合，比如物理计算、指令遵循、代码生成这种完全不同类型的任务混在一起训练。

在最基础的生物、化学、物理三科组合上，DuoOPD相比标准OPD，在Qwen3上宏观准确率提升了2.58个百分点，在Llama上提升了5.98个百分点。而且不管是老师能解决的题，还是老师解决不了的题，DuoOPD都能让学生表现得更好。比如在Llama的物理科目上，面对老师能做对的题，学生正确率比OPD高出3.86个百分点，面对老师做不对的题，学生正确率依然高出2.12个百分点。

这组数据说明一件挺重要的事情：DuoOPD没有把老师的局限变成学生的天花板，学生在老师擅长的地方学得更扎实，在老师不擅长的地方也能靠自己的能力走得更远。

论文还专门做了拆解实验，看看这四条规则各自贡献了多少。

把任何一种情况的处理方式换回标准OPD的做法，宏观准确率都会掉0.76到1.53个百分点，说明四条规则确实都在起作用，哪怕是"学生对、老师错"这种只占训练数据6.9%的小众情况，拿掉它效果照样会下降。

更关键的是，论文还单独验证了：如果只做"方向修正"（也就是OPDVR那一套），而不加上"老师参考答案"和"权重共享"这两个专属设计，效果会回落到接近OPDVR的水平（64.56%对比OPDVR的64.83%）。这说明真正拉开差距的，不是"知道方向"这件事本身，而是"知道方向之后怎么用好老师"这件事。方向是地基，但光打地基盖不起楼。

DuoOPD还在另外两套更复杂的任务组合上验证了效果。一套是材料知识、化学理解、物理计算的混合，DuoOPD拿到了63.48%的宏观准确率，比最强的对比方法还高0.86个百分点,尤其在物理计算这种老师和学生都容易出错的任务上，优势扩大到3.25个百分点。另一套是物理、指令遵循（IFEval）、代码生成（MBPP）的异质组合，DuoOPD同样全面领先，拿到49.24%，比最强对手高1.41个百分点。

有意思的是，DuoOPD在每一个任务组合里，都在"最难的那个任务"上拿到了最高分，哪怕论文本身并没有专门设计一个"照顾最难任务"的目标函数。这多少说明，让反馈真正对齐对错，本身就是一种自然而然会眷顾薄弱环节的设计。

**代价有多大**

一个很现实的问题是：DuoOPD需要老师额外生成一份参考答案，这是不是意味着训练成本大幅上升？

论文给出了细致的成本核算。老师生成参考答案这个过程是一次性的缓存操作，生成之后可以被多次复用，不需要每次训练都重新生成。这个缓存过程大约占到一次完整OPD训练耗时的23%到30%。而在训练过程中，真正需要调用这份参考答案的，只是"老师对、学生错"这一类情况，占比大约在13%到23%之间，并不是每条数据都要用上。

把这些都算进去，实测下来DuoOPD在Qwen3上的训练时间几乎没有变化（-0.7%），在Llama上增加了7.3%，而且这部分增加主要来自学生自己生成的回答变长了（从152个词增加到177个词），并不是算法本身拖慢了训练。如果把一次性生成的缓存分摊到三次训练里重复使用，额外开销能降到9.2%到15%之间。

这个成本结构其实挺划算：一次投入，多次复用，换来的是实打实的准确率提升。

**写在后面**

读完这篇论文，有个细节让我反复琢磨：论文作者发现，哪怕学生答对了题，原始反馈信号的均值依然是负的。这不是一个小bug，而是整个在线策略蒸馏范式里一直存在、却很少被量化出来的隐患。大家习惯性地相信"老师的反馈总是朝着正确方向的"，但这篇论文用实打实的数字告诉你：不一定。

还有一点值得玩味。DuoOPD并没有发明什么复杂的新模型，它做的事情说到底就是"先验证，再决定怎么用"，这种思路其实在很多领域都通用，考试阅卷要先核对答案再给分，而不是看着标准答案的语气改卷子；医生看病要先确诊再开药，而不是照搬上一个病人的处方。把"验证"这一步嵌入到每一个反馈环节里，看似简单，却是决定整个系统靠不靠谱的关键分叉点。

论文里也坦诚承认了局限：现在这套方法依赖的是非黑即白的验证器，答案对就是对，错就是错。但现实中很多任务，比如写作、开放式问答，根本没有这么清晰的对错边界，反馈需要处理的是"好到什么程度"这种模糊判断。这条路要怎么走，论文没有给出答案，留下了一个挺值得深挖的开放问题。

一个老师教多个学生擅长的学科不一样，这事放在人类教育里天经地义，没人会觉得奇怪。可放到AI训练里，这居然是个要专门写论文解决的新问题。这说明什么？也许说明我们对"教"这件事的理解，在机器身上才刚刚开始。

Q&A

Q1：DuoOPD是什么？

A：DuoOPD是一种多任务在线策略蒸馏方法，核心思路是让学生模型的对错结果决定反馈方向，再根据老师和学生配合情况决定具体用什么方式支持，一套规则覆盖四种组合，不需要为不同任务单独调参。

Q2：DuoOPD和之前的OPDVR方法有什么区别？

A：OPDVR只负责把反馈方向和学生对错对齐，但会把正确答案的反馈压得几乎为零；DuoOPD还进一步区分老师这次是否可靠，用教师参考答案纠正学生错误，用权重共享强化学生独有的正确表现，效果明显更好。

Q3：使用DuoOPD会不会大幅增加训练成本？

A：不会太多。老师生成参考答案是一次性缓存且可复用，实测训练耗时在Qwen3上基本没变化，在Llama上只增加7.3%左右，主要来自学生回答变长，不是算法本身拖慢了速度。