![]()
有一个场景你可能没想过。
一个学生做数学题,中间某一步算错了,答案错了。老师拿到这份作业,想继续往下批,告诉学生接下来该怎么写才对。结果你猜怎么着,很多情况下,老师会顺着学生那个错误的思路往下写,自己也写出一个错的结果。老师不是不会做这道题,老师甚至能一眼看出学生哪里错了。但一旦顺着错误的思路往下接,老师自己也容易被带偏。
这不是什么段子,这是一篇最新论文里实打实测出来的现象,而且它正好戳中了当下一个很火的AI训练方法的痛点。
**在学生错误的开头之后,老师续写正确答案的概率,从82%直接掉到了29%。**
这个发现听起来有点反直觉。你可能会想,老师明明有能力解出这道题,为什么会被学生的错误带偏?这正是这篇论文想讲清楚的事。
一、先说说什么是"在策略蒸馏",以及它为什么会出问题
要理解这篇论文在解决什么问题,得先搞懂一个叫"在策略蒸馏"的训练方法。
在策略蒸馏:简单说就是让一个小模型(学生)自己写答案,然后拿一个大模型(老师)在学生写的每一步后面,给出"接下来该怎么写才对"的建议,当作训练信号。
这个方法为什么要存在,是因为更早之前有一种更简单的做法,叫"离线蒸馏",就是直接拿老师写的标准答案去训练学生。这个办法听起来挺合理,但有个毛病:学生在考试的时候,是自己一步步往下写的,一旦某一步写错了,它接下来面对的局面,训练时压根没见过。因为训练时学生看到的全是老师写得又漂亮又正确的范文,从没见过"自己写错之后该怎么办"这种场景。
这就好比一个人学开车,教练从来不让他犯错,每次都是教练直接示范标准动作。结果真上路了,一旦方向盘打歪一点,这个人完全不知道该怎么修正,因为他从没在"方向盘歪了"这种情况下练过。错误会越滚越大,这在机器学习里有个专门的名字,叫"分布漂移"问题。
在策略蒸馏想解决的就是这个。它让学生自己上路开车,自己写出完整的答案,哪怕中间写错了也不打断,然后让老师在学生写的每一个字后面,给出"下一个字应该是什么"的概率分布,用这个概率分布去纠正学生。听起来很完美,学生练的就是自己会遇到的场景,老师在旁边随时纠正。
但问题恰恰出在这里。这个方法有一个隐藏的假设,叫"可恢复性"。
可恢复性:指的是不管学生写到哪一步,哪怕写错了,老师都能从这一步接着往下写出正确答案的能力。
这篇论文发现,这个假设在学生写错的情况下,根本不成立。
二、问题出在哪:老师认得出错误,却还是会跟着错
论文的研究者做了一个挺讲究的实验。他们找来一个经过80步在策略蒸馏训练的Qwen3-1.7B学生模型,配一个Qwen3-4B的老师模型,拿900道数学题测试。
他们把学生写的每一份答案,不管对错,切成8个节点,从开头到结尾均匀分布。在每个节点,让老师和学生各自从这个位置往下续写16次,统计续写出正确答案的比例,这个比例就叫"恢复率"。
结果是这样的:在学生写对的那些题目里,老师的恢复率一直稳定在93%以上,不会随着学生写得越长就变差。但在学生写错的那些题目里,特别是那些老师本来有能力解出来的题,恢复率从82%一路跌到29%,学生自己的恢复率也从34%跌到10%。
这说明问题不是"题目太长老师记不住",也不是"题目太难老师解不出来",而是跟学生写错了这件事直接挂钩的。
更有意思的是,研究者去看老师续写出来的那些错误答案,发现一个清晰的趋势:随着学生错误的内容越写越长,老师续写出"跟学生犯同一个错误"的比例,从1%一路涨到35%,占到所有续写失败情况的一半。换句话说,老师不是因为不会做题才写错,很大程度上是因为跟着学生的错误思路走下去,自己也被带进了死胡同。
这就跟一个人听别人讲一个错误的故事情节一样。如果你一直顺着对方的逻辑听下去,哪怕中间有些地方不太对,你的大脑也会不自觉地去"接话",顺着那个不对的方向继续编下去,而不是突然跳出来纠正。老师模型在这里扮演的,其实就是这个被带着走的听众角色。
但这里有个关键的转折点。研究者接着测试了老师"识别错误"的能力,发现这个能力完全没有受到影响。他们让老师在没有标准答案的情况下,去给学生写的内容挑错,然后用另一个模型当裁判,判断老师挑出来的错误是不是真的错误。结果不管老师当时的恢复率有多低(从0.07到0.93不等),它挑错的准确率始终稳定在73%到81%之间。
**也就是说,老师可能续写不对答案,但它看一眼就知道学生哪里写错了。**
这个发现是整篇论文的转折点。老师续写能力失灵了,但诊断能力完好无损,这两者之间的落差,正是研究者接下来要利用的空间。
三、CriticOPD:让老师只做诊断,让学生自己动手改
既然老师擅长"挑错"却不擅长"顺着错误往下写对答案",那研究者的思路就很直接了:别让老师去续写,让老师就做它擅长的事,指出错误在哪、该怎么改,然后让学生自己动手重写。
这就是这篇论文提出的方法,叫CriticOPD。
CriticOPD:一种改进版的在策略蒸馏方法,核心做法是让老师先对学生写错的答案进行批注式点评,指出具体哪里错了、该怎么改,然后学生根据这些点评自己重写后半部分,老师再给这个重写的内容打分当训练信号。
具体流程是这样的。学生先按正常流程写一道题的答案。如果答案错了,或者写到超长还没写出答案,这份内容就会被送去"批注"。老师这时候拿到题目、标准答案,还有学生写的内容(按段落编号),然后列出里面的错误,每个错误要指出是哪一段、错在哪句话、该怎么修正。
这些错误信息和标准答案拼在一起,就组成了"批注"。拿到批注之后,系统会找到批注里提到的最后一个错误所在的段落,把这段之前的内容保留下来,这段之后的内容全部扔掉。学生接着带着这份批注,从被保留的那个节点开始,重新往下写一遍。
这里有个很巧妙的设计:学生写的时候是看着批注写的,但老师给这份重写内容打分的时候,也是带着批注去打分的,而学生在真正训练学到的那份数据里,批注本身是被拿掉的。
这个设计听起来有点绕,但道理不难理解。批注就像是考场外的提词器,学生带着提词器重写,写出一份更好的答案,然后把提词器拿走,让学生"假装"自己从头到尾都没看过提词器一样去学习这份好答案该怎么写出来。这种做法在机器学习里有个专门的说法,叫"特权信息"。
特权信息:训练时能看到、但推理时看不到的额外信息,目的是帮助模型在训练阶段学到更好的行为,而不依赖这份信息在实际使用时也存在。
这就好比教孩子写作文,老师在孩子写跑题之后,先用红笔圈出问题所在,再给一句提示,让孩子自己重新写一遍结尾。孩子重写的时候当然是看着老师的提示写的,但老师最终是把这份"修正后的完整作文"(不含红笔批注)当成范文来让孩子反复临摹的。如果没有这个批注环节,直接让孩子自己瞎改,大概率还是在原来的坑里继续打转,改不出什么新东西。如果反过来,让孩子永远带着批注写作文,那考试的时候没有批注可看,孩子又会什么都不会了。CriticOPD的巧妙之处就在于,用批注来帮学生写出一份更好的训练素材,但不让学生对批注产生依赖。
四、关键验证:批注真的让老师变得更靠谱了吗
光有想法不够,研究者得验证一下,批注这个东西是不是真的能让老师在这个"重写后的内容"上,恢复到可靠的续写水平。
他们拿着161份学生写错的答案,按CriticOPD的流程走一遍,切出重写的起点,让学生带着批注重写出新的内容。注意,这里用的是还没经过CriticOPD训练的学生模型,所以重写内容和原始内容唯一的差别就是有没有批注在context里。
结果非常清楚。在重写内容的75%位置,老师在原始(没有批注)内容上的续写恢复率是0.14,而在带批注的重写内容上,这个数字跳到了0.67。同样位置上,学生自己(不看批注)的续写成功率也从0.03涨到0.16。
这说明批注这个东西,确实把老师从"被学生错误带偏"的状态里拉回来了,重新变成了一个靠谱的评判者。
五、训练目标怎么设计:两条损失函数各管一段
CriticOPD的训练目标分成两部分。对于答案本来就对的,或者批注没找出有效错误的那些内容,走标准的在策略蒸馏流程,用一个叫"反向KL散度"的损失函数来训练。
反向KL散度:一种衡量两个概率分布差异的数学方式,这里用来让学生模型在每一步生成下一个词的概率,尽量贴近老师模型给出的概率分布。
对于那些经过批注重写的内容,用一个新的损失函数,叫"反馈蒸馏",只对重写的那段后缀部分计算损失,前面保留的那段原始内容不计算损失。因为那部分恰恰是出错的地方,老师在那里的恢复率本来就低,强行拿它当训练信号没有意义。
研究者还做了一个很有意思的数学拆解,把反馈蒸馏这个损失函数里,每个词获得的"优势值"拆成了两部分:一部分是标准蒸馏里原本就有的优势值,另一部分是老师看到批注之后,对这个词的概率产生的额外提升,这部分被称为"点互信息"。换句话说,批注给了修正后的内容一份额外的信用加成,这份加成正是老师把自己"识别错误"的能力,转化成了具体到每个字的训练信号。
研究者做了个小实验来证明这个加成有多大。他们比较了两种64个字长度的续写,一种是继续错下去,一种是纠正过来,放在老师的评分体系下比较。在标准蒸馏的评分方式下,纠正这条路平均每个字只比继续错多拿0.24分的优势,这个差距其实挺小的,老师几乎分不清哪条路更该被鼓励。而换成CriticOPD的评分方式(带着批注打分),这个优势一下子涨到1.47,差了六倍多。
六、实验结果:数学题考得更好了,而且提升最明显的是最难的那批题
研究团队在两个不同规模的学生模型上做了实验,一个是Qwen3-1.7B,一个是Qwen3-0.6B,老师统一用Qwen3-4B,训练数据是DAPO-Math-17k这个数学题集,然后在六个数学推理测试集上评估效果,包括AIME 2024、AIME 2025、AMC 2023、MATH500、OlympiadBench和Minerva Math。
结果显示,在1.7B规模上,CriticOPD把平均分从标准在策略蒸馏的50.08分提到了54.65分,涨了4.57分。在0.6B规模上,从34.80分提到38.86分,涨了4.06分。
最值得说的是,涨分最猛的几个测试集,恰恰是难度最高的几个竞赛题集。AIME 2024涨了6.01分,AIME 2025涨了7.36分,AMC 2023涨了6.94分,这几个都是面向数学竞赛选手的高难度题目。相比之下,相对简单的MATH500只涨了2.61分。这个规律挺符合直觉:越难的题目,学生越容易在中间某一步栽跟头,而CriticOPD正是针对"学生栽跟头之后怎么办"这件事下的功夫,所以在难题上效果最明显。
研究者还跟很多其他改进方案做了对比。有一类方法选择"少管",比如把特别长的回答直接截断不管后面;还有一类方法选择"换人写",让老师直接接管一部分内容往下写。CriticOPD跟这两类思路都不一样,它既不截断,也不让老师代写,只是让老师点评、学生自己改。实验显示,这种做法比直接截断的方案(FastOPD)高了2.10分,比让老师接管的方案(RelayOPD)高了0.97分。
七、拆开看看哪个零件最重要
为了弄清楚CriticOPD里到底哪个设计环节在起作用,研究者做了一系列拆解实验。
**如果把批注里的具体错误信息拿掉,只留标准答案,平均分会掉5.90分。**
这个掉分幅度相当惊人,说明光给一个正确答案远远不够,学生需要知道"错在哪、怎么改",否则它学到的可能只是硬背答案,而不是纠正错误的推理过程。研究者还观察到,如果只给答案不给错误分析,学生表现甚至会比什么都不做的标准方法还差,因为学生学会了直接凑答案,却没学到背后该怎么推导。
如果把批注换成一句"你的答案有错,请检查并重做"这种毫无信息量的通用提示,平均分会掉1.46。如果让老师来写重写的那部分内容,而不是学生自己写,平均分会掉0.66,这说明让学生自己动手写出修正内容,确实比让老师代写效果更好,哪怕用的是同样的批注和同样的打分方式。
如果老师在给重写内容打分的时候,不带着批注打分,平均分会掉1.19,这再次验证了批注对老师评分可靠性的提升是实打实的,不是摆设。
八、这个提升到底是靠谱的信号带来的,还是只是因为写得更长了
这是个值得追问的问题。因为CriticOPD训练出来的学生,回答确实变长了,平均每条回答有10.2千个字符,比标准方法的5.3千要长得多。那涨分到底是因为回答变长,还是真的学到了更靠谱的纠错能力?
研究者为此做了一个"控制长度"的对比实验,专门找出几个回答长度差不多的方案放在一起比。结果显示,就算把回答长度拉到接近水平,CriticOPD依然比"不带批注打分"的版本高出2.39分,比FastOPD(同样产出较长回答的方案)高出2.10分。这说明批注带来的提升不是靠堆字数堆出来的,而是真实提升了纠错的质量。
研究者还专门测了"占用错配"这个指标,用来衡量一个训练方法所覆盖的那些状态,跟学生实际考试时真正会遇到的状态之间差了多少。标准在策略蒸馏的这个指标是0.10,CriticOPD是0.16,比FastOPD的0.21和RelayOPD的0.35都低。这意味着CriticOPD在拿到更可靠的老师监督信号的同时,并没有牺牲太多"训练场景贴近真实考试场景"这个本来就很宝贵的特性。
九、不止是数学,训练成本也更低
有人可能会担心,这种专门针对数学题设计的训练方法,会不会让模型在别的任务上变笨。研究者在MMLU、ARC-Challenge、OpenBookQA这些综合知识测试,以及HumanEval+、MBPP+这两个编程测试上也做了检验,结果CriticOPD的平均分是70.69,跟标准方法的70.47基本持平,只是在编程题上略有下降,整体来看没有明显的负面影响。
训练成本这块也有意外收获。因为CriticOPD每处理一条错误答案要多做一次老师生成批注、多做一次学生重写,单步训练时间确实变长了。但由于CriticOPD能更快达到最优效果(只需要40步训练,而标准方法需要80步),算总账下来,CriticOPD只用了标准方法42%的总训练算力。
十、这篇论文真正想说的一句话
论文里有一句话我觉得特别精炼:老师可能续写不对答案,但依然能识别出错误。
**这一句话揭示的其实是一个更普遍的现象:判断对错和产出正确答案,是两种不同的能力,不能划等号。**
这让我联想到现实生活里很多类似的场景。一个资深编辑可能一下子看出一篇稿子哪里逻辑不通,但未必能当场把那段话重新写得漂亮;一个经验丰富的医生可能一眼看出诊断思路哪里偏了,但如果强行要求医生顺着病人原来错误的叙述往下推,照样可能被带偏。CriticOPD这篇论文做的事情,本质上是在给AI训练这件事找一种新的分工方式:让擅长"看出问题"的那个角色专心看出问题,让需要"学会解决问题"的那个角色自己动手解决问题,而不是指望一个角色同时把两件事都干好。
写在后面
读完这篇论文,我印象最深的不是CriticOPD这个方法本身,而是那个被实验数据证实的现象:老师续写错误答案的概率可以高达一半,但它挑错的准确率却稳稳保持在七成以上。这两个数字放在一起看,比任何方法设计都更让人意外。
这让我想起一个问题:我们平时信任一个"专家"的时候,到底是因为他总能给出正确答案,还是因为他总能看出哪里错了?这篇论文无意中揭示的是,这两种能力在AI模型身上确实是可以分离的,甚至可能在很多场景下也适用于人类专家。一个人可能在被某个错误前提带着走的时候,自己也说不出正确的话来,但只要有人把这个错误前提单独挑出来给他看,他立刻就能意识到问题所在。
论文里还有一个细节值得单独说一说。研究者测试发现,批注里列出的错误,经过另一个模型裁判之后,真实有效率稳定在73%到81%之间,并没有随着老师原本续写能力的下降而下降。这说明"诊断能力"和"续写能力"这两者在模型内部可能是相对独立的两套机制,一个失灵了不代表另一个也会跟着失灵。这个现象本身挺值得深挖的,如果能搞清楚模型内部是怎么分别实现这两种能力的,说不定能带来更多启发。
这篇论文目前只验证了有标准答案可查的数学题场景,对于没有明确对错标准的任务,比如写作或者开放式对话,这个思路还没法直接套用,这是论文自己也承认的局限。但这个"让擅长诊断的角色只管诊断,让需要学习的角色自己动手改"的分工思路,会不会在其它更复杂的任务里也有用?这个问题留在那里,值得继续想下去。
Q&A
Q1:CriticOPD是什么?
A:CriticOPD是一种改进的AI模型训练方法,核心做法是让老师模型对学生模型写错的答案进行批注指错,再让学生根据批注自己重写,而不是让老师直接代写或续写答案。
Q2:为什么老师模型能看出学生答案错在哪,却续写不出正确答案?
A:论文发现老师模型在续写时容易被学生之前写错的思路带偏,顺着错误往下走,但独立判断某一步是否出错的能力并不受影响,这两种能力在模型里是分离的。
Q3:CriticOPD相比普通的在策略蒸馏方法效果提升有多大?
A:在Qwen3-1.7B模型上平均分从50.08涨到54.65,提升4.57分,在难度最高的AIME竞赛题集上提升最明显,涨幅超过6分,同时训练算力只需标准方法的42%。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.