当模型越教越笨：大语言模型自蒸馏训练的一个隐藏陷阱

2024年底,一个叫OPSD的训练方法在数学推理这个领域小火了一把。它的逻辑听起来无懈可击:让同一个模型既当学生又当老师，学生看着题目自己做,老师多看一眼标准答案,然后手把手纠正学生每一步的思路。这比强化学习省token，比传统的知识蒸馏更贴近学生实际的做题路径。几乎所有人都觉得,这个方法规模一扩大,效果肯定越来越好。

结果恰恰相反。

研究者们把OPSD应用到越来越大的模型上时发现一件怪事:模型从17亿参数做到80亿参数,这个方法带来的提升竟然越来越小,到80亿参数的时候,几乎只剩下0.14分的进步,和不训练没什么区别。这不是常识里"大模型更难调教"的那种笼统抱怨,这是一个具体的,可以用数字钉死的反常现象。更大的模型,居然从同一套训练方法里学不到东西了。

这篇论文要回答的问题就是:为什么会这样,以及怎么修。

**一、问题出在哪里:老师作弊了**

要理解这件事,得先搞清楚OPSD具体是怎么运作的。

训练过程里有两个角色,但其实是同一个模型的两种"人格"。学生只看到题目,自己一步步往下推演,生成一整段解题过程。老师呢,除了题目之外,还额外拿到一份标准答案,然后它会在学生写出的每一句话后面,预测"接下来这个词该是什么"。学生的训练目标,就是让自己预测下一个词的分布,尽量去贴近老师在同样位置给出的分布。

问题就藏在这里。

老师手里多了一份标准答案,这份答案学生永远看不到。如果学生自己已经把题做对了,老师多看那份答案其实用处不大,因为学生的思路本来就是对的,老师稍微点拨一下格式和措辞就够了。但如果学生这道题做错了,或者干脆没做完,老师这时候手里的标准答案就变得极其关键:老师能够"回头看",知道正确路径长什么样,于是它给出的下一个词预测,很可能是完全脱离学生当前错误思路的、凭空拉回正轨的词。

这就好比你请了一位家教来陪你做数学卷子。如果你这道题本来就做对了,家教只是在旁边点点头,顺便帮你把步骤写得更规范一点,你学到的东西和你自己做的差别不大。但如果你这道题做错了,家教手里却偷偷拿着标准答案,他给你的下一步提示,实际上来自那份你看不到的答案,而不是从你刚才错误的推理里自然生长出来的。你跟着他的提示往下走,确实能走到正确结果,但这个"正确"不是你自己的逻辑推出来的,是老师在作弊的情况下硬拽过来的。等到考试的时候,家教不在你身边了,你手里没有那份答案,你还是会按照自己原来错误的方式去想,因为训练时你学到的那套"正确路径",根本不是从你自己的错误出发能推导出来的。

研究者把这个现象叫做模仿鸿沟*:当老师掌握了学生无法获得的信息时,学生被训练去模仿一个它自己原则上无法复现的行为,这种训练目标和学生实际能力之间的落差。

他们专门设计了一个实验来验证这个直觉。方法很直接:截断一段学生自己生成的解题过程,只留下前面一部分,然后让模型从这个半截的位置继续往下写,分别在有标准答案参考和没有参考两种条件下进行。结果显示,在那些原本做错了的半截解答里,给老师看标准答案之后,它能把77%的续写拉回正确答案,而学生自己独立续写只能对37%,差了整整40个百分点。但是在那些原本就已经做对了的半截解答里,这个差距几乎消失,有参考是99%,没参考是95%,只差4个百分点。

这个数字对比揭示了一件很关键的事:老师的"特权优势"几乎完全集中在那些学生做错的题目上,而在学生做对的题目上,老师其实没什么用武之地。

但偏偏,标准的OPSD训练恰恰把绝大部分精力都砸在了做错的题目上。研究者统计了实际训练日志发现,在17亿参数模型上,只有28.3%的训练轨迹最终得出了正确答案,剩下71.7%要么答错,要么写到token上限还没写完。也就是说,超过七成的训练信号,来自那些老师需要靠"偷看答案"才能给出有效指导的场景。这就是为什么模型越大问题越明显:随着模型自身能力变强,它在做对的题目上本来就不需要那份"偷看的答案"了,而在做错的题目上,这份特权信息带来的提升幅度却在持续缩水,从17亿参数时的40个百分点,掉到40亿参数时的17个百分点。换句话说,这套训练机制投入精力最多的地方,恰恰是回报率下降最快的地方。

**二、一个更精细的发现:不是答案内容不重要,是格式占了大头**

研究者还做了一件挺有意思的拆解工作。他们想搞清楚,老师和学生之间那种预测分布上的差距,到底有多少真的来自标准答案的具体内容,又有多少只是来自"老师看到的提示词模板跟学生不一样"这种纯粹的格式差异。

结果相当出人意料。在17亿参数模型上,这个差距里有55%来自思考模式的模板本身,也就是说老师的提示词格式和学生的提示词格式不一样,这种形式上的差异就贡献了一半以上的分布差距。另外15.4%来自"这里有一份参考答案"这个提示框架本身,哪怕里面什么都不写。真正来自标准答案具体内容的部分,只占29.6%,而且这个比例在40亿参数模型上进一步降到17.3%。

这意味着什么

引用块：模仿鸿沟*:教师因为拥有学生看不到的特权信息（如标准答案），其预测行为无法被学生单纯模仿复现，由此产生的训练目标与学生实际能力之间的系统性落差。

这意味着,过去大家默认"标准答案就是OPSD有效的核心燃料"这个假设,其实有点站不住脚。更有意思的是,研究者还测试了把标准答案的行数随机打乱之后喂给老师,结果发现老师给出的预测分布和用原版答案时几乎一样接近,反而比给老师看一份跟这道题完全不相关的参考答案更接近。这说明老师真正依赖的是答案里包含的那些关键信息片段,而不是这些信息排列的顺序和逻辑连贯性。

这个发现和另外两篇相关工作的结论是呼应的。有研究者此前也提出,一份写给另一道题目的参考答案,居然也能给学生带来有效的提升,说明具体是哪份参考答案,可能没有标准说法里认为的那么重要。

**三、解法:OASIS,只教学生已经会的那种"会"**

既然问题的根子在于,老师的特权优势主要体现在学生做错的轨迹上,而这部分优势又会随着模型变大而萎缩,那解法的思路其实挺直白:别在学生做错的轨迹上浪费老师的"作弊"能力,把监督重心挪到学生已经做对的轨迹上去。

这就是论文提出的OASIS方法,全称是"基于脚手架隔离监督的在线对齐"。它保留了OPSD原本那套师生对比训练的损失函数完全不变,只改了两件事:教谁,和老师看什么。

具体做法是这样的。对每一道训练题目,先让模型自己采样生成K条不同的解题轨迹,论文里用的是8条。然后用一个验证器检查每条轨迹最后给出的答案对不对,这个验证器只需要知道标准的最终答案是什么,不需要一份完整的解题过程。在所有验证通过、答案正确的轨迹里,挑出长度最短的那一条,作为这次训练要监督的"脚手架",也就是学生实际要被老师对照打分的那条路径。

如果一道题目采样出来的K条轨迹里一条正确的都没有,这道题目就直接被跳过,不参与这一轮训练。这一点很关键,因为它意味着OASIS从根本上避免了把宝贵的训练信号浪费在那些老师需要靠特权信息才能救场的题目上。

引用块：验证器*:一个只判断最终答案对不对的简单程序,不需要理解完整的解题逻辑,因此不需要人工撰写的标准解答,只需要知道正确答案是什么。

那老师这边看什么呢

既然前面的实验已经证明,在学生做对了的轨迹上,老师看不看标准答案其实差别很小,那就没必要再费劲去准备一份人工撰写的标准解答了。OASIS让老师看的是另一条来自同一道题目、但没有被验证通过的轨迹,通常就是学生自己生成的某次失败尝试。换句话说,老师这次"偷看"的不再是一份外部权威答案,而是学生自己写砸的另一个版本。

这个设计选择特别巧妙的地方在于,它彻底砍掉了对人工撰写解题过程的依赖,整个训练流程只需要每道题目的最终答案是什么,这在很多只提供可验证答案、但没有详细解题步骤的数据集上,是一个决定性的优势。

这里不妨做个类比。想象你是一个篮球教练,手里有两种训练素材。一种是职业球员的完整比赛录像加逐帧战术讲解,制作成本极高,很多场次根本没有这种资料。另一种是让你的学员自己打若干场内部对抗赛,录下来,然后你只需要知道哪几场最后赢了。OASIS的思路相当于后者:不追求那份昂贵的、逐字逐句的"标准讲解",而是让学员自己多打几场,挑出打赢的那几场作为教学素材,对照组则用打输的那几场来给老师当参考背景,而不是去外面找一份职业战术手册。如果没有这个转变,每一场训练都得配一份详细讲解稿,成本会高到大多数题库根本负担不起,因为写一份完整解题过程远比核对一个最终答案要贵得多。

效果怎么样

论文在Qwen3的三个不同规模的模型上做了测试,分别是17亿、40亿和80亿参数,在三个竞赛数学基准上评估,AIME2024、AIME2025和HMMT2025。结果是,OASIS相对于OPSD的提升幅度,分别是0.59分、1.86分、3.05分,这个提升幅度是随着模型变大而递增的,恰好和OPSD原本"越大越没用"的趋势反过来。到了80亿参数这个规模,OASIS相对基础模型的提升稳定在3.19分,而OPSD这时候只剩下0.14分的提升,两者的差距已经相当悬殊。

作为对照,论文还测试了另一种常见做法,直接用标准答案做监督微调,结果发现这种做法在三个规模上的表现都和基础模型差不多,甚至还略差一点。另外还测试了强化学习方法GRPO,它用的也是同样的最终答案验证器,但只给一个对或错的标量奖励,结果显示它带来的提升也远不如OASIS,在三个规模上分别只有0.60、0.60、0.23分。这说明,那种逐token的密集分布监督,确实比单纯一个对错信号能传递更多有用的信息,前提是这个分布监督得用在刀刃上。

**四、另一个隐藏的坑:裁剪机制会把老师的鼓励变成打压**

论文里还挖出了一个独立的技术细节,和前面讲的特权信息问题不是一回事,但同样值得说一说。

OPSD的损失函数里有一个裁剪常数,目的是防止某些词的KL散度贡献过大,拖垮整体训练的稳定性。具体做法是,如果某个词上老师和学生的分布差异超过这个阈值,就把这部分贡献直接截断在阈值上。

这个设计初衷是好的,是为了防止极端值干扰训练。但研究者通过数学推导发现一个意外的副作用:一旦某个词的差异被截断,那个词原本应该获得的"老师鼓励力度"就被完全移除了,而梯度更新的方向居然会反过来,变成朝着压低这个词出现概率的方向走。换句话说,老师原本最想让学生多说的那个词,因为差异太大被裁剪掉了,结果训练反而在悄悄打压它。

论文测出来,在实际使用的裁剪阈值下,这个机制会移除掉验证通过的轨迹上97%的正向KL信号,在失败轨迹上移除94%,大约三成的词都受到了至少一次这种裁剪影响。这解释了为什么训练到后期,学生和老师之间的一致性会出现持续下滑的漂移现象,裁剪掉的词越多,学生离老师越远,离得越远又会有更多词触发裁剪阈值,这是一个会自我加强的恶性循环。

这就好比一个本来设计用来防止过度表扬的评分规则,结果变成了每次学生表现特别突出的时候,系统反而扣分,因为"突出"超出了评分区间上限。时间一长,学生反而学会了回避那些本应该被鼓励的突出表现。

论文没有在这篇工作里彻底解决这个裁剪问题,只是把它单独剖析清楚,并建议未来可以尝试放大阈值,或者改成对整个词的综合散度做裁剪,而不是逐个词条单独裁剪。

**五、代价:多采样换来的效率账**

OASIS不是免费的午餐。因为它需要为每道题目采样8条候选轨迹才能挑出验证通过的那一条,它消耗的生成token数量是OPSD的十几倍。在17亿参数模型上,OPSD每100步训练生成276万个token,OASIS则要生成4350万个,相差近16倍。

但有意思的是,真正用于监督训练的token数量,OASIS反而比OPSD更少,因为有将近一半的题目因为没有一条轨迹验证通过而被整体跳过,剩下参与训练的轨迹也普遍比OPSD挑选的轨迹更短。

论文里给出了一个更直观的对比表格。在同样规模的数据集上,传统OPSD训练用了1.28万道带人工标准答案的题目,OASIS只用了6400道只有最终答案的题目,实际参与梯度更新的大约只有3200道,却在平均分上追平甚至超过了前者。换句话说,用大约四分之一的标注题目数量,达到了相当或更好的效果,代价是生成阶段的计算量翻了好几倍。

这个取舍在什么场景下划算,取决于你手头的资源瓶颈在哪。如果你能批量采样但缺少人工撰写的解题过程,这笔交易非常值;如果采样本身就是硬成本瓶颈,论文也测试过减少采样数量到4条的版本,生成开销减半,效果只是略微下降。

**六、更广的背景:这不是孤立的发现**

这篇论文所处的研究脉络,其实能看出一条清晰的演进线索。最早的知识蒸馏是在一个固定语料上训练学生去匹配教师的输出,后来发展出在线蒸馏,让教师在学生自己生成的样本上打分,减少训练和推理时分布不一致的问题。再往后,就是OPSD这种把教师和学生合二为一、只是喂给不同提示词的设计。

几乎同时,另有研究者尝试把教师信号拆解成"来自参考答案的部分"和"只取决于题目本身的部分"两块,试图把前者提纯出来,这和本文关于格式差异占了一半以上KL差距的发现是相互印证的。还有研究证明用一份不相关题目的参考答案依然能帮到学生,这也和本文"打乱答案行序几乎不影响老师预测分布"的实验结果互相呼应。这几项工作加在一起,其实是在共同松动一个长期被默认的前提:标准答案的具体内容,可能并没有原来想象的那么不可替代。

**写在后面**

读完这篇论文,最让我意外的不是OASIS这个方法本身,方法的思路其实挺直给的,挑验证通过的轨迹来训练,这种直觉在强化学习领域早就不新鲜。真正让我停下来想了很久的,是那个关于裁剪机制会反向打压老师想鼓励的词这件事。

这种现象特别容易在工程实践里被忽略,因为它不是逻辑错误,代码跑起来一切正常,损失数字也在正常下降,但训练目标悄悄地在某个局部被颠倒了。这提醒我一件事:一个为了稳定训练而加入的保护机制,可能在某些分布区间悄悄反转了它原本要保护的东西的方向。这种"好心办坏事"式的bug,往往比明显的逻辑错误更难被发现,因为所有的表面指标看起来都正常。

另一个让我反复琢磨的地方是,论文反复强调的那个核心指标,老师在失败轨迹上能把答案拉回正确的概率,是通过一个相当朴素的实验测出来的:截断轨迹,换不同背景续写,统计有多少续写最后答对了。这个方法本身没有用到任何复杂的理论工具,但它测出来的数字,直接解释了为什么一个被广泛采用的训练方法在模型变大后会失效。有时候一个足够朴素、足够具体的测量方式,比一个复杂精巧的理论框架更能戳中问题的要害。

模型越大,它自己答对一道题所需要的外部提示就越少,这个趋势本身并不意外。但一个训练方法如果没有随着这个趋势去调整自己该往哪里使劲,它的收益曲线就会提前见顶,见顶之后还会继续往下掉。这不只是数学推理这一个场景的问题。

Q&A

Q1：OASIS和OPSD最核心的区别是什么？

A：OPSD让学生在自己随机生成的解题轨迹上接受老师监督，而老师额外看一份标准答案；OASIS只在学生自己做对的、经过验证的轨迹上进行监督，老师看的也不是标准答案，而是学生自己另一次没做对的尝试，因此OASIS不需要人工撰写的标准解答，只需要最终答案。

Q2：为什么OPSD在模型变大之后效果反而变差？

A：研究发现老师相对学生的优势主要集中在学生做错的题目上，而这种优势会随模型能力增强而缩小，从17亿参数到80亿参数提升从3.05分跌到0.14分，但OPSD训练时依然把七成以上精力放在做错的轨迹上，没能跟上这个变化。

Q3：OASIS需要付出什么代价才能获得更好的效果？

A：OASIS需要为每道题目采样多条候选轨迹（论文中用8条）才能挑出答案正确的一条，生成token量是OPSD的十几倍，但实际用于训练的标注数据量反而更少，用更少的人工标注题目换取了更高的提升幅度。