NAVER AI Lab发现让小模型跟大模型学习"进化的部分"效果更好

这项研究由韩国互联网公司NAVER旗下的AI研究机构NAVER AI Lab发布，论文于2026年7月16日以预印本形式公开，编号为arXiv:2607.15161，有兴趣深入了解技术细节的读者可通过该编号查询完整论文。

**一个你可能从没想过的问题**

每当你和手机上的AI助手对话时，背后运行的往往是一个经过精心"培训"的语言模型。但这个模型究竟是怎么变聪明的？它又是如何在有限的计算资源下，尽量接近那些庞大、昂贵的顶级AI模型的水平？

NAVER AI Lab的研究团队提出了一种全新的训练思路，把整个问题描述得非常直观：与其让学生照抄老师的一切，不如让学生只学老师"后天努力学来的部分"——也就是老师通过专门训练才获得的推理能力，而非老师天生自带的语言习惯和风格偏好。这个思路看似简单，但背后蕴含了对AI学习本质的深刻理解，并且在大量实验中取得了显著优于现有方法的成绩。

这套方法被命名为"在线策略差值蒸馏"（On-Policy Delta Distillation，简称OPD?）。别被这个名字吓到，我们接下来会用一个贯穿全文的比喻把它讲得清清楚楚：把AI训练过程类比成一场武侠小说里的武功传授。

**一、AI的"武功传授"：从大师到弟子**

在武侠世界里，一位大师想把毕生武功传给弟子，有几种方式。最粗暴的一种是让弟子每天观看大师的招式录像，然后照猫画虎地模仿——这叫"监督微调"（SFT），弟子学的是大师的动作，但动作是大师自己打出来的，弟子只是跟着练。

还有一种方式是让弟子实战出招，大师在旁边打分：这一招出得好，加分；那一招出得差，扣分。这叫"强化学习"（RL），弟子在自己的实战中慢慢摸索什么是对的。这种方式更贴近弟子自己的实际水平，但需要大师不断打分，耗时费力，而且打分本身也可能打偏。

现在有了第三种方式，叫"在线策略蒸馏"（OPD）：弟子自己出招，大师看着这套招数，对每一个动作给出反馈——哪个动作我会这样打，哪个动作我不会这样打。这样一来，弟子既在练自己的招数，又得到了大师对每个细节的实时指导，兼顾了实战性和精细度。

NAVER的研究团队发现，OPD这种方式虽然已经很不错，但还有一个根本性的问题没有解决：大师给弟子的反馈，夹杂了太多"大师天生的习惯和风格"，而不是纯粹的"武功精髓"。

**二、大师的"天生习惯"是什么？**

任何一位顶级AI模型，都经历了两个阶段的训练。第一阶段是"预训练"：在海量的互联网文本上学习语言本身，学会怎么组词造句、理解上下文，这就像一个人从小学语文、读书看报，培养出了基本的语言直觉。第二阶段是"推理调优"：专门针对数学题、科学问题、编程任务进行强化训练，让模型学会一步一步推导答案，这就像一个语文基础扎实的学生，开始专门学习逻辑推理和解题技巧。

问题在于，当大师（顶级大模型）经历了第一阶段之后，它已经形成了很多根深蒂固的"语言偏好"——比如它特别喜欢用"perhaps（也许）"这个词来表达不确定，喜欢用"verify（验证一下）"、"see（看看）"这样的词来表达探索过程。这些习惯是大师在漫长的语言学习阶段自然形成的，并不是推理能力的体现。

当传统OPD训练弟子时，大师给出的反馈不加区分地包含了这两类信息：哪些推理步骤是对的，以及哪些词汇符合大师的语言风格。弟子照单全收，既学了推理方法，也学了很多和推理无关的语言癖好。这就相当于你去学厨师，师傅教你的不只是炒菜技术，还包括他吃饭时习惯先喝一口汤、筷子要斜着拿的个人习惯——这些习惯跟炒出好菜没啥关系。

**三、"差值信号"：只学大师努力得来的部分**

NAVER团队的核心突破就在这里：与其让弟子学大师的全部输出，不如让弟子学大师"通过推理训练额外获得的部分"。

具体来说，他们引入了"大师的初始版本"——也就是大师在经过推理训练之前的样子，称为"基础模型"（base model）。然后，他们计算这样一个差值：大师（训练后）对某个词语的判断，减去大师基础版（训练前）对同一词语的判断，这个差值就叫做"差值信号"（delta signal）。

用武侠比喻来说：大师在学武之前，已经是个普通的江湖人，有自己的行走坐卧习惯。学武之后，大师在原有基础上新增了独门功夫。弟子真正需要学的，是那套"独门功夫"，而不是大师的整个人生阅历。差值信号就是这套独门功夫的提炼。

从数学角度看，传统OPD的反馈信号是"大师的概率减去弟子的概率"，而差值信号是"大师的概率减去大师基础版的概率"。两者的区别在于：传统OPD的参照系是弟子自己，而差值信号的参照系是大师尚未专门训练时的状态。

**四、词云实验：差值信号到底强调什么？**

为了直观展示差值信号和传统信号的区别，研究团队做了一个非常有意思的可视化实验。他们用小模型（Qwen3-1.7B）在一万道数学题上生成回答，然后分别计算传统OPD信号和差值信号，把信号最强的词语以词云形式呈现出来，词语越大代表该信号越倾向于强化这个词。

结果非常说明问题。传统OPD信号强化的词语里，出现了大量"verify（验证）"、"see（看看）"、"try（试试）"、"confirm（确认一下）"这样的探索性、犹豫性词汇。而差值信号强化的词语则明显不同：出现的是"hence（因此）"、"however（然而）"、"note（注意）"、"instead（而是）"这样逻辑连接性强的词汇。

这个区别反映了两种完全不同的推理风格。探索性词汇代表的是"东摸摸西试试"的漫无目的思考，而逻辑连接词代表的是"由此得出、进一步推断"的有序推理链。差值信号通过对比推理前后的变化，精准抓住了"推理训练到底教了模型什么"这个本质问题。

**五、用错误答案检验信号质量**

研究团队还设计了一个更直观的测试：他们故意构造了三道包含错误推理过程的简单题目，分别来自数学、科学和编程领域，然后把这些错误的推理过程输入系统，观察传统OPD信号和差值信号各自如何反应。

以一道数学题为例，题目是"一个箱子里有3个红球和2个蓝球，共有多少个球？"正确答案显然是5个，但构造的错误推理声称"把两个数字相乘，3×2=6，所以有6个球"。

面对这个错误推理，理想中的信号应该在"相乘"和"×2=6"这些地方给出强烈的负面反馈，告诉训练系统"这里错了，要压制这种表达"。实验结果显示，差值信号确实在这些关键错误节点给出了更一致的负面反馈，而传统OPD信号在这些地方的表现则摇摆不定，有时甚至给出了正面反馈。

原因是这样的：在传统OPD中，大师和弟子都对"乘法"这个概念有很强的语言偏好（毕竟乘法在数学文本中很常见），两者的差值可能因此偏小甚至为正；而差值信号对比的是大师推理后和推理前的差异，推理训练让大师在遇到这道题时专门学会了"3+2才是正确操作"，因此大师基础版对"乘法"并无特别偏好，差值信号能更清晰地展现推理训练带来的方向性改变。

**六、统计分析：三个领域的全面验证**

除了可视化实验，研究团队还做了大规模统计分析，使用了更大的模型（Qwen3-8B作为弟子，Qwen3-30B-A3B-Thinking-2507作为大师），分别在数学、编程和科学三个领域各随机抽取一万道题目，生成推理回答后分析两种信号的差异。

分析结果在三个领域呈现出高度一致的规律。被差值信号强化的词语，跨领域都包括"hence（因此）"、"thus（所以）"、"however（然而）"和"regardless（不管怎样）"这类明确的逻辑连接词，这些词代表推理过程中的逻辑跳转和转折判断。被差值信号压制的词语则包括"perhaps（也许）"、"tackle（着手处理）"、"look（看看）"、"consider（考虑一下）"、"analyze（分析一下）"等，这些词往往出现在漫无目的的思考描述中，而非真正的推理跳转。

在数学领域，差值信号还特别强化了"note（注意）"、"why（为什么）"和"depending（取决于）"，这些词在数学推理中代表对关键前提的观察和条件判断。在编程领域，"imagine（假设）"、"oh（哦）"、"hmm（嗯）"这类反思性表达也得到了强化，说明推理训练让大模型在编程问题上发展出了更强的反思和自我纠错能力。

**七、OPD?的完整设计：两个关键机制**

确定差值信号是个好信号之后，研究团队还需要解决一个工程问题：直接用差值信号来训练，可能会导致训练不稳定。具体来说，传统OPD信号中包含了弟子自己的概率，这意味着当弟子的输出越来越接近大师时，信号会自然减弱，训练会趋向稳定收敛。但差值信号里没有弟子的成分，理论上即使弟子已经和大师一样好了，信号仍然存在，可能导致弟子被过度训练。

为此，团队设计了两个配套机制，就像给差值信号配备了两个"安全阀"。

第一个机制叫"中心化"：把信号减去它的期望值，让信号围绕零点波动。这样做的好处是让信号的方向更清晰，哪些词要强化（正信号），哪些词要压制（负信号），一目了然。传统OPD信号有一个天然的优势：当弟子的概率等于大师的概率时，信号恰好为零，不产生任何梯度。差值信号没有这个性质，中心化处理部分弥补了这个缺陷。

第二个机制叫"联合条件"：在使用差值信号更新弟子参数时，只有当差值信号和传统OPD信号方向一致时，才执行更新；如果两者方向相反，就跳过这次更新，不做任何修改。这个机制的意义是：差值信号告诉弟子"大师学到了什么"，传统OPD信号告诉弟子"你距离大师还差什么"，只有当这两个方向对齐时，才说明这次更新既符合学习目标又符合追赶目标。当弟子的输出已经完全等同于大师时，两个信号方向自然一致且都为零，训练自动停止，实现了稳定收敛。

这两个机制组合起来，就构成了OPD?的完整损失函数：以差值信号为主要驱动力，以中心化和联合条件为约束，确保训练既有方向性又有稳定性。

**八、实验验证：覆盖三大领域、多个模型规模**

理论设计之后，研究团队构建了一个相当全面的实验验证体系。他们选择了当时最前沿的开源推理模型作为实验对象：阿里云的Qwen3系列（1.7B、4B、8B三个规模）和谷歌的Gemma4系列（E4B规模），涵盖了从十亿量级到百亿量级的多种规模。

训练数据来自三个领域的公开问题集：数学推理用OpenMathReasoning，科学推理用OpenScienceReasoning-2，编程推理用OpenCodeReasoning。三个领域各抽取均等数量的问题，混合成一个多领域训练集，共十万道题目，每道题目在整个训练过程中最多使用一次，相当于不足一个训练轮次。

评估则更为全面，覆盖14个基准测试：数学方面包括AIME24、AIME25、AMC23、HMMT25、MATH500、OlympiadBench和ReasoningGym Math七个；编程方面包括CodeContests、CodeForces、LiveCodeBench和ReasoningGym Algorithm四个；科学方面包括GPQA、SuperGPQA和SciBench三个。

同时，研究团队还特别考察了Qwen3模型的两种工作模式：非思考模式（直接给出答案，不展示推理过程）和思考模式（逐步推导，类似于让模型"把草稿写出来"）。这是因为Qwen3在非思考模式下推理能力相对薄弱，而在思考模式下已经处于顶尖水平，两种模式代表了截然不同的挑战。

**九、非思考模式：大幅超越现有方法**

在非思考模式下，结果非常令人振奋。以Qwen3-1.7B（最小的那个模型）为例，原始模型在数学平均分只有34.8分，经过传统OPD训练后提升到51.0分，经过ExOPD（现有最先进方法）训练后是51.4分，而经过OPD?训练后达到了54.6分。

这种差距在更大规模的模型上依然持续。Qwen3-4B经过OPD?训练后数学平均分达到70.3，而ExOPD只有66.4，传统OPD只有64.0。有一个特别值得注意的现象：4B模型经过OPD?训练后，成绩超过了8B模型经过OPD和ExOPD训练后的成绩（分别是65.9和67.8）。换句话说，更好的训练方法可以让小模型超越用一般方法训练的更大模型，这在实际应用中具有重要的成本意义。

编程和科学领域的结果同样一致。在编程上，Qwen3-1.7B经过OPD?训练后平均分从10.5提升到29.4，比ExOPD高出4.8分。在科学上，三个规模的模型经过OPD?训练后均达到各自规模的最高分，分别是38.8、50.5和51.6。

**十、思考模式：在顶尖水平上继续提升**

思考模式的挑战要难得多：这些模型原本已经是世界上推理能力最强的开源模型之一，想在此基础上进一步提升，就像让奥运冠军继续提高成绩一样困难。而且实验表明，传统OPD在这个模式下经常适得其反，平均分反而低于原始模型。

OPD?在这个高难度任务上表现出了独特的稳定性。以Qwen3-8B为例，原始模型数学平均分73.7，传统OPD训练后降至72.2，ExOPD训练后勉强维持在73.6，而OPD?训练后提升到75.9。在最难的几个竞赛级别测试上提升尤为显著：HMMT25（一个面向高中生的国际数学竞赛）从44.3分提升到52.3分，而传统OPD和ExOPD分别只能达到43.3和46.3分。

在编程领域，Qwen3-8B的思考模式经过OPD?训练后，四个编程基准测试全部得到提升，平均分从50.8提高到57.8。科学领域同样呈现类似规律，OPD?在所有规模的模型上都取得了最佳成绩，而传统OPD和ExOPD则经常让科学成绩低于原始水平。

**十一、跨越模型家族：在Gemma4上的验证**

为了确认OPD?不只是针对Qwen3定制的技巧，研究团队还在完全不同的模型家族Gemma4上进行了验证。

结果非常能说明问题：传统OPD在Gemma4-E4B上几乎让所有指标大幅下降，数学平均分从60.6跌至58.9，编程平均分从55.2暴跌至36.9，这说明直接把传统OPD应用到一个新的模型家族可能相当危险。ExOPD在数学上有所改善，但在编程上依然严重下降（45.1，仍远低于原始55.2）。

OPD?则展现出更强的鲁棒性。数学平均分从60.6提升到67.8，其中AIME24（美国数学邀请赛2024）从51.7大幅提升到69.2，而ExOPD只能达到59.6。在编程上，虽然所有方法都未能超过原始模型的55.2，但OPD?保住了49.5分，远好于传统OPD的36.9和ExOPD的45.1，说明OPD?至少在保持现有能力方面更加稳健。

**十二、训练过程的动态变化**

除了最终成绩，研究团队还观察了整个训练过程中性能的变化曲线，揭示了三种方法在训练机制上的根本差异。

所有方法在训练的前二三十步都会经历快速提升，说明在线策略蒸馏的收益主要集中在训练早期。但之后的走势出现了分化：传统OPD和ExOPD往往在某个中间步骤达到峰值，然后随着训练继续反而开始下滑，最终成绩低于中途峰值。OPD?虽然也有波动，但整体保持在更高的水平上，最终成绩依然稳定领先。

这个发现有一个重要的实践意义：论文中所有的成绩都是在训练第100步（最后一步）时记录的，而不是选最佳检查点。这意味着OPD?的优势是系统性的，而不是某个偶然的好时机。

**十三、消融实验：哪个改动最重要？**

研究团队还系统分析了OPD?中每个设计选择的贡献，通过逐一"拆掉"某个部件来观察成绩的变化。

结果非常清晰：三个改动中，差值信号是最核心的。把差值信号换回传统OPD信号，非思考模式数学成绩从54.6下降到50.5，思考模式从62.7下降到57.4，降幅最大。联合条件（方向一致才更新）和中心化操作各自贡献了相对较小但仍然正向的提升。这个结果告诉我们：OPD?的关键创新是"学什么"（差值信号），而不是"怎么学"（联合条件和中心化），尽管后两者也起到了辅助稳定的作用。

**十四、计算成本：额外开销值不值？**

OPD?需要额外运行一遍"大师基础版"来计算差值信号，这意味着它比传统OPD需要更多计算资源。实验数据显示，Qwen3系列模型的训练时间增加了24%到28%，Gemma4增加了8%。与现有最先进的ExOPD相比，OPD?的额外开销非常接近，几乎可以忽略不计（OPD?增加27%，ExOPD增加24%，对于Qwen3-8B）。

考虑到OPD?换来的是显著更好的效果，这个额外开销是完全合理的投入。而且团队指出，他们当前的实现方式并没有针对差值信号计算做专门优化，实际上还有进一步降低开销的空间。

**十五、与相关工作的关系**

在这个领域，最相近的前人工作是ExOPD（Learning Beyond Teacher: Generalized On-Policy Distillation with Reward Extrapolation），这个方法同样引入了大师基础版模型，但用法完全不同。ExOPD计算的是"大师比大师基础版好多少"，然后把这个差距乘以一个大于1的系数（论文中λ=1.25），目的是让弟子学到比大师更厉害的能力——相当于老师已经学会了1.0版本的武功，但要求弟子练出1.25版本的水平。

OPD?的目标则不是"超越大师"，而是"更精准地学到大师推理训练的成果"。差值信号代表的是大师在推理训练中获得的知识增量，弟子通过学习这个增量来提升自己的推理能力，而不是盲目追赶大师的全部输出。

事实上，实验结果显示，OPD?的这种"精准蒸馏"策略在实际效果上全面优于ExOPD的"外推超越"策略，尤其是在模型已经很强的思考模式下，以及跨越模型家族的Gemma4实验中。

说到底，NAVER AI Lab这项研究的价值在于重新定义了"好的老师"应该传授什么。不是照搬老师的一切，而是精准提取老师"经过努力学到的部分"——这个道理不只适用于AI，在人类教育中同样成立。一个好的乒乓球教练不会让学生模仿自己的每个动作，而是着重教导那些经过多年摸索才掌握的发球技巧和步法节奏。

从实际意义上来看，这项研究意味着同等规模的小模型可以通过更好的训练方法获得更强的推理能力，这在计算资源有限的应用场景下（比如手机端AI、边缘设备推理）具有切实的工程价值。同时，OPD?的训练只需要100步左右就能收敛，远比完整的强化学习训练廉价，这让频繁更新AI能力的应用场景变得更加可行。

值得进一步思考的是：差值信号的概念是否可以推广到更多训练场景？比如，当模型需要学习多种不同技能时，是否可以分别计算每种技能对应的差值信号并加以组合？此外，如果一个模型经历了多轮推理训练，如何定义"基础版"这个参照系？这些都是未来值得探索的方向。有兴趣深入了解技术细节的读者，可以通过arXiv编号2607.15161查阅完整论文，代码也将在github.com/naver-ai/opd2上公开。

Q&A

Q1：OPD?和普通AI蒸馏训练有什么区别？

A：普通蒸馏训练（OPD）让小模型直接模仿大模型的全部输出，包括大模型天生的语言习惯和后天学到的推理能力。OPD?则计算大模型推理训练前后的"差值"，只让小模型学习大模型通过推理专项训练额外获得的能力，避免了无关语言习惯的干扰，因此在推理任务上效果更好。

Q2：OPD?训练需要哪些额外资源？

A：OPD?需要同时加载三个模型：学生模型（被训练的小模型）、教师模型（大模型）和教师基础版（大模型在推理训练之前的版本）。相比普通OPD，计算时间增加约24%到28%，与现有最先进方法ExOPD的开销基本持平，但换来了更好的训练效果。

Q3：差值信号为什么能更准确地识别错误推理？

A：传统信号比较的是大模型和小模型对同一词语的偏好，两者都对常见词语有偏好，导致即使推理出错，信号也可能是正的。差值信号比较的是大模型推理训练前后的变化，推理训练专门强化了逻辑正确的表达模式，因此差值信号能更敏锐地识别哪些推理步骤是错误的，给出更准确的负反馈。