1%的Token够用了：大模型蒸馏中一个被忽略的问题

你有没有想过这样一个问题：老师给学生批改作业，如果只挑一道题精批细改，能不能比批改全部作业更有效？

这听起来违反直觉。按照常理，批改得越多，学生学得越扎实。但2026年9月的一篇论文告诉我们，在大语言模型的蒸馏训练里，答案可能恰恰相反。研究者发现，只挑选0.1%到1%的token进行监督，效果居然能追平甚至超过全量蒸馏。这不是偷懒，而是发现了一个此前被所有人忽略的技术漏洞。

先说清楚背景。所谓在线策略蒸馏（on-policy distillation，简称OPD），指的是让学生模型自己生成文本，然后由老师模型对学生生成的每一步给出打分和纠正，帮助学生模型逐渐学会像老师一样思考和表达。

在线策略蒸馏：学生模型基于自己的生成轨迹接受老师模型的实时监督，而不是死记硬背老师提前写好的标准答案。这种方式让老师能够针对学生的实际弱点进行纠正，理论上比传统的模仿学习更高效。

这套系统目前主流的做法是用反向KL散度作为损失函数，让学生的输出分布尽量贴近老师的输出分布。

反向KL散度：一种衡量两个概率分布差异的数学工具，在这里用来量化学生模型的下一个词预测和老师模型的预测之间差了多少。

问题出在哪儿呢？在实际训练中，词表可能有几万甚至几十万个候选词，但每次计算梯度时，系统往往只根据学生随机采样出的一个词来估计整体的期望梯度。这就好比你想知道全班同学对某道题的平均理解程度，却只抽查了一个学生的答案就下结论。抽到理解好的学生，你会高估全班水平；抽到理解差的，你会低估。样本量太小，估计的噪声就会很大。

这篇论文的核心贡献，就是把这个直觉严格地数学化了。

核心问题：老师说得对，不代表估计得准

先说一个反直觉的事实。此前的研究者大多在琢磨"哪些token对学生更有用"，比如TIP方法用熵和师生分歧度打分，TA-OPD看老师和学生在候选词上的意见不一致程度，还有一批研究专门盯着句子开头的token，认为越靠前的位置监督质量越高。这些方法本质上问的是同一个问题：这个token值不值得学？

但这篇论文提出了一个此前没人系统关注的维度：即使这个token确实值得学，你对它的梯度估计准不准？

这两件事听起来像是一回事，其实完全不是。想象你在玩飞镖，靶心代表"正确的更新方向"。一个token可能"有价值"，意味着瞄准靶心这件事本身很重要。但"梯度估计可靠"说的是另一码事，是你这一镖投出去，落点离靶心有多远、飘忽不飘忽。一个战略意义重大的靶子，如果你手一直在抖，投出去的镖照样乱飞。反过来，一个不那么重要的靶子，如果你投得极稳，至少不会拖后腿。

研究者观察到，这两种属性在实际的token选择中经常互相脱节。他们计算了不同选择方法之间的Jaccard相似度（衡量两组选中的token重叠程度）和Spearman秩相关（衡量排序趋势是否一致），结果发现，各种基于"有用性"的方法之间，排序趋势相关性很高，但具体选中的前10%token集合，重叠度却相当有限。这说明"有用"和"可靠"确实是两条不完全重合的轴线，一个token的教学价值高，不代表它的梯度信号干净。

信息几何视角下的信号与噪声

论文接下来做的事情，是把这个直觉严格推导出来。他们借用了策略梯度研究中的一个老工具，叫做控制变量基线（control variate baseline）。

控制变量基线：在梯度估计中引入一个不依赖具体采样结果的调整项，目的是在不改变期望值的前提下，压低估计的波动幅度。这个思路最早可以追溯到1992年Williams提出的REINFORCE算法，那是策略梯度方法的奠基之作。

具体来说，研究者在一个固定的上文前缀下，把反向KL梯度的期望值拆成了两部分：一部分是"信号"，代表这个位置真正携带的有效训练信息；另一部分是"噪声"，代表单次采样带来的估计误差。他们用Fisher信息矩阵定义的自然几何结构，而不是普通的欧氏距离，来度量这两部分的大小，因为反向KL本身衡量的就是分布之间的差异，用概率分布自带的几何结构去衡量误差，比生搬硬套坐标系距离更贴合问题的本质。

在这套几何框架下，研究者证明了一个漂亮的结果：存在一个唯一的最优标量基线，能让噪声最小化。用这个最优基线下的信号除以噪声，就得到了论文提出的核心指标，叫做信息效率比（information-efficiency ratio，简称IER）。

信息效率比IER：在最优基线条件下，某个token位置梯度信号强度与采样噪声强度之比。IER越高，说明这个位置的梯度估计越可靠，用一次采样就能较准确地反映真实的更新方向；IER越低，说明单次采样的结果很可能是噪声主导，训练时反而可能把模型带偏。

论文还进一步证明，IER的倒数恰好等于单次采样估计的相对均方误差。如果你想把误差降到某个阈值以下，需要采样的次数和IER成反比，IER越低，需要采样的次数就越多才能得到可靠估计。这个结论也说明了一件很实际的事：如果某个位置IER很低，那么与其反复采样去凑一个准确的梯度，不如干脆放弃这个位置，把算力花在IER更高、一次采样就够用的位置上。

这就像你在嘈杂的餐厅里想听清楚朋友说的一句话。如果背景音乐震耳欲聋（相当于噪声极大），你可能得让朋友重复十遍才能听清（相当于要采样很多次才能降噪）。但如果餐厅本来就很安静（IER高），朋友说一遍你就听懂了。全量蒸馏的做法，相当于不管餐厅吵不吵，都要求朋友把每句话说十遍，浪费了大量不必要的精力在那些其实一遍就听清楚的话上，也没能真正解决在嘈杂环境里说的那几句话根本听不清的问题。

如何在真实场景里计算IER

理论虽然优美，但要在每个前缀上对整个词表做这套计算，开销大到不现实。研究者于是设计了一个候选集近似方案。

具体做法是，在每个前缀位置，只取学生模型和老师模型各自打分最高的16个候选词（记为top-K，这里K=16），再加上当前实际采样到的那个词，合并成一个候选集合（大小在16到33之间）。对于集合外的词，赋予一个很小的兜底概率，然后在这个小集合内重新归一化，计算近似的对数似然比和近似IER。

top-K候选集：从全词表中挑出概率最高的K个候选词构成的小集合。这是自然语言处理里常见的降维技巧，因为绝大多数概率质量往往集中在少数几个高频候选词上，忽略掉概率极低的长尾词，对结果影响很小，却能大幅降低计算量。

研究者用这套近似方法给每个rollout批次里的所有token打分排序，得到一个0到1之间的归一化排名。这个排名可以单独用来选token，也可以和已有的"有用性"分数结合。他们设计了两种结合方式，一种是软或运算（IER-OR），只要有用性分数高或者IER高，就有较大机会被选中，体现的是"两个优点任占其一即可"的宽松策略；另一种是软与运算（IER-AND），要求有用性分数和IER同时都高，体现的是"必须两全其美"的严格策略。

这两种组合方式代表了完全不同的哲学。软或运算更像是招聘时的"一票候选"机制，只要一个候选人某项能力特别突出，哪怕另一项平平，也给机会面试。软与运算则像是精英选拔，要求各项指标都过硬，一项不达标就直接淘汰。论文的实验证明，这两种策略在不同任务和不同预算下各有胜场，没有哪一种能通吃所有场景，这也提醒我们，简单粗暴地追求"完美token"未必是最优解，有时候容忍一点短板反而能捞到更多有价值的信息。

实验：0.1%的预算能做到什么程度

研究者在两大类任务上做了验证。一类是数学推理，用的是可验证的标准答案；另一类是医疗推理，属于开放式问答，需要用另一个大模型（gpt-oss-120B）来打分评判。

在模型配对上，他们设计了两种典型场景。一种叫强到弱蒸馏，师生模型架构和规模相同，只是老师经过了专门的强化学习训练。另一种叫大到小蒸馏，用规模更大的老师模型去教一个更小的学生模型，比如用JustRL-Qwen3-4B教Qwen3-1.7B。

数学推理这边，训练数据来自DAPO-Math-17k题库，评测则覆盖了AIME 2025/2026和HMMT-Feb 2025/2026四套赛题，用Bayes@32这个指标衡量32次采样下的综合表现。

先看一个让人意外的现象。研究者发现IER得分的分布呈现极端的长尾形态，只有不到0.1%的token得分超过1，这意味着绝大多数位置的估计噪声其实超过了信号本身。换句话说，全量蒸馏里的大部分梯度更新，可能根本就是在拿噪声当信号用。

具体到数字上，在JustRL-Nemotron-1.5B到OpenMath-Nemotron-1.5B这组配对里，只用IER单独选0.1%的token，在AIME26上跑到58.9分，全量蒸馏是59.9分，差距不到1分；在HMMT26上是34.1对34.7，同样接近。而在另一组Qwen3配对里，IER在四个测试集里的三个上，甚至超过了全量蒸馏。

医疗推理任务上的结果同样惊人。0.1%的预算大约相当于每条轨迹只挑一个token，即便如此，IER方法得到的HealthBench总分是45.25，非常接近全量蒸馏的45.77。相比之下，只按位置靠前原则选token的Prefix方法，在同样预算下几乎没有任何提升效果，只有38.30分。

把IER和已有的有用性打分结合起来后，效果进一步提升。TIP加上IER-AND，在0.1%预算下医疗任务的总分和困难题分数分别达到46.08和19.61，已经追平甚至略微超过全量蒸馏（45.77和19.77）。在数学任务上，TIP+IER-AND在0.1%预算下于Qwen3配对中稳定超越全量蒸馏。表现最差的基线Prefix，配上IER-OR之后从38.30/8.68暴涨到44.98/19.49，几乎是脱胎换骨。

以下是部分核心数据的整理（数学推理任务，Bayes@32指标，单位为百分比）：

| 方法 | 预算 | AIME25 | AIME26 | HMMT25 | HMMT26 |

| 全量OPD | 100% | 56.3 | 59.9 | 36.9 | 34.7 |

| Prefix | 0.1% | 51.6 | 57.8 | 34.6 | 33.4 |

| Prefix+IER-OR | 0.1% | 54.9 | 59.1 | 34.0 | 34.9 |

| TIP+IER-AND | 0.1% | 52.1 | 56.1 | 35.8 | **34.8** |

（数据来自JustRL-Nemotron-1.5B到OpenMath-Nemotron-1.5B配对，完整数据见原论文表格）

预算不是越大越好

这里有个更颠覆常识的发现。研究者把预算从0.1%一路加到80%，画出了完整的曲线。

按照直觉，预算越大，监督越充分，效果应该单调上升才对。但实验结果并非如此，很多设置下，预算加到5%到10%左右效果就见顶了，继续加大预算，性能反而可能停滞甚至下滑。

这就好比给一个孩子补课，你以为每天陪读8小时一定比陪读半小时效果好，但实际情况是，如果那8小时里大部分时间孩子在走神、老师在讲他早就会的内容，真正有效的可能就是那半小时里精准点拨的几句话。剩下的时间不仅没有帮助，反而可能因为疲劳和信息过载拖慢了学习进度。

论文对此给出了两种可能的解释。一种是有用性打分本身不准，某些看似重要的token其实是判断失误；另一种是即便token真的重要，它的梯度估计依然可能充满噪声，把这种带噪声的更新混进训练里，反而会把模型往错误方向带偏。这两种因素混杂在一起，导致盲目加大预算未必是好事。

thinking模式下的表现差异

论文还测试了思考模式（thinking-on）和非思考模式（thinking-off）下的差异。在Qwen3模型上，打开思考模式意味着推理过程本身也会生成大量token，并被纳入选择范围。

结果显示，在非思考模式下，稀疏蒸馏方法经常能匹敌甚至超过全量蒸馏；但在思考模式下，单独使用TIP有时表现还不如学生模型本身的基线水平，说明思考链条更长、更复杂时，纯粹的有用性打分更容易失效。而把TIP和IER-AND结合起来之后，无论开不开思考模式，性能都能稳定改善。这进一步印证了论文的核心主张：有用性判断需要靠谱的梯度估计来兜底，单靠一个维度容易翻车。

训练成本方面，研究者也做了测算。IER以及它和TIP、TA-OPD的组合，相比全量OPD，平均单步训练时间只增加了2.2%到2.5%，GPU显存峰值增加不到1%。不过要说明的是，虽然只选了10%的token参与梯度计算，但完整的推理轨迹依然要全部生成出来，因此这套方法目前节省的主要是训练时的梯度更新成本，而不是生成阶段的算力。

这项工作建立在一系列前人的研究基础上，也启发了后续的探索。比如同期的一篇论文（Liu et al., 2026d）发现，每条轨迹里哪怕只选一个token，配合奖励值筛选，也能取得不错效果，这与本文0.1%预算下的发现形成了呼应，但研究者也注意到，这类方法在换到不同的模型配对时表现并不稳定，有时甚至不如随机选择。另外，vOPD（Oh et al., 2026）此前专门研究了如何用控制变量降低单样本梯度估计的方差，本文则是在这个基础上，进一步把降噪的思路转化为了一个可以直接用来筛选token的排序指标，这是一个从"如何降噪"到"如何利用噪声大小做决策"的思路延伸。

写在后面

读完这篇论文，最触动我的一点是研究者选择了一个几乎所有人都默认成立、却从没人认真质疑过的假设下手：既然反向KL的梯度是对整个词表的期望，那单次采样估计出来的梯度，到底有多可信？这个问题看似基础得不值一提，但正因为太基础，反而长期被绕过去了。

论文里那个IER得分呈现极端长尾分布的发现，我觉得比最终的性能提升数字更值得琢磨。不到0.1%的token拿到了高IER得分，这意味着在绝大多数训练步骤里，模型接收到的梯度信号里噪声成分远大于有效信号。换句话说，过去大家投入巨量算力去做的全量蒸馏，可能大部分时间都在给模型喂噪声，只是因为信号和噪声混在一起，效果看起来还凑合，没人意识到浪费有多严重。

还有一点值得单独说说。研究者明确指出IER高不代表这个token有用，高IER只保证梯度方向估计准，不保证这个方向本身值得走。这个区分听起来微妙，但它恰恰解释了为什么IER-AND和IER-OR这两种组合策略在不同场景下会互有胜负。如果IER和有用性是完全独立的两个维度，那单靠任何一个维度做决策都注定是有缺陷的，真正靠谱的做法只能是把两者结合起来考量，而这恰恰是论文最后落脚的地方。

这套思路会不会延伸到别的场景？比如在强化学习里，奖励信号的估计噪声是不是也存在类似的长尾现象，是不是也存在那么一小撮"高信息效率"的状态转移，真正决定了训练的走向？如果真是这样，那"少即是多"这件事，可能远不止在token选择这一个角落里成立。

Q&A

Q1：信息效率比IER是什么？

A：IER是论文提出的一个指标，用来衡量在线策略蒸馏中某个token位置的梯度估计有多可靠。它是在最优基线下信号强度和噪声强度的比值，IER越高说明单次采样得到的梯度越接近真实方向，越低则说明估计主要是噪声。

Q2：只选1%的token训练效果真的能追平全量蒸馏吗？

A：是的，论文在数学推理和医疗推理任务上都验证了这一点。把IER和已有的有用性打分（比如TIP、TA-OPD）结合后，在0.1%到1%的极小预算下，多个配置能匹配甚至超过使用全部token的全量在线策略蒸馏效果。

Q3：为什么token预算越大效果不一定越好？

A：实验发现很多设置下预算加到5%到10%效果就见顶，继续加大反而可能下滑。原因可能是有用性打分本身存在误判，也可能是即便token重要，其梯度估计依然噪声很大，混入训练反而把模型带偏。