蚂蚁联合提出稀疏OPD新思路：只监督0.1%的token就能追平全量！

智猩猩AI整理

论文作者投稿

在线策略蒸馏（On-Policy Distillation，OPD）里，如果教师只对 1% 的 token 给出指导，学生还能学得和逐 token 全量蒸馏一样好吗？

蚂蚁集团与 MBZUAI 的新研究成果给出的答案是：在多个设置下可以，有时 0.1% 就够了。

该研究关心的核心问题是：在学生自己生成的回答里，教师给出的监督梯度，是否总是可靠？

为此，研究团队提出信息效率比（Information-Efficiency Ratio, IER）——本质上是一个信噪比，用来衡量单次梯度估计中信号相对于采样噪声的强度。

• 论文标题：1% of Tokens Can Be Enough: On Gradient Estimation in On-Policy Distillation

01

OPD 在教什么，稀疏 OPD 在挑什么

OPD 有点像「学生先答，老师逐字批改」：学生针对题目自己写出一整段推理，教师在每个位置给出它认为下一个 token 应有的分布，学生再通过反向 KL 向教师看齐。

比起只看最终答案对错的奖励，这种逐 token 的反馈密集得多，OPD 也成了训练推理模型时越来越常用的做法。

可推理链动辄几千个 token，让教师在每个位置都出手，既未必划算，也未必必要：一条回答里，到底有多少 token 需要参与训练？稀疏 OPD 就是在回答这个问题，只在一小部分位置上施加监督。常见的挑法有：

• 看学生的不确定性，挑熵最高的位置（Entropy）；

• 看师生分歧，挑两者分布差得最远的位置；

• 看位置，只保留回答的前段（Prefix）；

• 综合多种信号打分，如 TIP、TA-OPD 等。

这些挑法各有侧重，关注的都是有用性（usefulness）：哪些 token 上的指导更有价值。研究团队要补上的，是与之互补的另一面。

02

症结：只靠一次采样来估梯度

研究团队研究的问题是：这份指导，能多可靠地转化为一次梯度估计？

在某个固定前缀上，反向 KL 的精确梯度要对整个词表求期望；而实际训练中，常见做法是只拿学生实际采样到的那一个 token 来近似它。

图 1：学生生成到「The sky is」，只采样一个 token（blue）来估计梯度；采样梯度（橙）可能明显偏离期望梯度（青）。

这个估计在平均意义上是对的，但单次估计可能会有很大的采样方差。即使是有用的教学信号，用一个采样 token 估计出来，也可能是一次噪声很大的更新。

这就像只掷一次骰子去估平均点数：骰子没问题，可一次的结果说明不了太多。

因此，研究团队主张挑 token 时同时看两个维度：这个位置的监督有用吗？这一次的梯度估得准吗？有用的监督最终也要通过梯度起作用，梯度估不准，效果就可能打折扣。

图 2：选 token 时同时考虑两个维度：已有指标衡量有用性，IER 补充梯度估计的准确性。

03

IER：给单次梯度估计算一个信噪比

为了刻画第二个维度，研究团队从信息几何出发，提出了信息效率比（Information-Efficiency Ratio，IER）。它本质上是一个信噪比：单次梯度估计里，信号相对于采样噪声有多强。

具体来说，研究团队在固定前缀上分析单样本梯度估计器，并引入一个不改变期望的标量基线来降低方差（类似策略梯度里的控制变量）。由于 OPD 优化的是两个分布之间的差异，研究团队没有用欧氏距离，而是用 KL 散度诱导的 Fisher 几何来度量误差，得到了信号与噪声的分解：

其中 ρ(a) = log(pa / qa) 是学生与教师的对数似然比，L(a) = (1-pa) / pa 是「杠杆因子」，b* 是让噪声最小的最优基线。IER 就是最优基线下信号与噪声之比。

IER 越高，单次估计越贴近期望梯度；IER 很低时，教师的指导本身再有价值，这一步更新也可能被采样噪声带偏。

IER 还有一个直观的含义：IER 的倒数，正是最优基线下单样本梯度估计的相对均方误差；在同一前缀下独立采样 n 次取平均，相对均方误差会降为 1/(n·IER)。

需要强调的是：IER 衡量的是梯度「估得准不准」，不是监督「有没有用」。 研究专门指出，IER 高并不代表这个 token 更有用。

落地时，精确计算 IER 需要遍历整个词表，代价太高。研究团队在一个小候选集上近似：学生 logits 的 Top-16、教师 logits 的 Top-16，再加上实际采样的 token。然后把 IER 的排名与已有的有用性分数组合起来：

• IER-OR：1 − (1 − u)(1 − r)，有用或可靠，任一维度得分高都可能入选；

• IER-AND：u · r，只有有用且可靠的 token 才会得到高分。

整个 rollout batch 的 token 在同一个全局预算下竞争（每条回答至少保留一个 token），只有被选中的位置才计算采样反向 KL。训练目标本身没有变，变的只是在哪些位置使用教师监督。

IER 的分布是极端重尾的。研究观察到：通常不到 0.1% 的 token，IER 超过 1。

IER 小于 1，意味着单次采样估出的梯度，噪声比信号本身还大。换句话说，在研究工作的近似下，绝大多数位置的单次梯度估计都被噪声主导。

折算下来，通常每 1000 个 token 里，还摊不到 1 个信号压过噪声的位置。这也意味着，不加区分地监督所有 token（全量 OPD），未必是最好的做法。

04

实验：千分之一的监督，能做到什么程度

实验覆盖两类任务：

• 数学推理：两组师生，JustRL-Nemotron-1.5B → OpenMath-Nemotron-1.5B 和 JustRL-Qwen3-4B → Qwen3-1.7B，在 AIME 2025/2026 与 HMMT 2025/2026 上报告 Bayes@32；

• 医疗推理：把 ClinAlign-4B 蒸馏到 Qwen3-4B，报告 HealthBench 总分与 Hard 分。

对比的有用性选择器包括 Prefix、Entropy、TIP、TA-OPD 和 CA-SoftOR，监督预算设为 10%、1% 和 0.1% 三档。

数学推理：在 JustRL-Qwen3-4B → Qwen3-1.7B 上（thinking-off），0.1% 预算下的TIP+IER-AND 在全部四个数学基准上都超过了全量 OPD：AIME25 19.4 vs. 14.4，AIME26 16.3 vs. 12.5，HMMT25 11.7 vs. 8.7，HMMT26 14.4 vs. 13.4（Bayes@32，%）。

把这一设置下的所有方法放在一起看，差别更加明显：11 种加入 IER 的方法中，有 10 种的四项平均分高于全量 OPD（12.25），其中 TIP+IER-AND 达到 15.45，高出约 3 个百分点。而原有的 5 种有用性选择器、随机选择以及同期工作中的两个选择器，在千分之一的极端预算下，平均分都没有超过全量 OPD。

图 3：JustRL-Qwen3-4B → Qwen3-1.7B，0.1% 监督预算，关闭思考模式。左：各方法在四个数学基准上的平均 Bayes@32，虚线为全量 OPD；右：各基准相对全量 OPD 的提升（百分点）。青色为加入 IER 的方法，灰色为原有选择器，橙色为随机选择与同期工作的选择器。

不过，数学推理上的结果明显依赖师生组合和选择器。在 JustRL-Nemotron-1.5B → OpenMath-Nemotron-1.5B 上，0.1% 和 1% 预算下的稀疏配置大多低于全量 OPD，其中 1% 预算下，TA-OPD+IER-AND 与全量 OPD 表现相当。

医疗推理：0.1% 的预算，大约相当于每条轨迹只监督一个 token：

• 全量 OPD 的 HealthBench 总分为 45.77；

• 单用 IER 选 0.1% 的 token，总分 45.25，与全量只差约 0.5 分；

• TIP+IER-OR 达到 46.08，总分略高于全量 OPD（Hard 分 19.61，全量为 19.77）；

• 只选位置最靠前（Prefix）的 0.1% 时只有 38.30，和蒸馏前的学生（38.23）几乎一样；加上 IER-OR 后提升到 44.98。

图 4：医疗推理完整结果（HealthBench 总分 / Hard），多数组合加入 IER 后分数更高；其中 TA-OPD+IER-AND 在 10% 预算下达到 46.11 / 20.45，与教师（46.37 / 20.24）相当，Hard 分甚至略高。

整体来看，在大多数设置里，加入 IER 能让已有选择器选出更好的 token。但收益取决于选择器和设置，比如以 Entropy 为基础的组合，在数学推理上有时反而会下降。研究团队的解释是：有用性分数和 IER 都只是近似，组合起来并不保证选得更好。

为什么两个维度结合会有用？

研究团队比较了不同选择器选出的 token：除 Prefix 外，它们对全部 token 的排序往往高度相关，但具体到前 10% 被选中的 token，IER 与有用性选择器的重合度可能很低（例如在 Nemotron 这组师生上，IER 与 TIP 的 Jaccard 相似度只有 0.15）。

有用的 token，梯度未必估得准；梯度估得准的 token，也未必有用。两个维度看的是不同的东西，整体趋势又是正相关，正好可以互补。

图 5：不同选择器对全部 token 的排序可以高度相关，选出的前 10% token 却可能重合很少。

不过，训练中的 0.1% 是名义上的监督预算，而不是 0.1% 的算力。

研究工作的实现没有裁剪任何轨迹：回答照样完整生成，每个位置照样要打分、筛选，计算 IER 还会带来一点额外开销。实验的测量显示，在保留 10% token 的设置下，IER 及其组合的单步训练时间比全量 OPD 多 2.2%～2.5%，8 卡聚合峰值显存最多增加 2.17 GiB（0.92%）。

也就是说，监督预算降到 0.1%，计算开销并不会按比例减少。研究工作的价值在另一面：它说明能有效推动学习的监督，可能比想象中稀疏得多。

研究团队也观察到，IER 在回答靠后的位置整体偏低，并提出了一个未来方向：当靠前位置中梯度可靠的 token 已经凑够预算时，提前截断轨迹。一旦做成，后半段的生成和打分都可以省掉。

05

预算更高，表现不一定更好

研究团队在 0.1%、1%、5%、10%、20%、50%、80% 七档预算上做了扫描，三组师生全部覆盖。曲线并不是一路向上：预算加大后，表现有时几乎不再提升，有时还会回落。

当基础选择器较弱（如 Prefix）、预算又极小时，加入 IER 的提升最明显。在数学推理上，1%～5% 的预算配合有用性与 IER，就能在若干设置中追平或超过全量 OPD。在医疗推理上，0.1% 和 1% 的预算即可做到。

图 6：医疗推理中，0.1%–80% 预算下 Prefix（左）与 TIP（右）加/不加 IER-OR 的 HealthBench 总分（上）与 Hard 分（下）。

研究团队给出的解释有两层：一是启发式的有用性分数本身只是近似，可能选错；二是即便 token 有用，它的梯度估计也可能很差，从而误导训练。这两种情况，都可能让多出来的预算收益变小，甚至变成负收益。

06

思考模式开或关，IER 都有帮助

前面 Qwen3 上的实验都是在关闭思考模式下做的。研究团队又打开思考模式，把推理 token 也纳入选择范围，对比了两种模式。

结果显示：开启思考模式后，单用 TIP 可能不如全量 OPD，甚至比蒸馏前的学生还差；而在两种模式下，TIP+IER-AND 在大多数情况下都带来了提升，在 0.1% 和 1% 的预算下收益最大。也有例外：开启思考模式时，HMMT26 上小预算的 TIP+IER-AND 并不占优。

图 7：JustRL-Qwen3-4B → Qwen3-1.7B 上开启（蓝）与关闭（橙）思考模式的对比，虚线为 TIP，实线为 TIP+IER-AND。

07

结语：有用性之外，还要看可靠性

在稀疏 OPD 里，该研究工作给选 token 加上了第二个维度：除了问「它有没有用」，还要问「这一次的梯度估得准不准」。实验表明，把有用性与梯度估计可靠性结合起来，0.1%～1% 的监督预算就能在多个设置下追平甚至超过全量 OPD。研究团队也坦言：收益因选择器和设置而异，有用性分数和 IER 本身都只是近似，没有哪个选择器在所有设置下都最好。

当极少数 token 就能支撑这么多学习时，监督究竟该如何分配？这是研究团队认为接下来很值得研究的开放问题。

关注+星标，获取AI前沿进展与开源一线动态