ICML 2026｜小模型也能「指挥」大模型RL后训练：清华&腾讯提出GPS

来源：市场资讯

RLVR 已经成为提升大模型推理能力的重要后训练路线。

在数学推理、代码生成和复杂逻辑任务中，模型会针对同一个 prompt 生成多条 Chain-of-Thought，再通过可验证奖励判断对错，并据此更新策略。

但这条路线有一个很现实的问题：成本高。每个训练 step 都需要大量 rollout，而这些 rollout 往往意味着反复调用大模型生成长答案。

那么，有没有可能不再 “平均用力”，而是让一个小模型提前判断：哪些 prompt 更值得拿来训练？

来自清华大学与腾讯的研究者提出了 Generalizable Predictive Prompt Selection（GPS）。GPS 的做法很直接：先训练一个小型、可泛化的 Prompt Predictive Model（PPM），让它预测不同 prompt 在当前模型下的难度；再根据难度和 batch 多样性选择训练样本，从而减少无效 rollout。

实验显示，GPS 在数学推理和逻辑推理任务上都带来了明显收益：相比 Uniform 随机采样，训练步数加速达到 1.4×–2.0×；相比需要真实评估的 DS（Dynamic Sampling）Oracle 基线，GPS 在保持相近甚至更优性能的同时，最多减少 69% rollout 成本，训练时间减少 28%–47% 。更有意思的是，这个训练过程中学到的小预测模型，还可以复用到测试时计算分配中：在固定预算下最高提升 3.2% ，或在性能不下降的情况下最多节省 36.4% 推理计算。

• 论文标题：Small Generalizable Prompt Predictive Models Can Steer Efficient RL Post-Training of Large Reasoning Models

• 论文地址：https://arxiv.org/abs/2602.01970

• 代码地址：https://github.com/thu-rllab/GPS

• 论文作者：Yun Qu、Cheems Wang、Yixiu Mao、Heming Zou、Yuhang Jiang、Weijie Liu、Clive Bai、Kai Yang、Yangkun Chen、Saiyong Yang、Xiangyang Ji

• 机构：清华大学自动化系季向阳教授团队、腾讯混元（LLM Department, Tencent）

研究背景：RL 后训练很强，但 rollout 成本太高

近年来，大语言模型在数学、代码和复杂问题求解上的进步，很大程度上依赖强化学习后训练。

尤其是 RLVR：模型针对一个 prompt 生成多条长链式推理回答，再通过可验证奖励函数判断对错，最后用 GRPO、PPO、Reinforce++ 等算法更新策略。

这种方法有效，但代价非常高。原因很直接：每个训练 step 都需要大量 rollout，而 rollout 需要真实调用大模型生成长答案，计算和显存开销都很大。

更关键的是，并不是所有 prompt 都同样有训练价值。

如果一个题太简单，模型几乎每次都能答对，奖励没有变化，梯度信号很弱；如果一个题太难，模型几乎每次都答错，同样很难提供有效学习信号。真正有价值的，往往是那些 “模型有时能答对、有时会答错” 的中等难度 prompt。

这意味着，RL 后训练的核心问题之一不是 “能不能多训练”，而是：

能不能在每一步训练前，先找出更值得训练的 prompt？

已有方法大致分为两类。

一类是基于真实评估的方法，例如 Dynamic Sampling（DS）。它会对候选 prompt 额外做真实 rollout，再筛掉无效样本。这类方法效果不错，但额外评估本身就非常昂贵。

另一类是基于预测的方法，例如 MoPPS、GRESO 等。它们试图根据历史奖励估计 prompt 难度，避免大量额外 rollout。但这些方法通常把每个 prompt 当成独立对象建模：某个 prompt 被采样得多，难度估计就更准；采样得少，信息就很稀疏。更麻烦的是，大模型在训练中不断变化，同一个 prompt 的难度也会随时间变化，独立建模很难跟上这种动态变化。

因此，论文提出了一个更直接的问题：

是否可以构建一个轻量但可泛化的 PPM，让它利用整个优化历史，在不同 prompt 之间共享信息，并用更好的 batch 选择策略提升 RL 后训练效率？

GPS 正是围绕这个问题展开：它不再依赖每一步都做昂贵的真实评估，而是用一个轻量 PPM 提前估计 prompt 的训练价值。

方法：用小型可泛化 PPM，

预测哪些 prompt 更值得训练

GPS 的目标不是替代大模型，也不是改变 RLVR 算法本身，而是在训练数据选择环节充当 “导航器”。

它先用 Generalizable PPM 预测候选 prompt 的难度，再结合中等难度收益和 batch 多样性挑选训练样本。训练完成后，这个 PPM 还可以继续用于测试阶段，根据题目难度分配 Best-of- 采样预算。

1. 从 “单题记账” 到 “共享历史”：可泛化的 Prompt Predictive Model

传统 prompt-specific PPM 的问题在于，它更像是给每道题单独建一本账：这道题过去答对几次、答错几次，就用这点历史估计它现在的难度。

但模型能力的变化并不是按题目孤立发生的。训练过程中，模型在某一类题型上变强后，语义相近、结构相似的其他题也可能随之变容易。

为此，GPS 引入了一个全局潜变量，也就是论文中所说的 difficulty context。它可以被理解为一个压缩后的 “当前训练状态”，用于记录模型在过去优化过程中积累出的难度信息。

在第 步训练时，GPS 会根据历史 生成 difficulty context，再结合候选 prompt，预测该 prompt 的成功率 。这个 可以理解为当前大模型解决这个 prompt 的概率。

因此，即便某个 prompt 过去很少被采样，GPS 也不至于完全缺少依据，它仍然可以参考相似 prompt 的历史表现来估计难度。

论文还给出了理论分析：在历史信息确实包含额外预测信号时，使用完整优化历史进行预测，相比只使用 prompt-specific 历史，能够获得更低的预测均方误差。

2. 不只挑 “中等难度”，还要避免 batch 内重复

只预测难度还不够，关键是如何选择一整个 batch。

GPS 采用了一个统一的 batch utility。它由两部分组成。

第一部分是难度收益。GPS 更偏好成功率接近 0.5 的 prompt，因为在二值奖励场景中，这类样本更容易产生非零奖励方差，也更可能给 GRPO 等算法提供有效梯度。

第二部分是多样性收益。GPS 不希望一个 batch 里的 prompt 都来自相似题型，否则训练信号会冗余。它同时考虑：

• batch 内 prompt 之间要有足够分散度；

• 当前 batch 与上一轮 batch 之间也要保持探索性。

这种设计被论文称为 history-anchored diversity。直观理解就是：既要选 “难度刚好” 的题，也要让训练覆盖更多不同区域，避免模型在局部题型上反复打转。

3. 测试时也能用：把 PPM 变成计算预算分配器

GPS 的另一个亮点是，PPM 不只服务训练。

在测试时，大模型常常会用 Best-of- 采样：同一道题生成多次答案，再从中选更好的结果。但如果每道题都分配同样的采样次数，就会浪费预算。

对特别简单的题，少采样就够了；对几乎不可解的题，多采样也未必有用；真正值得投入更多计算的，是 “有挑战但仍可能解出来” 的题。

GPS 训练得到的 PPM 可以预测测试 prompt 的难度，并据此把测试样本分成不同区间：容易题和近乎不可解的题少分配预算，中等偏难、仍有希望的题多分配预算。

训练阶段学到的难度判断，也就可以继续用于测试阶段的计算预算分配。

实验设置：数学推理与逻辑推理，

两类任务全面验证

论文在两类代表性推理任务上验证 GPS。

数学推理方面，训练集使用 DeepScaler，包含 40.3k 个竞赛级数学问题；模型包括 DeepSeek-R1 Distill 1.5B 和 7B；评测集包括 MATH500、OlympiadBench、Minerva Math、AMC23、AIME24 等。同时，论文还用 MMLU-Pro、ARC-c、GPQA-diamond 测试 out-of-distribution 泛化能力。

逻辑推理方面，论文使用 Countdown Number Game，在 Countdown-34 的 20k 子集上训练，并在 CD34 和更难的 CD4 上评测；模型包括 Qwen3-4B-Base、Qwen3-8B-Base，以及附录中的 Llama-3.2-3B-Instruct。

对比方法包括：

• Uniform：随机采样 prompt；

• MoPPS：为每个 prompt 维护独立 Beta 后验；

• PCL：使用 LLM 估计 prompt 难度；

• GRESO：基于历史奖励统计进行概率过滤；

• DS / DS Oracle：通过真实额外评估筛选 prompt，效果强但成本高。

实验结果一：

GPS 很快学会预测 prompt 难度

论文首先考察 PPM 的预测质量，使用 Spearman rank correlation 衡量预测难度与经验成功率之间的排序相关性。

结果显示，GPS 只需要很少训练步数，就能快速建立有效相关性；随着优化历史积累，相关性继续提升，p-value 也快速降低。换句话说，PPM 学到的不是某几道题的孤立记录，而是训练过程中逐渐形成的 prompt 难度排序。

进一步比较发现，GPS 的难度预测质量显著优于 MoPPS；同时，在有效样本比例 ESR 上，GPS 也明显高于 Uniform 和 MoPPS。

这里的 ESR 指一个 batch 中能够产生非零奖励方差的 prompt 比例。ESR 越高，说明这个 batch 中真正能提供训练信号的样本越多。

实验结果二：训练更快，性能也更高

在训练曲线上，GPS 在 Countdown 4B、Countdown 8B、DeepScaler 1.5B、DeepScaler 7B 等多种设置下，都比 Uniform 更快达到相同性能水平。

论文报告，相比 Uniform，GPS 在训练步数上带来 1.4×–2.0× 加速。

如果把横轴从训练 step 换成 rollout 数量，GPS 的优势会更明显。

因为 DS 需要额外真实评估候选 prompt，虽然它在 step 维度上是强基线，但 rollout 成本显著更高。相比 DS，GPS 最多减少 69% rollout，同时仍保持相当甚至更好的最终效果。

数学推理结果

数学推理结果中，GPS 的优势主要体现在两个方面：一是平均准确率达到或超过 DS Oracle，二是在多数设置下训练时间更短。

模型/方法

ID 平均准确率

OOD 平均准确率

DSR-1.5B

43.7

29.0

+ Uniform

54.9

31.7

+ PCL

55.8

33.0

+ GRESO

55.2

32.6

+ MoPPS

55.4

31.2

+ DS Oracle

56.5

32.7

+ GPS

56.5

33.5

DSR-7B

57.1

48.6

+ Uniform

65.5

47.1

+ PCL

66.5

49.1

+ GRESO

65.8

51.4

+ MoPPS

65.9

50.9

+ DS Oracle

67.0

49.9

+ GPS

67.4

51.5

可以看到，在 DSR-1.5B 上，GPS 的 ID 平均准确率达到 56.5，与 DS Oracle 持平，但训练时间只有 16h，而 DS Oracle 需要 30h；在 OOD 平均准确率上，GPS 达到 33.5，是该组最好结果。

在 DSR-7B 上，GPS 的 ID 平均准确率达到 67.4，超过 DS Oracle 的 67.0；OOD 平均准确率达到 51.5，同样是最好结果。与此同时，GPS 训练时间为 49h，明显低于 DS Oracle 的 77h。

逻辑推理结果

Countdown 结果也延续了类似趋势。

模型/方法

CD4 Avg@16

CD34 Avg@16

Qwen3-4B

1.3

3.5

+ Uniform

51.1

73.8

+ PCL

51.0

72.8

+ GRESO

53.8

73.8

+ MoPPS

52.9

73.9

+ DS

56.1

76.3

+ GPS

57.2

76.0

Qwen3-8B

2.1

3.9

+ Uniform

52.5

73.3

+ PCL

53.5

74.9

+ GRESO

54.1

75.1

+ MoPPS

55.5

76.0

+ DS

58.7

78.2

+ GPS

59.4

77.9

在 Qwen3-4B 上，GPS 平均准确率达到 66.6，高于 DS 的 66.2，训练时间为 3.4h，低于 DS 的 4.9h。

在 Qwen3-8B 上，GPS 平均准确率达到 68.6，也略高于 DS 的 68.5，训练时间为 5.0h，明显低于 DS 的 6.9h。

因此，GPS 的收益不是简单用性能换成本。在这些设置下，它一边减少了 rollout 或训练时间，一边维持甚至提升了平均准确率。论文总结称，相比 Uniform，GPS 在数学任务上带来 1.6–1.9 个点的平均提升，在逻辑任务上带来 4.1–5.7 个点的平均提升。

实验结果三：测试时计算分配也能复用

GPS 的 PPM 在训练中学到 prompt 难度后，还能泛化到测试 prompt。

论文在多个数学和逻辑测试集上验证了这一点。结果显示，在多数未见测试集上，PPM 预测难度与经验成功率之间仍保持统计显著相关。

进一步地，研究者用 PPM 指导测试时计算分配：不再给每道题固定相同的 Best-of- 采样预算，而是根据难度分配不同样本数。

结果显示，相比默认固定分配，GPS 可以在固定预算下最高带来 3.2% 相对提升；或者在性能无损的情况下最多节省 36.4% 计算预算。

这里值得注意的是：PPM 在训练阶段学到的难度判断，并没有只停留在样本选择上，还可以迁移到测试阶段，用来决定哪些题值得分配更多采样预算。

消融实验：多样性和潜变量都很关键

论文还进行了算法兼容性与消融实验。

在算法兼容性方面，GPS 不只适用于 GRPO，也能与 PPO 和 Reinforce++ 结合。在 Countdown 实验中，GPS 在两种算法下都持续优于 Uniform。

这点很重要，因为 DS 这类基于真实评估的方法通常依赖每个 prompt 生成多条回答；而 PPO 可能是单响应生成设置，DS 的适配性会受到限制。GPS 依靠预测模型，不需要这种额外真实评估，因此更容易迁移到不同 RLVR 流程。

在消融实验中，去掉 history-anchored diversity 会造成明显性能下降；只去掉 inter-step exploration，也会带来一定下降；如果把生成式 PPM 改成不含潜变量 z 的确定性 PPM，效果同样变差。

消融结果也能对应回 GPS 的设计动机：共享历史负责提升难度预测的泛化能力，batch 多样性减少样本冗余，潜在 difficulty context 则用于刻画训练过程中不断变化的模型状态。

总结：RL 后训练不一定要更 “蛮力”，

也可以更 “会选题”

这篇工作的价值，不在于提出一个更复杂的 RLVR 更新算法，而在于把 prompt 选择这个环节单独拎了出来。

对 RL 后训练来说，真正有价值的样本往往不是最简单的题，也不是完全解不出来的题，而是那些能够产生有效奖励差异的中等难度 prompt。GPS 用一个小模型提前识别这些样本，并在 batch 里兼顾多样性，从而让大模型少做无效 rollout。

更进一步，训练阶段学到的难度预测能力还可以迁移到测试阶段，帮助模型把采样预算花在更值得尝试的问题上。

在训练成本越来越高的背景下，这类方法给出的启发很直接：未来的大模型后训练，可能不只是继续堆 GPU 和 rollout，而是先判断哪些题值得练、哪些计算值得花。

主要作者

曲云，清华大学自动化本科博士，在强化学习、大模型效率优化等领域发表顶级期刊 Nat Com 和 CCF-A 类论文 20 余篇，相关成果获得图灵奖得主及国际知名院士 / Fellow 团队引用并正面评价，并受到 Meta、Apple、千问、混元等全球领先科技企业关注。

曾任腾讯混元 “青云计划” 实习生，深度参与大模型训练与优化，及智能体系统落地经验。

「蚂蚁InTech奖」倒计时申报中

蚂蚁InTech奖是由蚂蚁集团发起，面向对计算机领域科研进步有关键推动作用的中国青年学者、青年博士颁发的纯公益性奖项，分为蚂蚁InTech科技奖与蚂蚁InTech奖学金。2026届蚂蚁InTech奖将于7月17日24时截止申报，有意向申报的学者/同学欢迎扫描海报中二维码进行申报。