LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式

本文第一作者李梦琦为香港中文大学（深圳）计算机科学专业博士生。本项研究是与上海交通大学赵磊老师、香港中文大学苏文藻老师合作，并在香港中文大学（深圳）孙若愚老师与李肖老师的共同指导下完成。

在推理后训练里，多数方法仍依赖奖励模型、验证器或额外教师信号。如果不依赖这些外部信号，只使用模型自身生成的答案进行自训练，是否仍然能够提升推理能力？是的！SePT（Self-evolving Post-Training）给出肯定答案，简洁的自训练方法，可在数学推理任务准确率直升10个点！

• 论文标题：A Model Can Help Itself: Reward-Free Self-Training for LLM Reasoning
• 论文：https://arxiv.org/pdf/2510.18814
• 代码：https://github.com/ElementQi/SePT

SePT的在线自训练循环示意：样本以采样温度 τ_s 生成，训练阶段采用标准 SFT；下一轮训练数据由更新后的模型生成。

如流程图所示，SePT 的核心极其简洁：当前模型先生成答案，再用这些答案做标准 SFT，随后由更新后的模型重新生成下一轮训练数据。下面先看这种在线循环自训练到底带来了多少提升。

数学推理上的结果：SePT vs Baseline

主结果如图所示。这里的 baseline 并非默认采样设置下直接评测的基座模型，而是未做后训练、但在推理阶段经过 temperature sweep 并取最佳结果的强基线。经过 SePT 自训练后， 在 6 个数学基准测试集平均后的 Pass@1、Pass@8、Pass@32 和 AVG 上均有明显提升。

在 Qwen2.5-Math-7B 上，6 个数学基准测试集平均后的 Pass@1、Pass@8、Pass@32 和 AVG：SePT 在各项指标上均明显高于上述 baseline。

数学推理上的结果：SePT vs RLVR

如果进一步与 RLVR 方法（ GRPO） 比较，可以看到：自训练方法SePT 已经能够取得与 GRPO 较为接近的结果，尤其是在OTM数据集上。

结合表中的结果，在 Qwen2.5-Math-7B 上，使用 OTM 时，SePT 和 GRPO 的 AVG 分别为 55.2 和 56.6，差距只有 1.4；而在 DSR 上，这一差距扩大为 4.1（55.0 vs. 59.1）。在 DeepSeek-Math-7B-Instruct 上，同样的差距分别为 0.4（33.0 vs. 33.4）和 1.7（33.9 vs. 35.6）。甚至在 Qwen2.5-Math-7B 的 OTM 设置下，SePT 的 Pass@1 还略高于 GRPO（40.8 vs. 39.5）。

这些结果说明，在本文的比较设置下，SePT 对训练题集选择表现出更小的波动，而 GRPO 在 DSR 上的增益更明显。

OpenThoughts-Math（OTM）和 DeepScaleR（DSR）在 Qwen2.5-Math-7B 与 DeepSeek-Math-7B-Instruct 上的平均基准比较。两套训练题集规模相近。Δ 表示 DSR 相对 OTM 的变化，阴影标出 DSR 至少高出 OTM 2.0 分的情形。

SePT 算法具体流程

SePT 有着极其简洁的自训练框架设计，可以概括为以下三个步骤：

这一设计的关键可概括为：温度解耦、标准SFT训练，最新模型自生成数据。

SePT 中的在线自生成数据

本文进一步通过消融实验验证了这一设计的重要性：如果将“由最新模型逐轮生成下一轮训练数据”改为固定数据训练，性能会明显下降。以 Qwen2.5-Math-7B 为例，SePT (Offline) 的 AVG 为 45.5，而在线版本的 SePT 可达到 55.0。

SePT 与 SePT (Offline) 在 Qwen2.5-Math-7B 上的比较，括号中的数值表示相对 baseline 的变化。

SePT 中的温度解耦

为什么这件事重要？本文的定理一给出了一个直观的理论论证：

这一点在实验上也被直接验证了。以 Qwen2.5-Math-7B 为例，若使用 temperature coupling，Pass@1/Pass@8/Pass@32/AVG 只有 19.3/50.1/64.3/44.6，Pass@1 甚至低于 baseline；而采用 decoupling 后，四项指标可以提升到 39.5/57.7/67.9/55.0。

也就是说，SePT 里“低温生成 + 标准 SFT”对于数学推理的提升并不是一个经验 trick，而是理论与实验都支持的重要设计。

Qwen2.5-Math-7B 在温度耦合与解耦方案下的对比。括号内数值表示方法值与基准值的差（Method−Baseline）。

Pass@1、Pass@8、Pass@32 以及 AVG 在基座模型上随采样温度变化的结果。

自训练是否会损害模型通用能力？

模型的一般能力会不会因为只在数学自生成轨迹上继续训练而受损？本文在 Qwen2.5-Math-7B 上的一组 general-domain benchmark正面回答了这一问题，测试基准包括 IFEval、BBH、GPQA、MuSR 和 MMLU-Pro。结果基本是几乎不掉：基础模型分别为 23.4/47.5/29.9/41.4/32.1，SePT 为 23.6/47.3/30.6/41.5/32.2。也就是说，SePT 在 IFEval、GPQA、MuSR、MMLU-Pro 上都有轻微提升，BBH 基本不变；GRPO 也呈现了类似模式。这表明SePT自训练方法不会明显损害模型的通用能力。

Qwen2.5-Math-7B 基座模型及其 SePT、GRPO 训练版本在通用领域的评测结果。

代码简单可用