1000条数据一次SFT，推理token平均少31.5%

推理模型做题，连简单题也要反复再想想。小红书大模型基建部（RAI Studio）的一项工作盯上了这个怪现象：把推理模型自己的思维链切成片段，当作 hint 交给同家族的 Instruct 模型，很多题只需开头几段、甚至不给提示就能答对。

顺着这个发现，他们只用 1000 条数据、一次 SFT，就让推理模型学会按难度分配思考：数学基准上推理 token 平均减少 31.5%，准确率基本持平。这项 NeurIPS 2026 工作的论文、代码、模型和数据均已开源。

以 o1、DeepSeek-R1 为代表的推理模型靠长思维链在数学、代码等任务上取得了明显提升，但它们对所有问题都采用同样的深度思考方式。对比同家族的 Instruct 模型和 Thinking 模型在竞赛数学题上的输出，在两个模型都答对的题目上，Thinking 模型的输出长度是 Instruct 模型的 5～8 倍，多出来的内容大部分是“wait”“let me verify”之类的反复检查。

把 Thinking 模型输出的思维链切成片段，取前几段作为 hint 拼到题目后面，再交给 Instruct 模型作答。结果显示，Instruct 模型平均只需要原推理过程 27.5% 的步骤、11.9% 的 token 就能答对。对很多题目，真正起作用的只是推理开头的几个关键步骤。

难点在于：到底“思考多少”才算够？现有做法大致有三类——强化学习加长度惩罚，需要大量在线采样，准确率和长度两个奖励之间不好平衡，训练成本高、不稳定；用外部模型压缩已有思维链，需要判断哪些步骤是冗余的，但同一个步骤在不同题目里的作用不一样，容易删错；人工标注难度，成本高，标准也难统一。

把“思考多少”变成可自动计算的量

这项工作提出“最小有效提示”（Minimum Effective Hint）：把推理模型的思维链切成片段，逐段作为 hint 交给同家族 Instruct 模型，记录它答对所需的最少片段数，用这个数决定每道题该保留多长的思考。基于此的三状态数据构造流程，不需要人工标注、奖励模型和在线强化学习，1000 条数据加一次标准 SFT 即可完成训练。

数据构造分四步。题目来源是公开的 s1K 数据集，它是从 NuminaMath、OlympicArena 等 16 个来源约 5.9 万道题中，按质量和难度筛选出的 1000 道数学题，只用其中的题目和标准答案，原有的思维链全部丢弃。

1. 生成：用待训练的推理模型为每道题重新生成一遍完整思维链，每个目标模型（4B、7B、14B、32B）各自生成一份数据。
2. 切分：以“wait”“actually”“hmm”“let me reconsider”“on second thought”“hold on”“let me rethink”等反思词为边界，把思维链切成若干片段。
3. 探测：把这些片段依次作为 hint 交给 Qwen3-4B-Instruct，先只给题目（k=0），再给题目加第 1 段，以此类推。每次作答由 LLM 对照标准答案判分，Instruct 模型第一次答对时的 k 记为最小有效提示 K*。由于约 90% 需要提示的题在前 25 个片段内就能答对，加了早停，平均每道题只需探测 3～6 次。
4. 构造训练样本：按 K* 把每道题分到三种状态之一。前两种状态下，think 部分放 K* 段推理模型的思维链（K*=0 时不放），答案部分直接用 Instruct 模型在这个 hint 下自己写出的解答；第三种状态保留推理模型原来的完整思维链和解答。

这样构造出的样本，思考部分来自推理模型，答案部分在 Instruct 模型能解出的题上直接采用它简洁的解答。推理模型学到的是：简单题不想或少想，直接给出简洁的解答；难题保留完整的深度思考。最终训练和部署的是推理模型本身，Instruct 模型只在构造数据时使用。

训练基于部门自研的 Relax 框架，对推理模型做一次标准的全参数 SFT，不需要额外的奖励模型或在线采样。8 卡 H20，4B～32B 模型完整训练约 2～10 小时。训练超参沿用 s1 的设置，完整的运行脚本和配置已开源在 Relax 仓库。

数学基准平均少 31.5% token

评测在 Qwen3-4B-Thinking 和 DeepSeek-R1-Distill-Qwen 7B/14B/32B 上验证。数学评测包括 MATH500、AIME24、AIME25、HMMT25，以及模型发布后才公开的 IMO 级题集 AMO-Bench；另外用 LiveCodeBench（代码）和 GPQA-Diamond（科学问答）考察跨领域表现。每道题采样 16 次取平均准确率，温度 0.6。

分基准看，token 降幅在 24%～66% 之间。R1-Distill-32B 在 MATH500 上 token 减少 47%，准确率提升 1.1 个点。7B 是唯一所有对比方法都有官方权重的尺寸，在准确率相当的情况下，Hint Tuning 的平均输出最短，按总生成量算所需数据少 25～640 倍。

在 AMO-Bench 上，Qwen3-4B 的准确率从 10.3 提升到 20.5。分析原模型的错误样本，主要有两类：反复反思后推翻了已经算对的中间结果，或者在重复验证中用完了上下文长度。训练后模型学会了适时停止，这两类错误随之减少。

几个实验发现值得记一笔。答错的轨迹也有用：只用答对的数据，HMMT25 准确率下降 20 个点，过滤掉错题主要删掉的是难题上的长推理，模型因此学不会在难题上多想。自己的轨迹比更强模型的轨迹好学：DeepSeek-R1 能力更强，但它的写法、符号习惯和步骤粒度与目标模型差别较大，训练效果反而更差。训练数据的长度分布更宽，训练后模型对不同难度的题目输出长度差异明显。

Hint Tuning 本质上是一套数据构造方法，不改模型结构，也不依赖强化学习，迁移成本很低。有标准答案的推理任务可以直接复用这套流程；难度分布不均的业务，简单请求占比越高，省下的 token 越多，遇到难题模型依然会保留完整推理；已有同家族模型的团队，只需一对同家族的 Thinking 和 Instruct 模型，加上千条级别的业务题目，就能构造出自己的训练数据。

目前完整验证在数学推理上完成。在训练没覆盖的代码、科学问答等领域，模型会保守地保留长推理，准确率不受影响。想在新的业务上降本，用该业务的题目重新跑一遍数据构造即可。

推理模型的效率问题，很大一部分出在“不分难易，一律深度思考”上。Hint Tuning 把推理模型自己的思维链切成 hint，用同家族 Instruct 模型测出每道题真正需要的思考长度，再据此构造训练数据。整个过程不需要人工标注、奖励模型或强化学习，1000 条数据、一次 SFT，就让推理模型在数学基准上平均少输出 31.5% 的 token。