训练后的模型到底是变聪明了，还是变得更会考试了

你有没有遇到过这种学生：平时模拟考永远年级前三，可一到那种开放性、没有标准答案的真实项目里，反而不如班里那个成绩中等但点子特别多的同学。他做题特别稳，但稳的代价是，他只会用那几种解题套路，一旦题目稍微换个样子，他就卡住了，而那个成绩中等的同学,偏偏在这种时候总能试出点新花样。

这篇来自Meta超级智能实验室和威斯康辛大学麦迪逊分校团队的论文,讲的就是一群研究者发现，经过强化学习训练之后的大语言模型，很可能就是那个"永远年级前三但缺乏创造力"的学生。

而没有经过这种训练的原始模型，反而更像那个点子多的同学。

**这篇论文的名字叫《Sharpening Tax in Post-Training》，翻译过来大概是"后训练中的锐化税"。**

这个"税"字用得很有意思,它暗示的是：你获得了某种好处（比如模型答题更准了），但你必须为此付出一笔隐藏的代价,而这笔代价一直没人认真算过。

问题到底出在哪儿

先说清楚背景。

现在的大语言模型通常经过两个阶段。第一阶段叫预训练，模型吞下海量互联网文本，学会续写句子、理解语言规律，这个阶段产出的模型叫基座模型，脑子里塞满了各种知识和表达方式，但不太听指挥，你让它干活它可能自己跑偏。

第二阶段叫后训练，常见的做法是用强化学习，让模型在不断试错中学会按人类期望的方式回答问题、完成任务。这个阶段产出的模型就是我们平时用的ChatGPT、Claude这类产品背后的"正式版"。

一直有个说法流传在研究圈里，强化学习后训练到底是让模型学会了全新的本事，还是只是把它原本就会的几招练得更熟练了。

这个争论之前几乎都是在数学题和编程题上展开的，因为这两类任务最好打分，答案对不对一清二楚。研究者们发现一个现象：经过强化学习训练的模型，如果你让它答一道题，正确率确实比没训练过的基座模型高。

但如果你允许模型对同一道题反复尝试很多次，比如128次,基座模型最终能蒙对的题目数量，反而可能超过训练后的模型。

这个指标在论文里叫pass@K。

**pass@K：给模型K次机会去解决同一个任务，只要K次里有一次成功就算这道题被攻克了，这个指标衡量的是模型的解题覆盖面有多广，而不是单次尝试的准确率有多高。**

想象你去射箭，pass@1就是你第一箭能不能射中靶心,这代表你的稳定性。pass@128则是给你128箭，只要有一箭中了就算你拿下这个靶子,这代表你的潜力上限，哪怕你平时手抖，只要箭够多总有蒙中的时候。

数学编程领域的这个发现当时就挺震撼了,但很多人觉得这事儿不能一概而论,因为数学编程这两类任务，预训练阶段模型已经见过海量类似题目了，基座模型底子厚，训练后反而缩小了它的发挥空间,这情况特殊。

**而真正需要全新能力的，应该是那种需要模型多轮调用工具、处理复杂环境反馈、长程保持逻辑连贯的智能体任务（agentic tasks），这类任务在预训练数据里非常罕见，大家普遍认为这种本事必须靠后训练才能学会。**

这就是这篇论文选择的战场，智能体任务。

研究团队挑了三个有代表性的智能体测试集:BFCL v4（专门测试多轮工具调用能力)、WebShop（模拟网购场景，要求模型搜索商品、点击按钮、完成购买)、ACEBench（综合性的工具使用和多步骤问题解决测试)。

这三个测试集有个共同的硬核特点，它们检查的不只是最终答案对不对，还检查过程中每一步动作对不对,状态变化对不对。这就杜绝了那种"瞎蒙对了答案也算分"的漏洞,数学题里经常出现推理过程全错但碰巧蒙对最终数字的情况,而在这种讲究过程的任务里，这种漏洞走不通。

一个让人意外的发现

研究团队选了四个主流开源模型家族，Gemma-4、Ministral-3、Qwen2.5、Qwen3.5，涵盖从3B到35B参数不等的14组基座模型和对应的训练后模型，然后把它们扔进上面那三个智能体测试集里，每道题让每个模型跑128次。

结果出乎很多人的预料。

那些没经过强化学习训练的基座模型，单独拿出来几乎没法干活,工具调用格式都写不对，更别说完成多轮任务了。但研究团队给它们配了一个很简单的"外挂",一个叫harness的轻量级脚手架。

**harness（推理外壳）：一套跟具体任务、具体模型都无关的通用提示词模板，用简单的系统提示加上宽松的工具调用解析规则，帮基座模型把输出格式整理成规整的工具调用指令，这个外壳不包含任何针对题目本身的提示或示例。**

配上这个外壳之后，奇迹发生了。基座模型的pass@1确实还是比训练后的模型低不少，但随着允许尝试的次数K从1涨到128，基座模型的曲线涨得特别猛，到后面直接反超训练后的模型。

拿gemma-4-31B这个模型来说,在WebShop测试里，当尝试次数到达128次时，基座模型的覆盖率能冲到87.6%，而训练后的版本只有56%，差了整整31个百分点。

**这意味着一件很反常识的事:同一个模型家族，同一个任务，没训练过的版本反而比训练过的版本能解决更多的题目,只要你给它足够多的尝试次数。**

这就好比两个工人去修一批不同的水管,老王（基座模型）第一次上手总修不好，但他敢在同一根管子上反复尝试各种修法，试十次总能试出一种能用的办法，而小李（训练后模型）第一次出手就很稳，大部分管子一次就修好了，可剩下那部分修不好的管子，他无论试多少次都用同一套手法，死活修不好。

如果不给小李足够多的试错机会，你会觉得他比老王强多了,但一旦你把试错次数拉满，你会发现老王其实能啃下更多难题，只是他需要更多耐心。

研究团队进一步发现，这个反超的"交叉点"跟模型大小密切相关。模型越大，基座模型反超训练后模型所需要的尝试次数就越少。

还是拿Gemma-4系列做例子，在WebShop任务里，4B这个小模型，基座版本要尝试超过128次才可能追上训练后版本，但到了31B这个大模型，仅仅3次尝试基座版本就已经反超了。

这说明一件挺有意思的事:后训练这件事，对小模型来说更像是雪中送炭，对大模型来说更像是画地为牢。

**小模型本来脑子里存的东西就不够多,训练之后相当于把它仅有的那点本事打磨得更规整，几乎是净赚不赔的。但大模型脑子里本来就装了很多种解题思路，训练之后反而把这些思路砍掉大半，只留几条路走到黑，这时候代价就显现出来了。**

后训练到底对模型做了什么

研究团队没有止步于发现这个现象，他们还想搞清楚背后的机制。

他们把每道题在128次尝试里的成功次数统计出来，按照这个成功率，把题目分成三类:**永远没解出来（128次全失败）、看情况能解出来（128次里成功次数在0到128之间）、永远能解出来（128次全成功）。**

这个分类揭示的东西很直接。拿WebShop任务里的gemma-4-31B来说，基座模型里，占比最大的类别是"看情况能解出来"，有87.6%的题目属于这一类，意味着这些题多试几次总能撞上答案。而经过训练之后，这个"看情况能解出来"的类别暴跌到30%,原本那87.6%里的大部分题目，都被挤到了另外两个极端去，有26%的题目变成了"永远能解出来"（这部分是真正的进步），但有44%的题目变成了"永远解不出来"（这部分是实实在在的损失，比训练前的12.4%还高）。

**这就是论文里反复强调的核心机制,双峰化（bimodalization）。**

后训练把原本分布比较均匀、散落在各种成功率区间的题目，强行推向两个极端,或者彻底学会，或者彻底放弃，中间那个"再试试就能成"的区域被大幅压缩了。

这种双峰化带来了另一个连带效应，模型变得更"一致"了,同一道题让它反复答，答案基本不变。研究团队用一个叫consistency（一致性）的指标来衡量这个,测的是K次尝试全部成功的概率。训练后的模型，覆盖率曲线和一致性曲线靠得特别近，而基座模型的一致性几乎跌到零（因为它每次尝试结果都不太一样），覆盖率曲线却一路爬升。

这就跟开头说的那个学生例子完全对上了:训练后的模型就是那个解题稳定但思路单一的学生，答案可预测，但碰到不在套路里的题目就两眼一黑。基座模型就是那个点子多的同学，每次答案都不太一样，但正因为每次都不一样，总有一次能撞对。

怎么给这件事定一个数

发现规律是一回事，怎么把这个规律变成一个可以量化、可以比较的指标，这是另一回事。研究团队提出了一个叫**Sharpening Tax（锐化税）**的新指标。

要理解锐化税，得先理解它的两块基础材料。

第一块叫**A(K)，原始可扩展性，衡量的是如果你给模型更多尝试次数，它能多攻克多少题目，用pass@K曲线下方多出来的那块面积来表示。**

第二块叫**S(K)，校准可扩展性，把A(K)用模型本身的平均失败率标准化一下，让这个数字落在0到1之间，方便不同模型之间互相比较。**

有了这两块基础材料，锐化税就是拿基座模型的这个值减去训练后模型的这个值。

**如果结果是正数，意味着后训练压缩了模型靠多次尝试去挖掘潜力的空间,相当于你为了换取当下这一次答得更准，付出了未来可能性被削减的代价。**

这个指标还有一个很直观的概率解释,论文里证明了，这个A(K)实际上衡量的是"在预算K次尝试内，模型平均要失败多少次才能等到第一次成功"。换句话说，一道题如果模型第一次就蒙对了，或者128次全部失败，这道题对A(K)的贡献都是零,因为对第一种情况，重试没有意义，模型根本不需要重试，而对第二种情况，重试同样没有意义，因为重试多少次都没用。只有那种"试了几次之后终于成功"的题目，才真正体现出"多试一次有没有价值"这个意思。

**这就好比考察一个保险箱的破解难度,如果你一上来就能猜中密码，或者试遍所有密码都打不开，这两种情况下"多试几次"这件事本身都没有意义，唯独那种"试了37次终于撞对"的情况，才真正说明这个保险箱是"有运气空间可挖的"，而不是彻头彻尾的死局或者送分题。**

团队把这个锐化税算在了14组模型、三个测试集，一共42种组合上,结果显示，在36个组合里，锐化税在K=128时是正的,也就是说，绝大多数情况下，后训练确实在用覆盖面换效率。

更有意思的是，这个税还有一个实用价值,只用8次尝试估算出来的税值,就能相当准确地预测用32次尝试才能算出来的税值，两者的相关系数高达0.85。这意味着你不需要跑完128次那么昂贵的实验，花很小的代价就能大致判断一个训练后的模型是不是在用一种"短视"的方式换取了短期的准确率。

怎么把这笔税省下来

发现了问题，研究团队没有停在诊断阶段，他们还提出了一个解决方案，叫**posterior-tempered group sampling，简称PTGS，中文可以叫后验温度分组采样。**

要理解PTGS,得先理解一个很朴素的想法,如果模型对某道题总是答错，那就应该让它在训练阶段多"疯一点"，多尝试一些不常规的答案，说不定能撞上正确路径,而如果模型对某道题已经答得很稳了，那就不需要再冒险，稳稳地强化现有的解法就行。

这里的"疯一点"或者"稳一点"，技术上对应的是**采样温度（temperature）这个概念,简单理解，温度越高，模型给出的答案越五花八门，越敢去尝试冷门选项,温度越低，模型越倾向于反复给出它最有信心的那个答案。**

过去的常见做法是给所有题目设置同一个固定温度,这种做法有个明显的缺陷,如果温度调高，确实能让模型探索更多可能性，提升pass@K，但代价是单次回答的准确率pass@1会跌下来,如果温度调低，准确率保住了，但探索空间又被压没了。这就是一个此消彼长的死结，调温度本身解决不了根本矛盾。

PTGS的做法是，不再用一个全局温度，而是给每道题单独分配一个温度，这个温度取决于模型目前对这道题的掌握程度。

具体怎么判断掌握程度，论文用了一个叫Beta-Binomial的统计模型，持续追踪每道题过去的成功和失败次数，动态估计出模型此刻对这道题的"胜率",如果胜率低于某个目标值，就调高温度，鼓励探索,如果胜率已经超过目标值，就调低温度，鼓励稳定输出。

这套机制整体上更像一个有经验的健身教练在带一群学员,对那些动作还没掌握的学员，教练会让他们多尝试不同的发力方式，找到适合自己的那种,对那些已经掌握标准动作的学员，教练会让他们固定住这个动作反复巩固，不要再瞎折腾了。如果教练对所有学员都用同一套训练强度，无论他们各自进度如何，那进步快的学员会被拖慢，进步慢的学员又跟不上节奏，这正是固定温度策略的问题所在。

团队把PTGS套用到两个经典的强化学习算法PPO和GRPO上，在Sokoban（推箱子游戏）和FrozenLake（冰面导航游戏）这两个智能体环境里做了实测。

**结果显示，加了PTGS之后，无论是PPO还是GRPO，都同时提升了准确率和覆盖率，而且锐化税明显降低。**

具体数字摆出来看会更有感觉。在Sokoban任务里，普通PPO训练出来的模型pass@1是46.5，pass@128是55.0,加上PTGS之后,pass@1涨到61.1，pass@128涨到69.7，两个指标同时往上走，而不是像调固定温度那样此消彼长。锐化税也从0.094降到了0.081。

GRPO上的表现更夸张,普通GRPO的pass@128是55.3,加了PTGS之后直接跳到72.5，提升了17个百分点，锐化税从0.081骤降到0.025。

这组数据之所以重要，是因为它第一次证明了，这个此消彼长的死结不是不能破的,只要你用对了方法，用对了判断依据，是真的能做到两头都要。

研究团队还做了一个很细致的分析,他们追踪了训练过程中模型输出的熵值（可以理解为模型输出的多样性程度）。普通PPO训练下，熵值一路下滑到接近零，意味着模型越训练越死板,而加了PTGS之后，熵值一直维持在比较高的水平，并且反复出现回升，说明PTGS一直在给那些训练失败的题目"加温"，强迫模型别放弃探索。两组模型最终的准确率差不多，但一组是靠不断探索保住了灵活性，另一组是靠彻底躺平换来了稳定，这完全是两种不同的学习方式。

这件事背后的理论支撑

论文里还给出了几个数学证明，解释为什么双峰化一定会导致锐化税，以及PTGS为什么能起作用。

有一个核心定理说的是，假设后训练用某个概率把一部分题目从中间状态推向两个极端（彻底学会或彻底放弃），那么锐化税的大小正好跟这个被推向极端的题目比例成正比,比例越高，税越重，这给了之前的实验观察一个坚实的数学解释,不是巧合，是必然。

另一个定理解释了为什么PTGS能帮助强化学习训练,在群组采样（group sampling，也就是同时让模型针对同一道题生成多份答案，再从里面挑出有参考价值的信号去更新模型）的框架下，如果一组答案里全是失败的，这组数据对训练基本没用,如果一组答案里既有成功也有失败，这组数据对训练最有价值,因为模型能从对比中学到"什么导致了成功"。论文证明，当PTGS把一道难题的成功概率往上提一点,这道题产生"既有成功也有失败"这种高价值答案组合的概率会显著增加。这就从数学上说明了，为什么给难题"加温"不是瞎折腾，而是真的能让训练过程捞到更多有用的信号。

一些值得想一想的延伸

论文最后也坦诚地说了，这些开源模型背后的具体训练配方并没有完全公开，所以整篇研究更像是观察性的，不是严格可控的因果实验。研究团队也提到，这个结论目前局限在纯文本的智能体任务上，像多模态模型、机器人控制这些领域会不会出现同样的规律，目前还没有答案。

但这篇论文真正值得记住的，不是某个具体的数字，而是它逼着我们重新审视一个习以为常的假设,我们总以为经过更多训练、更多打磨的模型就是更好的模型，但这篇论文提醒我们，更好这个词背后藏着一个隐含的问题,更好是对什么任务而言,如果你的使用场景是单次问答、不容许犯错，那经过充分后训练的模型确实更可靠,但如果你的场景是允许多次尝试、追求某种突破性的答案，比如科学发现里那种需要大量试错才能撞上的灵感，那一个没被打磨得太光滑的基座模型，反而可能藏着更多没被开发出来的可能性。

这让我想起一句老话，熟能生巧，但巧往往也意味着路越走越窄。

Q&A

Q1：Sharpening Tax是什么？

A：Sharpening Tax（锐化税）是论文提出的一个诊断指标，用来衡量模型经过强化学习后训练之后，损失了多少依靠多次尝试去挖掘潜在能力的空间，正值意味着训练后模型用单次准确率换取了未来可能性的削减。

Q2：为什么基座模型反而能超过训练后的模型？

A：因为后训练会把模型的答题概率分布推向两个极端，大部分题目变成彻底学会或彻底放弃，而没训练过的基座模型答案分布更分散，只要给足够多尝试次数，很多原本看似失败的题目最终都能靠反复试错蒙对，所以覆盖率反而更高。

Q3：PTGS具体是怎么解决这个问题的？

A：PTGS会给每道题动态分配不同的采样温度，模型答得差的难题会被调高温度鼓励探索，答得好的题目会被调低温度保持稳定，这样在训练强化学习模型时能同时提升准确率和覆盖率，而不是像固定温度那样只能二选一。