小模型犯的错，大模型也会犯：一篇关于AI推理效率的意外发现

你有没有想过一个问题：一个只有15亿参数的小模型和一个720亿参数的大模型，它们犯的错误会长得一模一样吗？

直觉上应该不会。小模型笨手笨脚，理解能力有限，犯的错误应该五花八门、毫无章法。大模型见多识广，犯错应该更"高级"，更难预测。如果你也这么想，那接下来这篇论文可能会让你重新审视这个直觉。

俄亥俄州立大学和普林斯顿大学的研究团队做了一件挺反常识的事：他们发现，同一个模型家族里，从15亿参数到720亿参数，模型犯错的**类型分布**几乎是一致的。也就是说，小模型最容易在哪里栽跟头，大模型也大概率在同样的地方栽跟头，只是次数少一些。这个发现催生了一套叫做**CritICL**的推理时增强方法，不需要额外训练，不需要疯狂多次采样，就能让大模型的推理能力明显提升。

这事听起来有点像什么？

想象你在教一个刚学开车的新手和一个开了十年车的老司机。新手容易犯的错误是什么？可能是并线时忘记打转向灯、倒车时判断距离不准。你会觉得,老司机肯定不会犯这些低级错误了吧？但现实是，老司机在疲劳驾驶、注意力不集中的时候，往往还是会在同样的场景下出问题，只是频率低很多。如果驾校教练把新手最常犯的错误场景整理成一份"易错清单"，这份清单对老司机同样有参考价值，因为错误的根源往往不是"能力不够"，而是某种思维惯性或者盲区，这个盲区不会因为经验增加就完全消失，只是被经验部分掩盖了。

这就是CritICL这篇论文的核心洞察。

大模型推理的老问题：又贵又慢

在讲CritICL之前，得先说说这个领域现在遇到的麻烦。

大语言模型（LLM，就是ChatGPT、Qwen、Llama这类能对话、能推理的AI系统）在做数学题、逻辑推理这类任务时，表现已经相当不错了。但研究者们发现，如果想让模型表现更好，通常得让它"多想几遍"。

这套思路叫做推理时扩展（inference-time scaling，指不改变模型参数，而是在回答问题时增加计算量来提升效果的方法），具体做法五花八门：有的让模型对同一个问题生成好几个答案，然后投票选出现频率最高的那个，这叫自洽性（self-consistency）；有的让模型自己批评自己刚才的回答，然后重新答一遍，叫自我反思；还有的干脆请一个更强的模型来当裁判，从好几个候选答案里挑出最靠谱的一个，这叫LLM-as-a-judge。

这些方法确实管用，但代价不小。生成5遍、7遍答案，意味着计算成本直接翻5倍、7倍。如果你的产品每天要处理几百万个请求，这笔账算下来相当可观。

于是就有了另一条思路：能不能让弱模型帮强模型出主意？这个思路听起来挺合理，弱模型虽然能力不足，但它跑得快、成本低，如果能提取出一些有用信息喂给强模型，是不是就能省掉重复生成的开销？但已有的这类方法有个问题：它们通常是让弱模型针对每一个新问题都现场生成一次"建议"，这个过程本身还是要占用推理时间，而且弱模型现场给出的建议质量参差不齐，未必靠谱。

研究团队想到了一个更巧妙的角度：与其关注弱模型答对了什么、答对时给出了什么建议，不如去研究弱模型**答错了什么**。

失败模式：这里指模型在解题过程中反复出现的、可归类的错误类型，比如"公式用错了""看错题目要求了""漏了一个逻辑步骤"，而不是随机的、无规律的胡乱作答。

这个转向很关键。以前大家把模型犯的错误当垃圾扔掉，觉得这是需要规避的噪音。但这篇论文说，错误本身是一种信号，而且这种信号是可以跨模型规模复用的。

CritBank：把错误变成一本"错题本"

那具体怎么把"错误"变成有用的东西呢？研究团队搭了一套叫**CritBank**的数据库，你可以把它理解成一本精心整理的"错题本"，只不过这本错题本不是给学生用的，是给AI用的。

构建过程大致分两步。第一步，找几个同一家族里的小模型（比如Qwen2.5的1.5B、3B、7B版本），让它们用思维链方式（chain-of-thought，指模型在回答前先写出中间推理步骤，而不是直接甩出答案）针对同一批数学题各生成5次答案。这批题目来自两个经典的数学推理数据集，一个叫GSM8K（小学应用题难度），一个叫MATH（更难的竞赛级题目），加起来一共1.5万道题。

第二步是关键：把这些答案里做错的部分挑出来，交给一个更强的模型（论文里用的是GPT-4o-mini）去分析，让它给每一道错题打上"失败模式标签"，同时写一段简短的点评，说明错在哪、为什么错、怎么改。

举个例子，如果一道题是求一组分数里最大值和最小值的差，模型算错了，可能是因为在比较11/8和4/3哪个更大时判断失误了。这类错误会被打上"错误比较"这样的标签，附带一句点评："你在比较这两个分数大小时用了错误的方法，建议通分后再比较"。

这套流程走完，CritBank里就积累了大量"题目、错误答案、失败模式标签、点评"这样的四元组数据。论文里整理出了差不多五十种常见失败模式，从"算术运算失误"这种低级错误，到"问题意图理解错误""假设过度依赖"这种更高层次的思维盲区都有覆盖，具体见后面附录的分类表。

这里要先解释两个术语。

弱到强泛化（weak-to-strong generalization）：指的是利用能力较弱的模型产生的信息，去帮助能力更强的模型表现得更好，这个概念最早由OpenAI团队在训练阶段提出，而这篇论文把它搬到了推理阶段。

上下文学习（in-context learning，简称ICL）：指不修改模型参数，而是通过在提示词里给出示例，让模型照葫芦画瓢完成任务的方法，我们平时说的"给几个例子提示AI"就是这个。

如果CritBank只是把错误简单堆在一起，那和随便找几个例子给模型看没什么区别。真正让它发挥作用的，是接下来这套检索机制。

两种打法：CritICL-dynamic和CritICL-static

有了这本错题本，接下来要解决的问题是：面对一道新题目，该从错题本里挑哪些例子给大模型参考？

研究团队设计了两种策略，一动一静。

CritICL-dynamic是"看题下药"型。拿到一道新题，先让目标大模型自己预测一下，这道题最可能踩中哪些失败模式（最多预测5个），然后根据这些预测标签，去CritBank里检索出最相关的错题案例（默认最多5条），组装成提示词的一部分，再让大模型正式作答。这个过程需要模型进行两次推理：一次预测失败模式，一次给出最终答案。

CritICL-static则是"固定套路"型。它不针对具体题目做判断，而是提前统计好整个模型家族里最常见、最顽固的失败模式，形成一份全局画像，然后每次都用这份画像去检索对应的错题案例。这种方式只需要模型推理一次。

这两种方式的区别，有点像什么呢？

想象你是个急诊科医生，接诊一个腹痛病人。dynamic策略相当于你先花时间问诊、做初步判断（可能是阑尾炎？还是肠胃炎？），然后针对性地调出对应病症的历史病例参考，这样做诊断更精准，但多花了一道问诊的功夫。static策略则相当于诊室墙上常年贴着一张"本地区最常见误诊清单"，不管来的是什么病人，你先扫一眼这张清单提醒自己别踩坑，虽然不是针对这个病人量身定制的，但因为是长期积累下来的高频陷阱，命中率其实也不低，而且完全不耽误问诊时间。如果诊室完全不贴这张清单，医生就得靠自己临场经验判断，遇到罕见但常见误诊的病例时，翻车概率明显更高。

这两种策略最终检索出来的案例，都要经过一套叫**失败模式匹配检索**（Failure Mode-Based Sample Selection）的算法处理，用打分的方式衡量候选案例的失败标签和目标标签的重合程度，优先挑选覆盖面广、不重复的例子，凑够指定数量后组装进提示词。

实验说话：效果到底怎么样

光有想法不够，得看数据。

研究团队在Qwen和Llama两大模型家族上做了系统测试。以Qwen为例，用1.5B、3B、7B这三个小模型构建CritBank，然后拿32B和72B这两个大模型去验证效果，测试题目覆盖GSM8K、MATH这两个"本域"数据集，以及AMC23、AIME24、AIME25这三个竞赛级别的"域外"数据集（用来检验方法的泛化能力，而不是只对训练时见过的题型有效）。

结果显示，在Qwen2.5-32B-Instruct上，CritICL-static拿到了49.8%的整体准确率，比测试时扩展方法里表现最好的Consistency@7（连续采样7次投票）还要高出0.3个百分点，而且完全不需要重复推理。CritICL-dynamic也不差，在多数基准上都能匹配甚至超过对照组。

到了Qwen2.5-72B-Instruct这个更大的模型上，趋势依然成立。CritICL-static拿到59.2%的整体准确率，是所有方法里最高的，比同样表现优异的Consistency@5（59.0%）还稍高一点。

这里有个数字值得多说两句。零样本（zero-shot，指完全不给任何示例，直接让模型作答）情况下，Qwen2.5-32B-Instruct的整体准确率只有36.6%，而经过5个随机示例的标准提示后，能提升到45.0%，再叠加CritICL-static之后来到49.8%。也就是说，同样是通过给提示词添加信息来帮模型，普通示例能带来8.4个百分点的提升，而带着失败模式信息的CritICL示例，在此基础上又多拿了将近5个百分点。这多出来的5个点，就是"知道自己容易在哪里犯错"这件事带来的额外价值。

再看推理成本。研究团队专门统计了在MATH数据集上、用Qwen2.5-32B-Instruct跑不同方法时的token消耗（token指模型处理文本时的基本单位，可以粗略理解为处理成本的计量单位）。标准的5样本提示需要3620个token；而像Self-Reflection这种自我反思方法，因为要反复生成和修改，平均要跑3.7轮，总token消耗飙到7533个，几乎是CritICL-static（3768个token）的两倍。Consistency@7更夸张，7次生成叠加起来要5440个token。

也就是说，CritICL用几乎和标准提示一样的成本，拿到了接近甚至超过那些烧钱两三倍的方法的效果。这背后有个很直观的原因：提示词里多塞了几段错误点评，输入部分确实变长了一点（从3312涨到3472），但输出部分反而变短了（从308降到296）。这说明模型看了点评之后，走弯路的次数少了，能更直接地一次性写出正确答案，不需要来回试错、反复修正。

为什么会这样：失败模式的跨尺度一致性

到这里你可能会问，为什么小模型和大模型的错误分布会这么像？

研究团队专门做了一组对比实验来验证这件事。他们统计了Qwen家族里1.5B、3B、72B几个不同规模模型在同一批题目上最常见的20种失败模式，画成柱状图对比。结果发现，不管模型大小怎么变，这些失败模式出现的相对排序和大致比例都惊人地相似。比如"公式应用错误"这一项，在1.5B模型里占比6.72%，在3B模型里是6.97%，到了72B模型依然有6.57%，几乎没怎么变。Llama家族也是同样的规律。

更有意思的是，研究团队还发现，如果把几个小模型的错误统计数据加在一起，形成一个"聚合分布"，这个聚合分布反而比任何单一小模型都更接近大模型的真实错误分布。这说明不同规模的小模型各自捕捉到了错误图谱的一部分，凑在一起反而拼出了更完整的画面。这也正是CritICL-static的设计依据，它不依赖某一个小模型，而是综合多个小模型的统计信息来构建全局画像。

这个现象背后可能的原因是什么呢？论文给出了一个合理的猜测：同一家族的模型往往共享架构设计、分词器、预训练流程和指令微调方式，模型规模的增大提升的是整体能力上限，但未必能消除这些共享组件带来的系统性思维惯性。换句话说，能力变强了，但骨子里的"思维习惯"没变。

这就好比同一所学校、同一套教材培养出来的学生。哪怕是学霸和普通学生的水平天差地别，只要他们用的是同一本教材、学的是同一个老师，某些知识点上的典型误区往往是共通的。比如"容易把动能和动量搞混"这种物理概念误区，可能在学渣身上高频出现，学霸身上出现频率低一些，但当学霅偶尔粗心或者遇到特别绕的题目时，还是会在同一个知识点上翻车。如果学校完全不整理历年学生的典型错题，只靠每个学生自己去试错摸索，那些本可以提前规避的坑，还是会一届接一届地被踩。

论文还量化了这种一致性的强弱程度，用了Spearman相关系数（一种衡量两组排序是否一致的统计指标，数值越接近1说明两者排序越吻合）、Kendall's τ、Top-10重合度等多个指标。结果显示，同一家族内部（比如Qwen小模型到Qwen72B）的相关系数能达到0.91，而跨家族对比（比如用Llama的错题本去指导Qwen）的相关系数骤降到0.43左右。这说明失败模式里确实存在一部分是家族特有的思维惯性，跨家族硬套效果会打折扣，但也不是完全没用，跨家族迁移依然比标准提示学习要好，只是提升幅度不如同家族内部明显。

消融实验：证明检索方式真的关键

有人可能会质疑：会不会CritICL效果好，只是因为多塞了点额外文本进提示词，跟具体是不是"失败模式匹配"关系不大？

研究团队专门设计了一组对照实验来回应这个质疑。他们把CritICL的检索机制换成几种别的方案：随机选例子、固定用一套例子、按语义相似度检索例子（用文本嵌入技术找出和当前题目"看起来最像"的历史案例）。

结果很清楚。以Qwen2.5-72B-Instruct为例，随机选择策略下GSM8K准确率是87.4%，固定选择是88.3%，语义相似度检索是87.9%，而CritICL-dynamic和CritICL-static分别拿到93.0%和93.6%，差距在5到6个百分点。到了更难的AMC23和AIME25竞赛题上，差距进一步拉大，能达到4到6个点。

这个结果说明一件事：语义相似度检索出来的例子，虽然看起来题目类型相近，但未必踩中了模型真正容易出错的点。就好比两道题都是关于分数比较的，但一道错在通分环节，一道错在符号处理，表面相似不代表错误根源相同。而CritICL瞄准的是"错误类型"这个更本质的维度，而不是"题目表面像不像"这个维度。

研究团队还专门做了一个案例分析。有一道题问一组分数里最大值和最小值的差，模型算错的原因是在比较4/3和11/8哪个更大时判断失误。如果用语义检索，找来的可能都是同类型的分数运算题，但未必包含"比较判断错误"这个具体坑。而CritICL找来的案例里，包含了另一道几何题，模型在其中因为误判了区域面积大小而选错答案，这两道题表面上风马牛不相及，一个是分数比较，一个是几何面积，但错误的根源是同一类：对相近数值的比较判断出了问题。看到这类点评后，模型学会了更谨慎地做比较（比如先通分再比大小），这才是真正解决问题的关键。

此外，研究团队还测试了失败模式分类的粒度问题。分得太粗（只有8类）或者太细（45类）效果都不如中等粒度（20类）好。这也好理解，分类太粗会导致检索出来的案例针对性不够，分类太细则会导致每一类里案例数量太少，检索池干涸，反而找不到匹配的例子。

更进一步的验证

论文附录里还补充了不少细节，值得提一提。

研究团队专门验证了失败模式标注的可靠性,用GPT-4.1和Claude-3.5-Sonnet对同一批数据重新打标签，结果和最初用GPT-4o-mini打的标签一致性达到0.84（用F1值衡量）,和人工标注的一致性也有0.82，跟人工标注者之间彼此的一致性（0.86）已经比较接近了。这说明这套失败模式分类体系抓住的是相对稳定的错误类型，而不是某个特定模型的标注偏好。

他们还测试了跨领域迁移的效果,把这套方法搬到GPQA基准（一个涵盖化学、生物、物理、量子力学的研究生水平科学问答数据集）上，发现同样有效。用Llama家族的弱模型构建化学、生物等领域的错题本，指导Llama-3.1-70B-Instruct作答，准确率从标准5样本提示的68.6%提升到CritICL-static的74.4%,这说明这套思路不局限于数学题，只要一个领域的错误存在结构化规律，这套方法就有发挥空间。

还有一组实验专门做了统计显著性检验。用bootstrap重采样方法（一种通过反复抽样估计结果稳定性的统计手段）计算置信区间,发现MATH数据集上的提升在统计意义上是显著的（p值0.018，小于常规的0.05显著性阈值），整体平均提升也显著（p值0.041）。不过在AIME这类样本量本来就很小的竞赛题上，提升幅度虽然是正的，但统计显著性没那么强，这点研究团队也坦诚地写在了论文里，没有藏着掖着。

写在后面

读完这篇论文，最让我意外的不是CritICL的效果有多好，而是那个前提假设本身:模型犯的错误是有结构的,而且这个结构在同一家族里跨越几十倍参数规模都基本不变。

这多少有点打破我原来对"模型能力提升"的想象。我以前觉得，模型变强了，应该是在方方面面都变得更聪明，包括犯错的方式也会变得更"高级"、更难预测。但这篇论文告诉我，至少在同一个模型家族内部，很多错误的根源可能压根不是"聪明不聪明"的问题，而是训练数据、架构设计、分词方式这些更底层的东西带来的思维惯性，这些惯性不会因为参数变多就自动消失。

还有一个细节我觉得挺值得琢磨:聚合多个小模型的错误统计，反而比单一小模型更接近大模型的真实错误分布。这个现象让我联想到统计学里"三个臭皮匠顶个诸葛亮"的道理，但换到这里，含义变成了"三个笨学生凑在一起，反而比一个学霸更了解另一个学霸的弱点"。这挺有意思的，因为通常我们觉得能力弱的东西提供的信息价值也低，但这里恰恰是几个能力有限的样本互相补充，拼出了一幅比单一样本更完整的地图。

这篇论文没有解决的问题也很明显。跨家族迁移效果打了不小的折扣，说明失败模式里确实有一部分是模型架构特有的，而不是放之四海皆准的通用思维陷阱。如果未来能进一步区分出哪些错误是"通用人类思维盲区"、哪些是"特定训练方式带来的偏差"，可能会打开更大的应用空间，比如反过来用这些信息去改进训练数据或者训练方式，而不只是停留在推理阶段做补救。

那本错题本还能装多少东西，谁也说不准。

Q&A

Q1：CritICL是什么？

A：CritICL是一种推理时增强方法，利用小模型的失败模式来指导大模型推理，不需要额外训练也不需要多次重复生成，能在提升推理准确率的同时大幅降低计算成本。

Q2：CritICL-dynamic和CritICL-static有什么区别？

A：CritICL-dynamic会针对每道具体题目先预测可能踩中的失败模式再检索案例，需要两次模型推理；CritICL-static则用提前统计好的全局失败模式画像来检索案例，只需一次推理，整体表现和dynamic相当甚至更好。

Q3：为什么小模型的错误对大模型有用？

A：研究发现同一模型家族内，不同参数规模的模型犯错的类型分布高度一致，这可能源于共享的架构、分词器和训练流程带来的系统性思维惯性，因此小模型的错误规律可以迁移用于指导大模型。