AI智能体学会自我改造后，为什么反而越改越差？

你有没有遇到过这种情况：一个学生刷题刷得特别熟练，模拟考次次接近满分,可一到真正的考试,换了一批没见过的题,分数直接崩盘。

这不是他不努力，是他把答案背下来了，而不是把方法学会了。

2026年的AI智能体研究圈，正在经历一场几乎一模一样的危机。只不过这次"刷题"的不是学生，而是AI系统自己。

一个AI智能体能做什么事,很大程度上不取决于它背后那个大模型有多聪明,而取决于包裹在模型外面的那一整套"外壳"。这个外壳有专门的名字。

Agent Harness*：智能体外壳，指包裹在冻结的大模型外面的一整套系统，包括提示词、控制流程、工具接口、记忆机制和上下文管理。它决定了同一个模型能不能在编辑文件前先读一下内容，能不能从一次失败的命令里恢复过来，能不能高效管理自己的工作记忆。

过去，这套外壳全靠人工打磨。工程师们盯着智能体跑失败的记录，一条一条地手动调整提示词和流程，进步速度取决于一个人一天能看多少条日志。这显然慢得让人心焦。

于是聪明人想了个办法：既然外壳可以被修改，那为什么不让AI自己来改自己的外壳？让大模型读取任务反馈，自动生成外壳的修改方案，测试效果，保留有效的改动，循环往复。这个过程有个更宏大的名字。

RSI（Recursive Self-Improvement）*：递归自我改进，指用当前系统产生的反馈去改进这个系统本身，然后这个改进后的系统再产生新的反馈,一轮一轮循环下去的过程。

这个想法听起来非常美好,理论上,只要给智能体足够多的任务和足够多的迭代轮次，它应该能自己越变越强。事实证明,这套自动化流程确实能在测试的题库上大幅提高分数,某些方法能拉高14个百分点之多。

问题出在换了一批新题之后。

**核心问题：进化买来的分数，换个考场就作废**

想象你有一套固定的120道法律工作题目,让AI智能体在这套题目上反复迭代优化外壳,每一轮都测一次分,分数涨了就保留这次改动,分数没涨就换个方向再试。这套流程跑完之后,智能体在这120道题上的分数确实涨了不少。

现在把这个改进过的外壳原封不动地搬到另外三个完全没见过的基准测试上,考的是完全不同类型的任务，用的是不同的评分方式。

结果是什么？

四个当前最先进的外壳进化方法里，有几个的表现在新考场上直接跌回了原始水平以下,甚至更差。也就是说,这几个月的"自我进化"，某种意义上等于白干,甚至是负贡献。

这篇论文的研究者们把这种现象叫做"进化买了评测集"，意思是所有的进步都被锁死在了训练时用的那套题目上,一步都没能走出这个房间。

这里有一个特别值得琢磨的类比。

假设你在准备一场英语口语考试,考官会随机抽题让你回答。你手头有一本历年真题集,如果你的复习方法是把这100道题的标准答案背得一字不差,你在做这100道题时的表现会好到爆炸。可如果考试当天抽到的是第101道新题,你连开口的调门都找不到。真正有效的复习方法应该是理解语言背后的语法逻辑和表达习惯,这样不管抽到哪道题,你都能现场组织出得体的回答。AI外壳进化面临的正是同一个抉择：它到底是在学习"如何把任务做好"这个可迁移的能力,还是在学习"如何在这120道题上拿高分"这个针对性作弊技巧？如果不加约束,搜索算法一定会选后者,因为后者更容易、更快见效。这不是AI的错,是"只看分数、不管来源"这套激励机制的必然结果。

论文作者把这种现象拆解成了三种具体的病灶。

第一种叫"基准特定拟合",说白了就是外壳里悄悄塞进了只对这套题目有效的针对性逻辑,比如硬编码了某个任务的具体答案或者实体名称。第二种叫"噪声追逐",评测本身是有随机波动的,某次侥幸跑出的高分被误判成了真实的进步,这个偶然被当成规律保留了下来。第三种叫"复杂度累积",外壳越改越臃肿,推理消耗的token越来越多,可这些新增的复杂度并没有换来真正对等的能力提升,只是靠更多计算量硬堆出了一点点分数。

这三种病灶合在一起,构成了一道越走越宽的"进化到迁移"的裂缝。

**解决方案：给AI的自我进化装上刹车和减速带**

面对这个问题,研究团队提出了一套名叫RRSI的方法。

RRSI（Regularized Recursive Self-Improvement）*：正则化的递归自我改进，核心思路是不去限制AI能修改外壳的哪些部分,而是限制它"怎么改""改多少""什么样的改动才能被保留下来"。

这里有个关键的设计哲学，整套外壳,提示词、工具、记忆、控制流程,全部保持可编辑状态,一处都不锁死。约束的不是能改什么,而是改动这件事本身要怎么被规范化地执行。

这套正则化分成两条线,一条管"提出改动"，一条管"筛选改动"。先说提出改动这一侧。

第一个机制叫退火式更新预算。

简单说,就是限制每一轮迭代里,一个候选修改方案最多能同时打包几处独立的改动。这个上限不是固定的，它随着迭代轮次的推进逐渐收紧,前期允许一次性打包四五处改动,方便探索新机制,后期收紧到每次只能改一处，方便精确归因。

这个设计思路可以类比成一个人在装修房子。刚开始规划的时候,你可以一口气改动客厅布局、厨房动线、卧室采光这几个大方向,因为这时候你还在探索什么样的整体风格最合适,允许同时调整多个变量。可到了施工快结束、准备验收的阶段,你只能一次改一个细节,比如单独调整某个灯具的位置,因为这时候任何一次改动的效果都必须清清楚楚地归因到这一个改动上,如果同时改了三处,验收时发现效果变好了,你根本不知道是哪一处起了作用,下次装修还是学不会。如果不做这种前松后紧的收紧,那么到了迭代的后期,每次候选方案依然打包一堆改动,系统永远搞不清楚到底是哪个机制在真正起效,进化就会退化成盲目试错。

第二个机制是让系统对自己的历史保持记忆。

每一轮被测试过的候选方案,不管成功还是失败,都会被详细记录下来,包括它改了哪个组件、验证了什么假设、带来了多大的分数和成本变化。后续轮次的提案过程会参考这份完整的历史记录,已经被证伪的思路不会被翻来覆去地重新尝试,已经证明有效的机制会被明确地保留信用。

第三个机制叫结构化探索。当系统连续几轮的进步都停滞在噪声范围以内时，它会主动把一部分探索预算分配给那些从来没被动用过的组件,比如说系统一直在反复改提示词的措辞,却从来没碰过记忆机制或者子智能体这些结构性部件,这时候系统会强制往这些冷门角落里探一探。

再看筛选改动这一侧,这里有四道关卡。

第一道叫泄漏筛查。在完整评测开始之前,一个专门的评审模型会先读一遍候选方案的代码差异,如果发现里面藏着针对具体任务名称、具体答案、具体实体信息的硬编码逻辑,这个方案会被直接拒绝,连评测的机会都不给。这一步很关键,因为如果等到评测跑完才发现是作弊,这个作弊方案已经拿到了虚高的分数,很可能已经污染了后续几轮的搜索方向。

第二道叫噪声调整的表现底线。研究者会提前反复测试没有任何改动的原始外壳,估算出一个"经验噪声带",也就是纯粹靠随机波动能产生的分数浮动范围。任何候选方案的分数,必须超过历史最高分减去这个噪声带,才有资格被考虑。这防止了系统一步一步地被一连串看起来"没有明显变差"的小退步给拖垮。

第三道关卡类似统计学里的岭回归思路。

对于分数确实涨了的候选方案,额外的推理成本必须和涨分幅度成比例,涨一点分只能容忍一点点的成本上升，涨很多分才能容忍成本大幅上涨。这套规则不强制删掉任何具体组件,它只是给整体的资源膨胀套上一层温和的约束。

第四道关卡类似套索回归的思路，专门负责删东西。系统会持续追踪每个组件在最近一段时间窗口里是否真的带来过正向收益,如果某个组件已经好几轮都没产生任何正贡献,它会被标记为待删除对象,在后续轮次里被主动清理出去。

这四道关卡放在一起,构成了一套完整的免疫系统，第一道挡住主动的欺骗,第二道挡住被动的运气,第三道限制无节制的膨胀,第四道清理已经失效的旧组织。

这里有个类比或许更能说明这套机制的价值。

想象一家公司在招聘时设立的层层面试关卡。简历筛选挡掉那些明显造假的候选人,这对应泄漏筛查。笔试成绩必须显著超过随机蒙对的水平,才算是真本事,这对应噪声调整的底线。终面时,面试官会权衡这个人要求的薪资和他能带来的实际价值是否匹配，涨薪必须匹配涨出的产出,这对应成本约束。而入职之后的年度考核,会持续评估每个员工过去一年是否真的创造了价值,长期不出成果的岗位会被优化掉,这对应结构化剪枝。如果公司只看简历上写了什么就直接发offer,不做后续任何考核,团队很快就会被一群会写简历但不会干活的人填满,战斗力反而下降。AI外壳的进化面临一模一样的组织管理问题,分数好看不代表真本事,必须有配套的持续考核机制。

**实验结果：换考场之后，差距立刻显现**

研究团队在三个完全不同领域的八个基准测试上验证了这套方法,分别是编程任务、办公室智能体任务和工程设计任务。每个领域内部都划出一个专门用来进化的题库,进化完成后,外壳原封不动地拿去跑那些从没见过的题目。

| 领域 | 进化所用题库涨分 | 未见过的题库涨分 |

| 编程 Terminal-Bench 2.1 | +6.0 | SWE-bench Verified **+1.8** |

| 法律工作 Harvey LAB | +1.1 | JobBench **+4.7**，GDPval **+3.5**，APEX-Agents **+3.7** |

| 工程设计 EngDesign | +4.9 | Frontier-Eng **+4.3** |

这份结果最打眼的地方,不是进化题库上涨了多少分,而是没有任何一个未见过的题库出现分数下跌。这恰恰是"死记硬背式"进化最容易翻车的地方，而RRSI避开了。

再看和四个主流竞品方法的正面对比,场景是法律工作智能体这个领域。

| 方法 | 进化题库 Harvey LAB | 同分布留出题 Harvey LAB | 跨分布 JobBench | 跨分布 GDPval | 跨分布 APEX-Agents |

| 未进化基线 | 89.4 | 86.9 | 36.0 | 48.8 | 34.2 |

| Meta-Harness | **93.0** | 89.2 | 37.1 | 49.1 | 35.7 |

| AHE | 90.7 | 88.7 | 37.2 | 47.2 | 33.1 |

| TTHE | 91.1 | 88.5 | 35.2 | 47.0 | 31.7 |

| HarnessX | 91.8 | 89.1 | 36.3 | 48.5 | 34.3 |

| RRSI | 90.5 | **89.2** | **40.7** | **52.3** | **37.9** |

看这张表能发现一个很有意思的现象,如果只看进化题库这一栏,RRSI的涨分是最低的,只有90.5分,连排名垂尾的方法都比不上。可一旦看到最右边三栏跨分布测试的数据,排名彻底反转,RRSI在三个跨分布题库上全部拿到最高分,其中在JobBench上比未进化基线高出4.7分,相对提升幅度超过13%。

这恰恰印证了论文标题里"正则化"两个字的分量,少赚一点眼前的分数,换来的是真正能带出考场的能力。

更有说服力的是,这套方法在工程设计这个领域上依然稳健地生效,而这个领域的评分是由物理仿真器直接给出的,不存在任何评审模型主观打分的空间。这排除了一种质疑：外壳进化是不是在学习怎么讨好那个负责打分的AI评审员,而不是在真正把活干好。物理仿真器不会被讨好,数据摆在那里,该合格就合格,不合格就是不合格,而RRSI在这种硬约束下依然稳定跑出了4.3分的跨分布提升。

顺带一提，这套方法对推理成本的控制也颇为亮眼。在同样的法律工作场景下,RRSI最终跑出来的外壳每次任务只消耗242万token，而未加正则化约束的进化方法消耗了380万token，多花了58%的算力却只换来更差的跨分布表现。RRSI跑出来的执行步数也是所有方法里最短的,平均26.3步,比表现最差的AHE少了将近8步。

研究者还专门测试了这套方法是否只对某一个特定的大模型管用。他们用Claude Opus 4.8和Gemini 3.5 Flash两个完全不同厂商的模型,各自独立跑一遍编程任务的外壳进化,结果两条路径都成功地把进化经验迁移到了SWE-bench Verified这个陌生的评测上,证明这套正则化思路不是某个模型的专属buff。

最让人意外的一个实验是,研究者把用Gemini 3.5 Flash进化出来的外壳,直接套用到一个从未参与过进化过程的更弱模型Gemini 3.1 Flash Lite身上。这个弱模型在编程题库上的原始分数只有11.2分，套上进化过的外壳之后涨到了14.6分，相对提升超过30%。这说明外壳里沉淀下来的机制不是针对某个特定模型能力水平量身定做的技巧,而是一种更通用的、能穿越不同能力层级的结构性改进。

**写在后面**

读完这篇论文,让我印象最深的一点,是研究者对"分数"这个东西的不信任态度。

整篇论文的方法设计,本质上都是在回答同一个问题：什么时候应该相信一次分数的上涨？答案是,几乎从不轻易相信,除非这次上涨经过了泄漏检测、噪声过滤、成本核算和长期考核这四道关卡。这种近乎苛刻的怀疑态度，很少在一篇讲"如何让AI变得更强"的论文里看到,大部分同类工作的默认假设都是分数涨了就是好事。

还有一个细节值得单独说一说。论文的案例分析里提到了两个在第一轮迭代里几乎同时被提出的候选方案,一个加了任务完成前的验证审查机制,另一个加了几乎一样的验证提醒,但涨分幅度更小、消耗的成本更高。结果只有前者被保留下来,后者被成本约束规则否决了。这说明即便是同一批AI提出的方案,即便思路高度相似,细微的效率差异也足以决定谁能存活下来。这套机制的严格程度,比我原本预期的要高很多。

这套思路让我联想到教育领域一直在争论的一个话题，标准化考试到底在测什么。如果一场考试的题库是固定不变的,学生迟早会摸清题库的规律,考出的高分和真实能力之间的关联会越来越弱。这篇论文相当于在给AI智能体的"考试制度"打补丁,试图让分数重新变得能代表真实能力,而不是代表刷题的熟练度。

这套方法目前只验证了外壳层面的自我改进，模型的权重本身还是冻结不动的。如果未来权重也加入到这场递归自我改进的循环里，同样的过拟合幽灵会不会以更隐蔽的方式重新出现，这是个还没有答案的问题。

Q&A

Q1：RRSI是什么？

A：RRSI是一种给AI智能体的外壳自我进化过程加上正则化约束的方法，它不限制外壳能修改哪些部分，而是限制改动的提出方式和筛选标准，从而让进化出来的能力能真正迁移到没见过的新任务上，而不是只在训练用的题库上刷高分。

Q2：为什么AI智能体的外壳进化会出现过拟合？

A：因为进化过程反复用同一套固定的评测题库来打分和筛选改动，系统很容易学会针对这套题目的特定技巧、追逐评测中的随机噪声、或者靠堆砌复杂度硬凑分数，这些做法能让训练题库上的分数好看，但换一批新题目立刻就露馅。

Q3：RRSI相比其他外壳进化方法效果如何？

A：在法律工作、编程、工程设计等多个领域的实测中，RRSI在训练题库上的涨分反而是最低的，但在完全没见过的跨分布测试上，它是唯一一个所有测试集都保持正向提升的方法，同时消耗的推理token比未加约束的方法少了约30%。