高分智能体为何一换技能库就掉链子？阿里团队揭协同进化陷阱

训练时分数一路往上走，部署后技能库一更新，表现就往下掉——这不是个别案例。阿里巴巴 Alibaba Token Hub（ATH）Token Foundry 团队通过理论分析与系统实验发现，高分提升可能伴随着对特定技能库的依赖加深，让智能体在技能持续变化的场景中反而更加脆弱。团队把这一现象称为「协同进化陷阱」。

先解释一下背景。让智能体从任务经验中持续学习，是提升其任务处理能力的一条重要路径。其中一种做法，是把可复用的操作步骤、解题策略等经验整理为「技能」，形成供模型调用的技能库。技能—策略模型协同进化则进一步把技能库更新与模型训练结合起来：智能体从任务经验中生成和改进技能，再利用这些技能训练模型；模型能力的变化又为下一轮技能更新提供反馈，形成相互促进的循环。

问题出在训练和部署的错位上。随着多轮协同进化，任务分数不断提高，但这些高分通常来自模型与共同训练的技能库这一特定组合。实际部署后，业务需求和操作流程持续变化，技能库需要不断更新，模型却往往难以按相同频率重训。模型重训需要数据、算力与验证，很难跟技能更新保持同样的节奏。

于是就有了那个关键追问：当技能库发生变化，训练时取得的高分还能延续吗？

高分背后的依赖是怎么形成的

研究从不同协同进化方法的训练目标与技能筛选机制入手，梳理出一种共同倾向：技能更新围绕当前模型的收益被筛选，模型又不断适应当前技能库。从单轮优化看，这样做有助于提升成绩；但多轮迭代后，两者也可能形成越来越强的相互适配。此时，模型不仅依赖技能提供的知识，还可能对特定版本的表达方式产生敏感性。

论文在理想化技能筛选与候选覆盖条件下，刻画了原始搭配形成性能峰值的机制。关键并非否定协同进化，而是指出：只优化某一个技能库上的峰值，并不能自动约束技能变化后的性能损失。「更擅长使用共同训练的技能库」与「更可靠地使用持续变化的技能库」，是两个需要分别验证的目标。

为了系统研究这一问题，团队构建了五个维度的技能变化探针：同义改写、信息缺失、错误策略、技能库组成变化，以及完全移除技能，用来模拟部署后技能的持续演化。这些变化分别对应不同层面的可靠性问题：模型能否理解不同表达下的相同经验，能否应对不完整或错误的指导，以及对技能库结构和外部技能支持有多大依赖。

其中同义改写尤其值得关注。它保留技能原意，只改变表达。如果这样的变化也带来明显性能损失，就说明模型对技能的依赖可能超出了其中有效知识本身。

研究进一步提出协同进化脆弱性曲线，沿训练轨迹同时观察原始成绩与技能变化后的表现。在多个设置下，原始技能库上的成绩持续提高，对技能变化的敏感性也在增加。一条不断上升的成绩曲线，可能没有呈现能力变化的全貌。

增益被抵消了多少

实验覆盖 SkillRL、ReSkill、Evolving-RL 和 ARISE 四种方法，以及 ALFWorld、WebShop、ScienceWorld、Mind2Web 和 AMC23 五个基准，共形成6组方法—环境设置。

在所审计的6组设置中，技能内容变化后的最差成功率比原始搭配低约 5—13个百分点，抵消了原始技能库相对同一模型无技能基线所带来增益的 52%—93%。

这里需要区分两个概念：损失的是技能库带来的增益，而非模型整体成绩下降52%—93%。它揭示的问题是，原始搭配所展示的优势，有相当一部分无法稳定延续到技能变化之后。因此，训练与评测需要关注的不只是峰值高低，还包括这一峰值在部署条件变化后有多大保留空间。

CODA 想补上哪块评测盲区

针对这一盲区，研究提出 CODA（CO-evolution Drift Audit，协同进化漂移审计），在原有成功率之外引入两个新指标，并结合所测试内容变化下的最差成功率，形成更完整的评测视角。

• 一致率（Consistency Rate，CR）：关注技能含义不变、表达改变时，同一任务的成功或失败结果能否保持一致。它考察具体任务结果的稳定性，而不只是总体平均成绩是否接近。
• 抗干扰率（Resistance Rate，RR）：关注面对不完整或错误的技能，模型能否保住原本不依靠技能也能完成的任务。它衡量任务表现是否受到干扰，并不预设模型必须通过「识别并跳过错误技能」来应对。
• 最差成功率：回答在所测试的技能内容变化中，模型最低还能保留多少表现。

三者分别补充了稳定性、抗干扰能力和性能下限的信息。受控的技能变化探针，使原有高分背后的稳定性与脆弱性变得可观察，也表明现有方法在应对技能变化时仍有较大的提升空间。

真实业务会不断变化：流程会调整，知识会更新，用户的需求也会改变。当我们说一个智能体「变强了」，期待的进步既包括熟悉条件下更高的成绩，也包括面对变化时依然稳定、可信的表现。高分值得追求，但如何让高分经得起真实部署场景的考验，仍是一个值得共同探索的问题。