港科大与京东联合研究如何让AI真正"用好"技能而不是"假装会用"

来源：市场资讯

（来源：科技行者）

这项由香港科技大学（广州）与京东联合完成的研究，以预印本形式于2026年7月2日发布在arXiv平台，编号为arXiv:2607.01874v1，感兴趣的读者可通过该编号查阅完整论文。

**一个让人头疼的问题**

假设你刚入职一家大公司，公司给了你一本厚厚的《员工操作手册》，里面有几百个标准作业流程——怎么填报销单、怎么检测代码漏洞、怎么分析销售数据……每个流程都写得清清楚楚。然而你的工作表现会怎样？也许第一次做报销时，你翻错了页，用了"差旅申请流程"而不是"报销流程"；或者你找到了正确页面，却只看了前三步就自己发挥，把后面的验证步骤全部跳过；又或者你按顺序完成了每一步，最后却忘了在提交前做那个必要的自检……

这就是当前AI助手在企业场景中面临的真实困境。研究团队把这类可以反复调用的操作手册称为"技能"，而问题不在于AI有没有这些手册，而在于它能不能真正地、可靠地使用它们。

这项研究构建了一套名为**SkillCoach**的框架，专门用来评估和改善AI在使用这类技能时的行为质量。它的核心思路是：不能只看最终结果对不对，还要像一个有经验的老师傅带学徒一样，全程审视学徒每一步操作是否规范、是否真正遵照手册来做。

**一、操作手册太多，AI也会挑花眼**

在理解SkillCoach解决了什么问题之前，需要先弄清楚"技能"这个词在这里的确切含义。研究团队所说的技能，是指一种打包好的操作知识单元，类似于企业标准作业程序（SOP）。每项技能的核心是一份名为SKILL.md的文档，里面写清楚了这项技能的适用场景、具体操作步骤、需要用到的工具脚本，以及完成后该如何验证结果。

随着这类技能库不断扩大，问题就浮现出来了。现实中的企业技能库里充斥着大量"形似神异"的技能，比如销售部的数据汇总流程和财务部的数据汇总流程，名字差不多，用的工具也像，但实际用途和关键步骤却完全不同。当AI助手面对这样一个混杂的技能库时，它可能面临多重陷阱：误选了一个看起来相关但其实不适用的技能（挑错手册）；或者选对了手册，却只走马观花地过了一遍，跳过了关键步骤（没认真读手册）；或者需要先后用两份手册、把前一步的结果传给下一步，却搞错了顺序（装配顺序搞反了）；最后，完成后也没有按手册要求做自检（交工前没有验收）。

更麻烦的是，现有的评估方式只看最终答案对不对。如果AI歪打正着，经过七拐八绕的试错最终给出了正确答案，传统评估会打满分，完全看不出来这个过程有多混乱、多不可靠。

研究团队把这个问题形象地展示在论文的开篇对比图中：两个AI助手做同一道题都最终通过了验证器，拿到了正确答案。但其中一个助手有条不紊地找到了正确技能文档、逐步执行了关键操作、并在最后核查了结果；另一个助手则走了弯路，中途误选了干扰技能，靠着反复试错才碰巧得到了正确结果。如果未来把这两个助手的行为都作为"好示范"来训练更多AI，后者的那套混乱做法就会被当成正确经验学进去，埋下隐患。

**二、给技能手册配一份"过程评分卡"**

SkillCoach的第一个核心贡献，是把AI使用技能的整个过程拆解成四个可以独立打分的维度，就像一份操作规范评分卡。

第一个维度叫**技能选择**，考察的是AI有没有在一堆混淆项里找准正确的技能手册、同时没有把那些"形似神异"的干扰手册也一起拿进来用。这里用的是一个叫F1分数的数学工具，简单说就是既要查准（别拿错的），也要查全（别漏掉该用的），两者同时满足才算好。如果当前任务压根不需要用任何技能，AI老老实实不用也算对。

第二个维度叫**技能执行**，考察的是AI有没有真正跑完技能手册里规定的关键步骤。这里有一个重要的设计：每个步骤不仅要打完成状态，还要在AI的操作记录里找到看得见的证据——比如确实读取了某个文件、确实运行了某段脚本、确实生成了某个中间结果。只是嘴上说"我做了这一步"而没有可见证据，是不算分的。

第三个维度叫**技能组合**，针对那些需要多个技能配合完成的任务，考察AI有没有按正确顺序依次使用各项技能，以及前一个技能产生的结果有没有正确传递给下一个技能。就好比组装家具时，先装腿再装桌面，顺序不能乱，而且装腿时留下的螺丝孔要和桌面的孔对得上。

第四个维度叫**技能反思**，考察的是AI在交工之前有没有做一次显式的、可见的自检——比如验证输出文件格式对不对、数据范围是否合理、是否满足任务特定的约束条件。这个维度刻意不等同于"最终答案对不对"：自检不等于结果正确，AI完全可以自检了一遍、发现问题、修正，最终得到正确结果；也可能没有自检，但歪打正着。这两种情况在过程上是完全不同的，SkillCoach会区分对待。

这四个维度的综合得分有默认权重设置：技能选择占40%，技能执行占30%，技能组合占20%，技能反思占10%。最终任务验证器的结果作为独立信号单独记录，不混入过程得分。

**三、评分卡不能只靠拍脑袋，得从实战中磨炼出来**

有了评分卡的框架，下一个问题是：每道题的具体打分标准从哪里来？如果让人工专家逐题制定标准，成本极高，而且容易遗漏真实场景中才会暴露的边界情况。

SkillCoach给出的方案是让评分卡自己从实战中进化，这也是"self-evolving"（自我进化）这个词的来源。整个进化过程像一个经验丰富的老师傅带学徒、反复修订检验单的过程，共分三个阶段循环进行。

第一阶段是搜集实战素材。系统让AI助手在真实环境（含有正确技能和干扰技能的混合技能库）中去完成任务，产生一批真实的操作记录，也叫轨迹。这些轨迹有的好有的差，都会被系统收集起来作为原始素材。

第二阶段是用当前版本的评分卡去给这些轨迹打分，同时提取每一步操作背后的可见证据，判断评分卡是否存在误判——比如漏掉了某个该检查的关键步骤，或者在某种特殊情况下标准过于严苛。这个打分过程会揭露评分卡自身的盲区。

第三阶段是由一个独立的"仲裁模型"基于上述发现提出局部修改方案，修改内容只能针对评分标准、证据要求、负面案例识别等细节，绝对不能动两类东西：一是技能手册里规定的关键步骤列表（不能改题目要求），二是外部验证器的判断结果（不能篡改最终裁判）。

修改方案必须通过一道"双重审核门"才能被正式采纳。第一道是硬性门槛：修改后的评分卡不能变得更宽松，不能对原本不达标的行为给予通过，不能无视干扰技能的影响。第二道是软性提升要求：修改后的评分卡必须在一批独立的验证轨迹上表现出实质性提升，而且这种提升必须体现在具体证据覆盖率、反思质量、过程一致性等可量化指标上——仅仅是"AI打分时更有信心了"这种主观改变是不够的。

整个进化过程在每道题上最多进行六轮，覆盖全部28个任务共使用了94个进化轮次，平均每道题进化约3.36轮。每轮结束后，系统从所有被接受的版本中选出在验证集上表现最好的那一版，作为最终使用的评分卡。

**四、进化后的评分卡到底变好了多少**

为了验证进化前后的差异，研究团队设计了一个严格的对比实验，找来两位人工标注员，从真实的操作记录和技能手册出发，为每道测试题手工构建了"黄金标准评分卡"，覆盖正确的关键步骤、技能使用边界、组合顺序和反思要求。然后用一个与评分卡生成过程完全分离的独立模型（Gemini 3.1 Pro，温度设为0以保证稳定性）来评判初始评分卡和进化后评分卡各自的质量，评判时不允许参考最终任务验证结果。

对比结果在四个维度上全面向好。关键步骤覆盖率从71.56%提升到83.70%，说明进化后的评分卡能识别出人工黄金标准里更多的评分要点。可用性评分从81.53分提升到94.33分（满分100），说明评分标准更加清晰、更容易被AI评判者正确执行。幻觉率从2.00%下降到0，说明进化后的评分卡不再引入那些无中生有的要求，比如错误的文件路径或不存在的输出格式限制。轨迹筛选一致性从82.00%提升到96.00%，意思是用进化后的评分卡对AI操作记录做"合格/不合格"判断时，与人工判断的吻合度大幅提高。

这组数字背后的意义在于：评分卡的进化不是靠着放宽标准来刷高分，而是在不引入新错误的前提下真正填补了盲区，让评分标准更完整、更准确、更可用。

**五、真实的任务场景：选题有讲究**

SkillCoach的实验不是在随便找来的任务上做的，研究团队有一套严格的"任务准入标准"，确保所有纳入研究的任务真正在考察技能使用能力，而不是在考察AI的通用问题解决能力或死记硬背能力。

具体来说，每道题必须同时满足三个条件。第一，不给技能手册时，主流强力AI的平均成功率不超过30%——确保这道题靠"蒙"或"通用能力"很难过关。第二，给了正确技能手册后，成功率的提升幅度必须超过40个百分点——确保这道题确实因为技能手册变得可解。第三，在有手册情况下的成功轨迹里，关键步骤的执行覆盖率必须超过70%——确保成功的轨迹是真正遵循了手册流程而不是歪打正着。

通过这套筛选，研究团队最终确定了28道任务，其中18道用于训练（含50个具体实例），10道用于测试（也含50个具体实例），并且训练集和测试集在任务类型层面完全隔开，保证测试时评估的是泛化能力而非记忆能力。这28道题覆盖了软件工程（代码安全漏洞修复、依赖关系审计）、生产力工具（合同填写、邀请函生成）、科学分析（洪水风险分析、地震板块计算）、商业数据分析（销售透视分析、财务欺诈检测）、科学计算（蛋白质表达分析、聚类参数调优）以及内容创作（视频物体计数、中文诗歌生成）等多个领域。

比较这28道题与原始技能基准测试任务池的数据可以发现，研究团队选出来的这批题目在"无手册时成功率"上比原始池低了约14个百分点，在"有手册时的提升幅度"上则高出约37个百分点。这意味着这批题目确实更加依赖技能手册，对技能使用质量的考察更加直接。

**六、给AI助手做一次全面的"技能体检"**

拿着进化后的评分卡，研究团队对七款主流AI助手进行了全面评测，评测分三种条件：完全不提供技能手册、只提供正确技能手册（无干扰项）、提供正确技能手册加入干扰项。

结果呈现出几个规律性的发现。在"有无技能手册"这个维度上，技能手册的作用非常显著。以表现最好的Opus 4.7为例，不给手册时成功率只有18%，给了正确手册后直接跳到88%，提升了整整70个百分点。GPT-5.5从24%升到80%，Gemini 3.1 Pro从16%升到72%，Kimi K2.6从16%升到66%。这证明研究团队选出来的题目确实是"技能依赖型"任务，技能手册的价值是实实在在的。

但是一旦加入干扰技能，情况就开始分化了。最有意思的对比出现在Gemini 3.1 Pro身上：加入干扰项后，它的整体成功率从72%只小幅下降到70%，看起来还不错；但如果单看技能选择维度，分数从98%暴跌到78%。这说明Gemini在技能选择上受到了相当大的干扰，但它在后续执行环节上足够稳健（执行分数甚至从72.6%微升到82.7%），靠着执行质量补救了选择上的失误，最终结果还算过得去。

再看Qwen3.5-9B，加入干扰项后技能选择分从92%暴跌至44%，技能反思分从76%跌至34%，最终成功率也从18%降至14%。这说明当AI连正确的手册都没找到时，后续所有操作都会跟着失准。

这组对比的意义在于：如果只看最终成功率，Gemini和Qwen的差距并不突出，都是小幅下降；但通过四维度拆解，你能清楚地知道前者的问题出在"找手册"环节，后者则是多个环节同时崩溃。这对于需要在企业中可靠部署AI助手的团队来说，是截然不同的诊断结论，对应的改进方向也完全不同。

**七、用进化后的评分卡来挑选训练素材**

SkillCoach的第三个应用是把进化后的评分卡用于训练数据的筛选。道理很简单：如果你想教一个学徒怎么正确使用操作手册，最好的教材应该是那些真正规范执行了手册的操作示范，而不是那些碰巧最后做对了但过程一塌糊涂的示范。

研究团队的做法是：收集大量AI在带干扰技能环境下完成任务的操作记录，然后只保留那些同时满足两个条件的记录——一是外部验证器确认任务成功（结果对），二是进化后的评分卡给出的综合过程分达到0.95分以上（过程规范）。这两个条件都满足的记录才进入训练集，用来微调规模较小的开源模型（Qwen3.5系列的4B和9B两个版本）。

实验结果形成了一个清晰的对比梯度。以Qwen3.5-4B为例，原始基础模型的最终任务成功率是8%；用"只要最终验证通过"的宽松标准筛选训练数据，做完微调后成功率反而跌到6%——说明这样选出来的训练数据里混入了太多过程混乱的"反面教材"，把模型训坏了。用初始评分卡筛选的训练数据微调后，成功率提升到16%，有所改善。换成进化后的评分卡筛选，成功率进一步提升到24%。对Qwen3.5-9B来说，同样的趋势更加明显：从14%基础，到18%（只看结果筛选），到28%（初始评分卡筛选），再到32%（进化评分卡筛选）。

研究团队还做了一组消融实验，依次从筛选条件中去掉某一个维度，看看哪个维度对训练质量的贡献最大。结果显示，去掉技能执行要求的影响最大：4B模型成功率从24%跌至10%，9B从32%跌至16%。这说明在训练中，忠实执行技能手册里规定的关键步骤是最重要的过程特征。去掉技能组合顺序的影响次之，去掉技能反思的影响最小，但也是可见的。

**八、技能库越大，AI选技能越困难——有多困难？**

研究团队还专门做了一项压力测试，专门研究当技能库规模不断扩大时，AI的技能选择能力会在哪个节点开始崩溃。这项测试刻意只考察"能不能从一堆手册里找对手册"这一件事，剥离了任务执行、环境运行等其他干扰因素。

测试方法是：从零干扰开始，逐渐向技能库里加入越来越多的真实干扰技能（用的是来自公开技能库的真实SKILL.md文件，最多扩展到5万个），每轮测量AI的技能选择准确度，记录两个关键节点——"第一次明显恶化"（准确度下跌超过10个百分点且此后不再回升）和"接近完全崩溃"（80%以上的测试案例都找不到正确技能、且准确度接近零）。

各款AI的表现差异非常大。在"第一次明显恶化"节点上，DeepSeek V4 Flash在加入约26至27个干扰技能时就开始走下坡路；Gemini 3.1 Pro能撑到约45至46个干扰技能；GPT-5.5能撑到约55至56个；Opus 4.7的韧性最强，在约194至195个干扰技能时才开始明显恶化。

在"接近完全崩溃"节点上，DeepSeek V4 Flash在约6400至6500个干扰技能时崩溃；Kimi K2.6在约2万至2.1万个时崩溃；Gemini 3.1 Pro在约3.5万个时崩溃。而GPT-5.5和Opus 4.7在测试的最大规模（5万个干扰技能）下仍未触发崩溃标准，GPT-5.5在5万个干扰项下的选择F1分数还能维持在0.33，Opus 4.7则能维持在0.46。

研究团队还发现，干扰技能的"危险程度"取决于它们与正确技能的相似程度，而不仅仅是数量。在固定50个干扰技能的情况下，随机不相关的干扰技能对选择准确度的影响最小；同领域但功能不同的干扰技能影响中等；高度相似（比如同一类任务的不同版本流程）的干扰技能破坏力最强。以GPT-5.5为例，在50个随机不相关干扰项下选择F1为0.84，换成高度相似的干扰项就跌到0.59；Opus 4.7从0.87跌到0.71。

这个发现对企业部署AI助手有很强的实际含义：在技能库里最危险的不是那些明显不相关的手册，而是那些"看起来很像但实际上有微妙差别"的手册，比如两个部门各自版本的合规检查流程，或者针对不同业务场景的数据清洗脚本。

此外，研究团队还区分了两种不同类型的选择错误。一种是"该用技能时没选对"，另一种是"不该用技能时错误触发了某个技能"。测试结果显示，大多数AI在"不该用时不乱用"这件事上做得还不错，但在"该用时准确找到正确技能"上的差距就很大了。这意味着，仅仅测试AI"会不会用技能"会高估它的实际能力，更重要的是测试它在一堆候选技能里能不能精准地找到那一个正确的。

归根结底，这项研究揭示的是一个被长期忽视的评估盲区：我们对AI助手的考核长期停留在"结果对了吗"这个层面，却很少追问"它是怎么做到的"。在企业场景里，这个问题不只是学术上的好奇，而是实实在在的业务风险——一个靠反复试错、误选手册、跳过关键步骤最终歪打正着的AI助手，在下一次面对稍有不同的任务时很可能彻底失效，而且你完全预测不到它会在哪里出错。

SkillCoach提供的这套四维过程评分卡，加上自我进化机制，不仅让评估更加准确，还直接影响了训练数据的质量——只有过程规范、结果正确的示范才能进入训练集，由此训练出来的AI在实际任务中的表现也明显更好。这说明"怎么评"和"怎么训"其实是一体两面的问题，好的评估框架直接推动了更好的训练结果。

当然，这项研究也坦承了两点局限。实验规模相对有限，28道任务涵盖的场景还不能完全代表真实企业中几千上万道工序的复杂程度。训练部分目前只做了离线的监督微调，还没有尝试让AI在实际使用中持续根据反馈调整——研究团队已经指出，SkillCoach产生的过程评分完全可以作为强化学习的奖励信号，这是下一步值得探索的方向。

有兴趣深入了解这套方法的读者，可以通过arXiv编号2607.01874查阅完整论文，论文附录中提供了所有关键提示词模板和详细实现参数，具备一定技术背景的读者完全可以据此复现整套流程。

**Q&A**

Q1：SkillCoach的四个评分维度中哪个对训练效果影响最大？

A：研究团队的消融实验显示，技能执行维度的影响最大。去掉这个维度的筛选要求后，Qwen3.5-4B的任务成功率从24%跌至10%，9B从32%跌至16%。这说明在训练数据筛选中，忠实按照技能手册执行关键步骤是最重要的过程特征，比技能组合顺序和技能反思的贡献都要大。

Q2：SkillCoach对哪些类型的AI助手测试过？

A：研究团队测试了七款AI助手，包括Opus 4.7、GPT-5.5、Gemini 3.1 Pro、Kimi K2.6、DeepSeek V4 Flash、Qwen3.5-4B和Qwen3.5-9B。其中Opus 4.7在技能依赖任务上表现最稳健，能在约194个干扰技能下才开始明显退化；DeepSeek V4 Flash则在加入约26个干扰技能时就开始走下坡路。

Q3：技能库规模增大时AI选技能的崩溃标准是怎么定义的？

A：研究团队用两个指标同时达标来判断崩溃：一是超过80%的测试案例中AI完全没有选到任何正确技能；二是技能选择F1分数不高于0.10且精确匹配率不高于0.05。这意味着崩溃不要求均值绝对为零，只要绝大多数情况下完全无法找到正确技能，就算触发了崩溃边界。