卡内基梅隆大学的研究者们想到了一个聪明的"以小博大"方法

这项由卡内基梅隆大学语言技术研究所（Language Technologies Institute）与Salesforce AI Research联合开展的研究，于2026年7月2日以预印本形式公开发布，论文编号为arXiv:2607.02032。感兴趣的读者可以通过该编号在arXiv平台上查阅完整原文。

**评估一个AI代理，为什么会让研究团队头疼不已？**

假设你是一家公司的HR，需要招聘一名员工。最可靠的办法当然是给他们安排一次完整的实习，让他们在真实工作环境中磨砺几个月，然后再做决定。然而，这种方式的代价极高——你要为这名实习生提供薪资、工位和时间，而在最终决定录用之前，公司已经付出了巨额成本。如果你同时需要评估100名候选人，情况就更加棘手了。

AI研究领域正面临着类似的困境。如今的大型语言模型（Large Language Model，简称LLM，可以把它理解为一种能够理解和生成语言的超大型AI系统）不仅仅被用来回答问题，它们越来越多地被部署为能够自主完成复杂任务的"AI代理"（Agent）。这类代理能够操作电脑、浏览网页、修复代码漏洞，甚至可以规划一系列多步骤的行动来完成用户交代的复杂目标。

评估这类AI代理的表现，需要用到专门设计的"代理基准测试"（Agentic Benchmark）。这些测试就像前文提到的实习场景一样：需要为AI搭建完整的工作环境，让它真实地去完成任务，再判断结果是否正确。以业内知名的SWE-Bench（专门测试AI修复真实软件漏洞能力的测试）和GAIA（测试AI综合解决问题能力的测试）为例，评估单个AI模型在这类测试上的表现，成本动辄高达数千美元，耗时长达数天，还需要复杂的基础设施支持。

于是，一个自然而然的问题浮现了：能不能用一套便宜又快速的"小测验"来准确预测AI在那些昂贵大考中的表现？卡内基梅隆大学的研究团队给出了肯定的答案，并将他们的方法命名为PACE，即"代理能力评估代理"（Proxy for Agentic Capability Evaluation）。

一、AI评估界的"高考与月考"之争

在正式介绍PACE之前，需要先理解AI评估领域里存在的两类截然不同的测试。

第一类是非代理基准测试（Non-Agentic Benchmark），也就是那些便宜、快速的"月考"。这类测试每道题目独立存在，只需要AI进行一次作答，就能立刻判分。比如，给AI出一道数学题，它回答"42"，系统立刻比对答案是否正确。这类测试涵盖知识记忆、数学推理、代码编写、指令理解等各种单项能力。每道题的评估成本极低，往往只需几美分甚至更少。

第二类就是那些昂贵的代理基准测试，也就是真正的"高考"。这类测试要求AI像真正的工作人员一样，在一个真实的工作环境中完成多步骤的复杂任务。修复一个软件Bug，AI需要理解代码库的整体结构、找到问题所在、编写修复方案、然后运行测试来验证自己的修复是否有效——整个过程可能需要AI进行数十次甚至上百次的工具调用，耗费大量时间和计算资源。

研究团队注意到一个有趣的现象：AI代理之所以能在那些昂贵的高考中取得好成绩，根本上依赖的是一些基础能力——理解指令的能力、制定计划的能力、调用工具的能力、推理思考的能力等等。而这些基础能力，恰恰是那些便宜的月考已经在测量的东西。

这就好比说，高考语文成绩出色的学生，往往在平时的阅读理解、作文练习中也表现不俗。如果我们掌握了一个学生在各类平时测验中的详细数据，是否就能合理预测他的高考成绩？PACE的核心思路正是如此。

研究团队为此整理了一张详细的"能力地图"。他们将AI代理所需的核心能力归纳为11个维度：遵从指令的能力、整合长篇信息的能力、从错误中恢复的能力、制定计划的能力、生成代码的能力、检索信息的能力、搜索代码库的能力、调用工具的能力、推理思考的能力、理解图像等多模态信息的能力，以及验证和测试输出结果的能力。这11种能力就构成了PACE方法选题的基础。

二、PACE的"选题委员会"：如何从海量题目中挑出最有预测价值的100道题

现在回到那个HR类比。你作为HR想要预测候选人的实际工作表现，但预算有限，只能给每位候选人安排几次有限的面试或笔试。问题的关键就在于：你该设计哪些面试题目？

一个随便拼凑的题库显然不够好用。你需要的是那些"最能区分候选人真实工作能力"的题目——既要覆盖工作所需的关键技能，又不能彼此重复。PACE的"实例选择"（Instance Selection）机制就是在解决这个问题。

研究团队从19个非代理基准测试中构建了一个候选题库，这19个测试覆盖了前文提到的全部11种AI核心能力。这个候选题库规模庞大，总计包含数万道题目。PACE的任务，就是从这数万道题目中，精准筛选出区区100道题，使得这100道题的综合得分能够最准确地预测AI在那些昂贵代理基准测试上的表现。

为了实现这个目标，PACE采用了两种互补的筛选策略，可以把它们理解为选题委员会里的两位具有不同专业视角的专家。

第一位专家叫做"局部选择"（Local Selection），她的原则是"与目标高度相关"。她会计算每一道候选题目与目标高考成绩之间的"斯皮尔曼等级相关系数"（Spearman Rank Correlation，可以理解为一种衡量"两件事情变化趋势是否一致"的指标）。简单来说，她会观察：当某道题的得分高低发生变化时，AI在目标高考中的得分是否也会随之同步变化？相关性越高，这道题就越有价值。这位专家只关心与高考最直接相关的题目。

第二位专家叫做"全局选择"（Global Selection），他的原则是"捕捉整体结构中的关键信息"。他采用了一种叫做"SVD"（奇异值分解，可以把它理解为一种能从大量数据中提炼出最核心结构的数学工具）的方法，计算每道题目在整个候选题库中的"杠杆分数"（Leverage Score）。那些在整个题库中最具"代表性"、信息量最丰富的题目，会获得较高的杠杆分数。这位专家不只盯着高考相关性，还关心题目是否能覆盖那些AI能力的不同侧面，避免选出一堆实质上测量同一种能力的重复题目。

PACE的最终选题，是将这两位专家各自推荐的题目合并，取其并集，共同组成一个100道题的代理基准测试（PACE-BENCH）。如果两位专家推荐了同一道题，那就从各自的推荐名单中继续往下选，直到凑足100道为止。最终，PACE给两位专家的推荐各分配一定比例的权重（这个比例由数据自动优化确定），并将两者的预测结果进行加权融合。

三、预测机器：如何从月考成绩推算高考分数

选好了100道题之后，PACE还需要一套机制来完成从"月考分数"到"高考分数"的推算。这套机制分为两个目标，可以分别对应两种不同的实际需求。

第一个目标叫做"绝对分数预测"（Performance Prediction）：给定一个AI模型在这100道月考题上的得分，预测它在目标高考上的具体分数。这里使用的工具是线性最小二乘回归，通俗来说就是找到一条最佳拟合直线（或者多维空间中的超平面），使得月考得分能够最准确地映射到高考得分上。这个系数向量（回归权重）通过在一批已知高考成绩的AI模型（称为"校准集"）上训练得到。

第二个目标叫做"排名预测"（Pairwise Preference Prediction）：给定两个AI模型，预测哪个在高考上的表现更好。这里使用的是一种叫做"逻辑回归"的工具，可以把它理解为一个"裁判"——它接受两位选手之间的月考得分差异作为输入，输出一个判断：究竟谁更强？这背后隐含了一种叫做"Bradley-Terry模型"的思想，在体育赛事的排名预测中也常用到类似原理。

这里还有一个聪明的技巧值得关注，叫做"自举法"（Bootstrap）目标实例重采样。高考题库本身也只有几百道题，而参与校准的AI模型也只有十几个，这都是很小的样本量。在样本量这么小的情况下，直接用原始高考分数来训练预测器，容易产生"过拟合"——也就是预测器过于依赖这批校准数据的特殊性，对新模型的预测就会失准。为了解决这个问题，研究团队在训练时反复对高考题库进行随机重采样（有放回地抽取），产生大量略有差异的高考得分估计，让预测器学会应对高考题目采样带来的不确定性。通过后续实验证明，这个技巧在每一个目标高考上都有所帮助——平均绝对误差降低了约0.77个百分点，斯皮尔曼相关系数提升了约0.15。

四、实验设计：如何严格检验PACE的预测能力

研究团队选用了14个不同的AI模型作为实验对象，涵盖了业界最前沿的各类模型，包括GPT 5.2、Gemini 3 Pro、Claude Opus 4.5、DeepSeek V3.2、GLM 4.7、Kimi K2等等，既有商业闭源模型，也有开源模型，模型能力分布较广。

四个目标高考（代理基准测试）分别是：GAIA（一个测试AI综合问答能力的基准，要求AI能使用网络搜索、推理和多模态理解来回答真实世界的问题）、SWE-Bench Verified（一个测试AI能否修复真实GitHub代码仓库中的Bug的基准，包含500个经过人工验证的高质量问题）、SWE-Bench Multimodal（SWE-Bench的多模态扩展版，Issue描述中包含截图、原型图等视觉信息）、以及SWT-Bench（一个测试AI能否为真实Bug生成有效测试用例的基准）。所有代理基准测试的结果都通过OpenHands这个统一的AI代理框架获取，确保跨模型比较的公平性。

月考题库由19个非代理基准测试构成，研究团队通过lm-evaluation-harness这套评估工具获取各模型的月考成绩。

评估方式采用了"留一法交叉验证"（Leave-One-Out Cross-Validation，LOOCV），这是一种极为严格的验证方式：每次将14个模型中的一个"藏起来"，用剩余13个模型的数据来训练PACE的选题和预测机制，然后用这套机制来预测被藏起来的那个模型的高考成绩。如此循环14次，让每一个模型都有机会充当"考生"，最终汇总所有被预测模型的预测误差。这种方式能够严格衡量PACE对"全新、未见过的AI模型"的预测能力，而非仅仅衡量它在已知数据上的拟合能力。

五、实验结果：一张令人惊喜的"成绩单"

实验结果相当鼓舞人心。在只使用100道月考题目的情况下，PACE在四个高考目标上的平均预测精度如下：绝对误差（MAE，衡量预测分数与真实分数之间的平均偏差）仅为3.80%，这意味着如果一个AI的真实高考成绩是60分，PACE预测的分数平均误差不超过3.8分。斯皮尔曼相关系数达到0.81（满分为1，表示完美的排名一致性，0表示毫无关联），意味着PACE预测出的模型排名与真实排名高度吻合。在"哪个模型更强"的两两比较中，PACE的准确率平均达到84.37%，远远高于随机猜测的50%基准。

不同目标高考的预测精度略有差异。在SWE-Bench Verified上，PACE的绝对误差最低，仅为2.09%；在SWE-Bench Multimodal上，斯皮尔曼相关系数最高，达到0.89；在SWT-Bench上，两两比较准确率最高，达到90.11%。GAIA和SWT-Bench的绝对误差相对较大（分别为5.77%和5.12%），但两者在排名预测上依然保持较强的表现（斯皮尔曼系数分别为0.79和0.89）。

更重要的是成本对比。完整运行一套代理基准测试，每个模型的成本从几十美元到几百美元不等，加之复杂的环境搭建，总体评估成本极高。而PACE的100道月考题，评估一个模型的成本极低——以Claude Sonnet 4.5为参考，整套PACE-BENCH的评估成本不超过全套代理基准测试成本的1%。研究团队将PACE与一个"随机从高考题库中抽取若干题"的基准方法进行了对比，结果显示：在相同的预测质量下，PACE所需的成本约为后者的1/100。换句话说，花同样少的钱，PACE能给你远比随机抽题更准确的预测结果。

六、PACE挑选出来的题目，揭示了什么秘密？

PACE不仅仅是一个预测工具，它的选题结果本身也具有很强的解释价值。通过观察PACE为不同目标高考选出的100道题各自属于哪类能力，研究团队得以窥见每个代理基准测试背后真正依赖的核心技能。

在PACE为所有四个目标高考选出的100道题中，"遵从指令"和"推理思考"这两类能力的题目都被选满了（各达到100道的上限）。这是因为几乎每一个月考基准测试都覆盖了这两种能力，所以无论哪个高考目标，这两类能力的题目都能被选中。然而，其余9种能力的题目数量，在四个高考目标之间呈现出了显著的差异，这正是最有价值的信息所在。

针对GAIA的选题，除指令遵从和推理之外，被大量选入的能力是"验证与测试"（49道）和"规划"（36道）。这与GAIA的任务特点高度吻合：GAIA的每道题都会给出详细的答案格式要求，AI必须严格遵循指令格式并自我检验答案是否满足所有条件，同时还需要规划多步骤的信息搜集和整合过程。

针对SWE-Bench Verified的选题，被重点选中的能力是"规划"（54道）、"验证与测试"（58道）、"代码生成"（27道）和"错误恢复"（24道）。这恰好对应了修复真实Bug所需的完整工作流程：先规划修复方案，再生成代码补丁，运行测试用例来验证修复效果，遇到测试失败时还需要从错误中恢复并重试。

针对SWE-Bench Multimodal的选题，"长篇信息整合"能力的题目数量特别突出（47道）。这与该测试的任务特点密切相关：Multimodal版本的Bug描述往往包含大量的代码、截图和文档，AI需要将这些跨越多种形式的信息整合在一起，才能理解问题所在。有意思的是，纯粹的"多模态理解"（即处理图片的能力）在选题中并不突出（仅15道），研究团队分析认为，这是因为许多Multimodal版本的Bug即便不依赖图片，仅凭文字描述也能解决，视觉信息更多是辅助性的。

针对SWT-Bench的选题则是最为集中的：100道题中有高达84道来自"规划"能力，外加"验证与测试"相关的题目。SWT-Bench的任务是让AI编写能够暴露Bug的测试用例——这需要AI非常深入地理解Bug的预期行为，规划出一套能精准触发该Bug的测试步骤，并仔细设计每个断言（测试检查点）以验证Bug确实被测试到了。高度依赖规划与验证能力这一选题结果，与任务要求完全吻合。

通过对月考题库中具体来源的分析，研究团队还发现了一个贯穿所有高考目标的"共同底座"：PlanBench（一个专门测试AI规划能力的基准）是四个目标中被选中数量最多的单一来源（在GAIA中34道，SWE-Bench Verified中31道，SWE-Bench Multimodal中22道，SWT-Bench中更是多达84道）。此外，VisualPuzzles（测试多模态推理的基准）、BFCL（测试工具调用能力的基准）和MMMU（测试多模态理解的基准）也在四个目标中均有出现。这说明规划能力是AI代理通用能力的核心，而多模态推理和工具调用能力能够帮助区分前沿AI模型之间的差异，即便目标任务本身并非以多模态为主。

七、与"暴力抽题"和"正则化回归"的对比

研究团队还对PACE的设计选择进行了多个方向的验证，确认其有效性并非来自某些偶然因素。

首先是与"随机从高考题库抽题"方法的对比（即图1中的红色曲线）。随机从高考题库中抽取若干道题来评估模型，本质上也是一种降低成本的策略，而且直接使用的是高考题目本身，逻辑上似乎更为直接。然而实验结果清晰地表明，在任何给定成本水平下，PACE都显著优于这种随机抽题策略：在同等预测精度下，PACE所需的成本约为后者的1/100；或者换个角度，花同等的钱，PACE的预测精度远远更高。

其次是与正则化回归方法（Lasso和Ridge）的对比。研究团队尝试了直接用Lasso（一种通过惩罚冗余特征来筛选关键变量的方法）和Ridge（一种通过收缩系数来防止过拟合的方法）在全部候选题目上进行回归，以回归权重的大小作为选题依据。实验表明，这两种方法在"训练集"上表现完美（几乎拟合误差为零），但在"留一法交叉验证"这种严格设置下急剧失准——这正是经典的过拟合现象，在样本量（14个模型）远小于特征数量（数万道题目）的情况下不可避免地发生。PACE通过"将选题与回归解耦"的设计策略——先独立评分每道题目的价值，再在选出的小规模题目上进行回归——有效规避了这一陷阱，实现了远更稳健的跨模型泛化性。

八、预算弹性：从25道题到500道题，效果如何变化？

研究团队还系统地检验了不同月考题目数量（预算C）对预测精度的影响，C从25道一直扩展到500道。

结果呈现出一条清晰的"学习曲线"：随着题目数量的增加，绝对误差逐渐下降，排名准确率逐渐提升。在极少的25道题时，平均绝对误差已经仅为4.02%，斯皮尔曼相关系数达到0.832，两两比较准确率为83.98%——这已经是相当不错的预测精度了。随着题目增加，精度持续提升，但边际收益递减。绝对误差在C=400时触底（3.30%），之后略有回升（C=500时为3.44%），表明在当前的14个模型校准集规模下，过多题目反而会带来轻微的过拟合。两两比较准确率则一路持续提升至C=500（89.27%），说明排名预测相比绝对分数预测，能从更多题目中获益。

研究团队将C=100定为推荐的"实用甜蜜点"，在成本与精度之间取得了良好平衡。

九、局限性：坦诚说明方法的边界

研究团队对PACE的局限性保持了坦率的态度。首先存在"代理博弈"的潜在风险：一旦PACE的具体题目集公开，模型开发者可能会专门针对这100道题进行优化，从而在代理基准上刷出虚高的分数而不提升真实能力。缓解措施包括定期更新题目集、在评估前保密、或每次评估时随机抽取新子集。其次，14个模型的校准集相对于100维的特征空间而言仍然偏小，回归权重在解释单道题目的重要性时并不可靠，更适合作为集成信号来理解。第三，目前的四个代理基准测试都使用了同一个代理框架（OpenHands），PACE能否推广到使用不同工具链和评估协议的代理基准（例如浏览器操作代理或具身机器人代理）尚待研究。最后，如果某个代理基准测试所需的能力完全不在19个月考基准覆盖的范围之内，PACE就无能为力——代理基准的可预测性根本上受限于月考题库的能力覆盖广度。

归根结底，PACE做的事情可以用一句话来概括：它找到了一批"最聪明的面试题"，这些题目虽然数量少、成本低，但它们的答案能够综合反映出一个AI模型在真实复杂任务中的表现潜力。对于AI研究者和工程师而言，这意味着他们在决定花大价钱进行完整代理评估之前，可以先用PACE进行快速筛查，以极低的成本判断哪些模型值得进一步测试。对于整个AI研究生态而言，这意味着能力较弱、资源有限的研究团队也能以更低门槛追踪自己模型的代理能力，而不必将严格评估的权利拱手让给财力雄厚的大机构。

这项研究让我们意识到，在AI评估这件事上，"多花钱"与"了解真相"之间的鸿沟，或许并没有我们以为的那么宽。花100美元买来的答案，和花10000美元买来的答案，在很多时候指向的是同一个方向。有兴趣的读者可以通过arXiv编号2607.02032查阅完整原文，或者访问论文配套的GitHub代码库（neulab/pace）和数据集（neulab/pace-bench）进行进一步探索。

Q&A

Q1：PACE方法用100道题预测AI代理表现的准确率能达到多少？

A：在严格的留一法交叉验证下，PACE用100道非代理题目预测AI代理基准测试成绩的平均绝对误差仅为3.80%，斯皮尔曼相关系数达到0.81，两两模型排名比较的准确率平均为84.37%，且评估成本不到完整代理测试的1%。

Q2：PACE如何从数万道候选题目中选出最有价值的100道题？

A：PACE同时使用两种互补策略。"局部选择"根据每道题与目标代理基准得分之间的斯皮尔曼相关性筛选最相关的题目；"全局选择"则通过SVD奇异值分解计算每道题在整个题库中的信息代表性，综合两种信号再通过数据自动确定最优权重比例。

Q3：PACE的预测能力会随着题目预算增加而一直提升吗？

A：不会无限提升。实验表明随着题目数量从25增加到400，绝对误差从4.02%下降到3.30%，但超过400道题后精度略有下降，说明在当前14个模型的校准集规模下存在轻微过拟合。两两排名比较的准确率则持续提升至500道题（89.27%）。