大模型的八股取士，十门科目、四种判卷

古代的八股取士，考的是四书五经。

大模型的八股取士，考的是LLM能不能把活干完。

前者是形式压倒内容，后者是内容压倒形式。

但只要是 “取士”，就一定有被格式化的东西。

因为你在朋友圈看到的每一个"某某模型吊打某某""某公司又赢了"，背后都是一个考分。

但是这八股的卷子谁出、谁判、怎么给分。

决定了你看到的是真相，还是排版。

图 1　这就是那张八股取士"成绩单"：AA 榜单快照，紫色箭头是 K3 和 K3.1 Pro 的位置

01 先看一个被玩坏的算法

比如：K3 到 K3.1 Pro，AA 综合指数从 44 涨到 55。

涨了 11 分。

于是标题就来了："能力暴涨 25%"。

跻身全球全四。

我：？？？

11 分是绝对分数，不是百分比能力。

你这么算，等于说"我从 60 分考到 71 分，所以我智商提高了 18%"。

听起来很唬人，其实什么也没说。

而且这 11 分，压根不是雨露均沾。

拆开看：

• 终端执行力（Terminal-Bench）从 13% 干到 67.2%，涨了 54.2 个百分点；

• 同样是代码，科学编程（SciCode）从 59% 到 60.8%，只涨 1.8；

• 长上下文（AA-LCR）更离谱，从 89% 掉到 86.3%。

同一张卷子，一门课坐了火箭，一门课原地踏步，还有一门课退步了。

所以"总分涨 11"这种话，跟"我和马斯克两人平均资产5000亿"一样，你得先问一句：跟谁平均？

02 考纲长这样：十门课，四种权重

现在掏出八股取士的考纲。

AA 这套综合指数，最新版本是 v4.3.2，一共 10 门课，分四类，权重如下：

• 智能体 30%：AA-Briefcase（15%）、GDPval-AA（10%）、AutomationBench（5%）

• 编程 20%：Terminal-Bench 4.0（10%）、SciCode（10%）

• 通用 30%：AA-Omniscience（15%）、GDP.pdf（10%）、AA-LCR（5%）

• 科学推理 20%：HLE（10%）、CritPt（10%）

图 2　十门课怎么加权成一分：类别权重和单项权重

翻译成人话：

"会动手"占 30%，"会答题"占 30%，"会写代码"占 20%，"会做科学题"占 20%。

注意这个顺序。

智能体和通用并列第一，编程只排第三。

这意味着什么？

意味着在出题人眼里，一个能自己打开终端、把活干完的模型，比一个会背书的模型值钱。

这不是技术判断，这是价值观。

而价值观，是被权重写死的。

你想啊，要是明天把编程提到 40%、智能体砍到 15%，你猜榜单会不会洗牌？

一定洗。

同一批模型，同一堆题，名次全变。

所以看榜单之前，先问一句：它到底在奖励什么？

这个问题的答案，比"谁第一"重要一百倍。

03 判卷才是精华：四种老师，四种给分法

这里是最容易看漏的地方。

大部分人以为"考试"就是"答对得分"。但十个科目，用了四种完全不同的判卷方式。

图 3　四种判卷方式，对应不同科目——这才是榜单里最容易被误读的部分

第一种：机器批卷，跑测试

Terminal-Bench 4.0：66 道题，每题跑 3 遍。模型在终端里操作，最后有一套测试脚本判过没过。

SciCode：288 个子题，每题 3 遍，模型写的 Python 必须通过全部单元测试才算过。

这种最硬——对就是对，错就是错，没有"我觉得它写得挺好"。

也正因为硬，它最不给面子。

13% 就是 13%，67.2% 就是 67.2%。

中间那 54 个百分点，是真金白银的执行力，不是 PPT 上的形容词。

第二种：看结果，不看嘴

AutomationBench：657 道题，让模型通过 REST API 去操作一堆 SaaS 系统，跑完业务流程。

判分不看它说了什么，看系统最终状态对不对。

而且有个狠规则：一旦触发"护栏违规"（干了不该干的操作），这题直接 0 分，不给你解释的机会。

第三种：不判对错，只判高下

GDPval-AA：220 道题，覆盖 44 个职业。模型最多走 250 步，可以联网搜、可以抓网页、可以看图，最后交一份交付文件。

然后呢？

评审团两两比较——A 和 B 谁的活干得漂亮，投票，换算成 Elo。

AA-Briefcase：91 道题，4 个场景。

给你一间虚拟办公室：`/home/user/` 和 `/tmp` 能写，`shared/` 和 `week/` 只读，还要求你先复制再改,不许就地动刀。

交付物按三项打分：任务达成、分析质量、呈现质量，再合成 Elo。

注意，这种分数不是正确率。

1800 Elo 不代表"90% 正确"，它只代表"比 1600 分那个锚点更能打"。

这是江湖排名，不是考试成绩。

第四种：按标准逐条核对

GDP.pdf：100 道题，10 个专业领域，底子是 4592 页 PDF、1275 条验收标准。每题跑 5 遍，凑成固定的 500 次分母。

评审一条条对着标准看，全部满足才算过。

AA-LCR：100 道长上下文题，7 类文档，每题塞进去约 10 万 token，模型没 128K 上下文窗口连门都进不去。

AA-Omniscience：6000 道开放知识题，拆成两个分——准确率 10% 和 非幻觉率 5%。

翻译一下：不会就说不会，是有分的。硬编，是要扣钱的。

HLE：2158 道纯文本题，数学、人文、自然科学。

出题人自己都提醒：这套题当年是用 GPT-4o、Gemini 1.5 Pro、Claude 3.5 Sonnet 这些模型筛过的，所以跟这几家横比要留个心眼——相当于出题时用过你家的模拟卷。

CritPt：研究级物理题。两步走——先让你把推理写完整，再让你把答案格式化成代码；答案可以是数值、可以是 SymPy 符号表达式，也可以是带测试用例的 Python 函数。最后由官方评分服务器判定。

04 有的课考 1 次，有的考 5 次，为什么

考纲表里还有一列，叫"重复次数"。

大部分人扫一眼就过去了。

但这一列，决定了这卷子靠不靠谱。

• 考 1 次的：AutomationBench、GDPval、AA-Briefcase、AA-Omniscience。这些要么环境会变，要么题集不公开，跑第二遍意义不大。

• 考 3 次的：Terminal-Bench、SciCode、AA-LCR。代码和长文本，重复得起。

• 考 5 次的：GDP.pdf。而且人家直接写明"固定分母 500 次",防止"跑得多的模型分母更大"这种小动作。

关键在汇总方式：pass@1。

这个词翻译过来是：每一轮独立作答的通过率，再取平均。

不是"给它十次机会，能做对一次就算过"。

这两件事差在哪？

差在你敢不敢把活交给它。

一个模型三次里过两次，记 66.7%。它代表"这货一次做对的概率是三分之二"，不是"它迟早能做对"。

做产品的人应该都懂：迟早能做对，等于不能做。

05 66 道题和 657 道题，差的是"分辨率"

还有一个细节，特别容易被忽略：题量。

• Terminal-Bench 只有 66 道题。66 题、每题 3 遍，等于 198 次尝试。换算成百分比，一道题值 1.5 个百分点。

• AutomationBench 有 657 道题。一道题只值 0.15 个百分点。

差了十倍。

什么意思？

意思是在 Terminal-Bench 上，60% 和 61.5% 之间，本质上就是"多做对了一道题"。这种差距，你拿去做选型决策，属于玄学。

而在 AutomationBench 上，0.15 的颗粒度才撑得起"我比你稳"这种话。

所以我一直说：看榜单第一件事不是看分，是看分母。

分母小的科目，波动大；分母大的科目，才配谈细节。

66 道题的卷子里，模型蒙对一道、或者手抖错一道，分数就上下跳 1.5。

这种波动，写在新闻里就是"重大突破"和"意外翻车"。

实际上啥也没发生，就是掷了次骰子。

06 这 11 分，我给你按计算器算一遍

好，现在算总分。

规则简单到有点朴素：

• 百分比科目：涨了几个百分点 × 权重

• Elo 科目：先把增量标准化成 (Elo−500)/2000，再乘权重

拿 K3 到 K3.1 Pro 的公开数据套进去：

科目

变化

怎么算

贡献

Terminal-Bench

+54.2 个百分点

54.2 × 10%

约 +5.42

GDPval-AA

+312 Elo

312 ÷ 2000 × 10%

约 +1.56

AA-Briefcase

+179 Elo

179 ÷ 2000 × 15%

约 +1.34

AutomationBench

+15 个百分点

15 × 5%

约 +0.75

GDP.pdf

+9.4 个百分点

9.4 × 10%

约 +0.94

HLE

+5.5 个百分点

5.5 × 10%

约 +0.55

SciCode

+1.8 个百分点

1.8 × 10%

约 +0.18

CritPt

+1.6 个百分点

1.6 × 10%

约 +0.16

AA-LCR

−2.7 个百分点

−2.7 × 5%

约 −0.14

前四项加起来，约 9.1 分。总分涨了 11 分，一大半是一个科目干的。

说白了：Terminal-Bench 这一门，贡献了半壁江山。

所以"K3.1 Pro 全面变强"这种说法，属于典型的一白遮百丑。

它真正变强的，是在终端里把活干完的能力。

这门课，它从不及格干到了接近满绩。

至于别的课？

有的小涨，有的还退了。

07 这套高考的毛病，人家自己都写了

我最欣赏 AA 的一点是，它把短板写在了明面上。

• 这是英文文本考试。 图像、语音、多语言，是另外单独测的，不进这张总分。

• 不考成本。 综合分里没有价格、没有延迟。所以别拿这张榜去推"性价比排名"。

• 权重就是立场。 智能体给 30%，等于宣告"会干活"比"会背书"重要。你换个权重，排名立刻洗牌。

• 有些题是保密的。 AA-Briefcase 和 AutomationBench 是私有题集，外人看不到题目，只能选择信任它的方法和报告。

• 有的题有历史包袱。 HLE 的选题用过几个前沿模型做过滤，对被用过的模型天然不利。

• 没有置信区间。 差个一两点，别急着宣布"显著更强"。

一个榜单敢把这些写出来，可信度反而比声称"我们绝对客观"的高。

08 所以这张榜到底怎么看

四条，拿走不谢。

第一，先看科目，再看总分。

你做 Agent 产品，就盯 Terminal-Bench、AutomationBench、GDPval；你做文档处理，看 GDP.pdf 和 AA-LCR；你怕它胡说八道，就看 AA-Omniscience 的非幻觉率那一项。

第二，看权重。

同样是涨 10 个百分点，落在 15% 权重的课上，价值是落在 5% 权重课上的三倍。不看权重就比总分，等于不看分值比卷面分。

第三，看允不允许用工具。

GDPval、Briefcase、AutomationBench、Terminal-Bench 允许搜索、抓网页、看图；SciCode、GDP.pdf、AA-LCR、AA-Omniscience、HLE、CritPt 一律不许联网。

"带外挂的成绩"和"裸考的成绩"，不能摆在一起比。

第四，看分母。

重复 1 次和重复 5 次的科目，噪声不是一个量级。GDP.pdf 那种固定 500 次分母的设计，才是能拿来做细活的。

大模型这行，最不缺的就是"第一"。

今天你第一，明天他第一，后天大家并列第一。

但榜单真正值钱的地方，从来不是"谁第一"，而是它把"强"拆成了可以验证的小块：

会不会跑测试、能不能把流程走完、交付物经不经得起两两比较、长文档里会不会看走眼、不知道的时候会不会硬编。

这些东西，才是你选模型时真正要问的。

至于那个总分——它就像高考分数。

能决定你去哪个学校，但决定不了你能干成什么事。

更何况，这门"高考"还在改考纲。

版本号从 4.1 走到 4.3.2，题目换过、权重调过、判卷方式也变过。

所以看到半年前的排名，别太当真。

榜单是快照，不是判决书。

至于你拿它去撑场面，还是拿它去选型

那就是各人的活法了。