90%准确率却说不清模型多强？AI跑分这门玄学该治了

一个模型在某个测试集上跑出90%的准确率，换一个稍微改动过的测试集，分数掉到73%。那它到底有多强？没人说得清。

这不是某个实验室的偶发事故，而是整个AI评测体系的日常。计算机科学家、马克斯·普朗克智能系统研究所所长莫里茨·哈特对此的判断很直接：评测生态已经坏了。他在2026年出版的《机器学习基准的新兴科学》一书中，把基准测试称为"造就机器学习的那个错误"。

要理解这句话的分量，得先知道基准测试到底是怎么运作的。

一套简单到可疑的配方

基准测试的配方本身并不复杂。把数据切成两份：训练集和测试集。模型开发者可以在训练集上为所欲为，没有任何规则限制。测试集则只用来给模型排名——排行榜上写清楚，谁第一，谁第二，谁是目前的最优解。

这套做法最早可以追溯到1959年。当时有人把数字和字母印在穿孔卡片上，用来测试不同扫描仪识别字符的能力，顺带引入了训练集与测试集的划分，还搞了个排行榜。哈特说，这背后并没有什么宏大规划，但这就是后来被称为基准测试的东西，此后大约60年里，它一直是AI进步的引擎。

问题出在教科书上写的那条规矩：测试集应该被锁起来，只用来排名一次。一旦你反复用它，就是在薄冰上行走——你评估的模型，某种意义上已经"知道"了测试集的内容。

而机器学习这门学科，直接把警告忽略了。测试集被放到互联网上，任何人都能用，很容易就把它塞进模型的开发循环里反复迭代。

分数不可信，但排名意外地稳

那为什么没有爆发一场可复现性危机？哈特给出的解释有点反直觉：绝对数字不可信，但相对排名出奇地稳定。

如果模型A在某个测试集上拿到90%，模型B拿到80%，那么A在真实世界里通常也确实更好用——哪怕换一个和原测试集差别很大的数据集，A往往还是赢。这个现象贯穿了机器学习的历史，也是这门学科躲过科学危机的主要原因。

换句话说，90%这个数字本身没什么意义，但"它赢了这场比赛"这件事有意义。基准测试告诉你的是：你打败了此前的最好成绩。这类进步指标相当可靠。

哈特也承认，这事能成，运气成分不小。"我们本来没有理由期待它会这样，"他说，而且至今没有一个好的完整理论来解释为什么排名会稳定，这基本是一个经验现象。

大模型时代，连运气也用完了

排名稳定有一个大前提：所有模型必须在同一个训练集上训练。过去这总是成立。但现在，没人知道大语言模型到底是在什么数据上训练的。

更麻烦的是，模型开发者可以有策略地拼配数据，专门用来提升基准测试的表现。哈特打了个比方：这有点像高中生的应试备考。

于是当前这场评测危机的核心就出现了——更好的模型不一定赢，更差的模型可能只是更卖力地准备了那场特定考试。

哈特说这算不上犯罪，每次新模型发布都会发生。翻翻最新版本模型的说明文档就会发现：在新模型发布之前就已经存在的那些基准上，它的表现往往好得惊人；而在发布后不久才推出的基准上，分数明显低一截。这通常说明模型针对早期基准做过"后训练"——有人管这叫"benchmaxxed"，而且这种做法普遍被接受。

一个来自1968年的解法

哈特讲了一个故事。1968年墨西哥城奥运会，一位美国跑者被普遍看好拿下1500米金牌，结果意外输给了一位来自肯尼亚高地的选手，差距还不小。原因很简单：那位肯尼亚选手常年在高海拔训练，更适应在海拔约7500英尺的地方比赛。

争议随之而来：要不要禁止高原训练？最终共识是——让所有人都去练。

哈特认为，问题不在于人们针对基准做优化，而在于优化的程度不一样。如果所有人都优化，绝对数字会被抬高，但排名的有效性可以恢复。

对应到AI评测上，"高原训练"意味着：既然事先不知道模型吃了什么数据，那就在测试前，用与基准相关的数据对每个模型做一点训练，好歹把起跑线拉平一些。在这个新框架里，不再有训练集，只有测试集，外加一套在测试前准备每个模型的协议。

但代价是什么

即便这套办法奏效，也只是回到原点：有了进步指标，仍然没有有效的测量。而测量的缺失，意味着我们学不到模型到底是怎么工作的。

哈特对此有一句略带伤感的判断：基准测试的胜利，某种程度上意味着我们放弃了科学真正要做的事——理解机制。但反过来说，如果真有一套宏大的数学理论能用来构建这些模型，我们根本不需要基准测试。

我们不知道这些模型是怎么做到的，基准测试也不会告诉我们。

不过哈特也留了一个出口：从长远看，基准测试仍可能通向新的科学知识。CASP蛋白质折叠基准就推进了科学，而它并没有先要求一套关于蛋白质折叠的科学理论。这或许就是基准测试在科学中那种矛盾的力量。