北京
跑分更高，用起来却更笨。这不是一个人的错觉。
有开发者在实际使用 Opus 5 后描述了一种体验：更好的基准测试成绩，并不必然对应一个更聪明的模型，也不代表它能把活干得更好。一些榜单甚至把 Opus 5 排在 Fable 之上，这与他的实际感受相冲突。这种认知落差值得深挖，也值得用一个能被推翻的测试去验证。
如果一篇文章开篇就认定"某家公司为了分数牺牲了真实能力"，那等于在检验证据之前就已经选好了答案。所以更稳妥的做法是两件事：梳理关于"应试优化"的已有记录，再用 Opus 5 和 Fable 5 跑一组小规模探针测试。结果比一句指控要复杂——确实发现了有意思的失败案例，但并没有出现直觉所暗示的、Fable 全面占优的局面。
什么叫"为考试而优化"
这里用 benchmaxing 来指代一种行为：把模型优化方向，或者把对外报告结果的选择，导向最大化评测分数。问题出在，当分数提升不再是我真正需要的能力提升的有效信号时，这套逻辑就开始失灵。
这是 Goodhart 问题的一个应用场景：一个有用的度量指标，在被高强度优化之后，会变成更差的指引。备考可以教会你一门学科，也可以只教会你识别题型、掌握答题格式，或者怎么讨阅卷人欢心。关键在于，哪些东西能迁移到新问题上。
需要说清楚的是，训练基准测试所评估的能力，本身可以带来真实进步；单凭一个更高的分数，既不能证明造假，也不能证明模型不聪明。至少要把三种不同的现象分开看。
现象一：对测试本身的熟悉度
GSM1k 引入了与 GSM8k 难度相当的新题目，结果发现多个模型家族出现准确率下降和过拟合迹象。但同一项研究也发现，许多前沿模型几乎没有过拟合的证据，并且所有被评估的模型都表现出泛化能力。
这并不能证明模型只会死记硬背，但它确实引出一个问题：一个分数里，有多少来自"见过太相似的东西"。
现象二：选择性报告
Meta 在介绍 Llama 4 时，重点展示了一个 1417 的 LMArena Elo 分数，并特别说明这个分数属于一个实验性的对话版本。这个限定很重要：一个变体的分数，不会自动迁移到另一个变体上。
《The Leaderboard Illusion》记录了私下测试和选择性披露的做法，并指出在 Llama 4 之前存在 27 个私有的 Meta 变体。当只能看到被挑选出来的那个结果、而看不到全部尝试时，排名就可能被扭曲。
现象三：指标与真实工作之间的鸿沟
在一项 METR 的随机对照研究中，16 名有经验的开发者完成了 246 项任务：允许使用 2025 年初的 AI 工具后，完成时间反而增加了 19%，尽管参与者自己认为节省了时间。
这项研究并不能证明存在 benchmaxing，也不能概括所有 AI 辅助编程的情况。它说明的是：生产力这件事，需要被直接测量，而不是靠感觉。
2026 年 2 月的更新还指出了后续研究中的选择偏差，并对其结论做了进一步考量。
把这三层拆开之后，那个最初的问题就变得清晰了：分数是分数的分数，活是活的活。当评测被高强度优化，它作为能力信号的价值就会衰减——而真正该被测量的，始终是那些能迁移到新问题上的东西。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
