奥赛级AI基准来了：难倒所有模型，GPT-4o仅考34分，上海交大出品

AGI-Eval评测社区团队 投稿
量子位 | 公众号 QbitAI

为了进一步挑战AI系统，大家已经开始研究一些最困难的竞赛中的问题，特别是国际奥林匹克竞赛和算法挑战。

但目前尚无奥林匹克级别的、多学科的基准，能够全面评估综合解决问题的能力，以全面检验人工智能的综合认知能力。

上海交通大学生成式人工智能实验室 (GAIR Lab) 的研究团队推出多学科认知推理基准OlympicArena，即使是GPT-4o 也只达到了 34.01% 的整体准确率，而其他开源模型的整体准确率也难以达到20%。

这一鲜明的对比凸显了他们基准测试的巨大难度和严谨性，证明了它在突破当前 AI 能力界限方面的有效性。

OlympicArena不仅是一套题库，还做了一些创新，比如为避免模型“刷题”，团队引入数据泄漏检测技术，采用N-gram预测检测数据泄露，确认99.6%的题目未被预训练数据污染。

除此之外还提供了一套全面的资源来支持人工智能研究，包括基准数据集、开源注释平台、详细的评估工具和具有自动提交功能的排行榜。

OlympicArena难度水平

OlympicArena覆盖数学、物理、化学、生物、地理、天文学、计算机科学7大领域，细分34个分支（如数论、量子物理、有机化学）。题目来源包括国际数学奥赛（IMO）、国际物理奥赛（IPhO）等62项顶尖赛事，共11163道双语题目（中英对照），实际的难度如何。

AGI-Eval大模型评测团队基于此，做了OlympicArena题目的难度验证，按照14个标杆模型（去除Qwen2-72B-Chat）的结果对数据子集和数据集维度做难度分布，从图中可以看到，OlympicArena整体难度偏难，仅低于AGI-Eval团队私有的两个高中数学竞赛题目。

AGI-Eval评测模型榜单

“奥赛题是检验AI科学思维的绝佳试金石。”这类高难度题目不仅需要知识储备，更考验逻辑推导、空间想象、符号理解等综合能力。在这场超级测试中，那擅长代码、学科竞赛的推理系模型表现如何？

AGI-Eval大模型评测社区也做了新的模型评测，接入最新的推理系模型以及大语言标杆模型。

从整体表现上看o1和DeepSeek-R1的水平基本持平，但是在化学、生物学、天文学、物理上o1表现好于DeepSeek-R1，特别是天文学上o1得分达92.47%，但数学、地理方面DeepSeek-R1优于o1。

推理系模型和新迭代的模型版本效果都有明显提升，详细排名及得分可上官网查看。

学术难度分析

从能力测试上可以看到模型在不同学科的表现水平不同，在天文学上o1得分高达92.47%。是天文学很简单吗？基于此，团队也做了相关的学科分析，从下面的箱合图中可以看到（中位数越小越难）：

• 化学、生物、地理和天文为一档，该档模型中位数大于0.6，从箱型大小可以得到构建优先级为：天文 > 化学 > 生物 > 地理
• 物理为单独一档，该档模型中位数0.5附近，箱型大小较大
• 数学为单独一档，该档模型中位数0.3附近，箱型大小极大

客观来说，在数学物理上R1、o1、o3-mini表现能力更好，能力水平也会更稳定。

题型分析

除对模型进行能力评测外，AGI-Eval大模型评测团队也做了相关的题型分析，提炼出以下雷达图，从图中可以看到1-5排名的推理模型对其它模型产生了碾压的态势，特别是在非选择题题型上，建议构建题目以单问的生成题为主。

△通用模型6-10

难度分析

同时也对模型在面对不同难度题目做了分析，可以看到头部模型在Easy难度基本已接近100%的准确率，且无区分度；Medium/Hard难度是推理系模型拉开的主战场，且Meidum难度已达到90%的准确率，后续模型评测建议只构建Hard难度的题目。

预测分析，用Medium、Hard拟合Easy，Easy、Hard拟合Medium，以及Easy、Medium拟合Hard，可以得到如下图（在Ideal Fit线上方的为超出预期，线下的为低于预期）。

• O3-mini、O1、DeepSeek-R1在Hard上已超越模型列表中的正常表现，但在Medium上略低于预期
• 平衡点：即Easy、Medium、Hard上分数为多少时三公式有解，说明模型表现均衡，Easy = 1, Medium = 0.6695, Hard = 0.1897

结语

OlympicArena的诞生，是对现有模型的试金石，更是对AI研发路径的深刻启示：仅靠数据堆砌无法实现真正的智能。未来的AI应该学会像奥赛选手一样拆解问题、关联知识、严谨推导。

当模型能力达到这样的水平时，对模型的评测的题目难度及评测要求也越来越高，后续模型评测建议只构建Hard难度的题目。

基于此，AGI-Eval大模型评测团队创新性地提出了人机协作评测模式，并推出10q的全新玩法。待测模型需要在同一套system prompt下指导真实用户学习一个知识点并完成quiz，基于模型与用户的高质量多轮对话数据，产出更加高置信度的评测结论。

在这种模式下，参与者可以与最新的大模型共同完成任务，既有助于提高任务完成度又便于建立更加直观的区分度。

未来随着模型能力的不断攀升，AI还有更多能力值得发掘和探索，对模型能力的考察也仍有更对创新空间。

论文地址：https://arxiv.org/pdf/2406.12753
项目地址：https://gair-nlp.github.io/OlympicArena/
代码地址：https://github.com/GAIR-NLP/OlympicArena