网易首页 > 网易号 > 正文 申请入驻

奥赛级AI基准来了:难倒所有模型,GPT-4o仅考34分,上海交大出品

0
分享至

AGI-Eval评测社区团队 投稿
量子位 | 公众号 QbitAI

为了进一步挑战AI系统,大家已经开始研究一些最困难的竞赛中的问题,特别是国际奥林匹克竞赛和算法挑战。

但目前尚无奥林匹克级别的、多学科的基准,能够全面评估综合解决问题的能力,以全面检验人工智能的综合认知能力。

上海交通大学生成式人工智能实验室 (GAIR Lab) 的研究团队推出多学科认知推理基准OlympicArena,即使是GPT-4o 也只达到了 34.01% 的整体准确率,而其他开源模型的整体准确率也难以达到20%。

这一鲜明的对比凸显了他们基准测试的巨大难度和严谨性,证明了它在突破当前 AI 能力界限方面的有效性。

OlympicArena不仅是一套题库,还做了一些创新,比如为避免模型“刷题”,团队引入数据泄漏检测技术,采用N-gram预测检测数据泄露,确认99.6%的题目未被预训练数据污染。

除此之外还提供了一套全面的资源来支持人工智能研究,包括基准数据集、开源注释平台、详细的评估工具和具有自动提交功能的排行榜。

OlympicArena难度水平

OlympicArena覆盖数学、物理、化学、生物、地理、天文学、计算机科学7大领域,细分34个分支(如数论、量子物理、有机化学)。题目来源包括国际数学奥赛(IMO)、国际物理奥赛(IPhO)等62项顶尖赛事,共11163道双语题目(中英对照),实际的难度如何。

AGI-Eval大模型评测团队基于此,做了OlympicArena题目的难度验证,按照14个标杆模型(去除Qwen2-72B-Chat)的结果对数据子集和数据集维度做难度分布,从图中可以看到,OlympicArena整体难度偏难,仅低于AGI-Eval团队私有的两个高中数学竞赛题目。

AGI-Eval评测模型榜单

“奥赛题是检验AI科学思维的绝佳试金石。”这类高难度题目不仅需要知识储备,更考验逻辑推导、空间想象、符号理解等综合能力。在这场超级测试中,那擅长代码、学科竞赛的推理系模型表现如何?

AGI-Eval大模型评测社区也做了新的模型评测,接入最新的推理系模型以及大语言标杆模型。

从整体表现上看o1和DeepSeek-R1的水平基本持平,但是在化学、生物学、天文学、物理上o1表现好于DeepSeek-R1,特别是天文学上o1得分达92.47%,但数学、地理方面DeepSeek-R1优于o1。

推理系模型和新迭代的模型版本效果都有明显提升,详细排名及得分可上官网查看。

学术难度分析

从能力测试上可以看到模型在不同学科的表现水平不同,在天文学上o1得分高达92.47%。是天文学很简单吗?基于此,团队也做了相关的学科分析,从下面的箱合图中可以看到(中位数越小越难):

  • 化学、生物、地理和天文为一档,该档模型中位数大于0.6,从箱型大小可以得到构建优先级为:天文 > 化学 > 生物 > 地理
  • 物理为单独一档,该档模型中位数0.5附近,箱型大小较大
  • 数学为单独一档,该档模型中位数0.3附近,箱型大小极大

客观来说,在数学物理上R1、o1、o3-mini表现能力更好,能力水平也会更稳定。

题型分析

除对模型进行能力评测外,AGI-Eval大模型评测团队也做了相关的题型分析,提炼出以下雷达图,从图中可以看到1-5排名的推理模型对其它模型产生了碾压的态势,特别是在非选择题题型上,建议构建题目以单问的生成题为主。

△通用模型6-10

难度分析

同时也对模型在面对不同难度题目做了分析,可以看到头部模型在Easy难度基本已接近100%的准确率,且无区分度;Medium/Hard难度是推理系模型拉开的主战场,且Meidum难度已达到90%的准确率,后续模型评测建议只构建Hard难度的题目。

预测分析,用Medium、Hard拟合Easy,Easy、Hard拟合Medium,以及Easy、Medium拟合Hard,可以得到如下图(在Ideal Fit线上方的为超出预期,线下的为低于预期)。

  • O3-mini、O1、DeepSeek-R1在Hard上已超越模型列表中的正常表现,但在Medium上略低于预期
  • 平衡点:即Easy、Medium、Hard上分数为多少时三公式有解,说明模型表现均衡,Easy = 1, Medium = 0.6695, Hard = 0.1897

结语

OlympicArena的诞生,是对现有模型的试金石,更是对AI研发路径的深刻启示:仅靠数据堆砌无法实现真正的智能。未来的AI应该学会像奥赛选手一样拆解问题、关联知识、严谨推导。

当模型能力达到这样的水平时,对模型的评测的题目难度及评测要求也越来越高,后续模型评测建议只构建Hard难度的题目。

基于此,AGI-Eval大模型评测团队创新性地提出了人机协作评测模式,并推出10q的全新玩法。待测模型需要在同一套system prompt下指导真实用户学习一个知识点并完成quiz,基于模型与用户的高质量多轮对话数据,产出更加高置信度的评测结论。

在这种模式下,参与者可以与最新的大模型共同完成任务,既有助于提高任务完成度又便于建立更加直观的区分度。

未来随着模型能力的不断攀升,AI还有更多能力值得发掘和探索,对模型能力的考察也仍有更对创新空间。

论文地址:https://arxiv.org/pdf/2406.12753
项目地址:https://gair-nlp.github.io/OlympicArena/
代码地址:https://github.com/GAIR-NLP/OlympicArena

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发!美国 AI 芯片出口限制新增:新加坡、马来西亚、泰国、印度尼西亚、巴西

突发!美国 AI 芯片出口限制新增:新加坡、马来西亚、泰国、印度尼西亚、巴西

云头条
2026-11-17 00:44:09
网传2026年越来越多的人开始反向消费…

网传2026年越来越多的人开始反向消费…

慧翔百科
2026-11-12 08:28:44
煤老板换成了炒币客!十年前包厢里花的是挖煤挣的钱,如今手机一亮,十倍收益把人带进了坑

煤老板换成了炒币客!十年前包厢里花的是挖煤挣的钱,如今手机一亮,十倍收益把人带进了坑

王老师你还好吗
2026-11-18 00:33:13
终于看懂了!高油价正在复制香烟的涨价套路,老百姓却不玩了!

终于看懂了!高油价正在复制香烟的涨价套路,老百姓却不玩了!

江启
2026-11-17 01:14:38
看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

看到这个女人的面相,反而让我对黄仁勋心生敬佩,这么多年在欧美,审美居然还是纯正的东方风格

一盅情怀
2026-11-10 15:48:41
《一路向西》的四大美女,同一部电影,不同的人生道路

《一路向西》的四大美女,同一部电影,不同的人生道路

该用户已看透一切
2026-11-16 13:34:38
连续替补+踢不上球!12分钟就抽筋,曝吕孟洋在西班牙找私教保持球感

连续替补+踢不上球!12分钟就抽筋,曝吕孟洋在西班牙找私教保持球感

中场阴谋家
2026-11-16 22:25:56
某市政府办公室干部为领导起草发言材料时,引用涉密文件,认为“引用一两句话不至于涉密”,将材料发至微信群征求意见,被政务警告处分

某市政府办公室干部为领导起草发言材料时,引用涉密文件,认为“引用一两句话不至于涉密”,将材料发至微信群征求意见,被政务警告处分

政知新媒体
2026-11-17 07:39:52
原来她早已去世,从患病到离世仅16天,去世原因让人心痛!

原来她早已去世,从患病到离世仅16天,去世原因让人心痛!

情感大头说说
2026-11-18 00:54:43
曾是上海知名主持,主持《百里挑一》红极一时,如今58岁查无此人

曾是上海知名主持,主持《百里挑一》红极一时,如今58岁查无此人

星星邮递员
2026-11-15 21:32:14
河南女子拆睡9年喜褥,翻出缠红绳棉花小人,竟是婚嫁老习俗

河南女子拆睡9年喜褥,翻出缠红绳棉花小人,竟是婚嫁老习俗

普陀动物世界
2026-09-28 07:41:51
朝中社发文谴责日本拥核野心

朝中社发文谴责日本拥核野心

新华社
2026-11-15 20:49:19
360集团:内审发现员工涉嫌经济问题,其正在接受有关部门调查

360集团:内审发现员工涉嫌经济问题,其正在接受有关部门调查

每日经济新闻
2026-11-17 11:55:04
齐达内折服!德布劳内鼓掌!皇马天才在穆里尼奥麾下封神

齐达内折服!德布劳内鼓掌!皇马天才在穆里尼奥麾下封神

奶盖熊本熊
2026-11-17 08:57:40
个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

个人收入要开始严查?2026年起如果账户收入超过这个数,注意下准没坏处。

巢客HOME
2026-10-13 05:10:03
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
央视镜头下,殷桃的“真实颜值”,治好了我的容貌焦虑

央视镜头下,殷桃的“真实颜值”,治好了我的容貌焦虑

娱乐圈十三太保
2026-11-13 15:56:34
央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

央媒亲宣!56岁陈建斌正式上任,职务不一般,早已和吴越拉开距离

削桐作琴
2026-11-09 15:29:05
中美建交47年,还没有任何一个在任美国总统敢落地台湾。

中美建交47年,还没有任何一个在任美国总统敢落地台湾。

叶葉夜
2026-11-15 13:56:44
2026-11-18 01:52:49
量子位 incentive-icons
量子位
追踪人工智能动态
13690文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

亲子
家居
教育
数码
军事航空

亲子要闻

你傻呀!为什么不把孩子丢给婆婆带?哪有奶奶不疼孙子孙女的!

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

海淀北部新锐校周末体验营!全海淀六年级可报,师资正式亮相

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版