网易首页 > 网易号 > 正文 申请入驻

AI无法攻克的235道谜题!让o1,Gemini 2.0 Flash Thinking集体挂零

0
分享至


机器之心报道

编辑:杜伟、陈陈

Scale AI 等提出的新基准再次暴露了大语言模型的弱点。

又又又一个超高难度的推理基准测试向 AI 发出了挑战!

大语言模型的进展伴随着评估基准的不断进步,各种难度、覆盖不同学科的评估基准被用来测试这些模型的各项能力。

比如前几天,Center for AI Safety(AI 安全中心)与 Scale AI 联合打造了全新基准:Humanity's Last Exam,即「人类的最后考试」,简称 HLE。这个新基准对主流的推理模型提出了巨大挑战,结果显示 DeepSeek-R1、o1 的准确度都低于 10%。

如今,一个比「人类的最后考试」更苛刻的基准了,它就是同样由 Scale AI、Center for AI Safety 以及 MIT 的研究者联合推出的ENIGMAEVAL。这是一个针对高难度问题的基准,其格式多种多样,涵盖了从解谜寻宝(puzzle hunts)抽取的文本和图像难题。

Puzzle hunts 是一种团队解谜竞赛,测试了参与者的逻辑推理、创造性思维、团队协作以及跨学科知识运用能力。它们通常包含一系列复杂的谜题,每个谜题的解答可能会涉及文字游戏、数学、密码学、图像分析、程序编写、文化常识等多个领域。

对于 ENIGMAEVAL 基准,研究者使用了原始的多模态问题和高质量的人工转录版本,从而评估大语言模型的端到端能力以及它们的独立推理能力。这种设计选择使得研究者能够区分模型的性能限制源于它们的推理能力,而不是解析复杂文档或处理不同模态的能力。

  • 论文标题:ENIGMAEVAL: ABenchmark of LongMultimodal Reasoning Challenges
  • 论文地址:https://arxiv.org/pdf/2502.08859
  • 榜单地址:https://scale.com/leaderboard/enigma_eval

在 ENIGMAEVAL 基准上,研究者对现有多模态和推理基准上表现优异的前沿语言模型进行了评估。结果显示,包括 OpenAI o1 在内等 SOTA 模型在普通谜题(Normal)上的准确率最高仅为 7.0% 左右,在困难谜题(Hard)上的准确率则降至 0%,远远不及经验丰富的人类解谜者。

有趣的是,从转录的谜题到原始 PDF 版的谜题,模型性能可能会急剧下降,这表明了一些前沿模型仍然受限于 OCR 和解析能力。虽然研究者最开始假设原始谜题格式可能会造成额外的困难,但对模型成功案例的详细分析表明,它们已经针对复杂文档的处理进行了很好的优化。

研究者表示,ENIGMAEVAL 将与「人类的最后考试」一起构建全新的 LLM 基准,通过极具挑战性的任务揭露当前大语言模型的局限性。

正如一些网友评论所说,看起来 AI 离真正理解世界还有很长的路要走。

另外,该基准测试中没有将 DeepSeek R1 纳入在内,所以很好奇它的表现如何。

ENIGMAEVAL 基准

ENIGMAEVAL 包含 1184 道谜题,每个谜题通常需要一群经验丰富的人花费数小时甚至数天才能解决。其有两种格式:

(1)原始 PDF 的 PNG 图像(如页面截图),用于测试模型端到端的性能;

(2)结构化的文本 - 图像表示,保留了语义关系和视觉元素,用于有针对性地评估模型多模态推理能力,同时减少干扰和预处理负担。

ENIGMAEVAL 来源如下(表 1),按照难度分组为 Normal (949 道题)和 Hard (235 道题)两大部分:

普通谜题示例(Normal):

困难谜题示例(Hard):

除了这些谜题,本文还收集了相应的解决方案文档,以 PDF 或 HTML 页面的形式提供。

实验

本文在 ENIGMAEVAL 基准上测试了最先进的 LLM 的深度推理能力。

结果

模型在解答谜题方面的表现并不出色 。

所有前沿的视觉 - 语言模型在此次评估中的准确率都显著偏低,即便是领先的模型(o1)在常规难度部分也仅达到 7.0% 的准确率,在困难难度部分更是达到了 0%(见表 2)。

所有测试模型在困难难度部分完全失败(准确率为 0%),这强调了这些模型在面对更为复杂的谜题变体时所遭遇的重大挑战。

此外,本文还使用 o1 模型对其自身生成的答案进行审核,以检查是否存在抄袭或荒谬的推理链条,这是通过将前沿模型生成的逐步解决方案与官方谜题解析(附录 B.3)进行对比来实现的。每一个被 o1 标记的案例都经过了人工检查,结果发现审核模型幻觉般地提供了抄袭的证据,这表明实验所采用的模型是独立得出正确答案的

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

阿讯说天下
2026-11-18 08:18:31
炸锅!养老金没涨医保先动,11月起退休人员这3件事不办可能吃亏

炸锅!养老金没涨医保先动,11月起退休人员这3件事不办可能吃亏

123斯蒂芬
2026-11-18 14:22:03
张子宇一生之敌?日本归化中锋单场59分33板太恐怖 但性别引发争议

张子宇一生之敌?日本归化中锋单场59分33板太恐怖 但性别引发争议

大嘴爵爷侃球
2026-11-18 10:00:33
NBA本赛季场均得分!东契奇场均40分 库里场均少打7分钟却高居第三

NBA本赛季场均得分!东契奇场均40分 库里场均少打7分钟却高居第三

体坛八点半的那些事儿
2026-11-18 19:12:42
薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

起点财经
2026-11-17 08:46:25
神秘“华人”爆料,某岛上钱色交易不值一提,深层次的秘密才可怕

神秘“华人”爆料,某岛上钱色交易不值一提,深层次的秘密才可怕

林林故事揭秘
2024-12-25 12:24:41
克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

好火子
2026-11-17 23:57:53
打破迷信!最吉利的数字不是6和8,真正顶级吉数藏着大智慧

打破迷信!最吉利的数字不是6和8,真正顶级吉数藏着大智慧

娱乐圈见解说
2026-11-17 08:20:03
克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

小怪吃美食
2026-11-18 05:36:39
史上最大IPO来了?Anthropic纳斯达克IPO获准,股票代码为“ANT”

史上最大IPO来了?Anthropic纳斯达克IPO获准,股票代码为“ANT”

每日经济新闻
2026-11-18 10:27:17
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
高市早苗赴APEC:18日到访深圳,日本这场外交首秀看点不少

高市早苗赴APEC:18日到访深圳,日本这场外交首秀看点不少

生活魔术专家
2026-11-17 12:52:37
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

澳洲红领巾
2026-11-17 11:17:20
APEC还没开,华强北先爆单了!让老外把钱包“掏空”的秘籍是啥丨大象财富

APEC还没开,华强北先爆单了!让老外把钱包“掏空”的秘籍是啥丨大象财富

大象新闻
2026-11-17 20:45:45
大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

云霄纪史观
2026-11-17 03:55:10
俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

古书奇谈
2026-11-18 15:15:03
黄仁勋事件,美国政府突然回过味来

黄仁勋事件,美国政府突然回过味来

牛弹琴
2026-11-18 07:40:33
CBA要提前大结局,NBA超级外援加入黑马球队,挑翻上海北京

CBA要提前大结局,NBA超级外援加入黑马球队,挑翻上海北京

宗介说体育
2026-11-18 15:02:35
2026-11-18 19:36:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳 中国军人在“空军一号”边上岿然不动

头条要闻

特朗普抵达深圳 中国军人在“空军一号”边上岿然不动

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
旅游
健康
公开课
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

海南上新了!解锁N种跨年打开方式

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版