网易首页 > 网易号 > 正文 申请入驻

Opus 4.8烧1万美元,冲顶AI最难考试!断崖领先GPT-5.5近4倍

0
分享至


新智元报道


【新智元导读】ARC-AGI-1预言了推理革命,ARC-AGI-2预言了编程Agent爆发。第三代锁定新战场:谁能在从未见过的世界里最快搞清状况。Opus 4.8率先撕开口子。

就在刚刚,Claude Opus 4.8(High)拿下了这张榜单的榜首。

RHAE得分1.5%,是第二名的3倍!

但代价是,跑一次评测要烧掉整整1万美元。


要是放到别的AI测试里,1.5%这个成绩只能用惨不忍睹来形容。

但在ARC-AGI-3上,它是有史以来的最高分,而且没有之一。

此前的纪录保持者Opus 4.6(Max),得分是0.5%。

GPT-5.5更惨,只有0.4%。连Opus 4.8的零头都不到。


完整榜单是这样的(截至6月1日):

  • Opus 4.8(High),1.5%,1万美元

  • Opus 4.6(Max),0.5%,8900美元

  • GPT-5.5(High),0.4%,1万美元

  • Gemini 3.1 Pro(Preview),0.4%,2200美元

  • Opus 4.7(High),0.2%,1万美元

  • GPT-5.4(High),0.2%,5200美元

  • Grok 4.20(Beta Reasoning),0.1%,3800美元


Opus 4.8刷榜,最难考试新SOTA

最高分才1.5%。这张试卷凭什么这么难?

虽然之前的ARC-AGI-1和2也不简单,但依然是有标准答案的填空题。

而ARC-AGI-3是把你扔进一个从来没见过的游戏里。没有任何说明,没有任何提示。

自己探索,自己猜规则,自己推断胜利条件,自己规划路线。

测试一发布,所有前沿AI的得分直接归零。


说白了,ARC-AGI-3考的就是Agent能力。而Opus 4.8这次升级的重心,恰好全押在了这上面。

在大多数传统benchmark上,它确实只是在Opus 4.7的基础上小幅涨分。

SWE-bench Verified从87.6%到88.6%,GPQA Diamond持平在93.6%。

但在所有和Agent相关的评测上,画风直接突变。

  • SWE-bench Pro(更难的代码修复测试)从64.3%直接涨到69.2%,领先GPT-5.5的58.6%超过10个百分点。

  • Online-Mind2Web(浏览器操作测试)拿下84%,同时超过Opus 4.7和GPT-5.5。

  • Terminal-Bench Hard一下涨了6.8个百分点。


反过来看GPT-5.5。

它在静态推理上依然是怪物级别,ARC-AGI-2拿到85%,Terminal-Bench也都优。

但一旦任务从「解题」变成「在复杂环境中持续操作」,GPT-5.5就开始掉速。

SWE-bench Pro落后Opus 4.8超过10个百分点,GDPval-AA真实工作场景评测中,Opus 4.8以1890 Elo领先约120分,胜率67%。

换句话说就是,考「已知领域的推理深度」,GPT-5.5仍然最强。考「未知场景下的持续适应」,Opus 4.8正在拉开差距。

而ARC-AGI-3,恰好是后者的极端版本。

5帧推出规则,然后一头扎进死胡同

为了更好地分析Opus 4.8的表现,ARC Prize官方同步给出了它解题的完整过程。

总结下来,关键词只有一个——「抽象层级」。

Opus 4.7看到的ARC-AGI-3画面是一张「图片」,逐像素处理。

Opus 4.8看到的是「物体和系统」,它开始识别出画面中哪些是独立实体、哪些是背景、哪些在互动。

差一个抽象层级,结果天差地别。

在ar25环境中,Opus 4.8只用了5帧就推导出了镜像反射规则(「蓝色往左移3格,橙色就往右移3格……关于第31列镜像反射」),24步通关第一关。

在lp85环境中表现更亮眼。

这是ARC Prize官方标注的Opus 4.8「得分最高的公开环境」,多个关卡都打出了接近人类的效率。

不过,在dc22环境里,Opus 4.8虽然漂亮地通了1到3关,但在第4关时却锁死在一个错误的子目标上,怎么都不松手。

这是Opus 4.7根本走不到的阶段,也是一种全新的失败模式。

可以说,进步和新bug同时到货了。

每一代ARC-AGI,都预言了下一场战争

从诞生到现在,ARC-AGI每换一代,都精准预言了下一波AI的主战场。

ARC-AGI-1预言了推理革命。2024年底o3的突破,精准标记了大推理模型(LRM)范式的到来。半年后,推理成了所有前沿模型的标配。

ARC-AGI-2预言了编程Agent的爆发。2025年各家AI在ARC-AGI-2上快速攀升,和Claude Code、Codex等编程Agent的产品化几乎同步。

ARC-AGI-3正在测的,是交互式环境中的自主探索与适应。

如果这个规律再次成立,那么接下来这一轮竞赛的核心,将会是谁能在从未见过的世界里更快地搞清楚状况。


GPT-5.5在旧考试上赢了11个百分点。Opus 4.8在新考试上赢了近4倍。

哪张考试更能代表未来,答案可能很快就会揭晓。

参考资料:

https://arcprize.org/leaderboard

https://x.com/scaling01/status/2061513383287882111?s=20

编辑:摩西


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

罗说NBA
2026-11-18 07:39:17
彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

磊子讲史
2026-11-18 14:51:40
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

温读史
2025-11-09 09:25:54
太硬核了!实拍武汉一小学告示:作业、衣物、乐器等忘带不用送,引导孩子承担相应后果

太硬核了!实拍武汉一小学告示:作业、衣物、乐器等忘带不用送,引导孩子承担相应后果

火山詩话
2026-11-18 12:29:50
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分

告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分

醉卧浮生
2026-11-18 13:49:24
普京在深圳北理莫斯科大学演讲 下台前挥手示意

普京在深圳北理莫斯科大学演讲 下台前挥手示意

看看新闻Knews
2026-11-18 19:19:47
亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

中场阴谋家
2026-11-18 21:49:52
ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

好火子
2026-11-18 23:29:25
中方敦促以色列:尽快撤出!

中方敦促以色列:尽快撤出!

极目新闻
2026-11-17 16:39:40
内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

裕丰娱间说
2026-11-18 11:39:59
陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

露珠聊影视
2026-11-18 14:36:57
一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

球场新视角1号
2026-11-18 07:14:28
蒙古国总统辞职,暂不离岗

蒙古国总统辞职,暂不离岗

新民周刊
2026-11-18 09:04:53
社媒:穆里尼奥对居莱尔续约极为兴奋

社媒:穆里尼奥对居莱尔续约极为兴奋

懂球帝
2026-11-18 21:19:15
CBA杯-天津胜NBL上海玄鸟拒爆冷 尼克斯34+7+7+5+9失误

CBA杯-天津胜NBL上海玄鸟拒爆冷 尼克斯34+7+7+5+9失误

醉卧浮生
2026-11-18 17:55:57
瑞士网红坐火车掏出奶酪炉,现场开吃!铁路公司惊了:你闻闻这味

瑞士网红坐火车掏出奶酪炉,现场开吃!铁路公司惊了:你闻闻这味

新欧洲
2026-11-17 21:13:13
一文读懂美俄元首访华差距:专机是面子,运输机搞后勤才是里子

一文读懂美俄元首访华差距:专机是面子,运输机搞后勤才是里子

装甲铲史官
2026-11-17 10:24:38
12万亿美元:兰德公司给国内地方债做了一次诊断

12万亿美元:兰德公司给国内地方债做了一次诊断

罗sir财话
2026-11-18 19:38:54
2026-11-18 23:51:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
家居
游戏
健康
军事航空

房产要闻

6.6亿!海口卖地!

家居要闻

2026建博会(广州) 公装联探展交流活动

PC Gamer试玩GTA6百小时:双主角出色但任务重复

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版