网易首页 > 网易号 > 正文 申请入驻

全新 ARC-AGI-2 测试登场:AI 模型得分惨淡,被人类碾压

0
分享至

IT之家 3 月 25 日消息,Arc Prize 基金会是一家由知名人工智能研究员弗朗索瓦・肖莱(François Chollet)共同创立的非营利组织,该基金会于本周一在其博客上宣布推出一个名为 ARC-AGI-2 的全新测试,旨在衡量领先人工智能模型的通用智能水平。这项测试的难度极高,截至目前,大多数 AI 模型都在该测试中表现不佳。

根据 Arc Prize 排行榜的数据显示,以推理能力著称的 AI 模型,如 OpenAI 的 o1-pro 和 DeepSeek 的 R1,在 ARC-AGI-2 测试中的得分仅为 1% 至 1.3%。而包括 GPT-4.5、Claude 3.7 Sonnet 和 Gemini 2.0 Flash 等强大的非推理型模型,得分也仅在 1% 左右。

ARC-AGI 测试由一系列类似谜题的问题组成,要求 AI 从一组不同颜色的方块中识别出视觉模式,并生成正确的“答案网格”。这些问题的设计旨在迫使 AI 适应其未曾见过的新问题。为了建立人类基线,Arc Prize 基金会邀请了超过 400 人参加 ARC-AGI-2 测试。平均而言,这些参与者组成的“小组”能够正确回答测试中 60% 的问题,这一成绩远远超过了任何 AI 模型的得分。

Arc-AGI-2 的一个示例问题

在 X 平台上,肖莱表示,ARC-AGI-2 测试比之前的 ARC-AGI-1 测试更能准确衡量 AI 模型的实际智能水平。Arc Prize 基金会的测试旨在评估 AI 系统是否能够在训练数据之外高效地获取新技能。

肖莱指出,与 ARC-AGI-1 不同,新的 ARC-AGI-2 测试防止了 AI 模型依赖“蛮力”—— 即大量的计算能力 —— 来寻找解决方案。他此前曾承认,这是 ARC-AGI-1 的一个主要缺陷。为了弥补这一缺陷,ARC-AGI-2 引入了一个新的指标:效率。它还要求模型实时解读模式,而不是依赖记忆。

“智能不仅仅是解决问题或取得高分的能力,”Arc Prize 基金会联合创始人格雷格・卡姆拉德(Greg Kamradt)在其博客中写道,“这些能力的获取和部署效率是至关重要的决定性因素。我们提出的核心问题不仅仅是‘AI 能否获得解决任务的技能?’,还包括‘以何种效率或代价?’”

ARC-AGI-1 在大约五年内无人能敌,直到 2024 年 12 月,OpenAI 发布了其先进的推理模型 o3,该模型超越了所有其他 AI 模型,并在评估中达到了人类水平的表现。然而,正如当时所指出的,o3 在 ARC-AGI-1 上的性能提升是以高昂的成本为代价的。

OpenAI 的 o3 模型(低配版)—— 第一个在 ARC-AGI-1 上取得突破的版本,在该测试中得分高达 75.7%,但在 ARC-AGI-2 测试中,即使使用价值 200 美元的计算能力,其得分也仅为 4%。

ARC-AGI-2 的推出正值科技行业许多人呼吁需要新的、未饱和的基准来衡量 AI 进展之时。Hugging Face 联合创始人托马斯・沃尔夫(Thomas Wolf)最近在接受 TechCrunch 采访时表示,AI 行业缺乏足够的测试来衡量所谓的通用人工智能的关键特质,包括创造力。

与此同时,Arc Prize 基金会还宣布了 2025 年 Arc Prize 竞赛,挑战开发者在 ARC-AGI-2 测试中达到 85% 的准确率,同时每项任务的花费不超过 0.42 美元(IT之家注:现汇率约合 3 元人民币)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
3岁女童被生父女友捂死案将于18日宣判

3岁女童被生父女友捂死案将于18日宣判

黄河新闻网吕梁
2026-11-17 08:48:18
抵达深圳参加APEC 墨西哥总统这个动作有何深意

抵达深圳参加APEC 墨西哥总统这个动作有何深意

看看新闻Knews
2026-11-16 19:06:01
大开眼界!谁能想到,中国石油正式员工每月公积金数额如此惊人!

大开眼界!谁能想到,中国石油正式员工每月公积金数额如此惊人!

補懂事的孩紙
2026-11-17 17:37:38
中央统战部部长李干杰,在211大学

中央统战部部长李干杰,在211大学

双一流高校
2026-11-17 01:12:28
折腾!带队冲超后却遭下课,升班马现离谱操作,明年或是降级大热

折腾!带队冲超后却遭下课,升班马现离谱操作,明年或是降级大热

蜡笔小新爱体育
2026-11-17 17:53:24
今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

笑熬浆糊111
2026-10-28 06:00:28
一个家庭有钱没钱,一看便知:没钱的家庭,大都有三个穷习惯

一个家庭有钱没钱,一看便知:没钱的家庭,大都有三个穷习惯

顾一宸
2026-11-14 20:02:21
他原本要出任省委书记,老首长洪学智大笔一挥:还是来总后报到吧

他原本要出任省委书记,老首长洪学智大笔一挥:还是来总后报到吧

漫步史书
2026-11-17 17:47:07
拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

拉夫罗夫曾言:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

影孖看世界
2026-10-13 23:32:38
中式武器立大功!20架沙特战机被击落,13架来自中国战机抗下伤害

中式武器立大功!20架沙特战机被击落,13架来自中国战机抗下伤害

铁锤简科
2026-11-15 14:32:31
原来人真的会有预感。刘欢在离开前,突然对妻子卢璐交代了一件事,叮嘱她无论如何都要办好,只有这样,他才能走的体面一点。

原来人真的会有预感。刘欢在离开前,突然对妻子卢璐交代了一件事,叮嘱她无论如何都要办好,只有这样,他才能走的体面一点。

设计最前沿
2026-11-17 17:33:39
局势彻底反转!中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线。掀起舆论广泛热议

局势彻底反转!中美建交47年,还没有任何一个在任美国总统敢落地台湾。特朗普要是破了这个例,那就是明火执仗地踩红线。掀起舆论广泛热议

唠叨说历史
2026-11-17 14:28:56
黄仁勋女儿,没戏了

黄仁勋女儿,没戏了

小鱼爱鱼乐
2026-11-17 18:11:53
中央政法委下死命令!严厉查处这些行为,一起都不放过!

中央政法委下死命令!严厉查处这些行为,一起都不放过!

职场资深秘书
2026-11-13 19:21:02
铁饭碗要打破了!事业单位开始搞全员竞聘上岗!

铁饭碗要打破了!事业单位开始搞全员竞聘上岗!

职场资深秘书
2026-11-17 17:11:15
1981年陈伯达保外就医却无处可去,打给上海重庆南京的电话都被回绝,三儿一女里唯有次子陈晓农从石家庄赶回北京:接父是子

1981年陈伯达保外就医却无处可去,打给上海重庆南京的电话都被回绝,三儿一女里唯有次子陈晓农从石家庄赶回北京:接父是子

唠叨说历史
2026-11-17 18:41:08
129万一针降到28.86万,医保报销自付有望10万内。2年生存率69.3%

129万一针降到28.86万,医保报销自付有望10万内。2年生存率69.3%

仙味少女心
2026-11-16 17:38:13
8人凌晨3点潜入军工厂纵火,这个国家却要关闭对俄口岸!俄罗斯:这是“恐俄症”发作

8人凌晨3点潜入军工厂纵火,这个国家却要关闭对俄口岸!俄罗斯:这是“恐俄症”发作

扬子晚报
2026-11-17 10:52:02
电动车可能被取代?多地开始大批量投放!新型代步车已经正式登场

电动车可能被取代?多地开始大批量投放!新型代步车已经正式登场

史之铭
2026-11-17 03:45:50
高中我背男同学上了2年厕所,17年后他成集团总裁,我面试低头不敢认,他却喊:你以为我不记得你了吗?

高中我背男同学上了2年厕所,17年后他成集团总裁,我面试低头不敢认,他却喊:你以为我不记得你了吗?

小秋情感说
2026-11-17 10:56:32
2026-11-17 21:07:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379846文章数 607737关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

手机
游戏
数码
房产
教育

手机要闻

花粉狂喜!华为星芒阔直板即将发布,国补后有望5000以内拿下

XBOX官宣重大更新!情怀十足 有玩家看了后悔买PS5

数码要闻

AOC“Q27P4C”27英寸显示器发售:2K 120Hz +双扬声器,1499元

房产要闻

5381亩之后,三亚绿谷,等一个500强!

教育要闻

趣味数字拆分,暗藏关联,看懂规律轻松解

无障碍浏览 进入关怀版