全新 ARC-AGI-2 测试登场：AI 模型得分惨淡，被人类碾压

IT之家 3 月 25 日消息，Arc Prize 基金会是一家由知名人工智能研究员弗朗索瓦・肖莱（François Chollet）共同创立的非营利组织，该基金会于本周一在其博客上宣布推出一个名为 ARC-AGI-2 的全新测试，旨在衡量领先人工智能模型的通用智能水平。这项测试的难度极高，截至目前，大多数 AI 模型都在该测试中表现不佳。

根据 Arc Prize 排行榜的数据显示，以推理能力著称的 AI 模型，如 OpenAI 的 o1-pro 和 DeepSeek 的 R1，在 ARC-AGI-2 测试中的得分仅为 1% 至 1.3%。而包括 GPT-4.5、Claude 3.7 Sonnet 和 Gemini 2.0 Flash 等强大的非推理型模型，得分也仅在 1% 左右。

ARC-AGI 测试由一系列类似谜题的问题组成，要求 AI 从一组不同颜色的方块中识别出视觉模式，并生成正确的“答案网格”。这些问题的设计旨在迫使 AI 适应其未曾见过的新问题。为了建立人类基线，Arc Prize 基金会邀请了超过 400 人参加 ARC-AGI-2 测试。平均而言，这些参与者组成的“小组”能够正确回答测试中 60% 的问题，这一成绩远远超过了任何 AI 模型的得分。

Arc-AGI-2 的一个示例问题

在 X 平台上，肖莱表示，ARC-AGI-2 测试比之前的 ARC-AGI-1 测试更能准确衡量 AI 模型的实际智能水平。Arc Prize 基金会的测试旨在评估 AI 系统是否能够在训练数据之外高效地获取新技能。

肖莱指出，与 ARC-AGI-1 不同，新的 ARC-AGI-2 测试防止了 AI 模型依赖“蛮力”—— 即大量的计算能力 —— 来寻找解决方案。他此前曾承认，这是 ARC-AGI-1 的一个主要缺陷。为了弥补这一缺陷，ARC-AGI-2 引入了一个新的指标：效率。它还要求模型实时解读模式，而不是依赖记忆。

“智能不仅仅是解决问题或取得高分的能力，”Arc Prize 基金会联合创始人格雷格・卡姆拉德（Greg Kamradt）在其博客中写道，“这些能力的获取和部署效率是至关重要的决定性因素。我们提出的核心问题不仅仅是‘AI 能否获得解决任务的技能？’，还包括‘以何种效率或代价？’”

ARC-AGI-1 在大约五年内无人能敌，直到 2024 年 12 月，OpenAI 发布了其先进的推理模型 o3，该模型超越了所有其他 AI 模型，并在评估中达到了人类水平的表现。然而，正如当时所指出的，o3 在 ARC-AGI-1 上的性能提升是以高昂的成本为代价的。

OpenAI 的 o3 模型（低配版）—— 第一个在 ARC-AGI-1 上取得突破的版本，在该测试中得分高达 75.7%，但在 ARC-AGI-2 测试中，即使使用价值 200 美元的计算能力，其得分也仅为 4%。

ARC-AGI-2 的推出正值科技行业许多人呼吁需要新的、未饱和的基准来衡量 AI 进展之时。Hugging Face 联合创始人托马斯・沃尔夫（Thomas Wolf）最近在接受 TechCrunch 采访时表示，AI 行业缺乏足够的测试来衡量所谓的通用人工智能的关键特质，包括创造力。

与此同时，Arc Prize 基金会还宣布了 2025 年 Arc Prize 竞赛，挑战开发者在 ARC-AGI-2 测试中达到 85% 的准确率，同时每项任务的花费不超过 0.42 美元（IT之家注：现汇率约合 3 元人民币）。