北京
ARC Prize 公布了 Anthropic 的 Claude Haiku 5.5 在 ARC-AGI 上的评测成绩。同一款模型，跑在三个不同版本的测试集上，分数差距大得有点刺眼。
三个版本，三条曲线
在最新的 ARC-AGI-3 上，Haiku 5.5 拿到 2.8% 的得分，成本 437 美元，用的是 provider adapter harness。换成标准 harness，得分掉到 0.5%，成本 388 美元。
往前退一代，ARC-AGI-2 上的成绩是 61.3%，每任务成本 0.085 美元。再退到 ARC-AGI-1，得分 89.0%，每任务成本 0.051 美元。
分数在跌，成本在涨
从 ARC-AGI-1 到 ARC-AGI-3，得分从 89.0% 一路降到 2.8%，而单次评测的成本从每任务 0.051 美元涨到 437 美元。测试集越新，模型越吃力，花的钱越多。
官方对这款模型的评价是：为 Anthropic 的小模型梯队带来了有竞争力的表现。
值得注意的是 harness 的差异。同一款模型在 ARC-AGI-3 上，provider adapter harness 下是 2.8%，标准 harness 下只有 0.5%。评测框架本身，就能让分数差出五倍多。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
