网易首页 > 网易号 > 正文 申请入驻

砍掉GPQA Diamond,AI评测新标准盯上长任务

0
分享至

AI能力评测圈最近有个不小的动作。Artificial Analysis发布的Intelligence Index v4.2,直接砍掉了曾经被视为“硬骨头”的GPQA Diamond基准测试,同时新增了两个更贴近真实工作场景的测试集。这个调整背后,是评测机构对“AI到底能干什么”这件事的重新思考。

这次更新的核心逻辑很简单:评测必须跟上AI能力的进化速度。v4.2被官方定位为v5路线图的加速版,重点转向长周期任务(long-horizon tasks)——这类任务更接近现实世界中的问题解决过程,而不是实验室里那种一问一答的短对话。


为什么砍掉GPQA Diamond?

GPQA Diamond曾是衡量前沿模型推理能力的标杆,但这次被移除的原因很直接:它对顶尖模型已经“饱和”了。换句话说,头部模型在这个测试上的分数差距越来越小,区分度大幅下降。更关键的是,它的选择题格式和真实工作场景中的任务形态相去甚远——现实里没人会给你四个选项让你选答案。

这其实暴露了AI评测的一个老问题:测试集和真实应用之间的鸿沟。模型在基准测试上拿高分,不代表它能在实际工作中靠谱。v4.2的调整,本质上是在缩小这个差距。

新增两大测试:更接近“真实工作”

v4.2引入了两个新基准,都指向同一个方向——让AI做更复杂、更真实的事。

第一个叫AA-Briefcase,这是一个面向长周期智能体知识工作的基准测试,配备了私有测试集。所谓“长周期智能体”,就是让AI像人类员工一样,在一个任务上持续工作较长时间,而不是简单回答几个问题。私有测试集的设计则能有效防止模型通过“刷题”来刷分——测试数据不公开,模型没法提前“背答案”。

第二个叫GDP.pdf,专门测试模型在数千份真实文档上的长上下文推理能力。这个测试模拟的是分析师、律师、研究员这类职业的日常工作——面对堆积如山的文档,快速定位关键信息并做出判断。这类任务对模型的上下文窗口和信息检索能力提出了更高要求。

评测逻辑变了:从“考试”到“干活”

这次更新透露出的信号很明确:AI评测正在从“考试模式”转向“干活模式”。传统的基准测试像是一场标准化考试,题目固定、答案明确,模型可以通过针对性训练来提升分数。但真实世界的工作不是这样的——任务模糊、信息庞杂、需要持续推理和决策。

官方在公告中解释了加速更新的原因:Intelligence Index需要衡量AI的真实能力,才能对做决策的开发者有用。这句话点出了评测的根本目的——不是给模型排名次,而是给开发者提供决策依据。如果评测指标和实际应用脱节,那这个指标对开发者的参考价值就大打折扣。

对开发者的实际影响

这次更新对正在选型或评估模型的开发者来说,有几个值得关注的要点:

  • 评测参考价值提升:新增的AA-Briefcase和GDP.pdf更贴近真实工作负载,评测分数对实际选型的参考意义更大。
  • “刷分”空间被压缩:私有测试集的引入,意味着模型无法通过记忆公开测试数据来获得虚高分数。
  • 长上下文能力成为新焦点:GDP.pdf的加入,说明长文档处理能力正在成为AI能力评估的重要维度。

当然,这次更新也留下了一些悬念。v5路线图的完整内容尚未公布,官方表示“随着v5的持续推出,还会有进一步更新”。从v4.2的调整方向来看,更真实、更难“作弊”、更贴近实际应用,大概率是后续版本的主基调。

对于关注AI能力边界的人来说,这次更新提供了一个更清晰的观察窗口——AI评测正在从“考高分”转向“干实事”,这或许比任何单一模型的分数提升都更有意义。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普斡旋俄乌失败,俄军日损失超1500人

特朗普斡旋俄乌失败,俄军日损失超1500人

名人苟或
2026-09-07 16:00:21
事态升级!枪口对准伊朗最高领袖,以色列放狠招,要掀翻伊朗政权

事态升级!枪口对准伊朗最高领袖,以色列放狠招,要掀翻伊朗政权

悦心知足
2026-09-07 20:45:08
招生不足!民办高校裁员进行时

招生不足!民办高校裁员进行时

麦可思研究
2026-09-07 19:51:50
女子买海鲜混入小螃蟹,炒熟想留给女儿吃,被认出是剧毒红斑斗蟹,少量即可致命,高温烹饪无法去除毒素;紧急提醒:不明食材切勿食用!

女子买海鲜混入小螃蟹,炒熟想留给女儿吃,被认出是剧毒红斑斗蟹,少量即可致命,高温烹饪无法去除毒素;紧急提醒:不明食材切勿食用!

番禺台
2026-09-06 11:21:48
妻子和19岁女儿在家,被同一男人骗了财和色,丈夫后悔外出打工

妻子和19岁女儿在家,被同一男人骗了财和色,丈夫后悔外出打工

情感艺术家
2026-09-06 06:12:16
我领馆提醒:所有计划前往的中国游客,取消行程!

我领馆提醒:所有计划前往的中国游客,取消行程!

南方都市报
2026-09-06 15:29:22
赛场之外的冠军非他莫属!上海赛车着火后,救出英国车手的荷兰车手,24岁的哈托格回到P房后,崩溃大哭

赛场之外的冠军非他莫属!上海赛车着火后,救出英国车手的荷兰车手,24岁的哈托格回到P房后,崩溃大哭

火山詩话
2026-09-07 08:39:30
2000多万人围观,清华美院丁荭,为何给英雄画了张丑脸?

2000多万人围观,清华美院丁荭,为何给英雄画了张丑脸?

皮皮电影
2026-09-07 13:19:05
南宁站一成年男子跳轨身亡,多辆途径列车长时间滞留,有乘客称“列车管理员都要哭了”

南宁站一成年男子跳轨身亡,多辆途径列车长时间滞留,有乘客称“列车管理员都要哭了”

Mr王的饭后茶
2026-09-07 18:22:04
A股:收盘后,传来一个信息,明天,周二或要这样走!

A股:收盘后,传来一个信息,明天,周二或要这样走!

明心
2026-09-07 16:03:01
台媒:台湾资深演员庞祥麟辞世,享年80岁

台媒:台湾资深演员庞祥麟辞世,享年80岁

界面新闻
2026-09-07 16:45:26
24岁百万吃播网红“莹莹”去世,讣告已发,死因曝光,生前经常熬夜,赚钱很拼命

24岁百万吃播网红“莹莹”去世,讣告已发,死因曝光,生前经常熬夜,赚钱很拼命

叨唠
2026-09-06 22:10:31
安徽8名干部任前公示,其中3人为“90后”!

安徽8名干部任前公示,其中3人为“90后”!

凤凰网安徽
2026-09-07 18:44:43
外交部答澎湃:中方邀请美英俄印等8家外媒记者进入吉隆灾区采访

外交部答澎湃:中方邀请美英俄印等8家外媒记者进入吉隆灾区采访

澎湃新闻
2026-09-07 15:20:27
心理学上说:你跟伴侣倾诉委屈时,对方的第一反应不是心疼你、理解你,反而不断回避你、指责你、反驳你,你们其实并没有在沟通

心理学上说:你跟伴侣倾诉委屈时,对方的第一反应不是心疼你、理解你,反而不断回避你、指责你、反驳你,你们其实并没有在沟通

心理观察局
2026-09-07 06:23:08
降温降雨马上到四川,局地有大雨暴雨大暴雨,成都最高气温将降至24℃左右

降温降雨马上到四川,局地有大雨暴雨大暴雨,成都最高气温将降至24℃左右

环球网资讯
2026-09-07 09:15:11
“想第一时间看看群众、战友怎么样”,民警回忆吉隆泥石流救援细节

“想第一时间看看群众、战友怎么样”,民警回忆吉隆泥石流救援细节

齐鲁壹点
2026-09-07 19:52:16
武则天第一次临幸“和尚”后,为何会激动不已?

武则天第一次临幸“和尚”后,为何会激动不已?

文史道
2026-08-10 22:36:24
虎父无犬子!门将科曼二世点球梅开二度,补时第11分钟救主

虎父无犬子!门将科曼二世点球梅开二度,补时第11分钟救主

星耀国际足坛
2026-09-07 22:13:51
外交部回应菲方涉华言论:中方不搞大国对抗

外交部回应菲方涉华言论:中方不搞大国对抗

澎湃新闻
2026-09-07 16:30:09
2026-09-07 22:32:49
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
272文章数 83关注度
往期回顾 全部

科技要闻

小米澎程N90 Max定价26.99万元

头条要闻

8名警察组成突击队前往吉隆口岸救援:想到熟人心里难受

头条要闻

8名警察组成突击队前往吉隆口岸救援:想到熟人心里难受

体育要闻

中超争冠形势:成都蓉城下轮打平夺冠

娱乐要闻

热搜第一,演员李沐宸致歉

财经要闻

证监会原副主席王建军一审被判无期徒刑

汽车要闻

25.99万元起 凯迪拉克全新XT5 PHEV正式上市

态度原创

房产
教育
数码
游戏
艺术

房产要闻

10万人吃瓜!三亚这个楼盘,法拍网上卖疯了!

教育要闻

班主任真的没人愿意当吗?为何有的学校津贴不高,老师还抢着干?

数码要闻

小米澎程N90 Max探索版售价29.99万元 搭载升降顶舱

新游两名玩家能在小黑屋限制级互动!官方称是疏忽

艺术要闻

Denisenko Olga:俄罗斯当代女画家

无障碍浏览 进入关怀版