网易首页 > 网易号 > 正文 申请入驻

206个真实任务,最强模型只拿下12%

0
分享至

一个横跨11个专业领域的智能体评测,最高分只有12%。这不是某个单项测试的冷门结果,而是SemiAnalysis发布的GDPx v1.0榜单上,13个模型交出的最好成绩。


GDPx的定位很明确:不考孤立的问答式题目,而是把模型放进真实工作环境里跑任务。整套评测包含206个任务,覆盖从芯片设计到量化交易的11个专业领域,任务数据和环境由14家合作机构提供,用的就是从业者日常真正会接触的材料。每个任务默认给8小时预算。

榜单前三名的分数和成本放在一起看,信息量比排名本身更大:

  • Claude Opus 5.5 以 12.0% 居首,平均每任务花费 51.41美元,消耗约 54.8万输出token
  • Gemini 4 Carbon 以 10.9% 排第二,平均每任务 16.29美元
  • GPT-6 Astra 以 9.6% 排第三,平均每任务 53.99美元

榜首分数只有12%,说明长周期专业工作还有大量空间没被填上——单次运行可能耗时数小时,产生成千上万个中间步骤。而Gemini 4 Carbon与GPT-6 Astra之间约1.3个百分点的分差,对应的是每任务成本上数倍的差距,前沿模型在准确率和预算之间的取舍方式并不相同。

评分细节比排名更值得看。在严格的二元判定下,没有任何模型在金融或法律领域解出哪怕一个任务,尽管这两个领域结构化、规则化的内容相当丰富。量化交易方面,111次被评分的运行中有70次低于参考策略,也就是说多数尝试相对一个专业人本应跑赢的基线是亏的。

这组结果指向同一个模式:模型能产出看起来合理的中间成果,却仍然过不了客户真正付费的那个端到端结果。对正在跑量化或法律试点的团队来说,这意味着这些领域暂时还不适合无人监督地交出去,内部评测里也该加上与参考策略的对比。

SemiAnalysis把GDPx定位为OpenAI GDPval的继任者,计划每3到6个月发布新版本。这个节奏有实际考虑:一旦实验室针对某个评测做优化,用持久专业任务排名的基准就会很快过时。每个新版本靠实时环境和合作方提供的数据,让测量保持新鲜、也更难被钻空子。首个版本同时立下了一个可供行业追踪的基线。

对挑选模型做智能体部署的团队,GDPx补上了头部分数通常藏起来的那一维:成本。自动化项目在决定把哪些工作流交给哪个模型时,可以把每任务经济性和能力分数放在一起权衡,而不只是看一个总分。

接下来值得盯的三件事:榜单分数会不会随每个3到6个月的版本往上走,实验室优化之后每任务成本怎么变,以及哪个领域最先脱离零解状态。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国工人在芬兰电池厂讨薪,高福利北欧国家为何发生这种事?

中国工人在芬兰电池厂讨薪,高福利北欧国家为何发生这种事?

以色列飛飛
2026-11-03 08:30:14
大眼妹在泰兰德出事了!

大眼妹在泰兰德出事了!

八卦疯叔
2026-11-02 10:06:43
WTT冠军赛:女单大爆冷!世界亚军1:3被淘汰,张本智和3:0获胜

WTT冠军赛:女单大爆冷!世界亚军1:3被淘汰,张本智和3:0获胜

国乒二三事
2026-11-04 12:50:22
医生提醒:吃阿托伐他汀时别碰这4样东西,小心诱发肝损伤

医生提醒:吃阿托伐他汀时别碰这4样东西,小心诱发肝损伤

华庭讲美食
2026-11-04 12:08:04
马斯克为什么这么疯狂地生那么多孩子? 原因很简单,他真觉得人类要完,要搞“基因筛选”!

马斯克为什么这么疯狂地生那么多孩子? 原因很简单,他真觉得人类要完,要搞“基因筛选”!

LULU生活家
2026-10-24 18:01:57
克林顿夫妇现身投票站,称投票太棒了;希拉里:特朗普已经“完全失控”,10年前身边还有人能管住他;克林顿:特朗普不听劝,和现在一样

克林顿夫妇现身投票站,称投票太棒了;希拉里:特朗普已经“完全失控”,10年前身边还有人能管住他;克林顿:特朗普不听劝,和现在一样

极目新闻
2026-11-04 11:24:56
加州亿万富豪罕见抱团:70多人掏6.12亿美元创纪录,近一半用于反财富税

加州亿万富豪罕见抱团:70多人掏6.12亿美元创纪录,近一半用于反财富税

日新说Copernicium
2026-11-03 16:22:13
“一个月陪睡一两次”:网红魏莹的榜一大哥照片曝光,他身价过亿,是个大企业家

“一个月陪睡一两次”:网红魏莹的榜一大哥照片曝光,他身价过亿,是个大企业家

江山挥笔
2026-08-25 16:40:36
不忍直视!鸿蒙智行、赛力斯销量双双腰斩,被蔚来也反超了

不忍直视!鸿蒙智行、赛力斯销量双双腰斩,被蔚来也反超了

ZAKER新闻
2026-11-02 00:16:11
如何判断一个人是不是性工作者?网友说看倒精方法是否老练!

如何判断一个人是不是性工作者?网友说看倒精方法是否老练!

灯锦年
2026-07-01 17:38:16
日军投降前一夜有多疯狂?一个日本女军医:日军用刀劈开了一个人

日军投降前一夜有多疯狂?一个日本女军医:日军用刀劈开了一个人

小豫讲故事
2026-10-24 06:00:12
你是怎么发现任何人都不值得深交的?网友:从来不主动维护友谊

你是怎么发现任何人都不值得深交的?网友:从来不主动维护友谊

带你感受人间冷暖
2026-11-02 00:06:22
14 家保险公司拒保:新能源车主为何陷入“无保可续”困境

14 家保险公司拒保:新能源车主为何陷入“无保可续”困境

TechWeb
2026-11-02 10:00:06
涉案金额过亿 刘应成(原法名释永信)一审被判有期徒刑24年

涉案金额过亿 刘应成(原法名释永信)一审被判有期徒刑24年

每日经济新闻
2026-05-30 00:42:59
运动果然强!体育生身体素质有多夸张?网友:年轻时不知道什么是累

运动果然强!体育生身体素质有多夸张?网友:年轻时不知道什么是累

再战五百回合
2026-11-01 12:56:44
彻底摊牌!穆里尼奥公开敲打!皇马争议巨星有大麻烦

彻底摊牌!穆里尼奥公开敲打!皇马争议巨星有大麻烦

奶盖熊本熊
2026-11-04 09:08:36
国内女性力量代表人物大图鉴:那些靠打拳为生的争议人物完整拼图|WHO看见

国内女性力量代表人物大图鉴:那些靠打拳为生的争议人物完整拼图|WHO看见

WHO文艺编辑部
2026-11-01 15:11:39
潜藏军中的大间谍,他给国家造成前所未有的损失,被执行注射死刑

潜藏军中的大间谍,他给国家造成前所未有的损失,被执行注射死刑

阿伧说事
2026-11-02 15:16:26
日本人早已看透:一旦中日真开战,中国根本不是只打眼前这一仗

日本人早已看透:一旦中日真开战,中国根本不是只打眼前这一仗

阿芒娱乐说
2026-10-21 07:59:10
乌克兰摧毁卢甘斯克机场!连续空袭南部俄军指挥所

乌克兰摧毁卢甘斯克机场!连续空袭南部俄军指挥所

项鹏飞
2026-11-03 21:01:02
2026-11-04 16:19:00
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
202文章数 98关注度
往期回顾 全部

科技要闻

国行苹果AI上手实测:苦等两年,成色如何

头条要闻

承认民主党在中期选举中取得优势后 特朗普发了一张图

头条要闻

承认民主党在中期选举中取得优势后 特朗普发了一张图

体育要闻

老板豪言建队五年必夺冠 球员:保守了

娱乐要闻

黄子弘凡辟谣结婚:“无稽之谈!”

财经要闻

民主党大胜!特朗普:愿意接受选举结果

汽车要闻

省钱 它是认真的!银河星耀6EF每公里成本只要2毛

态度原创

艺术
本地
手机
旅游
公开课

艺术要闻

陆庆龙 2026风景写生新作

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

苹果iOS 27.3开发者预览版Beta新增“迫近威胁警报”选项

旅游要闻

俞见|影落古隧

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版