网易首页 > 网易号 > 正文 申请入驻

GPT-6 Astra在ECI综合榜居首,Math-ECI达170,SWE-ECI为164

0
分享至

OpenAI的GPT-6 Astra在Epoch Capabilities Index(ECI)上以166分排在首位,领先Anthropic的Claude Fable 5.1(164分)和OpenAI自家的GPT-5.6 Sol(162分)。但这一综合排名掩盖了一些复杂性:其Math-ECI达到170,创下新纪录,而在软件工程基准上,Astra的SWE-ECI为164,仍落后于Fable 5.1的167。

综合、数学与软件工程ECI分数(含90%置信区间)


ECI是Epoch做的一个综合能力衡量指标。这次比较了四个模型:GPT-6 Astra、Claude Fable 5.1、GPT-5.6 Sol,还有Moonshot的Kimi K3。

综合分上,GPT-6 Astra为166.31,Claude Fable 5.1为164.47,GPT-5.6 Sol为161.81,Kimi K3为157.63。

拆开看,ECI还做了两个领域版本:Math-ECI和SWE-ECI。它们是领域特定的ECI,仅基于某一个领域的基准重新拟合,衡量模型相对于综合表现的实力。

  • Math-ECI:GPT-6 Astra 169.83,Claude Fable 5.1 165.73,GPT-5.6 Sol 162.76,Kimi K3 158.39
  • SWE-ECI:Claude Fable 5.1 167.44,GPT-6 Astra 163.58,Kimi K3 161.54,GPT-5.6 Sol 160.47

数学赛道,Astra领先第二名4分多。软件工程赛道,它落后Fable 5.1将近4分。

169到166,分数是怎么掉下来的

Epoch提到一个细节:基于发布前的评估,他们当时给Astra的ECI是169。但发布之后,随着更多软件工程基准结果出来,这个数字回落到了166.31。

对比表里能看到这个过程。2026年9月3日的快照上,GPT-6 Astra的ECI是169.23,当时只用了1个SWE基准(MirrorCode)。到了9月15日,ECI变成166.31,SWE基准增加到了4个:MirrorCode、WeirdML、DeepSWE、FrontierCode。

Claude Fable 5.1走的是反方向。9月3日它的ECI是162.88,只用了1个SWE基准(FrontierCode);9月15日升到164.47,SWE基准增加到3个:MirrorCode、WeirdML、FrontierCode。

一个往下修,一个往上修。基准覆盖越全,软件工程这一项对综合分的影响就越藏不住。

数学的样本,和代码的样本

两个领域的基准数量也不一样。Math-ECI这边,四个模型都只用了4个基准。SWE-ECI这边,GPT-6 Astra用了4个,Claude Fable 5.1用了3个,GPT-5.6 Sol用了6个,Kimi K3用了5个。

换句话说,Astra在数学上的领先,是在一套相对集中的题目上打出来的;而它在软件工程上的位置,是在基准不断补齐之后被重新校准的。

置信区间里的余地

看数字不能只看点估计。SWE-ECI这一项,GPT-6 Astra的90%置信区间是160.42到169.82,Claude Fable 5.1是161.95到178.53。Math-ECI那边,GPT-6 Astra是165.98到175.37,Claude Fable 5.1是162.84到175.91。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
乌军夜袭罗斯托夫,6架军机被毁,俄军后方不再安全

乌军夜袭罗斯托夫,6架军机被毁,俄军后方不再安全

止戈军是我
2026-09-17 18:00:11
血赚 1.5 亿!巴萨封神挖宝!昔日水货逆袭碾压姆巴佩

血赚 1.5 亿!巴萨封神挖宝!昔日水货逆袭碾压姆巴佩

奶盖熊本熊
2026-09-17 07:48:37
2026美国富豪榜公布:马斯克9080亿第一 黄仁勋险跌出前十

2026美国富豪榜公布:马斯克9080亿第一 黄仁勋险跌出前十

快科技
2026-09-17 18:33:07
44岁年薪85万高管,失业后收破烂为生,住月租500元城中村,如今他怎么样了?

44岁年薪85万高管,失业后收破烂为生,住月租500元城中村,如今他怎么样了?

德鲁克博雅管理
2026-09-17 17:23:05
20年长协签订,美国LNG进中国!

20年长协签订,美国LNG进中国!

新浪财经
2026-09-17 07:21:28
今年的东博会、峰会有三“新”

今年的东博会、峰会有三“新”

人民网
2026-09-16 06:06:47
阿媒:歼35发动机可靠性弱于阵风,所以埃及选择法国达索公司

阿媒:歼35发动机可靠性弱于阵风,所以埃及选择法国达索公司

巅峰高地
2026-09-13 18:58:04
韩旭:为什么说近些年司法进步不容乐观?

韩旭:为什么说近些年司法进步不容乐观?

天下说法
2026-08-11 09:11:44
艾美奖台上掏出未发售手机,苹果新CEO这波操作有点野

艾美奖台上掏出未发售手机,苹果新CEO这波操作有点野

报错免疫体
2026-09-15 09:13:33
中国可能要全面双休,全面双休意味着什么?对中国人有啥影响呢?

中国可能要全面双休,全面双休意味着什么?对中国人有啥影响呢?

真的好爱你
2026-09-17 06:46:29
富婆于文红小男友任任:年入五百万,但脸颊干瘪精气迅速掏空

富婆于文红小男友任任:年入五百万,但脸颊干瘪精气迅速掏空

草莓解说体育
2026-09-18 00:32:26
澳洲这一版图, 正在被中国品牌重塑! 已经发生巨大变化, 华人狂喜

澳洲这一版图, 正在被中国品牌重塑! 已经发生巨大变化, 华人狂喜

澳微Daily
2026-09-17 12:20:34
林彪鞭打妻子无人敢劝,刘亚楼夺鞭大吼,林彪:刘亚楼管我,我服

林彪鞭打妻子无人敢劝,刘亚楼夺鞭大吼,林彪:刘亚楼管我,我服

壁炉公子
2026-08-17 14:13:17
78岁连路都走不稳还开演唱会,全网骂声一片,她却扬言回馈粉丝

78岁连路都走不稳还开演唱会,全网骂声一片,她却扬言回馈粉丝

二胡的岁月如歌
2026-04-14 18:43:51
穆里尼奥直接叫停!皇马放弃 6000 万巨星!伯纳乌思路大反转

穆里尼奥直接叫停!皇马放弃 6000 万巨星!伯纳乌思路大反转

澜归序
2026-09-17 09:09:29
刚刚!湖北17市州集体喊话

刚刚!湖北17市州集体喊话

极目新闻
2026-09-17 10:44:09
赚了4179元!美股又爆发!A股跟不跟?

赚了4179元!美股又爆发!A股跟不跟?

龙行天下虎
2026-09-18 01:11:31
全新理想i9 Home正式发布:售价36.98万元,全球量产SUV最低风阻

全新理想i9 Home正式发布:售价36.98万元,全球量产SUV最低风阻

凤凰网科技
2026-09-16 20:45:14
王曼昱回应成为世界第一,名记预测国乒亚运:男子项目全军覆没!

王曼昱回应成为世界第一,名记预测国乒亚运:男子项目全军覆没!

三十年莱斯特城球迷
2026-09-16 23:13:28
特朗普这回是真睡不着了。那个曾把他赶出白宫的男人,又站出来

特朗普这回是真睡不着了。那个曾把他赶出白宫的男人,又站出来

迷彩人生
2026-09-16 13:28:12
2026-09-18 04:03:00
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
260文章数 70关注度
往期回顾 全部

科技要闻

影视飓风Tim反掰iPhoneDuo被质疑

头条要闻

永和豆浆视频被指擦边:女子穿蕾丝吊带 脱黑丝袜洗澡

头条要闻

永和豆浆视频被指擦边:女子穿蕾丝吊带 脱黑丝袜洗澡

体育要闻

逆转朝鲜,国足亚运队“啃老”过关

娱乐要闻

rapper赵涛恋情曝光!带甜馨妈妈散步

财经要闻

缺钱的追觅 隐藏的债务?

汽车要闻

小鹏G9L限时售23.18万 旗舰级的配置/诱人的价格

态度原创

手机
时尚
教育
家居
军事航空

手机要闻

鸿蒙7花粉Beta版有惊喜,华为Mate 60系列手机升级后新增支持眼动翻页功能

潮流之向,自有回响——浪潮音乐大赏特别企划

教育要闻

家长爆料:南京又有学校要合并?

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

韩国外长表态:尚未决定是否向霍尔木兹海峡派兵

无障碍浏览 进入关怀版