网易首页 > 网易号 > 正文 申请入驻

GPT-6 Astra跑分翻车?OpenAI被指“benchmaxxing”

0
分享至

GPT-6 Astra 9月3日发布,分数还没焐热就开始变。
Fortune追踪到:官方博客里Astra幻觉率先是4.2%,下午改到2%,被问及后又回到4.2%;前代GPT-5.6 Sol从12.2%降到9.4%再回12.2%。ARC-AGI-3媒体草案98.6%,上线99.99%;用OpenAI自带框架跑99.9%,ARC Prize标准评测框架下62.7%,同167关、算力约2.6万美元。ExploitBench标100%,GPT-5.6 Sol 78.5%;GPQA Diamond Astra 96%,Claude Opus 5是94.2%、Gemini 3.1 Pro 94.3%。Artificial Analysis智能指数Astra 61.2,Claude Fable 5.1 66——发布PPT和第三方排行,已经不是一个排序。
争议不在“造假”。斯坦福Anka Reuel、Mike Hardy说的词是benchmaxxing:换推理档、调工具配置、反复跑取最优,系统卡连测试项数都没写清。分数测的早已不是纯模型,是“模型+API设置+记忆+脚手架”一整套。同一模型,框架一换差37分,排行榜的可比性先塌了。
大厂要AGI叙事,媒体要峰值数字,客户要敢不敢用。发布会PPT越来越像营销稿——真实能力得看独立复测、看长任务完成率、看错题会不会编。信任不是跑出来的,是可复核出来的。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1961年,18岁的奥巴马母亲被黑人穷小子骗婚生子抛弃。她却一直告诉儿子:“你爸是一个好男人!”40年后才知深意。

1961年,18岁的奥巴马母亲被黑人穷小子骗婚生子抛弃。她却一直告诉儿子:“你爸是一个好男人!”40年后才知深意。

回京历史梦
2026-09-30 18:27:29
港媒曝80岁黄百鸣刑满出狱,狱中表现良好获减刑与家人共度中秋

港媒曝80岁黄百鸣刑满出狱,狱中表现良好获减刑与家人共度中秋

开开森森
2026-09-30 21:36:15
“担金上庙,拔菜下山”!广东一寺庙警示牌引争议,网友:你要是穷,连庙都不欢迎你

“担金上庙,拔菜下山”!广东一寺庙警示牌引争议,网友:你要是穷,连庙都不欢迎你

火山詩话
2026-09-30 15:53:49
告诉你一个真实的朝鲜队:队员能玩手机能加好友 对中国人亲切友好

告诉你一个真实的朝鲜队:队员能玩手机能加好友 对中国人亲切友好

念洲
2026-09-30 14:21:14
大批美国游客涌入中国,回国后坦言:客观来说,中国比美国强多了

大批美国游客涌入中国,回国后坦言:客观来说,中国比美国强多了

兴趣知识
2026-09-30 05:03:17
联大惊天耻辱!总理骂遍世界,大使被当众架走,以色列彻底社死

联大惊天耻辱!总理骂遍世界,大使被当众架走,以色列彻底社死

美中融合
2026-09-29 19:23:46
卡塔尔首相:内塔尼亚胡是战争犯

卡塔尔首相:内塔尼亚胡是战争犯

澎湃新闻
2026-09-30 12:09:02
事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

事态已经全面升级!赖清德有可能成为新中国历史上,唯一一位在任台湾地区领导人中出现重大变故的人物

人生录
2026-09-11 00:05:21
伪造证据对抗组织,杨玺退休待遇取消,任内鸿茅药酒案全国热议

伪造证据对抗组织,杨玺退休待遇取消,任内鸿茅药酒案全国热议

徐云流浪中国
2026-09-30 11:09:28
万万没想到这些正史竟然比野史还要精彩!网友:一看一个不吱声

万万没想到这些正史竟然比野史还要精彩!网友:一看一个不吱声

另子维爱读史
2026-09-30 15:50:59
徐彬,“战犯”程度不亚于亚青赛的刘诚宇

徐彬,“战犯”程度不亚于亚青赛的刘诚宇

中场阴谋家
2026-09-30 23:55:01
唐氏综合征画家官宣怀孕?曾演韩剧爆红,网友:太自私,不怕遗传?

唐氏综合征画家官宣怀孕?曾演韩剧爆红,网友:太自私,不怕遗传?

英国报姐
2026-09-30 23:52:31
不再替全球培养对手!三条铁令落地,方博梁靖崑被逼入绝境

不再替全球培养对手!三条铁令落地,方博梁靖崑被逼入绝境

策前论
2026-08-17 14:25:56
人民锐评:“连北大也没钱了”?“过紧日子”的账不该这么算

人民锐评:“连北大也没钱了”?“过紧日子”的账不该这么算

澎湃新闻
2026-09-30 08:03:03
河南开封一对婆媳遭同村男子持刀杀害,遇害儿媳案发时怀有7个月身孕;案件一审宣判:被告人马某某死刑

河南开封一对婆媳遭同村男子持刀杀害,遇害儿媳案发时怀有7个月身孕;案件一审宣判:被告人马某某死刑

台州交通广播
2026-09-30 01:27:47
哈曼:扣除曼城50或60分是合适的,之前冠军当然也应该被剥夺

哈曼:扣除曼城50或60分是合适的,之前冠军当然也应该被剥夺

懂球帝
2026-09-30 22:15:06
80年前论文被AI判定“抄袭”?量子力学创始人、诺奖得主普朗克两篇论文被撤稿

80年前论文被AI判定“抄袭”?量子力学创始人、诺奖得主普朗克两篇论文被撤稿

超级数学建模
2026-09-30 00:34:37
60多万买的车,修个大灯5.7万:85万辆孤儿车困局何解?

60多万买的车,修个大灯5.7万:85万辆孤儿车困局何解?

沙雕小琳琳
2026-09-29 01:22:07
伊朗副总统:当初选择日本车就好了,中国车质量差价格高

伊朗副总统:当初选择日本车就好了,中国车质量差价格高

贱议你读史
2026-09-02 21:21:39
破案了!林诗栋夺冠领奖全程黑脸,终于知道他为什么笑不出来

破案了!林诗栋夺冠领奖全程黑脸,终于知道他为什么笑不出来

观察者海风
2026-09-30 11:42:54
2026-10-01 02:36:49
TruthDigger
TruthDigger
热点速递,深度解析,独家视角,探索万象。智能伙伴,洞察时代。
588文章数 2关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

10月1日零时高速免费 车主卡点省560多元

头条要闻

10月1日零时高速免费 车主卡点省560多元

体育要闻

30天30队·火箭:乌度卡的控制欲

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

“杭州六小龙”迎来价值重估

汽车要闻

燃油车的最佳平替 长城大狗HEV简单好开更经济

态度原创

本地
旅游
数码
艺术
公开课

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

旅游要闻

漫游京城 共赏金秋盛景

数码要闻

阶跃终端STEPX Neo智能体手机已获工信部入网许可

艺术要闻

一池睡莲,竟藏着印象派最绝美的光影秘密

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版