网易首页 > 网易号 > 正文 申请入驻

AI数学的最后一道高墙,塌了!GPT-6 Astra刷穿FrontierMath Tier 4

0
分享至

来源:市场资讯

(来源:图灵人工智能)


转自量子位,仅用于学术分享,如有侵权留言删除报道

henry 发自 凹非寺

转自量子位 | 公众号 QbitAI

刚刚,最后一道FrontierMath Tier 4难题,被GPT-6 Astra攻破了。

至此,这套曾经被视作大模型数学噩梦的研究级测试,所有题目都已经至少被AI成功解出过一次。

Epoch AI也正式给它下了结论,FrontierMath Tier 4,饱和了。


虽然从上面的图里看,Astra还没有直接干到100%,OpenAI自己公布的成绩也是97.6%。

但按照Epoch的算法,“全部解出”指的是把不同模型、不同时间的尝试累积起来以后,Tier 4里的每一道题都已经有过成功解答。

而Astra干掉的,正是此前唯一还没有被AI攻破的那一道。

(简单理解就是Astra可能在某次测试中出错了,但它对的那道题是此前没被解出来的)


有一说一,这个发展速度还是相当离谱的。

如果你关注模型评测的话,就知道2025年7月11日,Tier 4刚刚推出时,榜上最高成绩只有大约5%。

现在刚过了一年零2个月,这个曾经的“高墙”已经变成了“台阶”,最后一道难以被AI通过捷径绕道解决的问题也被跨越。

出题人自马凯特大学数学副教授Jay Pantone也表示,以往AI都会找数值捷径,而这一次,AI的解法和自己相当接近。


不过,就在最近GPT-6 Astra集中向数学界猛攻,三天两头解决千禧年难题之际,Pantone表示自己已经很难惊讶了!

可以说,数学俨然已经成了Astra最近刷存在感最猛的地方之一。

从不足2%,到专门加一道“研究级防线”

FrontierMath最早于2024年11月7日发布,而它诞生的目的,本身就是为了避免数学Benchmark过快被AI刷穿。

当时像GSM8K、MATH这样的传统数学Benchmark已经越来越难拉开头部模型之间的差距,于是Epoch AI联合60多位数学家,重新设计了一批此前从未公开过的原创题。

其中,就包括陶哲轩、Timothy Gowers、Richard Borcherds等菲尔兹奖得主。

陶哲轩当时看完其中一些研究级题目后直言,这些题“极其困难”,甚至判断最难的Tier 3,可能还能让AI再卡上几年。


结果第一轮测下来,果然不出所料,领先模型的正确率还不到2%。

具体的,在最开始,FrontierMath的核心题库共有300道题,按照难度分成Tier 1、Tier 2和Tier 3三个层级。


Tier 1大致接近高难度本科题和数学奥赛,不过允许使用更高级的工具;Tier 2已经来到高年级研究生难度;Tier 3则更接近博士生早期会遇到的探索性研究问题。

但随着推理模型出现,这前三层也开始越来越不够用了,于是2025年,Epoch又往上加了一层,Tier 4。

Tier 4大多由数学教授和博士后设计,每个人会围绕自己的研究方向,进行数周左右的短期研究,最后再把成果压缩成一道可以被自动验证的问题。


最初,Tier 4一共收录了50道题。它们覆盖的范围包括分析、数论、组合数学、拓扑、代数几何……

在发布之初,所有模型历次测试加起来,也只有3道题曾经被解出,而且这些解答还依赖了一些正确、但没有被充分论证的假设。

鉴于此,在官网的公开样题页面上,Epoch还一度写道:其中一些题,可能几十年都不会被AI解决。


(这句话现在开始被反复鞭尸)

不过随着模型越来越强,另一个问题也暴露了出来:题库本身也开始经不起AI“拷打”了。

OpenAI在测试过程中发现,FrontierMath里的错误比预期更多。

随后Epoch启动独立审计,先用GPT-5.5和Claude Opus 4.7筛查疑点,再交给数学家逐题复核。最终在2026年6月推出v2版本,其中Tier 4修正了12道题、移除了7道题,留下43题。

修订之后,模型的成绩依然一路往上冲。

GPT-5.6 Sol做到83.0%,Claude Fable 5达到90.2%,到了GPT-6 Astra,成绩已经来到97.6%。


更关键的是,Astra还补上了此前唯一一道从未被AI解出的题。


至此,Tier 4里的每一道题,都已经至少被AI成功攻破过一次。这套专门为最强模型加出来的研究级防线,最终也被刷穿了。

不过,这并不意味着“数学已经被AI解决了”。恰恰相反,FrontierMath自己已经开始往下一阶段走。

现在整个项目除了Tiers 1-4,还增加了真正的Open Problems,以及把Erdős开放问题形式化进Lean的FrontierMath Erdős。


前者直接拿尚未被数学界解决的研究问题考模型;后者则要求AI写出能够通过形式化验证的完整证明。

这一次,Astra在FrontierMath Erdős的68道问题里,只解决了2道。

故事仍在继续~

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中俄敲定普京访华!一年三会殊荣落定,特朗普计划落空

中俄敲定普京访华!一年三会殊荣落定,特朗普计划落空

念得小柔
2026-10-17 18:55:40
比赛还没开打,成都蓉城先迎来一个大喜讯,客战上海海港胜算大增

比赛还没开打,成都蓉城先迎来一个大喜讯,客战上海海港胜算大增

零度眼看球
2026-10-18 07:03:03
懂车帝没有测试资格吗?

懂车帝没有测试资格吗?

问道求真
2026-10-17 07:10:44
古代鞑靼人眼中的白人奴隶:德国女人身躯僵硬,斯拉夫人最廉价

古代鞑靼人眼中的白人奴隶:德国女人身躯僵硬,斯拉夫人最廉价

小豫讲故事
2026-10-18 06:00:14
中国税务机关正加紧收集富裕人士资料,追缴境外收入涉及的税款

中国税务机关正加紧收集富裕人士资料,追缴境外收入涉及的税款

周军律师聊案子
2026-10-17 14:58:52
连蒋万安也得罪了?蔡康永最新发文,有人给我打电话找京都人

连蒋万安也得罪了?蔡康永最新发文,有人给我打电话找京都人

青辉
2026-10-17 15:41:24
万万没想到,消失 11 年的李兆会,竟给 44 岁未婚的车晓留下一手

万万没想到,消失 11 年的李兆会,竟给 44 岁未婚的车晓留下一手

卷史
2026-10-04 00:15:08
沪指涨0.24%收盘报3716.28点,成交额1.56万亿,军工板块领涨!

沪指涨0.24%收盘报3716.28点,成交额1.56万亿,军工板块领涨!

终南听雨
2026-10-16 16:59:12
越南北越人与南越人,互相看不惯,长相有差异,难道不是同一个人种?

越南北越人与南越人,互相看不惯,长相有差异,难道不是同一个人种?

言过于诚
2026-10-16 16:48:21
儿子出国后16年没联系,我癌症住院时,主治医生摘下口罩:妈

儿子出国后16年没联系,我癌症住院时,主治医生摘下口罩:妈

五元讲堂
2025-06-12 15:16:01
69分之差!德约科维奇巴塞尔生死战,能抢到年终总决赛门票吗?

69分之差!德约科维奇巴塞尔生死战,能抢到年终总决赛门票吗?

林子说事
2026-10-18 08:52:04
巴黎智驾路测:国内领先集体“折戟”,仅小鹏、特斯拉“应战”

巴黎智驾路测:国内领先集体“折戟”,仅小鹏、特斯拉“应战”

中车网评
2026-10-16 08:49:15
当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

鹤羽说个事
2026-09-02 16:51:59
为什么很多人退休一两年后,就渐渐没声了?直到我退了休才搞明白

为什么很多人退休一两年后,就渐渐没声了?直到我退了休才搞明白

小马达情感故事
2026-10-17 16:56:39
辽宁台掀桌子了!辽宁男篮全赛季比赛免费一场不落

辽宁台掀桌子了!辽宁男篮全赛季比赛免费一场不落

林子说事
2026-10-18 08:45:56
没有北京户口但常住北京的老人注意:年满60岁起,这几笔待遇可别白白错过

没有北京户口但常住北京的老人注意:年满60岁起,这几笔待遇可别白白错过

娱乐的硬糖吖
2026-10-18 01:49:52
中央汇金资管2026半年报退出四家军工板块上市公司前十大股东名单

中央汇金资管2026半年报退出四家军工板块上市公司前十大股东名单

终南听雨
2026-10-16 22:17:21
太突然了!麦当劳汉堡王早用可口可乐,肯德基为啥现在换供应商?

太突然了!麦当劳汉堡王早用可口可乐,肯德基为啥现在换供应商?

次元君情感
2026-10-18 08:16:07
法国爆发近年来最严重暴力骚乱,数十万人走上街头抗议,约1200人被捕,超过150名警察受伤;马克龙:绝不容忍暴力

法国爆发近年来最严重暴力骚乱,数十万人走上街头抗议,约1200人被捕,超过150名警察受伤;马克龙:绝不容忍暴力

都市快报橙柿互动
2026-10-18 09:13:25
蒋劲夫回应太瘦了被说显老:无所谓啊,脸就一张皮要那么好看干啥

蒋劲夫回应太瘦了被说显老:无所谓啊,脸就一张皮要那么好看干啥

观鱼听雨
2026-10-17 23:48:03
2026-10-18 12:48:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5092996文章数 9798关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

男子100多万买的车3年修几十次 最严重时高速直接熄火

头条要闻

男子100多万买的车3年修几十次 最严重时高速直接熄火

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

曝郭麒麟与25岁知名女星已经结婚,女方回应关系

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

本地
健康
数码
艺术
军事航空

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

看着很健康的人,怎么会突然猝死?

数码要闻

联想P7 AI主机1024开启预约:此芯P1 SoC + 后摩M50 dNPU方案

艺术要闻

14位国外画家的风景油画

军事要闻

乌克兰全国超15处重要能源设施遭俄袭击 泽连斯基发声

无障碍浏览 进入关怀版