网易首页 > 网易号 > 正文 申请入驻

刚刚!Claude Fable 5,又拿第一了

0
分享至

来源:市场资讯

(来源:新智元)


新智元报道

Claude这次,真把AI编程榜单打出断层了!

就在刚刚刷新的MirrorCode排行榜上,Claude Fable 5以64%的绝对成功率再次登顶。

紧追其后的GPT-5.6 Sol,分数只有它的三分之一!

排在第四的GPT-5.5更惨。不仅成绩只有10%,甚至还被自家前辈GPT-5.4按在地上摩擦。


更让人意外的是,在使用Go等高资源语言时,Fable 5的解出率是64%;换成冷门语言Ada,成绩仍然高达61%。

要知道,在开源世界里,Python语料大约是Ada的230倍。

但到了Fable 5这里,成绩居然只下降3个百分点。


这就有意思了。

如果模型主要靠记忆热门语言的语法和常见写法,那么换成Ada之后成绩应该出现下降才对。

而现在的结果,却指向另一种可能——

最强模型已经摆脱了具体语料的牵引,开始学会如何从零构建一个完整的软件项目。

卡死在100%通关线

100亿Token极限测试

具体来说,完整的MirrorCode包含25个目标程序,覆盖Unix工具、解释器、数据查询、生物信息学、密码学和压缩工具等领域。

在这里,模型会被放进隔离环境,没有互联网,看不到原项目源码,也不能下载第三方依赖。它能拿到的只有高层文档、一部分可见测试,以及一个可以反复调用的原程序。

接下来,它要不断向原程序输入数据,观察输出猜内部逻辑,再一点点写出一个行为一致的新程序。

最新榜单从中选出15个Medium和Large目标。每个目标使用两种实现语言,每种语言运行三次。

并且,可见测试与隐藏测试的完成率必须达到100%才算通过,99.9%都不行。

只要漏掉一个边缘案例,整次运行仍然按失败计算。


为了逼模型把最后几个缺口也补上,MirrorCode把单次预算推到100亿Token,最长允许连续运行7天。

论文中成本最高的一次任务更夸张:模型连续跑了19天,单次花费达到2600美元。

在这19天里,模型会反复运行原程序、比较结果、补写功能,再把测试重新跑一遍。报错了就查原因,输出对不上就换假设,局部通过了再去追下一个缺口。

整个过程,更像一场持续数天的调试,而不是一次生成。


gotree的例子最直观。

这个生物信息学工具原本有大约1.6万行Go代码和40多个命令。

Claude Opus 4.7花了14小时和251美元,通过了2001项测试中的2000项,完成度达到了99.95%。

虽然漏掉了一个处理日期注释的冷门边界,被MirrorCode的100%通关线拦了下来,但它已经把原本按周计算的工程量,压进了十几个小时——

Epoch估计,如果不使用AI,人类工程师想要完成同一任务至少需要2到17周。

语料荒漠里,Fable 5只掉了3分

MirrorCode论文曾用StarCoder的公开训练混合作为参照。

其中Python约占8%,Ada只有0.034%,前者大约是后者的230倍。


当然,我们无法知道闭源模型到底见过多少Ada代码。但拿公开生态作参照,Ada有多稀缺已经足够直观。

这门语言主要出现在航空航天、国防和其他安全关键系统中。无论社区规模、教程数量还是开源项目,都远不能与Python、JavaScript或者Go相比。

而Fable 5显然不是在把Go代码逐句翻译成Ada。

它更像是先摸清原程序究竟怎么工作,再换一门语言,把同样的行为重新造出来。


相比之下,其他模型就没这么稳了。

GPT-5.6 Sol从24%降到19%,GPT-5.4从21%降到12%,GPT-5.5更是从17%掉到5%。语言一换,差距立刻被放大。

把整个项目交给AI

如今,Cursor已经让数百个Agent协作近一周,从零写出超过100万行、分布在1000个文件里的浏览器代码。

Anthropic则让16个Claude Agent并行跑了近2000次会话,最终搭出一套10万行、能够编译Linux 6.9内核的C编译器。

OpenAI披露的截至5月Codex个人用户样本中,70.2%至少提交过一次预计超过一小时人类工作量的任务;25.6%提交过超过八小时的任务。

人们交给AI的单位,正在从一段代码、一个bug,变成一个下午、一周,甚至整个项目。

MirrorCode的64%,正是对这种「项目级委托」的一次量化。

它说明,只要目标足够明确,结果能够自动验收,前沿模型已经可以独立做完一部分中大型软件。

对每一个正在把工作交给AI的人来说,变化已经近在眼前——

以前你需要盯着它写每一段代码,接下来,你更可能只在关键节点检查它有没有跑偏。

代码会越来越便宜。

而那些能把问题说清楚、把结果验明白的人,会越来越值钱。

参考资料:

https://epoch.ai/MirrorCode

编辑:摩西

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
小卡阴阳合同案预计六周内出结果!快船大概率被罚 交易可顺利完成

小卡阴阳合同案预计六周内出结果!快船大概率被罚 交易可顺利完成

罗说NBA
2026-08-11 05:39:34
为千万企退老人发声!企退养老金年年上涨,一分都不能少

为千万企退老人发声!企退养老金年年上涨,一分都不能少

你在偷看谁
2026-08-10 21:21:08
落网了,血债终于要还了!

落网了,血债终于要还了!

叒女紫121
2026-08-08 19:52:13
中方接到消息,菲律宾政坛突变,杜特尔特长子率先发起反击

中方接到消息,菲律宾政坛突变,杜特尔特长子率先发起反击

历史的烟火
2026-08-11 07:25:59
英法德意发表联合声明,警告俄若吞并南奥塞梯将遭强力反击!

英法德意发表联合声明,警告俄若吞并南奥塞梯将遭强力反击!

随梦而飞起
2026-08-11 00:36:14
停业!常州一大型超市突然关门!

停业!常州一大型超市突然关门!

常州大喇叭
2026-08-11 17:39:05
丢人丢到国外了!49岁中国奥运冠军严重违规被查,官方:他已辞职

丢人丢到国外了!49岁中国奥运冠军严重违规被查,官方:他已辞职

二疯说球
2026-07-31 10:14:55
告别糊涂账!江苏统一物业公示标准,物业费、公共收益全部透明化

告别糊涂账!江苏统一物业公示标准,物业费、公共收益全部透明化

林子说事
2026-08-11 11:17:05
大满贯爆大冷!奥运亚军被绝杀,雨果轰11-1,向鹏、林昀儒皆逆转

大满贯爆大冷!奥运亚军被绝杀,雨果轰11-1,向鹏、林昀儒皆逆转

南海浪花
2026-08-12 01:02:14
当年抢破头,如今没人要?这7样“神物”的崩盘,你踩中了几个?

当年抢破头,如今没人要?这7样“神物”的崩盘,你踩中了几个?

阿莱美食汇
2026-08-09 09:25:55
货车司机被拖欠千元运费,报警后10分钟到账!民警霸气放话:半小时收不到再打我电话!网友:浙江这么牛不是没理由的!

货车司机被拖欠千元运费,报警后10分钟到账!民警霸气放话:半小时收不到再打我电话!网友:浙江这么牛不是没理由的!

一丝不苟的法律人
2026-08-11 12:23:03
“想一巴掌呼死他!”小男孩在海底捞因为蛋糕被分大哭,妈妈也是够爱了!

“想一巴掌呼死他!”小男孩在海底捞因为蛋糕被分大哭,妈妈也是够爱了!

林林先生
2026-08-11 12:00:03
比亚迪、小鹏、零跑三家车企同日官宣新车:零跑A05售价6.39万元起,小鹏G9L预售价25.98万元起,比亚迪2027款海豹06家轿9.99万元起

比亚迪、小鹏、零跑三家车企同日官宣新车:零跑A05售价6.39万元起,小鹏G9L预售价25.98万元起,比亚迪2027款海豹06家轿9.99万元起

台州交通广播
2026-08-12 00:48:26
把车造成这样,它真的懂消费者了

把车造成这样,它真的懂消费者了

新车评网
2026-08-11 16:22:14
河南杀疯了!官宣10.01克拉珍稀绿钻,全球仅2颗,品质当世最佳!

河南杀疯了!官宣10.01克拉珍稀绿钻,全球仅2颗,品质当世最佳!

果壳
2026-08-11 19:03:05
下馆子时,这4道菜千万别点,全是预制菜,老板自己都很少吃!

下馆子时,这4道菜千万别点,全是预制菜,老板自己都很少吃!

思思夜话
2026-08-11 12:51:03
“贫民窟 不如日本”波兰名将代言中国品牌却辱华 网友:解约道歉

“贫民窟 不如日本”波兰名将代言中国品牌却辱华 网友:解约道歉

念洲
2026-08-09 09:19:59
直播画面:叙利亚一法院缺席判处前总统巴沙尔死刑

直播画面:叙利亚一法院缺席判处前总统巴沙尔死刑

新华社
2026-08-11 16:32:11
日乒最惨巨头又赢球!本赛季已取4冠1亚太争气 亚锦赛名额她自己挣

日乒最惨巨头又赢球!本赛季已取4冠1亚太争气 亚锦赛名额她自己挣

颜小白的篮球梦
2026-08-11 20:27:48
网红逍遥客为救父亲氨气中毒去世,年仅36岁,姐姐:弟弟每天直播宣传东北风土人情,没能见他最后一面成此生遗憾

网红逍遥客为救父亲氨气中毒去世,年仅36岁,姐姐:弟弟每天直播宣传东北风土人情,没能见他最后一面成此生遗憾

极目新闻
2026-08-11 18:04:02
2026-08-12 07:23:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
4396322文章数 9247关注度
往期回顾 全部

科技要闻

AI大战变天:扎克伯格突然回头

头条要闻

郭兰英逝世 代表作《我的祖国》《南泥湾》

头条要闻

郭兰英逝世 代表作《我的祖国》《南泥湾》

体育要闻

NBA老顽童,抽着大麻喝着小酒告别了

娱乐要闻

“雅典娜”确认被害 细节令人发指!

财经要闻

AI泡沫的剧本,是2008年的次贷危机?

汽车要闻

闪充/天神之眼B/云辇-C 2027款海豹06售9.99万元起

态度原创

房产
手机
本地
数码
公开课

房产要闻

突发,崖州湾又有大动作!

手机要闻

iQOO Z11S再预热,宁德新能源联合研发电池

本地新闻

黄州一夜,苏轼写给普通人的月光

数码要闻

苹果Apple Arcade下月新增两款益智游戏

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版