网易首页 > 网易号 > 正文 申请入驻

129道科研难题考倒AI,最强模型仅得31.5%

0
分享至

31.5%,放在手机跑分圈,这成绩根本不够看。可放到真实科研里,这反而有点吓人。

因为这次测的不是“会不会背答案”,也不是“能不能把代码跑通”,而是把AI直接扔进最脏、最绕、最像导师临时甩锅的那种科研现场:129道题,10个主领域、21个细分子域,题目横跨基因组学、定量生物学和转化医学,很多题人类专家做一题就得20到40小时。OpenAI给它起的名字也很直白,GeneBench-Pro。


这套东西我觉得真正狠的地方,不是难,而是“脏”。

测序今天已经很便宜了,一个样本几十美元、几小时出数据,行业瓶颈早就不是采不到数据,而是你拿到一堆混着批次效应、环境RNA污染、伪基因干扰和假阳性信号的原始结果后,到底敢不敢拍板。OpenAI这次就是专门考这个:数据没有说明书,模型得自己判断哪些是生物学效应,哪些只是噪声,然后决定后面整条分析链怎么走。

说白了,这已经不是“答题”,而是“做判断”。



题库本身也不是随便拼出来的。GeneBench-Pro一共129题,相比2026年4月那版103题的初代GeneBench,新增29题、删掉3题,剩下重叠的100题里还有54题被重做;82题还拉了外部领域专家审核,另外公开了10个完整案例,50题交给Artificial Analysis做第三方测试,摆明了不想让它变成自家关起门来玩的跑分。

这一点很关键。

因为你会发现,同样是GPT家族,换到这个更狠的新场子,分数直接变脸。OpenAI公开的结果里,GPT-5.6 Sol在最高推理强度下是28.7%,开Pro后到31.5%;Claude Opus 4.8是16.0%,Gemini 3.5 Flash 8.1%,Gemini 3.1 Pro 3.1%,GLM 5.2 4.6%,DeepSeek V4 Pro 2.4%,Grok 4.3 1.5%。而老版GeneBench里,GPT-5.5 Pro当时能到33.2%,现在到GeneBench-Pro只剩20.5%。不是模型突然退步,是及格线直接被抬高了。


如果只看31.5%,很容易得出一句“也不过如此”。但我个人真不这么看。

这类题最折磨人的地方,是前面任何一个判断点选错,后面基本全偏。OpenAI在公告和论文里反复提了同一个结论:现在的模型经常能看出“这里数据有问题”“这里质控不对”,但它就是不会顺着这个发现把整条分析路线改掉。它能 noticing,却不一定会 acting。

这就有意思了。

以前我们总觉得AI最大的短板是“不懂”。现在GeneBench-Pro掀开的底牌是:它有时候其实懂,至少局部懂,但还不够稳,不够敢推翻自己前面的路径。这个味道已经很像真人研究员了——看见异常,嘴上说一句“有点不对”,手上还是继续往下做。


从行业坐标看,这比单纯提升知识问答分数要重要得多。因为真正值钱的,不是它能不能背出一个靶点名,而是它能不能在一堆互相打架的信号里,帮你少走弯路。

更现实的是成本账。按官方给的口径,这些题人类专家通常要20到40小时,按每小时200美元算,一题就是几千美元的人力;而AI一次推理成本只是几美元级别。它现在当然还替代不了研究员,但只要能把前期筛查、路径试探、异常定位这部分自动化一点点,药物研发、靶点验证、分子分型这些地方,效率就已经完全不是一个量级了。


所以我对这事的判断很直接:31.5%不是“AI在科研里还早”,而是“AI已经摸到门槛,但离真正能独立扛活,还差最后那口气”。

这口气,不在算力,不在token,不在会不会调库,而在会不会因为一个异常信号,真的改主意。

如果你关心的是AI什么时候开始真正吃进高价值脑力工作,那GeneBench-Pro比任何一场发布会都更有参考价值。它没把AI吹成科学家,但它第一次把“科研助理”这件事,测得像回事了。

这才是重点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
泰国变脸要技术,日本暗中使绊子,中国车在泰占有率从47%跌到11%

泰国变脸要技术,日本暗中使绊子,中国车在泰占有率从47%跌到11%

麓谷隐士
2026-08-02 00:36:47
全网为“取消午休4点下班”吵翻,上海人却懵了:午休是啥?

全网为“取消午休4点下班”吵翻,上海人却懵了:午休是啥?

上观新闻
2026-08-01 12:54:52
15岁开始整容,花8年整成范冰冰,嫁给自己的主刀医生后又离婚,如今她过得如何?

15岁开始整容,花8年整成范冰冰,嫁给自己的主刀医生后又离婚,如今她过得如何?

品茗赏娱
2026-08-01 22:55:36
山口百惠:我的祖籍是上海

山口百惠:我的祖籍是上海

大侠霍元乙
2026-07-24 09:55:24
票房破20亿!周星驰突然宣布:不请迪丽热巴和张小斐了

票房破20亿!周星驰突然宣布:不请迪丽热巴和张小斐了

情感大头说说
2026-08-02 02:42:38
湖南一公职人员又想霸占车位:强拆锁具,上热搜后,提出想与对方和解

湖南一公职人员又想霸占车位:强拆锁具,上热搜后,提出想与对方和解

李晚书
2026-08-02 09:12:36
基辅遭俄猛烈空袭,立陶宛大使馆受损

基辅遭俄猛烈空袭,立陶宛大使馆受损

参考消息
2026-08-01 21:03:05
从休达难民危机看“白左”的邪恶帮凶本质

从休达难民危机看“白左”的邪恶帮凶本质

名人苟或
2026-08-02 07:01:06
重磅终极冲刺!广州两大东西地铁大动脉通车在即,彻底改写老城通勤格局

重磅终极冲刺!广州两大东西地铁大动脉通车在即,彻底改写老城通勤格局

王姐懒人家常菜
2026-08-02 12:10:39
为什么说,人口1.5万的亚东县,是一把插入印度腹心的尖刀?

为什么说,人口1.5万的亚东县,是一把插入印度腹心的尖刀?

文史道
2026-07-20 22:40:44
阿富汗塔利班恢复奴隶制。

阿富汗塔利班恢复奴隶制。

荆楚寰宇文枢
2026-01-29 23:23:47
八卦权威确认!C罗大婚日子定了,8月8日在马德拉岛举办

八卦权威确认!C罗大婚日子定了,8月8日在马德拉岛举办

小金体坛大视野
2026-08-02 09:13:33
人走茶凉!孤身住院晚景凄凉的郑少秋,终究尝到了苦果

人走茶凉!孤身住院晚景凄凉的郑少秋,终究尝到了苦果

动物奇奇怪怪
2026-08-01 16:19:08
72岁大爷杀死剧毒眼镜蛇,5分钟后蛇头突然“复仇”,毒牙刺入其掌心

72岁大爷杀死剧毒眼镜蛇,5分钟后蛇头突然“复仇”,毒牙刺入其掌心

大风新闻
2026-08-01 17:20:03
派出所最怕的三个投诉,一个比一个狠,这样做最管用!

派出所最怕的三个投诉,一个比一个狠,这样做最管用!

细说职场
2026-07-29 14:27:12
泰国娱乐公司对中国粉丝动手之后,泰国那边竟然还放话:不稀罕中国粉丝

泰国娱乐公司对中国粉丝动手之后,泰国那边竟然还放话:不稀罕中国粉丝

西楼知趣杂谈
2026-08-02 12:57:10
我们可能正面临着人类有史以来最大的泡沫

我们可能正面临着人类有史以来最大的泡沫

罗sir财话
2026-08-01 11:29:52
3连败!23岁郑钦文回应5天2次一轮游:状态存在很大问题 心气没了

3连败!23岁郑钦文回应5天2次一轮游:状态存在很大问题 心气没了

念洲
2026-08-02 09:32:53
记者:绿军总裁史蒂文斯致电勇士管理层商讨交易库里

记者:绿军总裁史蒂文斯致电勇士管理层商讨交易库里

懂球帝
2026-08-02 09:10:20
周迅川西素颜随拍:这才是明星该有的松弛感?

周迅川西素颜随拍:这才是明星该有的松弛感?

一剑看世界
2026-08-01 12:21:49
2026-08-02 13:32:49
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
942文章数 9084关注度
往期回顾 全部

科技要闻

零跑月销10万破纪录!比亚迪奇瑞海外卖爆

头条要闻

西班牙飞地1天涌入5万非法移民 以色列被质疑一手策划

头条要闻

西班牙飞地1天涌入5万非法移民 以色列被质疑一手策划

体育要闻

1米76的他,为什么是史上最强中卫之一?

娱乐要闻

一天5瓜!“做头发”事件另有玄机?

财经要闻

长鑫科技四万亿市值背后的资本与周期

汽车要闻

历史性里程碑时刻 零跑7月交付达101267台

态度原创

教育
家居
时尚
手机
军事航空

教育要闻

不少小学生家长说,这是初一的小朋友才能做的出来的吧

家居要闻

2026建博会(广州) 公装联探展交流活动

真爱大牌|| 捡到大漏了!近两年用得最勤的好物居然只要这个价

手机要闻

华为HarmonyOS 7实装游戏秒启秒开特性,《原神》等可极速启动

军事要闻

特朗普:在伊朗和中东多国请求下 同意取消打击伊朗

无障碍浏览 进入关怀版