网易首页 > 网易号 > 正文 申请入驻

84.5%的分数,能说明AI会找药吗?

0
分享至

OpenAI 在 11 月 20 日发布了一个叫 MedChemBench 的评测基准,用来考察 AI 模型在药物化学推理上的能力:看懂分子结构、权衡实验结果、判断哪些化合物值得下一步测试。发布信息里最抓眼球的数字是:GPT-6.2 Astra 在 xhigh 推理档位下拿到了可用分数的 84.5%。

这个数字说明模型在一套精心设计的测试上取得了进展。但它不等于模型有 84.5% 的概率找到一款药,也不等于 AI 现在能跑药物发现。差别在于,这套基准考的是从已发表历史中重建出来的决策,而不是实验室里的新化合物。

这套题是怎么出的

MedChemBench 包含 99 道题,取自 117 篇论文和专利,覆盖 761 个分子结构。每道题还原临床前研究中的一个决策点:团队手里有一个靶点、一组化合物和一些实验结果,需要解读证据或选择下一步。基准横跨七个类别,从构效关系预测、吸收与代谢问题,到候选化合物筛选和逆合成。临床开发不在其范围内。

出题时,每项来源研究的后续发现会被隐去,这些结果用于生成参考答案和评分。这样一来,模型面对的是一个有意义的“你接下来会怎么做”的练习,依据的是当时可获得的证据。但它仍是回溯性的:考的是从已公开的文献和专利中重建决策,而不是提出并验证一款真正的新药。

发布信息给出的成绩是:GPT-6.2 Astra 在 xhigh 下 84.5%,GPT-6 Astra 在 xhigh 下 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%。论文日期为 11 月 9 日,早于 GPT-6.2 Astra 的结果。论文报告 GPT-6 Astra 在最大努力档位下的最高平均分为 83.83%,xhigh 下为 83.33%。这些数字不应混在一起看:一个是较新模型在 xhigh 下的后续公告,另一个是预印本中 GPT-6 Astra 在最大努力下的结果。

84.5% 到底在量什么

它是各类任务可用得分的归一化份额,不是成功药物项目的比例。不同答案按不同规则给分:分子结构用确定性的 RDKit 检查与参考结构比对;数值预测按接近报告值的程度给部分分;排序通过两两比较评分;筛选类题目奖励与参考集合的重叠。

科学理由部分由 GPT-6 Astra 作为评判者,按任务特定标准单独评估。这一项不等同于实验结果,也把基于模型的评估者引入了评分流程。论文描述了这些不同的评分方法并对任务得分取平均,因此一个高的总分可能掩盖某一类决策上的明显短板。

分数还受测试奖励什么的影响。在整个基准中,分子结构类标准平均占可用分的 37.49%,科学理由占 35.78%;排序和候选筛选占 17.51%,数值与分类预测占 8.92%。这些是评分细则的平均份额,不是模型在各领域的准确率。OpenAI 称 Astra 在 xhigh 下拿到结构类可用分的 95.4%,但在化合物筛选和数值性质预测上只有约一半的分数。

排序类只拿一半分需要特别留意。按论文的两两排序规则,完全随机的排序期望得分就是 0.5。所以“约一半”并不自动等于“一半的决策做对了”,确切含义取决于任务、评分对象和细则怎么定。

会重建,不等于会做实验

分子重建是有用的能力。如果系统看错化学结构图、连错原子或丢失立体化学,后续推理可能完全针对错误的化合物。OpenAI 用一个 18 原子的环举例:一个模型保住了它,其他模型的回答则改变了环的大小或把结构拆成碎片。

但一个合法的分子图不等于安全有效的药。在药物化学里,改善一个性质可能恶化另一个:渗透性提高可能以溶解度为代价;对靶点的活性不能决定代谢、暴露、选择性或安全性。基准中的综合筛选任务试图捕捉这类权衡,但最终证明仍需要合成、检测和进一步实验。

OpenAI 也提醒,结果无法确定模型能否发现新药或改善实验室决策。后续结果虽被隐去,但模型训练时是否接触过底层公开来源无法排除。在一项启发式检查中,加入论文 DOI 或专利标识使各模型平均分变动在 −0.23 到 +0.80 个百分点之间,每个模型的 95% 置信区间都包含零。这几乎没有证据表明点明来源能抬高分数,但也不能证明模型从未见过这些材料。每次回答都是无工具、无反馈、无新实验的独立尝试;论文报告的平均值汇总了每道题每种条件下保留的十次回答。

这一谨慎态度也呼应了药物化学研究中的更广观点。2026 年 9 月《Medicinal Chemistry Research》的一篇综述认为,AI 的价值最好放在迭代的设计—合成—测试—分析流程中评判,用实验结果检验计算预测。该综述谈的是更广的领域,并非对 MedChemBench 的独立复现,但它点出了这套新基准回答不了的下一步:当化学家真的合成并测试化合物时,模型辅助的选择能否带来可重复的改进?

实际该怎么用

MedChemBench 最有价值的地方是当诊断工具。它让研究者能更细地问:模型今天能在哪里帮上忙——读结构、解释证据、给化合物排序,还是估计性质。分类结果提示答案是参差不齐的,这种区分比一个排行榜数字更有用。

对开发者和科学家来说,合理的下一步不是把 84.5% 当成绿灯。而是在与真实工作流相关的、严格留出的数据集上测试模型,按任务分别衡量错误,并检查所提选择能否通过实验室验证。如果在那里表现提升,那才是比回溯性得分更有力的实用价值证据。

公告和完整的 MedChemBench 论文提供了一张当前强项与缺口的地图。眼下准确的标题比“AI 发现药物”要窄得多:AI 模型在选定的历史药物化学问题上推理得越来越好,而这能否转化为更好的实验,仍是开放问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
炸锅!曼联头号巨星或将离队!波切蒂诺面临致命难题

炸锅!曼联头号巨星或将离队!波切蒂诺面临致命难题

澜归序
2026-11-22 09:46:15
人伦之乱(笑话)

人伦之乱(笑话)

乡村中原风
2026-11-20 14:36:33
冲上热搜!全军暂停采购八马茶业

冲上热搜!全军暂停采购八马茶业

深蓝财经
2026-11-21 16:09:33
张水华黄马夺冠刷新生涯最佳获5000元奖金,辞职后4破PB势不可挡

张水华黄马夺冠刷新生涯最佳获5000元奖金,辞职后4破PB势不可挡

杨华评论
2026-11-22 09:53:48
世青赛团体4强诞生:国乒大获全胜!轰6个3-0比分,小将不失一局

世青赛团体4强诞生:国乒大获全胜!轰6个3-0比分,小将不失一局

吴锎旅行ing
2026-11-22 10:41:17
首日37.9亿美元,这家店只卖出5份《GTA6》

首日37.9亿美元,这家店只卖出5份《GTA6》

报错免疫体
2026-11-21 15:17:54
故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

卡西莫多的故事
2025-02-21 17:17:06
重磅预警!高盛“恐慌指数”逼近最大值:美股下周恐还有一波大规模抛售

重磅预警!高盛“恐慌指数”逼近最大值:美股下周恐还有一波大规模抛售

财联社
2026-11-21 13:56:13
“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

蝴蝶花雨话教育
2026-11-14 00:05:16
刚9分惜败掘金!火箭赛后传来主帅乌度卡消息,阿门说的非常实在

刚9分惜败掘金!火箭赛后传来主帅乌度卡消息,阿门说的非常实在

阅尽天下大事
2026-11-21 18:04:36
邝港智称谭方骏喜欢自己,为传宗接代三人共同生活,蔡天凤再婚是为了钱

邝港智称谭方骏喜欢自己,为传宗接代三人共同生活,蔡天凤再婚是为了钱

开开森森
2026-11-19 17:30:57
汪小菲带家人巴厘岛度假,小玥儿头发浓密已是大姑娘!汪宝好呆萌

汪小菲带家人巴厘岛度假,小玥儿头发浓密已是大姑娘!汪宝好呆萌

娱乐团长
2026-11-22 11:46:33
武磊在帮助上港队拿到足协杯决赛资格之后,在社媒更新发声做出重要决定

武磊在帮助上港队拿到足协杯决赛资格之后,在社媒更新发声做出重要决定

张丽说足球
2026-11-22 11:23:04
我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

我在广东做男保姆,与女主人同吃同住,工资过万,却有苦不能说

千秋历史
2026-07-18 18:50:50
44岁于晓光做梦也想不到,韩国总统访华,带火了他47岁的媳妇!

44岁于晓光做梦也想不到,韩国总统访华,带火了他47岁的媳妇!

落雪听梅a
2026-11-21 12:14:20
2015年四川一名农民用冰糖搭配明矾冒充冰毒,每月售卖160斤积攒百万资产,落网之后警方无法以贩毒罪名对他定罪

2015年四川一名农民用冰糖搭配明矾冒充冰毒,每月售卖160斤积攒百万资产,落网之后警方无法以贩毒罪名对他定罪

唠叨说历史
2026-11-05 18:34:41
28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

王老师你还好吗
2026-11-11 21:45:48
IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

IGN:《GTA6》高人气美女很恐怖!杰森躲过一劫

游民星空
2026-11-20 12:11:29
史无前例!NBL四队通杀CBA!豪门接连翻车,恢复升降级终结CBA混子时代

史无前例!NBL四队通杀CBA!豪门接连翻车,恢复升降级终结CBA混子时代

篮球圈里的那些事
2026-11-22 15:03:56
影后隆胸不藏着!劳伦斯当众拉开披肩自曝C罩杯,这坦荡真绝了!

影后隆胸不藏着!劳伦斯当众拉开披肩自曝C罩杯,这坦荡真绝了!

动物奇奇怪怪
2026-11-21 08:25:15
2026-11-22 16:31:00
码上闲叙
码上闲叙
有态度网友ytd
217文章数 107关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

常州网红副市长蒋鹏举履新江苏理工学院校长

头条要闻

常州网红副市长蒋鹏举履新江苏理工学院校长

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

本地
旅游
房产
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

旅游要闻

海南保亭:云漫七仙岭 雨林藏秀色

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版