OpenAI 在 11 月 20 日发布了一个叫 MedChemBench 的评测基准,用来考察 AI 模型在药物化学推理上的能力:看懂分子结构、权衡实验结果、判断哪些化合物值得下一步测试。发布信息里最抓眼球的数字是:GPT-6.2 Astra 在 xhigh 推理档位下拿到了可用分数的 84.5%。
这个数字说明模型在一套精心设计的测试上取得了进展。但它不等于模型有 84.5% 的概率找到一款药,也不等于 AI 现在能跑药物发现。差别在于,这套基准考的是从已发表历史中重建出来的决策,而不是实验室里的新化合物。
这套题是怎么出的
MedChemBench 包含 99 道题,取自 117 篇论文和专利,覆盖 761 个分子结构。每道题还原临床前研究中的一个决策点:团队手里有一个靶点、一组化合物和一些实验结果,需要解读证据或选择下一步。基准横跨七个类别,从构效关系预测、吸收与代谢问题,到候选化合物筛选和逆合成。临床开发不在其范围内。
出题时,每项来源研究的后续发现会被隐去,这些结果用于生成参考答案和评分。这样一来,模型面对的是一个有意义的“你接下来会怎么做”的练习,依据的是当时可获得的证据。但它仍是回溯性的:考的是从已公开的文献和专利中重建决策,而不是提出并验证一款真正的新药。
发布信息给出的成绩是:GPT-6.2 Astra 在 xhigh 下 84.5%,GPT-6 Astra 在 xhigh 下 83.3%,GPT-6.1 Sol 为 82.0%,GPT-5.6 Sol 为 58.2%。论文日期为 11 月 9 日,早于 GPT-6.2 Astra 的结果。论文报告 GPT-6 Astra 在最大努力档位下的最高平均分为 83.83%,xhigh 下为 83.33%。这些数字不应混在一起看:一个是较新模型在 xhigh 下的后续公告,另一个是预印本中 GPT-6 Astra 在最大努力下的结果。
84.5% 到底在量什么
它是各类任务可用得分的归一化份额,不是成功药物项目的比例。不同答案按不同规则给分:分子结构用确定性的 RDKit 检查与参考结构比对;数值预测按接近报告值的程度给部分分;排序通过两两比较评分;筛选类题目奖励与参考集合的重叠。
科学理由部分由 GPT-6 Astra 作为评判者,按任务特定标准单独评估。这一项不等同于实验结果,也把基于模型的评估者引入了评分流程。论文描述了这些不同的评分方法并对任务得分取平均,因此一个高的总分可能掩盖某一类决策上的明显短板。
分数还受测试奖励什么的影响。在整个基准中,分子结构类标准平均占可用分的 37.49%,科学理由占 35.78%;排序和候选筛选占 17.51%,数值与分类预测占 8.92%。这些是评分细则的平均份额,不是模型在各领域的准确率。OpenAI 称 Astra 在 xhigh 下拿到结构类可用分的 95.4%,但在化合物筛选和数值性质预测上只有约一半的分数。
排序类只拿一半分需要特别留意。按论文的两两排序规则,完全随机的排序期望得分就是 0.5。所以“约一半”并不自动等于“一半的决策做对了”,确切含义取决于任务、评分对象和细则怎么定。
会重建,不等于会做实验
分子重建是有用的能力。如果系统看错化学结构图、连错原子或丢失立体化学,后续推理可能完全针对错误的化合物。OpenAI 用一个 18 原子的环举例:一个模型保住了它,其他模型的回答则改变了环的大小或把结构拆成碎片。
但一个合法的分子图不等于安全有效的药。在药物化学里,改善一个性质可能恶化另一个:渗透性提高可能以溶解度为代价;对靶点的活性不能决定代谢、暴露、选择性或安全性。基准中的综合筛选任务试图捕捉这类权衡,但最终证明仍需要合成、检测和进一步实验。
OpenAI 也提醒,结果无法确定模型能否发现新药或改善实验室决策。后续结果虽被隐去,但模型训练时是否接触过底层公开来源无法排除。在一项启发式检查中,加入论文 DOI 或专利标识使各模型平均分变动在 −0.23 到 +0.80 个百分点之间,每个模型的 95% 置信区间都包含零。这几乎没有证据表明点明来源能抬高分数,但也不能证明模型从未见过这些材料。每次回答都是无工具、无反馈、无新实验的独立尝试;论文报告的平均值汇总了每道题每种条件下保留的十次回答。
这一谨慎态度也呼应了药物化学研究中的更广观点。2026 年 9 月《Medicinal Chemistry Research》的一篇综述认为,AI 的价值最好放在迭代的设计—合成—测试—分析流程中评判,用实验结果检验计算预测。该综述谈的是更广的领域,并非对 MedChemBench 的独立复现,但它点出了这套新基准回答不了的下一步:当化学家真的合成并测试化合物时,模型辅助的选择能否带来可重复的改进?
实际该怎么用
MedChemBench 最有价值的地方是当诊断工具。它让研究者能更细地问:模型今天能在哪里帮上忙——读结构、解释证据、给化合物排序,还是估计性质。分类结果提示答案是参差不齐的,这种区分比一个排行榜数字更有用。
对开发者和科学家来说,合理的下一步不是把 84.5% 当成绿灯。而是在与真实工作流相关的、严格留出的数据集上测试模型,按任务分别衡量错误,并检查所提选择能否通过实验室验证。如果在那里表现提升,那才是比回溯性得分更有力的实用价值证据。
公告和完整的 MedChemBench 论文提供了一张当前强项与缺口的地图。眼下准确的标题比“AI 发现药物”要窄得多:AI 模型在选定的历史药物化学问题上推理得越来越好,而这能否转化为更好的实验,仍是开放问题。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.