刚刚，AI生物学迎来大考！OpenAI王牌出战，Astra也只「刚及格」

刚刚，OpenAI又在生命科学领域有了新动作。不过这一次，它推出的不是AI模型，而是一套给AI模型准备的“试卷”。

在这套测试中，OpenAI的旗舰模型Astra也只拿到了66.7%的分数。

11月6日，OpenAI宣布与生物技术公司Ligo联合推出名为BioBasicsBench的生物学AI测评基准，用100项测试任务，检验AI在湿实验中解读数据、识别异常、判断结果的能力。

现有的测评基准通常从论文中选取图表图像。但问题在于，被论文收录的往往是经过筛选的高质量数据，文章中也附有数据解释，AI大可借助这些线索完成答题。

而在真实实验室里，研究人员面对的是模糊的图像、相互矛盾的观察结果，甚至是一次失败的实验。

AI能看懂已经分析好的数据，和自己能从这些原始数据里排查出问题，是两回事。

BioBasicsBench为此而来。它把湿实验中的难题放进了基准测试，考察AI在生物学领域的能力究竟有几何。

毕竟，知道实验为什么成功很重要，弄清楚它为什么会失败，同样重要。

100道实验题 三轮审核

BioBasicsBench的100项测试覆盖了五大湿实验领域：蛋白质实验方法、成像与细胞分析、定量检测、核酸实验方法以及分子克隆。

测评材料全部来自真实实验室，包括凝胶图像、细菌培养皿照片、显微镜影像、测序文件，甚至是实验操作视频。

任务从简单到复杂：有的只需要AI读取一张凝胶图像，有的则要求AI结合实验记录、图像和仪器数据，分析实验结果。

这100道题目由科学家根据自己的实验数据设计，为保证质量，每道题都经过了三轮审核：先由未参与出题的Ligo科学家内部审核，再交给具有湿实验经验的博士级科学家外部审核，最后由Ligo内部科学家进行终审。

AI进行测试之后，专家按照评分标准逐级打分。即使AI最终结论错误，步骤分析正确也能获得相应得分。

这样一来，研究人员既能知道AI答对多少，也能了解它究竟处于什么水平，在哪些环节会出错。

测试7款模型Astra拿下第一

OpenAI测试了自家的7款AI模型，搭配不同推理强度，形成37种组合。

每种组合需要完成全部100项任务，每项任务重复测试5次，累计得到18500次评测结果。

GPT-6 Astra拔得头筹，拿下66.7%的平均得分，比GPT-5.6 Sol的43.8%高出22.9个百分点。需要注意，这里的66.7%，是指获得的分值比例，并不代表100道题答对67道。

Astra不仅得分更高，输出也变少了。完成每项任务，GPT-5.6 Sol平均输出9099个token，而Astra只需要4704个，减少约48%。

这些具体的提升在哪里？OpenAI公布了几个实验案例，非常值得细看。

在一项细胞分析任务中，GPT-5.6 Sol检测到某种荧光染料信号，便判断细胞已经死亡，但它忽略了另一种染料信号可能干扰检测。Astra发现了这个问题，提出通过对照实验区分不同信号。

其次是一项DNA克隆实验。GPT-5.6 Sol观察到阴性对照培养皿上没有菌落，便直接将这个现象作为结论。Astra却注意到培养皿边缘有一行小字：“LB Kan50”。这意味着培养皿使用的是卡那霉素，与实验所需的氨苄青霉素不符。于是Astra拒绝依照这一对照作出结论。

还有一项显微镜影像分析任务也很有意思。在连续拍摄的画面中，部分细胞时隐时现。GPT-5.6 Sol试图寻找生物学原因，而Astra则判断，这其实是显微镜正在扫描不同深度，成像才会不稳定。

这几个案例中，Astra给出判断时更加审慎，而且能结合实验背景，检查容易被忽略的细节。

有时候，比起急着给出答案，识别出现有证据不足以支持结论，反而更关键。

Astra犯「低级」错误

即使拿下66.7%的最高得分，Astra仍然会在一些基础任务上出错。案例包括但不限于菌落计数错误、选错需要培养的菌落，以及给出自相矛盾的数据。

如果这些错误发生在真实研发中，很可能误导后续试验，耗费时间资源。

OpenAI也提醒，更高的基准得分，并不代表模型已经能够在真实实验室中作出可靠判断。

AI已经能够参与蛋白质结构预测、分子设计和实验方案制定。但要进一步融入实验流程，它还需要读懂现象、排查错误，为下一轮实验提供依据。对于正在发展的自动化实验室而言，这些能力将直接影响实验闭环能否可靠运行。

BioBasicsBench为评估这些能力提供了一把尺子，随着模型进一步改进，这类评测也有望帮助科研人员判断AI的可信度，了解模型擅长什么、容易在哪里犯错。

OpenAI发布BioBasicsBench的初衷——确保AI加速生物学研究的准确性和可靠性——也呼应了DeepMind AI4S负责人Pushmeet的最新观点：对于科学研究，眼下最为紧迫的举措，是理解模型的能力边界和可靠性。

Astra拿下66.7%的得分，展示了进步，但要成为可靠的实验室助手，还有一些功课要补。

—The End—