AI无法颠覆化学？谷歌DeepMind论文被爆重大缺陷，伦敦大学教授建议撤回Nature

新智元报道

编辑：桃子

【新智元导读】上周，A-Lab、DeepMind等团队联合发表的论文发现AI可以自主创造合成物引发热议。没想到，一位伦敦大学教授却发现这种材料表征存在严重问题。

DeepMind团队最新的Nature论文，竟出现严重的漏洞。

来自伦敦大学的化学教授Robert Palgrave在网上公开揭露，论文在材料表征方面存在非常严重的问题。

更离谱的是，Palgrave发现AI制作了3次已有90年历史的化合物，而且还弄错了成分。

这篇在11月29日刊登在Nature的论文「An autonomous laboratory for the accelerated synthesis of novel materials」，主要是由UC伯克利、劳伦斯伯克利国家实验室、谷歌DeepMind的团队联合完成。

论文中，仅用了17天时间，AI便实现了，在58种预测材料中，合成了41种新材料。

论文地址：https://www.nature.com/articles/s41586-023-06734-w

究竟是哪些材料表征出现了问题？让我们一探究竟。

漏洞分析

Palgrave教授在接下来的线程中，分析了自己的看法。

该论文报道了许多「新」化合物。它们显示的唯一特征是粉末XRD，没有成分分析。

但是，如果他们在XRD分析方面做得很好，也许没关系？

为了清晰起见，如果你不习惯查看PXRD，则残差（红线）应尽可能平坦。

该残差比大多数峰值都要大。

即使结合其他特征，这也不可能是可靠的改进。但作为唯一的形式？不可能。

下图是Mg3MnNi3O8。这是一种六方晶系的「新」化合物，其阳离子排序非常有趣。

这里唯一的问题是，Mg6MnO8和Ni6MnO8是已知的化合物，并且是立方的。

事实上，这两种化合物的固溶体，可能写成Mg3MnNi3O8，在1995年就被报道了。

XRD爱好者们请看两篇推文前的「新」、「六边形」Mg3MnNi3O8的PXRD图样。它看起来非常立体，非常类似Fm-3m空间群。

我们没有原始的XRD数据，但看起来这很可能是一个立方体图案，但实际上这是28年前报道过的一种固溶体。

那么这个MnAgO2呢？拟合同样很糟糕。

更糟糕的是,它在2021年就已经被报道过了，而且实际上已经被另一个高通量计算团队解决了结构，存在ICSD数据库中（本文中使用的数据库）。

再来看看如何这两种材料，不同的「新」材料。

它们看起来很相似，都含有Sb、Pb和O，显然一个有Hf，另一个有Fe。

那么，是否有任何已知的Sb、Pb和O化合物。其实，早在1933年报道中，就提到了Sb2Pb2O7。

它与上述两种「新」合物具有完全相同的模式。

ICSD上的收藏码是24246

还有Sn2Sb2Pb4O13。

显然，他们成功地制作了3次具有90年历史的化合物，而3次都没有意识到并弄错了成分。

又一个Sb2Pb2O7被错误识别。

另一个实际上是Sb2Pb2O7，它的图案是一样的。

作者最新回应

对于Robert Palgrave教授指出的问题，UC伯克利的教授Gerbrand Ceder对此做出了回应：

最近，我们的团队发表了一篇介绍A-Lab的文章，A-Lab是一个用于人工智能驱动的目标化合物合成的自主实验室。这篇文章旨在证明，自主智能体可以根据文本挖掘的历史合成数据和ab initio热化学数据（如MaterialsProject），就如何合成给定材料做出决策。

文章发表后，Robert Palgrave教授在一系列推文中对文章的实验分析质量提出了质疑。

Robert Palgrave教授声称，对于我们工作中报告的所有5种MxSb4-xPb4O13化合物，A-Lab实验室的实验只得到了Sb2Pb2O7，这是基于它们衍射图样的相似性。在这篇文章中，我们提供了进一步的实验证据，证明我们工作中的目标化合物确实如论文中所说的那样被成功合成了。

Robert Palgrave教授还认为，我们提供的几种化合物的Rietveld细化图很差，含有很大的残差。我们要澄清的是，我们工作的目的是展示自主实验室能够实现的成果，而不是展示人类A-Lab外部能够做到的最好的成果。我们同意，自循环在这方面具有挑战性，我们期待与科学界合作，进一步改进自动化方法。

在回应下面的文章链接中，Gerbrand Ceder具体澄清了Palgrave教授指出的问题。

Palgrave教授声称，对于论文中所有5种MxSb4-xPb4O13化合物，A-Lab的实验仅产生了Sb2Pb2O7，基于它们衍射图谱的相似性。

然而，研究分析表明这是不正确的。作者提供了另外2条信息，以确认这些化合物的成功合成：

1. 对于每个样品，作者提供EDS数据（图A），表明附加元素（Hf、Zr、Sn、Fe和In）很好地掺入了最终产品中。

2. 实验测量的XRD图谱中峰位置的偏移与离子取代一致（图B）。它们的位置与每个取代元素的离子半径显示出明显的趋势，并且与Palgrave教授提出的Sb2Pb2O7化合物明显不同。

成功合成Hf2Sb2Pb4O13，Zr2Sb2Pb4O13，Sn2Sb2Pb4O13，FeSb3Pb4O13，和InSb3Pb4O13

更进一步，更精确的表征总是可以增加任何合成样品解释的可信度，但EDS、XRD中一致的峰位移以及缺乏任何大量杂质相的组合表明目标相是成功制备的。

这正好反驳了Palgrave教授的断言，即在每种情况下只合成了Sb2Pb2O7。

从靶向5种MxSb4-xPb4O13化合物的合成产物中获得的扫描电子显微镜（SEM）图像和能量色散光谱（EDS）图

图A显示，所有新引入的阳离子（Fe、Hf、In、Sn和Zr）都保留在样品中，在合成过程中没有丢失。

元素似乎也均匀分布在颗粒中，几乎没有富含金属的颗粒区域，这表明形成了包含所有前体元素（M、Sb、Pb、O）的材料，这些元素与研究的目标MxSb4-xPb4O13一致。

靶向五种 MxSb4-xPb4O13 化合物的样品放大XRD图谱

在图B中图的右侧，作者列出了八面体环境中每个新引入的元素（M）的香农离子半径。XRD中最大峰的位置与新引入元素的离子半径成反比，表明它确实被掺入了靶材结构中。较大的离子（如Hf4+ 和Zr4+）导致晶格的显著膨胀，向较低角度的偏移证明了这一点。

较小的离子（如Fe3+）导致较少的膨胀，但仍与已知的参考Sb2Pb2O7有很大不同。一个离子（In3+）似乎偏离了这一趋势，但这只是因为它在靶材结构InSb3Pb4O13中的浓度低于涉及M4+靶材的离子（例如Zr2Sb2Pb4O13）。

自动化Rietveld改进的质量

Palgrave教授认为，提供的几种化合物的Rietveld细化图很差，并且含有大量的残差。

由于A-Lab以自动化方式进行分析，因此相位识别分两步进行。

首先，在每个合成步骤之后，ML算法执行相鉴定，并提示样品中可能存在的相。

最后，一旦得到相纯度最高的样品（当然不一定是100%相纯度），就会根据这些ML提出的相进行自动提纯。

除了需要人工干预的两种模式外，本文提供的就是这种自动程序的结果。我们毫不怀疑，人工可以对这些样本进行更高质量的细化。

但是，研究的目标是展示自主实验室所能达到的效果，而不是展示人类在A-Lab外部所能达到的最佳（或平均）效果。

合成化合物的新颖性：MnAgO2和Mg3Ni3MnO8

Palgrave教授指出，MnAgO2和Mg3Ni3MnO8并不是「新的」化合物。

研究人员同意这一评估。

这些化合物的结构在早期版本的ICSD中不存在，我们根据ICSD进行了检查，并据此标记了材料项目条目，但这两个阶段之前已经在文献中报道过。

我们确实想指出，A-Lab在其文献衍生的训练集中没有提供有关这些靶点合成的信息。

因此，这些合成尝试仍将被视为「成功」，因为该实验室成功地合成了一种没有合成配方信息的化合物。我们肯定会更新已发表的论文。

参考资料：

https://twitter.com/Robert_Palgrave/status/1730358675523424344