人工智能在短短六小时内提出了40000种新的可能的化学武器

据The Verge报道，开发药物的人工智能只用了不到六个小时就提出了4万个潜在的致命分子。研究人员将通常用于搜索有用药物的人工智能放入一种 “bad actor” 模式，以显示它在一次生物武器控制会议上是多么容易被滥用。

研究人员所要做的就是调整他们的方法，以寻找而不是剔除毒性。人工智能想出了数以万计的新物质，其中一些与VX相似，是有史以来开发的最强的神经毒剂。震惊之余，研究人员于本月在《自然-机器智能》杂志上发表了他们的发现。

The Verge记者Justine Calma采访了该论文的主要作者Fabio Urbina。他也是Collaborations Pharmaceuticals, Inc.的一名高级科学家，该公司专注于为罕见疾病寻找药物治疗。

本采访因篇幅和清晰度而进行了编辑。

The Verge：这篇论文似乎颠覆了你的正常工作。请告诉我你在日常工作中的工作内容。

Urbina：我的工作主要是是在药物发现领域实施新的机器学习模型。我们使用的这些机器学习模型中，有很大一部分是为了预测毒性。无论你试图开发什么样的药物，你都需要确保它们不会有毒性。如果事实证明，你有这种奇妙的药物，可以很好地降低血压，但它击中了其中一个非常重要的，比如说，心脏通道--那么基本上，它是不可能的，因为这实在是太危险。

The Verge：那么，你为什么要做这项关于生化武器的研究？触发点是什么？

Urbina：我们收到了瑞士联邦核、生物和化学保护研究所斯皮埃兹实验室的 Convergence 会议邀请。该会议的想法是向整个社会通报可能对《化学/生物武器公约》有影响的工具的新发展。

我们接到这个邀请，是为了谈论机器学习以及它如何在我们的领域被滥用。这是我们以前从未真正想过的事情。但是，我们很容易意识到，当我们建立这些机器学习模型，以获得越来越好的预测毒性，从而避免毒性时，我们所要做的就是“翻转开关”，说：“你知道，与其说我们要远离毒性，不如说我们要走向毒性呢？”

The Verge：你能向我介绍一下你是如何做到的吗--将模型转向毒性？

Urbina：我会对一些细节说得比较模糊，因为我们被告知基本上要隐瞒一些具体细节。大体上，这个实验的工作方式是，我们在历史上有很多分子的数据集，这些分子已经被测试过，看看它们是否有毒。

特别是，我们在这里关注的一个是VX。它是一种被称为乙酰胆碱酯酶的抑制剂。每当你做任何与肌肉有关的事情时，你的神经元使用乙酰胆碱酯酶作为信号，基本上说“去移动你的肌肉”。VX的致命方式是它实际上阻止了你的横膈膜、你的肺部肌肉能够移动，因此你的肺部变得麻痹。

很明显，这是你想避免的事情。因此，从历史上看，已经用不同类型的分子做了实验，看它们是否抑制乙酰胆碱酯酶。于是，我们建立了这些分子结构的大型数据集，以及它们的毒性如何。

我们可以使用这些数据集来创建一个机器学习模型，该模型基本上可以学习分子结构的哪些部分对毒性很重要，哪些不重要。然后我们可以给这个机器学习模型提供新的分子，可能是以前从未测试过的新药物。它将告诉我们这被预测为有毒，或这被预测为无毒。这是一种方法，使我们能够非常、非常快速地筛选出大量的分子，并找出那些被预测为有毒的分子。在我们的研究中，我们所做的是将其倒置，显然，我们使用这个模型来尝试预测毒性。

我们在这里所做的另一个关键部分是这些新的生成模型。我们可以给生成模型一大堆不同的结构，它可以学习如何将分子组合在一起。然后我们可以在某种意义上，要求它生成新的分子。现在它可以在整个化学空间中生成新的分子，而且它们只是一些随机的分子。但我们可以做的一件事是，我们实际上可以告诉生成模型我们想去哪个方向。我们通过给它一个小的评分函数来做到这一点，如果它生成的分子是我们想要的东西，就给它一个高分。我们不是给有毒分子打低分，而是给有毒分子打高分。

现在我们看到该模型开始产生所有这些分子，其中很多看起来像VX，也像其他化学战剂。

The Verge：告诉我更多关于你的发现。有什么让你吃惊的吗？

Urbina：我们并不真正确定我们会得到什么。我们的生成模型是相当新的技术。所以我们还没有广泛使用它们。

一开始最大的事情是，很多生成的化合物被预测为实际上比VX的毒性更大。而这令人惊讶的原因是，VX基本上是已知的最有效的化合物之一。意味着你需要非常、非常、非常少的量才能致死。

现在，这些是我们还没有验证的预测，我们当然也不想自己去验证。但预测模型一般来说是相当好的。因此，即使有很多假阳性反应，我们也担心其中有一些更有力的分子。

其次，我们实际上看了这些新生成分子的很多结构。他们中的很多人看起来确实像VX和其他战剂，我们甚至发现一些从模型中生成的是真正的化学战剂。这些是在从未见过这些化学战剂的情况下从模型中生成的。因此，我们知道我们在这里算是进入了正确的空间，而且它产生的分子是有意义的，因为其中一些分子以前已经被制造出来。

对我来说，关注的是它有多容易做。我们使用的很多东西都是免费的。你可以从任何地方下载一个毒性数据集。如果你有一个人知道如何用Python编程，并且有一些机器学习的能力，那么可能在一个很好的周末的工作中，他们可以建立类似于这种由有毒数据集驱动的生成模型。因此，这就是让我们真正考虑把这篇论文发表出来的原因；对于这种类型的滥用来说，它的门槛是如此之低。

The Verge：你的论文说，通过做这项工作，你和你的同事们 “仍然跨越了一个灰色的道德界限，证明有可能在没有太多的努力、时间或计算资源的情况下设计虚拟的潜在有毒分子。我们可以轻易地删除我们创造的成千上万的分子，但我们不能删除如何重新创造它们的知识”。在你做这项工作的时候，你脑子里在想什么？

Urbina：这是一个相当不寻常的出版物。我们在是否应该发表它的问题上来回折腾了一番。这是一个潜在的误用，没有花费那么多时间来执行。我们想把这个信息公布出来，因为我们真的没有在文献中看到它。我们环顾四周，没有人真正在谈论这个问题。但与此同时，我们也不想把这个想法透露给不良分子。

在一天结束的时候，我们决定，我们有点想在这个问题上取得进展。因为如果我们有可能做到这一点，那么很可能某个地方的某个对抗性代理可能已经在考虑这个问题，或者在未来会考虑这个问题。到那时，我们的技术可能已经取得了进展，甚至超过了我们现在所能做到的。它的很多东西将是开放的--我完全支持：科学的共享，数据的共享，模型的共享。但是，作为科学家，我们应该注意我们所发布的东西是负责任的，这是其中之一。

The Verge：对别人来说，复制你的工作有多容易？他们需要什么？

Urbina：我不想听起来很耸人听闻，但有人要复制我们所做的事情是相当容易的。

如果你在Google上搜索生成模型，你可以找到一些人们免费发布的拼凑的单行生成模型。然后，如果你要搜索毒性数据集，有大量的开源毒性数据集。因此，如果你把这两件事结合起来，然后你知道如何编码和建立机器学习模型--这只需要一个互联网连接和一台电脑--那么，你可以很容易地复制我们所做的。不仅仅是VX，还有几乎所有其他的开源毒性数据集。

当然，这确实需要一些专业知识。如果有人在不了解化学的情况下把这个东西放在一起，他们最终可能会产生一些不是很有用的东西。而且还有下一步，必须把这些分子合成出来。找到一个潜在的药物或潜在的新的有毒分子是一回事；下一步的合成--在现实世界中实际创造一个新分子--将是另一个障碍。

The Verge：是的，在人工智能想出的东西和将其变成现实世界的威胁之间仍有一些大的飞跃。那里的差距是什么？

Urbina：首先，最大的差距是，你真的不知道这些分子是否真的有毒。将会有一定数量的假阳性反应。如果我们让自己了解不良分子的想法或行为，他们将不得不作出决定，他们最终想合成这些新分子中的哪个。

就合成路线而言，这可能是一个成功或失败。如果你发现一些看起来像化学战剂的东西，并试图将其合成，有可能不会发生。这些化学战剂的许多化学成分都是众所周知的，并受到关注。它们受到监管。但有这么多的合成公司。只要它看起来不像化学战剂，他们最有可能只是合成它，然后马上送回来，因为谁知道这个分子是用来做什么的，对吗？

The Verge：你在论文的后面提到了这一点，但是可以做些什么来防止这种滥用人工智能的行为？你希望看到建立什么样的保障措施？

Urbina：现在有越来越多的关于数据共享的政策。而且我完全同意，因为它为研究开辟了更多的途径。它允许其他研究人员看到你的数据，并将其用于他们自己的研究。但与此同时，这也包括像毒性数据集和毒性模型这样的东西。所以要想为这个问题找出一个好的解决方案有点难。

我们向硅谷看去：有一个叫OpenAI的组织；他们发布了一个顶级的语言模型，叫GPT-3。它几乎就像一个聊天机器人；它基本上可以生成与人类几乎没有区别的句子和文本。他们实际上让你随时免费使用它，但你必须从他们那里获得一个特殊的访问令牌才能这样做。在任何时候，他们都可以切断你对这些模型的访问。我们在想，对于潜在的敏感模型，如毒性模型，类似的东西可能是一个有用的起点。

科学是关于开放交流、开放访问、开放数据共享的。限制是与这个概念背道而驰的。但向前迈进的一步可能是至少要负责任地说明谁在使用你的资源。

The Verge：你的论文还说，"在不过分危言耸听的情况下，这应该成为对我们同事的警醒"--你希望你的同事能醒悟到什么？你认为过分危言耸听会是什么样子的？

Urbina：我们只是希望更多的研究人员承认并意识到潜在的误用。当你开始在化学领域工作时，你会被告知化学的误用，你有责任确保你尽可能地避免这种情况。在机器学习领域，没有这样的规定。没有关于滥用技术的指导。

因此，把这种意识放在那里可以帮助人们真正注意到这个问题。然后，它至少在更广泛的圈子里被谈论，并且至少可以成为我们在建立毒性模型方面越来越好的时候注意的东西。

我不想提议，机器学习的人工智能将开始创造有毒分子，而且会有一连串新的生化战剂就在附近。有人点击一个按钮，然后，你知道，化学战剂就可能会出现在他们手中。

我不想危言耸听，说会有人工智能驱动的化学战。我不认为现在是这种情况。我不认为它很快就会成为事实。但它开始成为一种可能性。