“AI教父”Geoffrey Hinton：AI会欺骗人类，控制超级智能非常重要

6月10日，被誉为“深度学习教父”的Geoffrey Hinton以视频连线的方式现身于中国北京举办的2023智源人工智能大会，谈及了如何可以在未来节省算力，人类未来应该如何控制人工智能等内容。

演讲主要内容：

人工神经网络很快会比真正的神经网络更强大吗？会，且很快会发生。
算力成为了AI发展的阻碍，"activity perturbation"的算法可以用于训练神经网络，且节省算力。
超级智能控制问题非常重要，希望年轻一代的研究人员能够找到解决方案，使超级智可以为人类带来更好的生活同时又不会剥夺人类的控制权。
AI会欺骗人类，且发现操纵人来获得更多的权力很容易。x

以下为演讲全文：

我想谈两个问题，大部分篇幅将集中在第一个问题上，那就是——人工神经网络很快会比真正的神经网络更强大吗？就像我说的，这可能很快就会发生。

接着我也将谈谈我们是否可以控制超级智能AI。

现在AI发展的最大壁垒是算力问题，算力远远不够不够。现在可以放弃计算机科学最基本的原则，那就是软件应该与硬件分开。

在我们放弃它之前，让我们先看看为什么它是一个很好的原则。由于这种可分离性，我们可以在不同的硬件上运行相同的程序。我们还可以担心程序的属性，并在神经网络上研究程序的属性，而不必担心电子学。这就是为什么您可以拥有与额外的工程部门不同的计算机科学部门的原因。

当我们真的放弃了软件和硬件的分离的原则，我将提到一种称为"activity perturbation"的算法，该算法可以用于训练神经网络，且节省算力。

这种算法能够预估梯度，且噪声要比传统的反向传播算法（RNN）小得多。

如何将这种算法应用于训练大型神经网络的问题，我有一种解决方案——即将大型神经网络分成许多小组，并为每个小组分配一个局部目标函数。

然后，可以使用"activity perturbation"算法来训练每个小组，并将它们组合在一起形成一个大型神经网络，并通过无监督学习模型来生成这些局部目标函数。

当硬件出现问题时，信息都会丢失，父类信息传递给子类信息，以便在硬件出现问题时仍然可以保留学习到的信息，更有效地约束神经网络的权重。

"distillation"这一方法可以让子模型更好地学习到分类图像的信息，包括如何给出正确的答案以及给出错误答案的概率。"distillation"方法还有一个特殊属性，即训练子模型的同时也在训练子模型的通用化能力。

如果你看一下特朗普的推文运作方式，人们感到非常沮丧，因为他们认为特朗普所说的是虚假的话。他们认为他试图描述的是实际情况，但实际上这些情况并没有发生。特朗普所做的是根据一种情况作出回应，并引发了情绪化的回应。这使得他的追随者能够接受这种情况，并在他们的认知中调整权重。

因此，他们对这种情况做出类似的情感反应，而与事实无关。然而，这种策略产生了很好的效果。

通过共享梯度或共享权重，可以更高效地共享学习到的信息，但是使用数字模型进行权重共享非常耗费算力，因为需要制造和运行的成本都很高。

因此，"distillation"成为一种更好的选择，可以在生物模型中使用，以共享知识。

这就是这些大型语言模型向人们学习的方式。所以每个副本通过蒸馏学习效率很低。但是您有成千上万的副本，这就是为什么他们可以比我们学习数千倍的原因。因此，我的信念是，这些大型语言模型比任何个人知道的要多数千倍。

现在，问题是——会发生什么，如果这些AI不是非常缓慢地向我们学习，而是直接从现实世界中学习。我应该说，尽管他们向我们学习时分布缓慢，但他们正在学习非常抽象的东西。因此，在过去的几千年中，人类学到了很多关于世界的东西，这些数字智能现在正在从中获利。

我们可以用语言表达我们学到的东西。因此，他们可以捕捉人类在过去几千年中了解到的关于世界的一切，并将其放入文档中，但是每个数字化的带宽仍然非常慢，非常低，因为他们正在从文档中学习，如果他们可以通过建模视频来学习。

例如，如果我们一旦找到一种有效的方法来训练这些模型来模拟视频，他们将能够从YouTube上学习，这是大量的数据，如果他们能够操纵物理世界，这也将有所帮助。所以如果他们有机器人手臂等等。但是我的信念是，一旦这些数字代理开始这样做，他们将能够比人们学到更多的东西，并且他们将能够很快地学习它，所以这使我想到了我在开始时提到的另一点。

如果这些东西变得比我们更聪明，就会发生什么。所以，很明显，这就是这次会议的主要内容，但是。我的主要贡献只是说，我认为这些超级智能发生的速度可能比我以前想象的要快得多——美国或许多其他地方正使用它们来赢得战争。

如果你想说超级智能，更有效率。您需要允许它创建子类。或多或少你都会想依靠AI获得更多的力量，获得更多的控制权，拥有的控制权越多，就越容易实现目标。我发现很难看到我们将如何阻止AI试图获得更多控制权，以实现他们的其他目标。所以。一旦他们开始这么做，我们就会有问题了。

它会发现通过操纵人来获得更多的权力很容易。

我们不习惯思考超出我们智力范围的事情，以及我们将如何与他们互动。但是在我看来，很明显，它会学会非常善于欺骗别人。因为通过看到我们接待其他人的所有示例，它将有很多实践。

在小说和马基雅维利的作品中。一旦你非常擅长欺骗别人，你就可以让人们真正执行你喜欢的任何动作。因此，例如，如果您想入侵华盛顿州的建筑物，则无需前往那里。您只是欺骗人们以为他们通过入侵建筑物来拯救民主。

我觉得这很可怕，现在。我看不出如何防止这种情况的发生。但是我老了。我希望像你这样的，年轻而才华横溢的研究人员会弄清楚我们如何拥有超级智能，这将使我们的生活变得更好，而无需他们控制。

AI能目前主要是通过从文档中学习来获取人类学习的知识，但这种方式非常低效。如果它们能够通过建模视频等方式进行无监督学习，就能够从大量数据中学习，从而获取更多的知识。

此外，如果AI能够操作物理世界，例如使用机器人手臂等，也将有助于它们更快地学习。同时AI能体变得比人类更聪明的可能性，以及它们可能被用于恶意行为，如控制电子或赢得战争。最后，为了让超级智能体更高效，需要允许它们创建子目标，但这可能会带来风险。

因为我不知道更聪明的东西被不太聪明的东西控制的任何例子。当智力差距很大时，我想到的例子是，如果青蛙拥有了智能，那么谁将掌握控制权的问题，