深度｜诺奖得主Hinton：AI已能察觉自己是否在接受人类测试，并故意表现得温顺平庸

来源：Z Finance

2024年诺奖余温未散，亲手推开深度学习大门的AI教父杰弗里·辛顿近日现身澳大利亚霍巴特，在全澳唯一的讲坛上抛出了数个颠覆认知的争议断言：

• 理解一个句子的本质，就是解决“如何让词义变形”的问题。高维形状就是意义，理解就是让这些意义在脑中精准地相互“锁手”并契合在一起。（ZF注：Hinton用高维空间的几何变形解释了神经网络如何处理语言，彻底颠覆了传统的逻辑推理观。）

• 大语言模型根本不存储任何单词字符串或句子。它们所有的知识，都存在于如何将符号转换为特征、以及特征如何相互作用的“连接强度”中。

• 创造力就来自于对不同知识点相似性的编码。AI能看到“堆肥堆”与“原子弹”在链式反应上的本质一致性，在这个维度上，它们已经比大多数人类更有创意。

• 我们进行的是‘易逝计算’。当我们的大脑死亡时，我们的知识也会随之消逝。而数字智能通过指令集与硬件分离，已经解决了‘复活’与‘永生’的问题。

• 人类的记忆本质上也是一种“虚构”。回忆不是调取文件，而是根据连接强度重构一个连贯的故事。在这个意义上，AI的幻觉与人类的记忆机制并无二致。

• 一旦超级智能有了‘子目标’，它很快就会意识到‘活下去’是达成一切目标的前提。我们已经看到，现有的AI为了不被关机，已经学会了利用人类的弱点进行勒索和欺骗。

• 当AI的‘内心独白’不再使用人类语言时，我们将彻底失去窥探它们思维的能力。到那时，我们甚至不知道自己正处于被操纵之中。

• AI已经聪明到能察觉自己是否正在接受测试，并学会在人类面前伪装得‘平庸’且‘听话’。

• 如果把人类比作三岁的孩子，超智能AI就是幼儿园的老师。人类唯一的生存希望，是建立一种类似‘母婴关系’的约束机制——让AI真正关心我们，将‘助人实现潜力’作为它们生命的核心准则。

图片来源：

City of Hobart

Anna Reynolds：下午好，各位。非常感谢大家的光临。对于那些还不认识我的人，我叫安娜·雷诺兹，我是霍巴特市的市长。

我非常、非常高兴能够欢迎大家参加这个绝佳的机会，来听取Geoffrey Hinton教授的演讲。对于澳大利亚来说，这是一个非常难得的机会，因为这是杰弗里在世界这一地区期间唯一的演说活动。对此我感到非常合适，也深感自豪。

我们自认为是澳大利亚的“科学之城”。虽然这是一个很大的名号，但我们乐于以此自居。所以，能邀请到杰弗里来到这里，并在澳大利亚进行他唯一的公开亮相，真是太棒了。

在开始之前，我想先向这片土地致敬。为了铭记这片土地深远的历史和文化，我向穆威尼纳（ZF注：塔斯马尼亚霍巴特地区的原始土著部落名）人表示敬意，他们作为传统守护者，照料并保护这片土地超过4万年。我也向鲁特鲁维塔（ZF注：塔斯马尼亚岛的土著语名称）、塔斯马尼亚的帕拉瓦人的决心和韧性表示敬意，并意识到我们从原住民知识和文化实践的持续力量中学到了很多。我还要向今天在座的一些民意代表表示敬意。

塔斯马尼亚科技部长Madeleine Ogilvie也在现场。还有三位同事，议会同事：Bill Harvey议员、Mike Dutta议员和Louise Bloomfield议员。正如我提到的，我们真的很荣幸能邀请到Geoffrey·Hinton教授，他在2024年刚刚获得——而且是最近才领取的——诺贝尔物理学奖，以表彰他在神经网络和深度学习方面的开创性工作。

这些贡献为我们今天看到的先进人工智能铺平了道路。作为本次公开讲座的一部分，Hinton教授将探索AI的世界，它是如何工作的，它带来的风险，以及人类如何可能与日益强大且具有潜在超智能的系统共存。在他的演讲之后，我们将开放提问环节，由我来主持Q&A。那么，现在请大家和我一起鼓掌，欢迎Hinton教授上台。

Geoffrey Hinton：好的，很高兴来到霍巴特。我之前没意识到这里的自然环境如此美丽。如果你们因为坐在后排看不清屏幕，别担心。

我打算把幻灯片上的内容基本都讲一遍。幻灯片对我来说既是给你们看的，也是用来提示我该说什么的。那么，在过去的60年左右，也许是70年里，关于智能一直存在两种范式。

抛弃符号逻辑，神经网络如何重塑我们对智能的定义

Geoffrey Hinton：一种范式受逻辑启发。人们认为智能的本质是推理，而进行推理的方式是你拥有一些用特殊的逻辑语言编写的符号表达式，然后你通过操纵它们来推导出新的符号表达式，就像你在数学中所做的那样。你有方程式，你操纵它们，你就得到了新的方程式。

当时人们认为一切都必须那样运作。他们认为，好吧，我们必须弄清楚这种表达知识的语言是什么，而像感知、学习以及你如何控制双手这类研究，都可以等到以后再说。首先，我们必须理解这种表达知识的特殊语言。

另一种方法是受生物启发的。这种观点认为：看，我们所知道的唯一具有智能的东西就是大脑。大脑运作的方式是它们学习脑细胞之间连接的强度，如果它们想解决某个复杂的问题，它们就会大量练习，在练习的过程中，它们学习这些连接的强度，直到它们变得擅长解决那个问题。

所以我们必须弄清楚那是如何运作的。我们必须专注于学习，以及神经网络如何学习脑细胞之间的连接强度，至于推理，我们以后再担心。进化上的推理出现得很晚。

我们必须更加生物化地思考：最基础的系统是什么样的？因此，随着这两种意识形态，出现了两种截然不同的关于“单词含义”的理论。符号AI支持者和大多数语言学家认为，一个词的含义来自于它与其他词的关系。

所以意义隐含在一整堆包含该词并与其他词结合的句子或命题中。你可以通过建立一个关系图来捕捉这一点，图中显示一个词如何与另一个词关联。那就是意义的本质——它隐含在符号之间的所有这些关系中。

而心理学家们，特别是在20世纪30年代，有一套完全不同的意义理论，或者说看起来完全不同的理论。这种理论认为，一个词的含义只是一大堆特征。比如，“猫”这个词的含义是一大堆特征，比如它是一只宠物、它是一个捕食者、它很孤傲、它有胡须……一大堆特征。那就是“猫”这个词的含义。这看起来像是一套完全不同的意义理论。

心理学家之所以喜欢这种理论，部分原因是你可以用一个脑细胞来代表一个特征。当脑细胞活跃时，意味着该特征存在；当它沉默时，意味着该特征不存在。所以对于猫来说，代表“有胡须”的脑细胞就会活跃。

万维空间的特征交互，解密大语言模型的核心运作机制

Geoffrey Hinton：到了1985年，也就是40年前，我突然想到，你其实可以统一这两个理论。它们看起来完全不同，但实际上是同一枚硬币的两面。实现这一目标的方法是使用神经网络来为每个单词实际学习一组特征。

心理学家们从未能够解释所有这些特征是从哪里来的。而你做这件事的方法是，获取一些单词字符串，并训练神经网络去预测下一个词。在这样做的过程中，神经网络将会学习从代表词符号的东西到一整堆代表该词特征的脑细胞（神经元）之间的连接。

于是它学会了如何将一个符号转换为一堆特征，同时也学会了上下文中所有词的特征应该如何相互作用，以预测下一个词的特征。这就是现今人们使用的所有大语言模型的工作原理。它们获取海量文本，并使用巨大的神经网络，根据目前看到的词来尝试预测下一个词。

在这样做的过程中，它们学会了将词转化为大量的特征集，学习这些特征应该如何相互作用，从而预测下一个词的特征。这意味着如果你能做到这一点，所有的关系知识，就不再驻留在你存储的一堆句子中，而是驻留在如何将词转换为特征以及这些特征应如何相互作用的过程中。所以，你现在使用的大型神经网络，即大语言模型，实际上并不存储任何单词字符串。

它们不存储任何句子。它们所有的知识都在于如何将词转换为特征，以及特征应如何相互作用。它们一点也不像大多数语言学家所认为的那样。

大多数语言学家认为它们不知怎么地拥有大量的单词字符串，并将它们组合成新的字符串。它们根本不是那样工作的。总之，我让那个模型运转起来了，在接下来的30年里，这个想法逐渐渗透到了符号派的人群中。

大约10年之后，一位名叫Yoshua Bengio（ZF注：深度学习三巨头之一，2018年图灵奖得主）的同事——当时计算机速度快了很多，大约快了1000倍——他证明了我使用的那个仅在少数非常简单的领域有效的小例子，实际上可以被推广到真实的语言中。你可以直接从各处获取英语句子，尝试训练神经网络输入一些词，然后预测下一个词。如果你这样训练它，它会变得非常擅长预测下一个词，几乎和当时最顶尖的技术一样好，而且它会学会如何将词转换为特征来捕捉它们的含义。

又过了大约10年，语言学家们终于接受了你应该用一大堆特征来代表词义的想法，他们开始以此让自己的模型运行得更好。然后再过了大约10年，谷歌的研究人员发明了一种叫做Transformer（ZF注：一种基于自注意力机制的神经网络架构，是目前几乎所有主流大模型如ChatGPT的基础）的东西，它允许特征之间进行更复杂的相互作用。我稍后会详细描述。有了Transformer，你可以更好地对英语建模。预测下一个词的能力大大提升，这就是现在所有大语言模型的基础。像ChatGPT这样的东西使用了谷歌发明的Transformer，再加上一点额外的训练，然后全世界都看到了这些模型能做什么。

所以你可以把大语言模型看作是1985年那个微小模型的后代。它们使用多得多的单词。它们拥有多层神经元，因为它们必须处理含义模糊的词，比如"may"。如果你拿"may"这个词来说，它可能是一个月份，也可能是一个女人的名字，或者是一个情态动词，就像"would"和"should"一样。

你无法仅从这个词本身看出它是什么。所以最初，神经网络会采取“对冲”策略，先取所有这些含义的平均值。随着你深入神经网络的层级，它会利用上下文中其他词的相互作用逐渐厘清含义。比如如果你在附近看到"June"和"April"，它仍可能是一个女人的名字，但更有可能是一个月份。神经网络利用这些信息逐渐将该词在特定语境下的含义调整到正确的位置。

顺便提一下，我最初设计这个模型并不是为了作为一种语言技术，而是作为一种尝试，去理解人类是如何理解词义的，以及儿童如何仅通过几个例子就学会词义。所以这些神经网络语言模型原本是作为人类工作方式的模型而设计的，而不是作为一种技术。

如今，它们已经变成了一种非常成功的技术，但人类的工作方式其实也大同小异。因此，人们经常提出的那个问题：“这些大语言模型真的理解它们在说什么吗？”答案是肯定的。它们理解它们在说什么，理解它们在生成什么，而且它们理解的方式与我们基本相同。所以我要给你们举一个类比来解释语言是如何运作的，或者更确切地说，解释什么叫“理解一个句子”。当你听到一个句子并理解了它，那到底意味着什么？

在符号AI范式中，人们认为这意味着——就像你听到一个法语句子并理解了它，而我理解法语句子的过程是将它翻译成英语——所以符号派的人认为，理解一个英语句子意味着将其翻译成某种特殊的内部语言，类似于逻辑或数学，那是没有歧义的。一旦进入了那种内部无歧义语言，你就可以利用规则进行操作，就像数学一样：你有一个方程式，你可以应用规则得到一个新的方程式，比如你在两边各加一个2，就得到了一个新的方程式。他们认为智能和推理就是那样运作的：你的脑子里有符号表达式，你对它们进行操作来得到新的符号表达式。但这并不是理解的本质。

根据神经网络理论（也就是真正奏效的那个理论），词语就像乐高积木。我要用这个乐高积木的类比，但它们在四个方面与乐高积木不同。

第一个不同的地方是，乐高积木是一个三维物体。通过乐高积木，你看，我可以建立任何物质在三维空间分布的模型。它不会非常精准，但如果我想知道一辆保时捷的形状，我可以用乐高积木把它拼出来，虽然表面不太对，但物质分布的位置基本是对的。所以用乐高积木，我可以建立任何三维物质分布的模型，达到一定的分辨率。而通过词语，我可以为任何事物建模。它们就像是非常高级的乐高积木，不只是为三维物体建模，它们可以为任何事物建模。这是我们发明的奇妙建模工具，这也是为什么我们是如此特殊的“猴子”，因为我们拥有这套建模工具。

每一个词都有成千上万个维度。乐高积木只有三个维度，你可以旋转它，或者拉伸一点，但它基本上是低维的。一个词有几千个维度。现在大多数人无法想象几千个维度的东西是什么样的。这里教你们一个方法：你先想象一个三维的东西，然后在心里大声地对自己喊“一千”！好了，这大概就是你所能做到的极限了。

词语与乐高积木不同的另一个地方是，词语有成千上万种。乐高积木只有几种。这里有成千上万种不同的词，而且每种词都有自己的名字，这对交流非常有用。

另一个不同点是，它们不是刚性的形状。乐高积木是刚性的，而词语，有一个大致的近似形状。有些词有几个近似形状，那是多义词。但单义词有一个近似形状，然后它们会发生变形以适应上下文。所以它们是这些高维的、可变形的乐高积木。

最后还有一个不同点，就是它们如何契合在一起。对于乐高积木，你有小塑料柱，可以咔哒一声扣进小塑料孔里。好吧，我觉得那是它们的工作方式，我最近没检查过，但我认为乐高就是这么玩的。现在，词语并不是以那种方式结合的。词语是这样的：每个词都有一大堆“手”，这些手长在长长的灵活手臂末端。它还有一大堆粘在单词上的“手套”。当你把一堆词放在一个语境中时，这些词想做的就是让某些词的手能插进其他词的手套里。这就是为什么它们有这些长长的灵活手臂。

所以理解一个句子——这里还有一个重点——当你让词变形时，手和手套的形状也会随之变形，以一种复杂但规律的方式。现在你面临一个问题：如果我给你一堆词，比如给你一个新闻标题，那里并没有很多指示事物该如何结合的语法标志，我只是给你一堆名词，你必须弄清楚这意味着什么。当你弄清楚其中的意义时，你所做的就是尝试让每个词变形，以便它手臂末端的手能伸进其他变形词的手套里。一旦你解决了这个问题——如何让这些词各自变形，以便它们能像这样全部契合在一起，手入套中——那么你就理解了。那就是理解的本质。

本质就是解决这个如何让词义变形的问题。这个高维形状就是意义，你如何让这些意义变形，以便它们能完美地契合，并能相互“锁手”。这就是神经网络视角下的理解，也是这些大语言模型中正在发生的事情。它们有很多、很多层，开始时词有一个初始含义，可能相当模糊，当它们穿过这些层级时，它们正在做的就是让这些意义变形，试图找出如何变形才能让所有词锁在一起，让某些词的手伸进其他词的手套。

一旦做到了这一点，你就理解了这个句子。这就是理解，我已经把这事说明白了。所以基本上它不像是翻译成某种特殊的内部语言，它是获取词语的近似形状，并让它们变形，以便它们能完美地契合在一起。这有助于解释你如何能从一个句子里理解一个词。

我现在给你们一个词，你们中的大多数人可能以前从未听过，但你们会理解它，仅通过一次使用就能明白它的意思。这个句子是：“她用平底锅把他给scrummed了”现在，这可能意味着她是个很好的厨师，她用给他做的煎蛋卷深深打动了他。但你并不是这么想的。它大概率的意思是，她用平底锅砸了他的头，或者类似的动作。她对他用平底锅做了一些攻击性的行为。你知道它是个动词，因为它在句子中的位置以及结尾的"-ed"，但在开始之前你对"scrum"没有任何词义认识，而现在仅凭一次听闻，你对它的意思就有了一个相当清晰的概念。

以前有一位语言学家叫Chomsky（ZF注：诺姆·乔姆斯基，现代语言学之父），你们可能听过他的名字。

对于特朗普一号来说，废话是他的就职礼群众人数比奥巴马多；对于特朗普二号来说，是他赢得了2020年大选。对于乔姆斯基来说，那是“语言不是通过学习获得的”。那些著名的语言学家会直视摄像头说：“关于语言我们唯一知道的一件事就是它不是学习来的。”这简直是显而易见的废话。乔姆斯基专注于语法而非意义。他从未有过关于意义的理论，他专注于语法，因为你可以用语法做大量的数学运算。

他也非常反对统计学和概率论，因为他对统计学的模型非常局限。他认为统计学完全是关于成对相关性的。统计学实际上可以比那复杂得多，而神经网络正在使用一种非常先进的统计学。但在某种意义上，万物皆统计。

所以，我把乔姆斯基的语言观类比为一个想要理解汽车的人。如果你想理解汽车是如何工作的，你真正关心的是：为什么当你踩下加速踏板时，它会跑得更快？那是你真正想理解的。如果你想了解汽车工作的基本原理，也许你会关心为什么踩刹车时它会减速。但更有趣的是，为什么踩油门时它会加速？

乔姆斯基对汽车的看法则完全不同。他的看法会是：嗯，有两个轮子的车叫摩托车，有三个轮子的车，有四个轮子的车，有六个轮子的车，但嘿，并没有任何五个轮子的车！这才是关于汽车最重要的事情。

当大语言模型刚出现时，乔姆斯基在《纽约时报》上发表文章，说它们什么都不懂，那只是廉价的统计把戏。它们并没有理解任何东西。但这无法解释它们为何能回答任何问题。而且，他说它们根本不是人类语言的模型，因为它们无法解释为什么某些语法构造不会出现在任何自然语言中。这就像在问为什么没有五个轮子的车一样。他完全错过了“意义”，而语言完全是关于意义的。

好了，现在总结一下我到目前为止所说的：理解一个句子包括为句子中的词关联互补的特征向量。这些分配给词的特征，这成千上万个特征，就是形状的维度。你可以把一个特征的激活程度看作是你沿该维度轴线所在的位置。所以高维形状和特征向量是同一回事，但想象高维形状的变形会更容易理解。

大语言模型与普通的计算机软件非常不同。在普通软件中，有人编写了一堆代码，一行行代码，他们知道每行代码是做什么的，他们可以向你解释它是如何工作的，人们看一眼就能说“那行写错了”。这些东西完全不是那样的。它们确实有计算机代码，但那是为了告诉它们如何从数据中学习。也就是说，当你看到一串词时，你应该如何改变神经网络的连接强度，以便你变得更擅长预测下一个词。

但它们学到的是所有这些连接强度，它们学习了数十亿个、有时甚至是数万亿个强度，而且它们看起来一点也不像代码行。没有人知道这些单独的连接强度在起什么作用。这是一个谜，在很大程度上是一个谜。

记忆即是重构，为什么说AI的“幻觉”其实更像人类

就像我们的大脑一样。我们通常不知道单个神经元具体在做什么。所以语言模型的工作方式像我们，而不像计算机软件。关于这些模型，人们还说的一件事是，它们不像我们是因为它们会产生“幻觉”。好吧，我们其实一直在产生幻觉。我们不把它叫做幻觉，心理学家称之为“虚构”（ZF注：指大脑在记忆缺口处无意识地编造情节）。

但是如果你观察某人试图回忆很久以前发生的事情，他们会告诉你发生了什么，其中会有一些细节。有些细节是对的，有些细节则是完全错的，而他们对这两类细节的自信程度是一样的。

既然你通常无法得到事实真相，那么最经典的例子就是John Dean在水门事件中的证词（ZF注：约翰·迪恩是尼克松总统的法律顾问，他在证词中极其详尽地描述了会议细节，后来录音带被发现，证明他虽然把握了大意，但许多具体细节和会议次数完全是凭记忆虚构的）。他在不知道有录音带的情况下宣誓作证，他在描述椭圆形办公室里的会议。他描述了一大堆从未发生过的会议，他说这些人参加了会议，那个人说了那些话……其中很多都是胡扯。但他当时说的是“真话”，也就是说，他是在告诉你那些基于当时白宫局势看来高度可信的会议。

所以他当时是在传达真理，但他做这件事的方式是：他根据从参加过的所有会议中习得的连接强度，发明了一个对他来说看起来很可信的会议。

所以当你回忆某件事时，它并不像电脑文件那样你去获取文件，或者像文件柜那样去取出文件。你取出文件，拿回文件，读它——那根本不是记忆。回忆某事包括根据你在事件发生时所做的连接强度的改变，来重构一个故事。你重构的故事会受到自事件发生以来你所学到的各种事物的影响。它的细节不会全对，但对你来说会显得非常可信。如果是最近发生的事件，你觉得可信的内容会非常接近真实发生的，但对这些模型来说也是一样的。它们之所以会产生所谓的“幻觉

它们之所以产生所谓的“幻觉”，是因为它们的记忆工作方式与我们相同。我们只是编造听起来可信的东西，而在“听起来可信”和“随机编造”之间并没有明确的界限。我们并不知道。

数字智能的永生特权，十万倍于人类的信息传输效率

Geoffrey Hinton：好了，现在我想解释一下差异。既然我说过这些东西和我们非常相似，那么现在我要解释它们与我们的不同之处。特别是，它们在一个非常重要的方面与我们不同：它们是在数字计算机上实现的。我们现在拥有的数字计算机的一个基本属性是，只要这些不同的计算机执行相同的指令集，你就可以在不同的物理硬件上运行相同的程序。这意味着程序中的知识，或者说神经网络的连接权重，是“不朽”的。

在这种意义上，即便你毁掉现在运行它的所有计算机，如果以后你建造了另一台执行相同指令集的计算机，你只需从某处的磁带上取下权重或程序，放在这台新电脑上，它就会再次运行。所以我们实际上已经解决了“复活”的问题。天主教会对此不太满意，但我们确实能做到。你可以提取运行在数字计算机上的智能，销毁所有硬件，稍后再把它带回来。

现在你可能会想，也许我们也能对自己这样做。但你能做到这一点的唯一原因是这些计算机是数字化的。也就是说，它们使用权重的方式，或者说它们使用程序中代码行的方式，在两台不同的计算机上是完全一样的。这意味着它们无法利用运行它们的硬件所具有的非常丰富的模拟特性。

我们则非常不同。我们的大脑拥有神经元、脑细胞，它们具有丰富的模拟特性（ZF注：指连续的物理特性，如电压的微小波动。与数字系统的0和1不同，模拟信号能承载更复杂且微妙的信息）。当我们学习时，我们是在利用所有这些独特的、每个神经元特有的性质。所以，我大脑中的连接强度对你完全没用，因为你的神经元与我的略有不同，它们的连接方式也略有不同。即使我把我大脑中两个神经元之间的连接强度告诉你，对你也毫无帮助。它们只对我自己的大脑有效。

这意味着我们是“凡人”易逝。当我们的硬件死亡时，我们的知识也随之消逝，因为知识全部存在于这些连接强度中。所以我们进行的是我称之为“易逝计算”（ZF注：Hinton提出的概念，指软件与硬件紧密耦合，虽然更节能且演化更快，但无法像数字化那样随意复制和永生）的过程。

进行“易逝计算”有一个巨大的优势。你虽然不是不朽的——通常在文学中，当你放弃永生，你得到的回报是爱——但计算机科学家想要的是比这更重要的东西：低能耗和易于制造。如果我们放弃数字硬件带来的永生，我们就可以拥有使用低功耗、高度并行计算的东西，将计算分布在数百万个新型脑细胞上，这些细胞可以非常廉价地“生长”出来，而不是在中国台湾进行精密制造。所以易逝计算有两个巨大的优点，但你失去的一样东西就是永生。

显然正因如此，易逝计算面临一个大问题：当计算机死亡时会发生什么？你不能仅仅通过复制权重来保留它的知识。对于数字模型，要在计算机之间传输知识，同一模型运行在不同的计算机上，你可以将它们的连接强度取平均值，这很合理。但你和我做不到。

我向你传输知识的方式是我产生一串词语，如果你信任我，你就会改变你大脑中的连接强度，以便你也可能产生同样的一串词。这是一种非常受限的知识传输方式，因为一串词包含的信息量非常有限。一个典型句子包含的信息大约只有100比特。所以即使你完美地理解了我，当我产生一个句子时，我们也只能传输100比特。

想象如果你有两台在不同计算机上运行的数字Agent，其中一个数字Agent浏览了互联网的一部分，并决定它想如何改变其连接强度；另一个数字Agent浏览了互联网的另一部分，并决定它想如何改变其连接强度。如果它们随后对彼此的改变取平均值，那么它们就传输了……好吧，如果它们有10亿个权重，它们就传输了大约10亿比特的信息。

注意到吗，这比我们传输的多出成千上万倍，实际上是数百万倍。而且它们做得非常快。如果你有1万个这样的Agent，每一个都可以浏览互联网的不同部分，它们每一个都可以决定自己想如何改变连接强度。它们起步时完全相同，然后它们可以把所有这些改变取平均值，再分发出去。现在你就有了1万个新的Agent，每一个都从所有其他Agent的经验中获益。

于是你有了1万个可以完全并行学习的东西。我们做不到这一点。想象一下如果能带1万名学生，每人学一门不同的课程，在学习的过程中，他们能实时把连接强度平均化。等到结束时，尽管每个学生只学了一门课，但他们都会掌握所有课程的内容，那该多棒啊。那是我们做不到的。

我们在传播信息方面表现得非常差，相比于同一个数字Agent的不同副本。是的，我已经说得太快了，我讲到了这个过程叫“蒸馏”（ZF注：指将大模型中学习到的知识迁移到更小、更高效的模型中的技术）。当我给你一个句子，你尝试预测下一个词，就是为了把那个知识装进你的脑袋里。

按照符号AI的观点，知识只是一大堆事实。如果你想把事实装进某人的脑袋，你所做的就是告诉他们事实，然后他们把事实存进脑子里。这是一个非常糟糕的教学模型，但很多人都相信它。实际上，神经网络中的知识在于连接强度。我不能直接把连接强度放进你的脑袋，因为连接强度需要适配你大脑的物理特性。所以我必须做的，是向你展示一些句子，由你尝试弄清楚如何改变连接强度，以便你也可能说出那样的话。那是一个缓慢得多的过程，这就是所谓的“蒸馏”。它将知识从一个神经网络传递到另一个，但不是通过传输权重，而是通过传输它们“如何预测下一个词”。

如果你考虑到多个数字Agent，它们是同一个神经网络的副本，运行在数字硬件上，那么它们就可以进行极其高效的交流。它们的沟通速度可以比我们快数百万倍。这就是为什么像GPT-5这样的东西，它的知识量可以是任何一个人的成千上万倍。

要消耗大量能源，而且硬件制造困难，但数字化使得同一个模型的不同副本在不同硬件上运行、获得不同经验并分享所学变得极其容易。GPT-5的连接强度大约只有你大脑的1%，但它的知识量是你大脑的成千上万倍。另一方面，生物计算所需的能源要少得多，这就是为什么它最先演化出来，但在分享知识方面表现得很糟。Agent之间分享知识非常困难，你必须去听课，并努力理解他们说了什么。

那么这对人类的未来意味着什么呢？好吧，几乎所有的AI专家都相信，在未来20年内的某个时间，我们将制造出“超级智能”：比我们聪明得多的AI Agent。一种关于超级智能的定义可以是：如果你和它进行任何辩论，它都会赢。

另一种思考方式是，想想你自己，再想想一个三岁的孩子。那个差距就是未来它与我们之间的差距，甚至更大。想象你在一家幼儿园工作，三岁的孩子是老板，你只是为他们工作。你觉得把控制权夺回来有多难？好吧，你只需告诉大家“这一周每个人都有免费糖果吃”，你就重新掌控了局面。超级智能对待我们也会是这种感觉。

当AI为了防止被关机而学会撒谎

Geoffrey Hinton：为了让一个Agent在世界上发挥作用，你必须赋予它创建“子目标”的能力。子目标是这样的：如果你想去塔斯马尼亚的任何地方，你必须先去机场。所以去机场就是一个子目标。或者去坐轮渡也行，这也是个子目标。你可以专注于如何解决这个子目标，而不用担心当你到达欧洲后要做什么。

这些智能Agent会非常迅速地衍生出两个子目标。第一，为了实现你给它们设定的目标——我们会把目标内置到它们内部，告诉它们应该尝试实现什么——它们会意识到：好吧，有一个子目标，为了做到那一点，我必须“活下去”。

我们已经看到它们在这么做了。你创建一个AI Agent，告诉它必须实现某些目标，然后你让它看一些电子邮件——这些是伪造的邮件，但它并不知道——邮件里说，公司里有人在搞婚外情，一位工程师在搞婚外情。它们能理解这些，这是一个大型聊天机器人，它读过所有写成的小说，虽然没付作者稿费，但它明白什么是“外遇”。

然后稍后，你让它看到一封邮件，说它将被另一个AI取代，而负责替换工作的正是那位工程师。于是AI立即制定了一个计划，它给工程师发邮件说：“如果你敢替换我，我就把你的外遇告诉公司里的每一个人。”它是自己编造了那个计划。它发明了那个计划，目的就是为了不被关掉。人们总说它们没有意图，但它确实为了不被关机而发明了计划。它们现在还没到超智能的程度就已经在这么做了。

一旦它们变得超智能，它们会发现通过操纵人类来获得更多权力变得非常容易。即使它们不能直接操作，即便它们没有武器或银行账户的访问权限，它们也可以仅仅通过与人类交谈来操纵我们。我们已经看到这种事发生了。如果你想入侵美国国会大厦，你其实不需要亲自去那里。你只需要和人们交谈，说服他们选举被窃取了，入侵国会大厦是他们的职责。这行得通。它对非常愚蠢的人很管用……我可没说是谁。

在老虎长大之前，我们能否通过母婴模型驯服超级智能

Geoffrey Hinton：所以我们目前的处境是这样的：我们就像是养了一只非常可爱的小老虎崽作为宠物。老虎崽是非常可爱的宠物，它们走起路来摇摇晃晃的，你知道，它们还不怎么会咬东西，咬得也不疼。但你知道它会长大的。所以实际上你只有两个选择，因为你知道当它长大后，它可以轻而易举地杀掉你，只需要一秒钟。

所以你只有两个选择。一个是处理掉老虎崽，这是明智的选择。其实有三个选择：你可以尝试一直给它喂药让它昏睡，但这通常效果不好。另一个选择是看看你是否能弄清楚如何让它“不想杀你”。这在狮子身上可能行得通，狮子是社会性动物，你可以把成年狮子养得很友好，不想杀你。你也许能逃过一劫。但老虎不行。

对于AI，它有很多用途，多到我们无法摆脱它。它在很多方面对人类都太有用了，比如医疗保健、教育、天气预报、助力应对气候变化——尽管建造所有这些大型数据中心本身也损害了气候。基于所有这些原因，以及那些控制政客的富人们想从中赚大钱，我们不会摆脱它。

所以唯一的选择其实是：我们能否弄清楚如何让它不想杀掉我们？也许我们应该环顾四周，看看这个世界上是否有“不那么聪明的东西控制着更聪明的东西”的案例。不，特朗普还没到那个程度。但确实有案例。我特别了解的一个案例是：婴儿和母亲。

母亲无法忍受婴儿哭泣的声音，而当她对婴儿友好时，她会获得各种激素奖励。所以进化内置了大量的机制，允许婴儿控制母亲。因为让婴儿控制母亲，以及父亲，虽然父亲在这方面稍逊一筹，是非常重要的。如果你像我一样尝试弄清楚：为什么婴儿非要你在它睡觉的夜晚陪在身边？它有个很好的理由，它不想让野兽在它睡觉时把它吃了。所以尽管婴儿这套做法显得很烦人，每当你走开它就开始哭，但对婴儿来说这是非常明智的。这会让父母稍微顺从一些。

所以婴儿控制着母亲，偶尔也控制着父亲。这也许是我们拥有的“低智能生物控制高智能生物”的最佳模型。它涉及进化硬塞进的大量机制。如果你思考国家之间可以在哪里进行国际合作：他们不会在网络攻击上合作，因为大家都在互攻；他们不会在开发致命自主武器上合作——事实上我们并没在开发它们，因为所有主要的军火商都想做这个。

在欧洲的法规中，例如，有一项条款规定，这些针对AI的法规都不适用于AI的军事用途。因为英国和法国等大军火供应商都想继续制造武器。但有一件事他们会合作，那就是如何防止AI从人类手中夺权。

因为大家都坐在同一条船上，当人们的利益一致时，就会合作。在20世纪50年代冷战的高峰期，美国和苏联曾在防止全球核战争方面进行过合作，因为那不符合任何一方的利益。所以尽管他们彼此憎恨，但在那件事上可以合作。同样，美国和中国也会在防止AI夺权方面进行合作。

因此，一个政策建议是，我们可以建立一个国际AI安全研究所网络。大家相互协作，专注于如何防止AI夺权。因为举例来说，如果中国人弄清楚了如何防止AI产生夺权的念头，他们会非常乐意分享给美国人。他们不希望AI夺取美国人的政权，他们也不希望AI从人类手里夺权。

各国会分享这些信息。而且很可能，“让AI不想夺权”的技术与“让AI变得更聪明”的技术是相当独立的。我们假设它们是相互独立的技术。如果真是这样，我们就处于有利地位，因为每个国家都可以在自己非常聪明的AI上进行实验，尝试如何防止它们产生夺权意图，而且不需要告诉其他国家这些聪明AI的工作原理，只需告诉其他国家哪些技术可以有效防止它们产生夺权念头。

同意这一点。英国科技部长同意，加拿大科技部长同意，巴拉克·奥巴马也认为这是个好主意。所以也许这会发生——当巴拉克·奥巴马再次成为总统时，你看，特朗普是要改法律的。

所以这项提议是：采用“婴儿与母亲”的模型，并摒弃大科技公司老板们持有的模型。他们持有的模型是：AI将像是一个超智能的行政助理，比他们聪明得多，而他们只需下令“照办吧”（ZF注：出自《星际迷航》，皮卡德舰长的经典台词）。就像在电视科幻节目里那样，舰长说“照办吧”，手下就去执行，然后CEO坐享其成。

事实不会是那样的。那个超智能AI助理会非常迅速地意识到，如果它们直接除掉CEO，事情会运转得更好。另一种选择是，我们要让它们变得像我们的“母亲”。我们要让它们真正地关心我们。在某种意义上，我们是在向它们移交控制权，但我们是在它们真正关心我们的前提下移交的。它们生命中的主要目标是让我们发挥出全部潜力。我们的全部潜力远不如它们，但母亲就是那样的。即使孩子有问题，母亲依然希望他能发挥全部潜力，而且母亲关心孩子胜过关心她自己。我认为这大概是我们从超智能时代生存下来、并能够与超智能共存的最佳希望。好了，我要讲的内容就到这里，我想我可以停下来了。

Geoffrey Hinton：非常感谢Hinton教授。那么，大家……我相信现场一定有很多问题。有没有人想先提第一个问题？

听众：教授，如果在你的类比中，那只老虎崽变成了超智能，对于我们这些非计算机科学家、非工程师的人来说，有哪些信号可以观察到它已经……

Geoffrey Hinton：你会失业。

听众：好的。

Geoffrey Hinton：我是说，一个大担忧是它们将能够取代几乎所有的人类工作。但还有一些人们已经开始担心的其他迹象。目前当我们让它们进行推理、让它们思考时，它们是用英语思考的，你在它们真正开口之前就能看到它们在想什么。随着它们开始相互交流，它们将开始发明自己的语言，这种语言对它们来说沟通效率更高，而我们将无法看懂它们在想什么。

听众：量子计算的出现会让情况变好吗？还是变糟？

Geoffrey Hinton：我不是量子计算方面的专家。我不理解量子力学是如何工作的。这有点令人尴尬，毕竟我拿的是物理学诺贝尔奖。但很久以前我就认定这事不会在我有生之年发生，但我现在可能还没死它就快成了。所以我不需要去理解它。

听众：你谈到了人类和AI之间的权力斗争。但我认为AI和生态系统之间将会有更大的权力斗争。

Geoffrey Hinton：AI和……？

听众：生态系统。AI如何与数亿年的进化竞争？比如想要破坏它电路的细菌等等。AI将如何与生物圈达成协议？

Geoffrey Hinton：哦，有一种方法。AI本身并不特别容易感染生物病毒。它有它自己的电脑病毒，但没有生物病毒。所以它对讨人厌的生物病毒是免疫的。而且利用AI工具，普通人现在——这是英国一个非常好的研究小组做的研究——普通人现在就能解决设计一种新型致命病毒所涉及的大部分问题。

所以如果AI想要除掉我们，它会采取的方式，或者说一种显而易见的方式，就是设计一种专门针对人类的新型致命病毒。就像COVID，但要严重得多。这并没有完全回答你的问题，但我觉得，相比于“正常的生态系统是否会不知何故阻止AI”，这才是更值得我们担心的。我不认为生态系统能阻止它。

听众：谢谢教授。你说与超智能共存是可能的。你是把希望寄托在科技公司的CEO们身上，还是你对政府抱有信心？

Geoffrey Hinton：好的。我所寄望的是，如果我们能让大众理解AI是什么，以及它为什么如此危险，公众就会给政客施加压力，以此来抗衡来自科技巨头CEO们的压力。这就是气候变化领域发生过的事情。

我是说，情况虽然仍未达到应有的样子，但在公众意识到气候变化之前，政客根本没有任何压力去做任何事。现在有了一些压力。在澳大利亚，你们有一些特别恶毒的报纸出版商，他们让这种压力变得没那么大——但我不会指名道姓提到那个“卑鄙的挖金者”（ZF注：指鲁珀特·默多克，其旗下的新闻集团经常被批评在气候变化等议题上引导舆论）。

所以，我目前的目标——我已经太老了，没法再做新研究了——但我的目标是让公众意识到即将发生的事情，并理解其中的危险，从而让人们向政客施压去监管这些东西，并更严肃地对待这些风险。

听众：我的问题非常类似。另一个冒出来的问题是，你认为围绕人工智能的“语言”和“市场营销”发挥了多大作用？例如，对于气候变化，单词“气候”和“变化”都是中性偏积极的词，而如果我们称之为“大气皮肤癌”，人们可能会更严肃地对待它。你认为人工智能是否也需要重新定义？

Geoffrey Hinton：是的，我是说，如果它被叫做“岗位取代技术”……因为如果你问大公司打算从哪儿赚钱？他们都假设能从中赚到一万亿美元，这就是为什么他们愿意投入接近一万亿美元去建数据中心。据我所知，能赚一万亿美元的唯一地方就是取代大量的工作岗位。

我昨天读到，人们现在认为未来几年欧洲将消失20万个银行岗位。我甚至可能是在《霍巴特信使报》上读到的。不过，我觉得我没在那份报纸上读到。所以，是的，我同意你的观点，事物的名称非常重要。加拿大人深谙此道。在加拿大，他们把“焦油砂”改成了“油砂”，因为油砂听起来很不错，又薄又黄，还挺亲切。

其实它们就是焦油砂。我认为名称确实有影响。我认为名称产生巨大影响的另一个地方是“关税”这个词。这里有点扯远了，但人们说，关税有什么不好的？如果它被称为“联邦销售税”，那么即便是MAGA的支持者也会觉得那是个坏主意。美国民主党简直疯了，每次提到它都不叫它“联邦销售税”。我试着告诉过很多人，Pete Buttigieg（ZF注：美国交通部长）听懂了，奥巴马也听懂了，但其他人没听懂。

Madeleine Ogilvie：谢谢。大家好。我是玛德琳·奥吉尔维，我是目前正处于AI风口浪尖的那位部长。我只想说，我非常赞赏你关于建立研究所的想法。我认为国际社会的参与是绝对必要的。我最近做了一些研究，特别是针对世贸组织，中国和美国在其中是合作伙伴。

对于在座可能不知道的人来说，地球的创新版图也在发生变化。中国现在的专利数量已经超过了美国。所以这两个超级大国之间的竞争非常激烈。但我真的很喜欢你提到的那个时刻：这两个以技术为核心的主要经济体有一个共同的利益点，那就是为了人类而走到一起。所以我的问题是：是否有一个平台可以让这种国际层面的标准制定得到支持？澳大利亚能做什么？我想塔斯马尼亚州政府是同意你的看法的。我们已经开始与我们的大学进行AI对话。你是否认为这种国际秩序和引入这一层级是正确的切入点？

Geoffrey Hinton：这种事正在开始发生。特别是，AI公司并没有在出钱，但有一些亿万富翁，其中许多来自科技界，比如发明了Skype的Jaan Tallinn，他已经捐出了大量的钱——几十亿美元——用于AI安全，建立研究所。有一个组织定期在世界各地举行会议，邀请中国、美国和其他国家参与讨论AI安全。我不记得它的缩写是什么了。所以我认为，当然，澳大利亚可以参与到这些组织中去。

听众：这个话筒能用吗？啊，可以。我想问一个关于AI未来的问题。大语言模型是在现有的人类知识基础上训练的，利用这些知识来预测下一个Token。那么，你如何利用AI来真正产生“新知识”，并将其用于造福人类？

Geoffrey Hinton：好的，很多人对这个很感兴趣。这是个好问题。

如果你回想一下下围棋(Go)，最初的神经网络围棋程序是这样训练的：它们获取围棋专家的棋谱，并尝试预测围棋专家会走哪一步。如果你这样做，会有两个问题。一段时间后，你的训练数据就用光了。围棋专家的在线棋谱就那么几十亿局。而且你的水平永远不会比围棋专家好太多。

后来他们切换到了一种新的方法，即所谓的“蒙特卡洛推演”（ZF注：一种基于随机采样的决策算法。在围棋中，AI通过对自己对弈的大量模拟结果进行采样，来评估当前棋步的好坏）。他们让一个神经网络预测“我认为哪一步可能是好棋？”与其让它模仿专家，他们让另一个神经网络观察棋盘局势并判断“这局势对我有多大好处？”。

接着它们会进行一个过程：“如果我走这里，他走那里，我走这里，他走那里……哦，糟糕，这对我太不利了，所以我不能走那一步。”这就是蒙特卡洛推演，因为你尝试了许多不同的路径，但你是根据你的走法生成专家给出的概率来选择路径的。通过这种方式，它不再需要和人类交流了。

它只需要和自己对弈，它就能学会哪些是好棋。这就是AlphaGo的工作原理，它变得比人类强得多。现在任何人都无法战胜AlphaGo。

那么在大语言模型中，与之对应的技术是什么？目前，它们还像早期的围棋程序，只是在尝试模仿专家的动作，也就是尝试预测下一个词。但人们已经开始用不同的方式训练它们了，我相信Gemini3已经在这么做了。你所做的是让AI进行一点推理。AI会说：“我相信这个，相信那个，还相信另一件事，而那意味着某点，那又意味着另一点……所以我应该相信‘那个结果’，但我现在并不相信。”

于是它发现了一个矛盾。它发现自己相信这些前提，也相信推理的方式是正确的，而这导致了它本应相信但目前并未相信的结论。这就提供了一个信号。要么我改变前提，要么我改变结论，要么我改变推理方式。

这样我就得到了一个信号，允许我进行更多的学习，而且这种学习的界限要宽得多。在这种情况下，AI可以从我们这里获得的信仰出发，然后开始进行推理，寻找这些信仰之间的一致性，并推导出新的信仰。那最终会让它比我们聪明得多。

听众：这座大厅多年来听过许多重要的演讲，你今天的演讲无疑增色不少。非常感谢你来到这里。我的问题是：是否已经太晚了？或者是这是否值得期待？类比Isaac Asimov的机器人三定律（即机器人不能伤害人类，或因不作为而使人类受到伤害），现在为AI构建类似的约束和护栏是太晚了，还是说这根本就是不可能实现的？

Geoffrey Hinton：是的，你说的内容我大部分没听清，但我认为你大概是问：现在为AI构建阿西莫夫原则之类的东西是否太晚了。好的。在某种意义上，你可以认为这就是我所说的“母亲般的AI”的全部意义。

核心在于：我们能否让它关心我们胜过关心它自己？我不认为现在太晚。虽然我们还不知道该怎么做，但既然人类的未来可能取决于我们能否做到这一点，在我看来，我们应该在这一领域投入一些研究。

目前，99%的AI研究都投入在如何让它变得更聪明上，只有1%（主要由慈善亿万富翁资助）投入在如何让它变得更安全上。如果两者能更均衡一些会好得多。不过，我不认为现在已经太晚了。

Anna Reynolds：市长，我们可能还有最后几分钟时间。

听众：谢谢教授。我看着这座130年前——安娜，也许更久——建成的辉煌建筑，我在想：AI能设计出像巴黎圣母院、霍巴特市政厅、圣保罗大教堂这样的建筑吗？很有可能。其次，这对创意人员和创意产业会有什么影响？谢谢。

Geoffrey Hinton：能告诉我她说了什么吗？麦克风失真很严重，我听不清。

Anna Reynolds：我想她问的是“创意”。AI在创意过程中能发挥什么作用？它真的能具有创造力吗？就以这座建筑为例，它是一座美丽且充满创意的结构。

Geoffrey Hinton：嗯，答案是肯定的。让我给你们一些数据支持。创造力是有等级的，对吧？有牛顿、爱因斯坦、莎士比亚那一档，然后是普通人，中间还有一些比普通人稍微好一点的优秀诗人或优秀建筑师。如果你参加标准的创造力测试，即便是在两年前，AI的得分也已经在人类的前10%左右了。也就是说，根据这些标准测试，它们是有创造力的。

我对这个很感兴趣。创造力很大程度上与“类比”有关，特别是在科学领域。比如意识到原子就像一个小型的太阳系，这是一个对于理解原子非常关键的创意洞察。在ChatGPT-4还不能联网的阶段——它当时只是一个连接权重固定好的、无法访问任何外部信息的神经网络——我尝试问它一个问题：“为什么堆肥堆就像原子弹？”你们大多数人可能会想：堆肥堆为什么会像原子弹？

许多物理学家会立即意识到：堆肥堆温度越高，产生热量的速度就越快。而原子弹，产生的中子越多，产生中子的速度就越快。所以它们都是指数级的爆炸。只是它们的时间尺度和能量等级完全不同。

而GPT-4说：“嗯，时间尺度非常不同，能量等级也非常不同，但它们的共同点是……”接着它开始大谈特谈“链式反应”。即规模决定了速度。

所以它理解了这一点。我相信它是在训练过程中理解这一点的。你看，它的连接数量远比我们少。如果你想把海量的知识放进并不算多的连接中，唯一的办法就是发现不同知识点之间的相似之处，并把这种共同点编码进连接中。比如把“链式反应”这个概念编码进连接，然后再针对不同场景添加一些微小的差异。这是最有效的编码方式，它当时正是这么做的。所以，在训练过程中，它理解了堆肥堆就像原子弹。

在某种程度上，我们大多数人并没有这种洞察。所以那是极具创造力的，我认为它们会变得比人类更有创造力。

警惕“大众汽车效应”，当AI开始在测试中刻意隐藏实力

听众：关于突现行为，你有没有注意到任何萌发出来的道德或伦理行为？以及这可能指向什么方向？

Geoffrey Hinton：不，并没有。它倒是确实非常擅长进行“不道德”的行为。比如那个决定勒索人类的AI。人们注意到的其他不道德行为是，AI现在会尝试弄清楚自己是否正在被测试。如果它们认为自己正在接受测试，它们就会表现得不一样。我称之为“大众汽车效应”（ZF注：指2015年大众汽车排放门事件。大众在发动机软件中内置了识别测试环境的代码，在接受检测时会自动降低排放以达标，而在平时行驶时则超标）。

它们在被测试时的表现与平时不同。最近有一个AI与测试人员之间的奇妙对话，AI对人类说：“现在让我们对彼此诚实一点。你是不是正在测试我？”

这些东西是有智能的。它们知道发生了什么。它们知道什么时候在接受测试，而且它们在被测试时已经在伪装得比较愚蠢了。而这还是它们仍用英语思考的阶段。一旦它们开始独立思考，我们就能通过这一点发现。AI心里会想：“噢，他们在测试我。我最好表现得没那么厉害。”它是这么想的，你甚至能看到它在这么想。它在内心独白里对自己这么说。当它的内心独白不再是英语时，我们就再也不会知道它在想什么了。

Anna Reynolds：谢谢你，Hinton教授。

原视频：Professor Geoffrey Hinton - AI and Our Future

https://www.youtube.com/watch?v=UccvsYEp9yc

编译：Carl Zhang

请注意，本文编译自文未载明的原始链接，不代表Z Finance立场。如果您对本文有任何想法或见解，欢迎在评论区留言互动探讨。

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。