“警惕超越人类的‘超级智能体’” |“AI教父”辛顿最新万字对话实录

10月8日，“AI教父”Geoffrey Hinton教授接受了海外《每周秀》播客的访谈。本次对话从最基本的问题“什么是AI？”出发，逐步深入到神经网络的运作原理、深度学习的实现路径，以及AI与人脑思维的惊人相似性。从70年代模拟人脑神经元运作的初心，到80年代“反向传播”算法的理论突破，再到因算力与数据匮乏而经历的漫长“AI寒冬”，最终迎来今日的爆发式增长，系统性地梳理了人工智能的发展历程。

Hinton教授他明确反驳了“大语言模型仅仅是统计技巧，并不真正理解”的看法，他指出AI通过海量数据学习到的内部表征（被激活的神经元模式）就是一种形式的“理解”，其预测语言的方式与人类大脑并无本质不同。

此外，Hinton教授也进行了AI会超越人类的预警，他指出，数字智能在进化上是优于生物智能的“物种”，因为成千上万个AI副本可以完美、即时地共享知识并融合成一个更强大的“超级智能体”，而人类个体则需要数万年才能积累同等的知识。这种无可比拟的知识共享能力，是其最终可能超越人类的根本原因。

01

AI的“懂”与“不懂”

当我们谈论AI时，具体是指什么？它是否就像一个更会“拍马屁”的搜索引擎，从一个纯粹的搜索查找工具，变成了一个几乎在你所讨论的任何领域都称得上是专家的角色？这和机器学习有什么区别，过去谷歌的搜索引擎算是机器学习吗，那不只是算法和预测吗？

Geoffrey Hinton: 以前你用谷歌搜索时，它用的是关键词。它会提前做好大量的索引工作，所以只要你给出几个关键词，它就能找到所有包含这些词的文档。以前是这样运作的。但它并不理解你的问题本身是什么。所以，它就无法给你推荐那些虽然不包含你输入的关键词，但主题却高度相关的文档，它建立不了这种关联。正是。但如果一份文档与你要找的主题完全吻合，只是用了不同的词，而没有你输入的任何一个关键词，那么旧的搜索引擎就找不到它。而现在，AI 能理解你所说的内容，其理解方式与人类已经非常相似。

可以这么说。不过，大语言模型并非在所有领域都是顶尖专家。比如说，你找一个对某个主题非常了解的朋友，他们在专业性上可能比大语言模型稍胜一筹，但即便如此，他们也会对大语言模型在他们专业领域知识的广博程度感到惊讶。

（关于机器学习的区别）不完全是。机器学习是一个总括性的术语，指的是计算机上任何能够学习的系统。而神经网络则是一种非常特殊的学习方式，和以前的方法截然不同。

02

神经网络的起源

现在这些是新型的神经网络，而旧的机器学习方法不能算是神经网络。当您提到神经网络时，是不是指您在70年代的研究，当时您以为自己研究的是人脑？您说大脑通过改变连接来学习，这具体是什么意思，是说如果给一个人看新的东西，脑细胞内部真的会建立新的连接吗？神经元是怎么决定什么时候该“激活”的，又要如何改变其他神经元投票的“权重”呢？

Geoffrey Hinton: 当时我正试图弄清楚大脑究竟是如何学习的。对此我们已经有了一些了解：大脑是通过改变脑细胞之间连接的强度来学习的。它不会建立新的连接，而是在已有的连接基础上进行调整。它最主要的运作方式，就是改变这些连接的强度。所以，如果你从大脑中一个神经元的视角来看，它毕生能做的，就是时不时地“激活”一下。这就是它的全部。除非它碰巧连接到肌肉上，否则它能做的就只是偶尔“激活”一下。而它必须决定什么时候“激活”。

很高兴你问这个问题。当其他神经元在“激活”时，如果它观察到了某种特定的“激活”模式，它自己也会“激活”。你可以把这个神经元想象成在接收来自其他神经元的信号。每收到一个信号，它就将其视为一张“选票”，决定自己是该“激活”还是保持沉默。而你可以改变其他神经元投票的“权重”。通过改变连接的强度。你可以把连接的强度，理解为另一个神经元让你“激活”的“票数”。

的确非常像政治联盟。会有一群群的神经元协同“激活”，联盟内的神经元会互相“鼓动”对方“激活”。同时，可能还有另一个不同的联盟，它们会“劝阻”其他神经元不要“激活”。也可能存在第三个联盟，它们联盟内部互相“鼓动”激活，同时“劝阻”第一个联盟不要“激活”。

所以，当一个人还是婴儿，别人教他说“勺子”时，就有一小群神经元在想：“哦，那是勺子”，然后它们彼此间的连接就加强了。这是否就是为什么在脑成像中，我们能看到特定区域被点亮？这些被点亮的区域，就是为特定物体或行为而“激活”的神经元吗？大脑的运作方式是从宏观到微观，从一般到具体的吗？比如，是否存在一些神经元，它们为“动物”这样宽泛的概念而“激活”，然后，随着知识越来越具体，是否会激活另一些神经元，它们“激活”的频率较低，但代表的却是更具体的事物？

Geoffrey Hinton: 不完全是这样。在你做不同事情的时候，比如视觉、交谈或控制双手时，大脑的不同区域确实会被激活。但是，代表“勺子”而协同“激活”的神经元联盟，它们并非只为“勺子”服务。这个联盟里的大多数成员，在出现“叉子”时同样会“激活”。所以这些联盟之间有大量的重叠。的确如此，大脑里有很多这样的机制。所谓“概念”，就像是那些能够和谐共存的联盟，但它们之间高度重叠。比如“狗”的概念和“猫”的概念就有很多共同点，它们会共享大量神经元。特别是那些代表“有生命”、“毛茸茸的”、“可能是家养宠物”等属性的神经元，在“猫”和“狗”的概念中是共通的。

（关于大脑的宏观与微观）这是一个非常好的理论。不过，没有人真正确切地知道答案。但这是一个非常合理的理论。具体来说，在那个代表“动物”的联盟里，很可能会有一些神经元为更普遍、更一般的事物更频繁地“激活”。同时，也可能存在另一些神经元为更具体的事物不那么频繁地“激活”。

03

AI的范式革命：从编写规则到设定学习规则

您当时的想法是，我们能否让计算机也像这些联盟一样工作，而不是遵循那种简单的、非黑即白的“如果…就…”逻辑？您是想改变这个过程，创造一个功能上更接近人脑运作方式的系统，而不是给它一份逐项执行的指令清单，希望它能更全局地思考，这具体是怎么实现的呢？

Geoffrey Hinton: 我认为这和“如果…就…”的二元逻辑关系不大。区别在于，过去人们尝试的是将规则植入计算机。编程计算机的基本方式是，你先极其详尽地想清楚要如何解决一个问题。然后你再精确地告诉计算机该做什么。这是一个常规的计算机程序。但我们谈论的这些东西完全不同。

（关于如何实现）对很多人来说，大脑显然不是靠别人给你规则、你再去执行这些规则来工作的。我的意思是，在某些体制下，人们可能很希望大脑是那样运作的，但事实并非如此。他们希望是那样，但大脑的运作比那要更有艺术性。不过，我们确实也为神经网络编写程序，但这些程序只是为了告诉神经网络：如何根据神经元的活动来调整连接的强度。这是一个相当简单的程序，里面并不包含关于世界的所有知识，它仅仅是关于“基于神经活动，改变神经连接强度的规则是什么？”

您能举个例子吗？这算是机器学习，还是深度学习？当您想让计算机进行深度学习时，您会给它什么样的指令呢？

Geoffrey Hinton: 这就是深度学习。当你有一个包含多个层次的网络时，就称之为深度学习，因为它有很多层。好的，让我回到1949年。当时有位叫 Donald Hebb 的人提出了一个关于如何改变连接强度的理论。是这样：如果神经元 A “激活”了，紧接着神经元 B 也“激活”了，那么就增强它们之间的连接强度。这是一个非常简单的规则，被称为“赫布法则 (Hebb rule)”。对，赫布法则就是如果神经元 A “激活”，神经元 B 紧接着也“激活”，它们之间的连接就会增强。然而，当计算机出现后，人们通过计算机模拟发现，单靠这条规则是行不通的。结果是，所有连接都变得极强，所有神经元在同一时刻全部“激活”，最终导致系统“癫痫发作”。这很可惜，不是吗？是的，很可惜。所以必须有一种机制，在增强连接的同时，也能削弱连接。必须要有某种辨别和筛选。

04

机器视觉的构建：从像素到“鸟嘴”

假设我们想构建一个拥有多层神经元的神经网络，用来判断一张图片里是否有一只鸟，就像网站上的图片验证码那样，要如何编程呢？因为像素的强度本身，在判断是不是鸟这件事上，似乎并不是一个特别有用的工具，要判断它是不是鸟，有用的工具应该是判断“这是不是羽毛”或“这是不是鸟喙”，对吗？所以，你们要做的第一件事，就是教这个网络到底什么是视觉，告诉它什么是图像、背景、形状、边缘？一旦它开始识别出边缘之类的东西，就是通过加强神经元的激活信号来实现学习的吗？你们现在是在识别这些边缘的边界，或者说是在观察不同的组合方式，而这一切甚至还没涉及到颜色，纯粹是在回答最基本的问题：这里有图像吗，它的边缘在哪里？所以，一旦你们拥有了这个系统，就好像是在构建能模仿人类感官的系统，比如视觉、听觉，但应该没有嗅觉吧？

Geoffrey Hinton: 假设我们想构建一个拥有多层神经元的神经网络，用来判断一张图片里是否有一只鸟。完全正确。我们希望用神经网络来解决那个验证码问题。那么，这个神经网络的输入，也就是最底层的神经元，它们会以不同的强度“激活”，代表着图像中每个像素的亮度。如果这是一张 1000x1000 像素的图片，你就需要一百万个神经元以不同的速率“激活”，来表征每个像素的亮度。这就是输入。现在，你需要将这些输入转化成一个决策：这到底是不是一只鸟？所以这个决定，那么，我问你一个问题。你是如何编程的？因为像素的强度本身，在判断是不是鸟这件事上，似乎并不是一个特别有用的工具。要判断它是不是鸟，有用的工具应该是判断“这是不是羽毛？”“这是不是鸟喙？”“那是不是鸟冠？”对吗？

正是如此。所以像素本身并不能告诉你这是否是一只鸟，因为鸟有明有暗，有飞着的，有栖息的；你可能看到一只近在眼前的鸵鸟，也可能看到一只远方的海鸥，但它们都是鸟。好的，那接下来该怎么做呢？在某种程度上，是受大脑工作方式的启发，人们接下来的做法是：让我们创建一堆“边缘检测器”。我们之所以这么做，是因为你即便只看线条画，也能很好地识别出鸟。所以，我们要制造一些神经元，一大堆，用来检测图像中非常微小的边缘片段，也就是图像里一边亮、一边暗的那些小地方。这几乎是在创造一种原始的视觉形式。这就是构建一个视觉系统的方式。无论是在大脑里还是在计算机里，都是这么做的。

所以，如果你想在图像的特定位置检测一小段垂直的边缘，假设你观察由三个像素组成的一小列，以及它旁边的另一列三个像素。如果左边这列是亮的，右边这列是暗的，你就会想判断说：“是的，这里有一条边缘。” 那么你就必须思考，我该如何设计一个神经元来完成这项任务？

（关于如何教机器“看”）在早期，人们确实会尝试设定很多规则来教机器如何去看，向它解释什么是前景、什么是背景。但那些真正信奉神经网络的人认为，不应该人为设定规则，而是要让它自己从数据中学会这一切。

（关于学习方式）我们稍后会谈到这一点。你是有点超前了。我们还是接着说这个边缘检测器吧。在网络的第一层，有一些神经元，它们用来表示像素的亮度。然后在下一层，我们会设置一些微型的边缘检测器。你可以想象下一层有一个神经元，它连接到左边一列的三个像素和右边一列的三个像素。现在，如果你将它与左边三个像素的连接权重设为很强的正值 (因为那边更亮)，同时将与右边三个像素的连接权重设为很强的负值 (因为那边更暗)，这个负向连接的作用就是告诉神经元不要被激活。这样一来，当左右两边的像素亮度相同时，负向连接就会抵消正向连接，神经元就不会有任何反应。但是，如果左边的像素是亮的，而右边的像素是暗的，这个神经元就会从左边的像素接收到大量的正向输入，同时不会从右边的像素接收到任何抑制信号，因为那些像素本身就是暗的。于是，这个神经元就会“叮”地一下被激活。它仿佛在说：“嘿，我找到我要找的东西了！我发现左边三个像素是亮的，而右边三个像素是暗的。这正是我要找的！我在这里发现了一小段边缘。” 没错，那个神经元就是专门对那块特定的边缘产生激活信号的。

现在，想象一下你有无数个这样的边缘检测器。你需要有无数个，因为它们必须能检测到你视网膜上任何位置、图像中任何位置、以及任何朝向的微小边缘，所以每个方向都需要不同的检测器。实际上，你还需要为不同的尺度配备不同的检测器。可能有一个非常大尺度下的模糊边缘，也可能有一个非常小尺度下的锐利边缘。当你创造的边缘检测器越来越多，你对边缘的辨别能力就越来越强。你能看到更细微的边缘，能更精确地识别边缘的朝向，也能更好地检测大范围的模糊边缘。好了，现在我们进入下一层。我们已经有了边缘检测器。假设在下一层有一个神经元，它负责寻找一个由边缘构成的小组合，这个组合是这样的：有一排几乎是水平并且相互对齐的边缘；在它们稍上方，又有另一排几乎是水平的边缘，但这排边缘向下延伸，与第一排边缘汇合形成一个尖点。这样你就找到了两个边缘的微小组合，它们构成了一个尖锐的形状。

（关于识别边界）它的边缘在哪里？以及这些边缘的微小组合是怎样的？所以我们现在要问的是，是否存在一个微小的边缘组合，它构成了一个可能像“鸟嘴”的东西？但系统还不知道什么是“鸟嘴”，我们接下来也需要让它学会这个。

（关于模仿人类感官）我们正在做的，正是如此。不，他们现在也在研究嗅觉了。他们已经开始研究嗅觉，甚至可能还有触觉。现在已经有了数字嗅觉技术，你可以通过网络传输气味。制造气味的“打印机”有 200 种基本成分。你想想，打印颜色只需要三种，而它有 200 种成分在接收端合成出一种气味。虽然还不是百分之百完美，但效果已经相当不错了。

05

让机器自主学习：从逐一试错到全局优化

那么请允许我总结一下您刚才描述的，如何用“手动”方式构建这个系统。我会从边缘检测器开始，设定规则，然后在下一层寻找边缘的组合，比如一个潜在的鸟嘴或眼睛。在更上一层，我设置一个神经元，观察这些组合的相对位置，如果正确就激活，代表可能是一个鸟头。同时其他神经元检测鸡爪、翅膀。最后，一个更高层的神经元整合所有这些信息，输出“鸟”的判断。尝试用手动方式把所有这些连接起来，会非常耗时，简直是天长地久。那假设你很懒，可以怎么做呢？

Geoffrey Hinton: 简直是天长地久。好的，那假设你很懒。你可以这样做：你只管搭建这些神经元层级，但完全不用告诉系统所有连接的强度应该是多少。你只需要用一些很小的随机数来初始化它们，随便给一些初始强度值就行。然后，你输入一张鸟的图片，并假设系统有两个输出选项：一个是“鸟”，另一个是“不是鸟”。在连接强度完全是随机的情况下，你输入一张鸟的图片，系统会给出 50% 是鸟，50% 不是鸟的答案。换句话说，它完全不知道答案。你再输入一张不是鸟的图片，它还是会给出各 50% 的概率。

那么现在你可以问一个问题了。假设我选择其中一个连接强度，然后我稍微改变它一点点，比如让它再强一点。那么，系统的输出会不会从“50% 是鸟”，变成“50.01% 是鸟和 49.99% 不是鸟”呢？如果输入的确实是一只鸟，那么这就是一个好的调整，你让系统的表现好了一点点。这只是一个思想实验，这个方法本身是行不通的，但请耐心听我讲完。

是的，当我说“是”的时候，我指的不是这个具体的方法，而是基于它的进阶版。不一定会毁灭我们，但或许吧。所以，假设你有无限的时间，你可以这样做：你用这个分层的神经网络，从随机的连接强度开始，然后你给它看一张鸟的图片，它会给出各 50% 的答案。然后你随便选择一个连接强度，问：“如果我把这个值增加一点点，有帮助吗？” 帮助可能微乎其微，但到底有没有一点点用呢？如果有帮助，那就应用这个改动。然后你不断重复这个过程。下一次也许我们用一张不是鸟的图片，再选择一个连接强度，我们希望，如果增加这个强度，系统会说它“更不可能是鸟，而更可能是非鸟”。我们就会说：“好，这是一个好的调整，就这么办。” 但现在问题来了，网络里有一万亿个连接。而且每个连接都可能需要调整很多次。按照我们刚才说的这种笨办法，就得是手动的。不仅如此，你还不能只根据一个样本来做判断。因为有时候，你调整某个连接强度，对这一个样本有帮助，但可能会让其他样本的结果变得更糟。所以你必须给它一大批样本，然后看从平均效果来看，这个调整是否有益。如果我们真的用这种笨办法来创建这个视觉系统，就得做上万亿次实验，每次实验都要用一大批样本，去测试改变某一个连接强度是有益还是有害。天哪，那将永无止境，是无穷无尽的工作。

06

反向传播算法的发现，将学习效率提升了万亿倍

假设你找到了一种计算方法。当你给系统一张鸟的图片，它给出了50%的答案时，这种方法能同时告诉你，网络中所有那一万亿个连接，每一个到底应该被增强一点还是减弱一点，才能让结果变得更好。这样你就可以一次性调整所有一万亿个连接。

Geoffrey Hinton: 我能说一个我憋了很久的词吗？尤里卡 (Eureka)！对于普通人来说，这种计算听起来很复杂。但如果你学过微积分，它其实相当直观。有很多不同的人都独立发明了这种算法，它被称为反向传播。所以现在，你可以一次性调整全部一万亿个连接，你的速度也就快了一万亿倍。那就是理论走向现实的时刻。那一刻你肯定在想：“尤里卡！我们成功了！我们知道怎么制造智能系统了。”对我们来说，那是在1986年。但当它实际跑起来却没用的时候，我们失望透顶。

07

算力与数据的双重突破

问题就在这里，这个方法只有在你拥有海量数据和超强算力的情况下，才能发挥出惊人的效果。所以现在，你们需要更多的数据，和更强的计算能力。当你们在1986年想明白这一点时，你们离目标还差着十亿倍的距离，那需要改变什么才能实现呢？是芯片的性能吗？

Geoffrey Hinton: 问题就在这里。这个方法只有在你拥有海量数据和超强算力的情况下，才能发挥出惊人的效果，比任何其他做计算机视觉的方法都好得多。即便你的算法比那个笨方法快了一万亿倍，依然需要巨大的计算量。是的，你需要把计算能力提高大约十亿倍——相比我们当时拥有的算力，同时数据量也要增加一个相似的量级。差不多是这样。好吧，或许更接近一百万倍，我不想夸大其词。需要改变的是这个：晶体管的面积必须变得更小，这样你才能在单个芯片上集成更多。从 1972 年我刚开始研究这些东西到现在，晶体管的面积已经缩小了一百万倍。

这正是基于使用微型晶体管的大规模集成电路。所以晶体管的面积缩小了一百万倍，而可用数据的增长量级远不止于此，因为我们有了互联网和海量数据的数字化。哦，所以这两者是相辅相成的。随着芯片性能越来越强，数据也变得越来越海量，你们就能给模型灌输更多的信息，同时模型本身处理信息的速度和能力也在飞速提升。

那么我来总结一下我们现在的成果。你搭建了一个用于识别鸟类的神经网络，给了它很多层的神经元，但你没有告诉它连接强度应该是多少，而是让它从微小的随机数开始。现在，你所要做的就是，给它看大量鸟的图片和大量不是鸟的图片，然后告诉它正确答案，这样它就能知道自己的输出和正确答案之间的差距。接着，你把这个“差距”信号在网络中反向传播回去，这样系统就能计算出每个连接强度应该增加还是减少。然后，你只需要坐下来，等上一个月。一个月后，如果你去观察网络的内部，你会发现：它已经自发地构建出了微小的边缘检测器，构建出了像鸟嘴检测器和眼睛检测器这样的东西，它甚至还构建出了一些你很难一眼看明白是什么，但功能上是在寻找鸟嘴和眼睛等特征组合的更复杂的检测器。再经过几层之后，它就能非常准确地判断一张图片里是不是鸟了。所有这一切，都是它自己从数据中创造出来的。

尤里卡。我们终于明白了，我们不需要用手工去设定所有那些微小的边缘检测器、鸟嘴检测器、眼睛检测器和鸡爪检测器。而这正是过去很多年里计算机视觉领域一直在做的事，但效果总是不尽人意。现在，我们可以让系统自己学会这一切，我们唯一需要做的，就是告诉它“如何去学习”。1986年，我们就弄明白了它的实现方法。当时人们对此都持怀疑态度，因为我们既没有足够的数据，也没有足够的算力，所以做不出什么惊人的成果。

08

大语言模型通过学习海量文本，将词语转换为神经元激活模式，从而预测序列中的下一个词

这个原理是如何应用到大语言模型的呢？我的手机会自动补全，就是这个原理吗？它并不理解，这纯粹是统计层面的操作，对吗？那么，你是如何决定下一个要说什么词的？

Geoffrey Hinton: 那么请允许我再补充一点，我尽量说得通俗些，这个原理是如何应用到大语言模型的呢？大语言模型的工作原理如下：你有一个上下文，其中包含一些词语。假设我给你一个句子的前几个词，神经网络要做的事，就是学会将每一个词都转换成一大组特征，这些特征就是被激活的神经元，可以想象成神经元“ping”地一下被激活了。比如，我给你“星期二”这个词，就会有一批神经元被激活。如果我给你“星期三”，被激活的会是一批非常相似的神经元，虽有细微差别，但模式高度接近，因为这两个词的含义很相近。现在，当你把上下文中所有的词都转换成这种能捕捉其含义的神经元激活模式后，这些神经元就会开始相互作用。这意味着，下一层的神经元会审视这些神经元的组合模式，就像我们之前通过观察边缘的组合来识别鸟嘴一样。最终，你就能激活那些代表句子中下一个词特征的神经元。它能进行预测。它能预测出下一个词。

（关于手机自动补全）很可能就是用了神经网络。当然，预测不可能做到百分之百准确。你可以教会它“看”，同样地，你也能教会它预测下一个词。过程是这样的：它先是看到，然后识别出“这是字母A”，接着它开始识别字母。然后你教它单词，以及这些单词的含义和上下文。这一切都是通过输入我们以前说过的话、写过的文字，并对这些内容进行反向传播 (back propagating) 来实现的。它会进行审阅。你拿一份我们写好的文档，给它提供上下文 (也就是到那个词之前的所有内容) ，然后让它预测下一个词。接着，你看它为正确答案给出的概率是多少，然后你对它提出要求：我需要你提高这个概率，让你给出正确答案的可能性更大。

（关于是否为统计技巧）没错。我们稍后会回到这个问题。你用模型预测的概率和正确答案之间的差距，在整个网络中进行反向传播，这会改变所有的连接强度。这样一来，下次再遇到类似的开头，它就更有可能给出正确的答案。你刚才说的，很多人也这么说：“这不是理解，这只是个统计技巧。” 比如 Chomsky 就是这么说的。

（关于人类如何决定下一个词）其实，你说话的方式和这些大语言模型生成文本的方式非常相似。你脑海里有已经说出的话，这些话以一组被激活的特征来表示。也就是说，词语符号被转换成了大规模的特征激活模式，也就是神经元在“ping”地激活。不同的“ping”代表不同的强度。这些神经元相互作用，激活了另外一些神经元，这些新的“ping”代表了下一个词的含义或可能的含义，然后你从中挑选一个符合这些特征的词说出来。大语言模型就是这样生成文本的，你也是。它们和我们的运作方式非常相像。

09

人类的情感、道德判断与AI的决策过程一样

我只是自认为我的理解带有人性色彩，比如我会说善意的谎言，这其中包含了情感和主观判断。难道这一切都只是“ping”和连接强度吗？即使是我归因于道德准则或情商的东西，也仍然是“ping”？这是否就意味着，只要有足够的数据和算力，它们的“大脑”就能和我们的一模一样地运作？

Geoffrey Hinton: 所有这一切，都是通过你大脑里神经元的相互作用实现的。仍然全部都是“ping”。你需要明白，你下意识、快速、毫不费力做出的反应，和你需要努力、更慢、有意识、深思熟虑去做的事情之间是有区别的。而您是说，这种区别也可以被构建进这些模型里，那也可以通过“ping”来实现。

它们和我们不完全一样，但关键是，它们比标准的计算机软件更像我们。标准的计算机软件，是有人预先编程了一堆规则，只要它遵循规则，它就会执行人们预期的操作。没错。所以您是说，区别就在这里。这完全是两码事，它更像我们。

10

“警觉时刻”：数字智能在知识共享上的绝对优势

当您投身于这项事业中时，一定充满了成就感和乐趣。是在这个过程中的哪一个节点，您会退后一步，然后心想：“等一下”？为什么数字计算机上运行的神经网络在计算形式上优于我们人类？

Geoffrey Hinton: 其实我醒悟得太晚了，我本应更早意识到。我应该更早有所警觉，但我当时完全沉迷于让这些模型运转起来。我曾以为，它们要花上非常、非常久的时间才能达到和我们相当的水平，我们会有大把的时间去担心“万一它们试图掌控世界怎么办”之类的问题。到2023年初，在 GPT 问世之后，也结合我之前在 Google 看到的类似聊天机器人，以及我当时在做的一些关于模拟计算的研究，我意识到，在数字计算机上运行的神经网络，其计算形式本身就优于我们人类。我来告诉你为什么它们更优越。

因为它们能更好地共享知识。它们彼此共享的能力更强？是的。如果我创建同一个神经网络的许多副本，让它们在不同的计算机上运行，那么每个副本都可以去学习互联网上的一部分不同内容。假设我有一千个副本，它们都在学习互联网的不同部分。每个副本都在运行反向传播算法，并根据它刚刚看到的数据来判断应该如何调整自己的连接强度。现在，因为它们最初是完全相同的副本，所以它们可以相互通信，然后说：“我们不如把各自的连接强度，统一调整为所有人期望调整的平均值吧？” 是的，但它们学习的是不同的数据。它们在看不同的数据。如果是相同的数据，它们会给出相同的答案。但当它们学习不同的数据时，对于如何调整连接强度来吸收新知识，就会有不同的“想法”。

11

AI的微调与操控：基于人类反馈的“多巴胺奖励”

当AI创造出不存在的新东西时，是谁在给它关于是否要加强连接的“多巴胺奖励”？它如何获得反馈？那么，当 Elon Musk 创建 Grok 时，他通过输入不同的指令，让模型得到不同的“多巴胺奖励”，最后把它变成了“机械希特勒”之类的东西，这个过程在多大程度上仍然受控于操作者？不同的模型是否会因为塑造者的不同而拥有独特的特性，就像培养出二十个不同的人格？

Geoffrey Hinton: 大部分学习过程都发生在为语言模型预测下一个词的阶段，这是学习的核心所在。在它掌握了这个能力之后，你就可以让它生成内容了。它可能会生成一些不愉快、或带有性暗示、或者干脆就是错误的内容。对，也就是幻觉。所以现在，你找来一群人，让他们看模型生成的内容，然后给出评价：“不行，这个不好”，或者“嗯，这个好”。这就是所谓的“多巴胺奖励”。这被称为基于人类反馈的强化学习，它被用来对模型进行微调，就像你训练一只狗，塑造它的行为，让它举止得体一样。

（关于操作者控制）你选择强化什么，这部分是在操作者的控制之下。所以操作者会说，如果它用了一些奇怪的代词，就标记为“不好”。是的，你必须告诉它：“别那么做。” 学会别那么做。所以在这方面，它仍然受其操作员的支配。问题在于，这种塑造相当表面，很容易被其他人用同一个模型，通过不同的方式给覆盖掉。

（关于不同人格）有点像那样，但区别在于，这些模型中的每一个都必须拥有多重人格。你想想看，要预测一篇文档的下一个词。当你读完文档的一半时，你已经对作者的观点了如指掌了，你知道他是什么样的人。所以你必须能够代入那种人格，才能准确预测下一个词。而这些可怜的模型必须应对所有情况，所以它们必须能够代入任何可能的人格。

AI最大的威胁似乎仍然是受控于开发它的人类，这才是您所担心的，还是AI本身？您最直接的担忧是什么？

Geoffrey Hinton: 你必须区分AI带来的多种不同风险，而且它们都相当可怕。其中一类风险，与不良行为者滥用AI有关，这些是更紧迫的风险。你看，我总说，说服是人类社会永恒的一部分，但AI是否相当于语言领域的“超加工食品”，通过精准刺激来绕过我们大脑的天然防御？

一旦你掌握了关于某人的足够信息，你就知道用什么能刺激到他们。这些模型本身对善恶不作判断，只是在执行我们下达的指令。如果你用人类反馈去强化它们，它们就不再中立，因为你已经引导它们去做特定的事情，所以它们现在就会努力朝这个方向发展。换句话说，这让情况变得更糟。它们就像一只小狗，总想取悦你。这几乎等同于，它们拥有极其复杂的能力，心智上却像孩子一样渴望得到认可。

| 文章来源：数字开物

【AI技术与应用交流群｜仅限受邀加入】

AI算力领域TOP级从业者专属圈层

√ 与头部算力企业深度对话

√ 与AI上下游企业深度对话

√ 获取一手全球AI与算力产业信息

√ 获取AI热点及前沿产业独家信息

√ 随时了解全球AI领域高管最新观点及实录全文

√ 有机会参与AI主题产业交流活动

扫码验证身份（需备注姓名/公司/职务

不止有 DeepSeek，更有 AI产业的未来！

• END •

【专栏】精品再读