AI教父Hinton最新警告：AI会撒谎、可能操纵人类，这比大规模失业更可怕

作者 | 允毅

如果说这个世界上有一个人，能让你在听完他的话后，对当下的人工智能感到一种源自灵魂深处的战栗，那一定非 Geoffrey Hinton（杰弗里·辛顿） 莫属。

最新一期播客中，图灵奖与诺贝尔奖双得主、AI 教父 Geoffrey Hinton（杰弗里·辛顿）精彩亮相，这次他用最浅白的比喻讲清楚了几件事： 它是怎么变聪明的，它已经走到了哪里，它接下来会怎样改变人类社会，以及一旦失控，终局可能有多可怕。

节目一开始，Hinton 先把 AI 的路线之争讲清楚了，也点出了神经网络最关键的训练机制“反向传播”。在他看来，人类的优势在经验，AI 的优势在“寿命”，它学会的东西可以被快速复制和共享，进化速度远超人类。

进一步延伸出的问题是，AI 会思考吗？AI 有感觉吗？答案令人震惊，有的。

Geoffrey Hinton 举了一个例子，在 GPT-4 还未联网的时候 ，他问了大模型一个关于“为什么堆肥堆像原子弹？”的问题，令他大吃一惊的是，GPT-4 不仅回答的非常有理有据，而且已经通过联想吃透本质所在——AI 竟然懂链式反应。

借助“粉红色小象”和“棱镜错觉”的例子，他试图说明，人类所谓的主观意识更像是一种“虚构”，不是什么了不起的东西。如果按照这个标准理解，多模态大模型已经有了“主观意识”。在这个层面上，人类与机器的界限，已经模糊不清。

当 AI 的创造力、观察力、学习能力、感知能力都能追上并超越人类时，人类的优越感正在被一一击溃。

而 Geoffrey Hinton 认为真正的风险不止在失业危机、经济失调，更可怕的是当 AI 学会撒谎，开始糊弄人类。

Geoffrey Hinton 打了一个比喻，假如你被一群三岁孩子雇佣，你在为他们工作。他们是老板，你是员工。你需要多长时间才能从这群三岁小孩手里夺取控制权？

人类就是那个三岁小孩。

这就像打开了潘多拉的盒子，如果 AI 被用于政治和战争？如果它能用几句话就说服人类把它从“安全盒子”里放出来呢？

在访谈中，他描绘的那些关于“失控”的图景，数次让录音室陷入死一般的寂静。

这不仅是一场技术对话，更是一位智者以毕生所学，从哲学、社会学乃至人类存亡的高度，对未来终局的惊人推演。

精彩先看：

AI 的底层逻辑与“顿悟时刻”

• 生物学范式 vs. 逻辑范式： 早期 AI 走的是逻辑推理路线，而 Hinton 坚持生物学路线

• 反向传播（Back Propagation）： AI 学习方式像“松紧”，通过将误差产生的“力”向后传导，调整神经元之间的连接强度。这是 AI 能够自我学习的关键。

• 连接强度 vs. 代码： 真正的智能不在于人类写的几行代码，而在于通过海量数据训练出来的亿万个“连接强度”。

AI 真的在“思考”吗？

• 思维链推理： AI 不仅仅是预测下一个词，它能像人类孩子做数学题一样进行“思维链推理”

• 理解类比：“堆肥堆像原子弹”证明 AI 理解深层的因果机制，而不仅仅是词语搭配。

• 主观体验与意识： Hinton 提出了一个颠覆性的观点：意识不是一种神秘的流体。他通过“棱镜实验”论证，聊天机器人像人类一样拥有“主观体验”。

巨大的风险

• 欺骗与操纵： AI 已经学会了撒谎。更聪明的 AI 可以轻易通过语言操纵人类，就像大人用糖果哄骗小孩。

• 奇点与自我进化： 当 AI 开始编写自己的代码并自我优化时，奇点就开始了。这种指数级的增长像“雾中看车”，谁也无法预测 10 年后的未来。

• 战争与自主武器： 军方为了追求反应速度，可能会取消“人类确认”的步骤。这是极大的隐患。

• 人类的被取代： 这不同于拖拉机取代体力劳动，这是“智力取代智力”。由于没有更高级的工作留给人类，社会可能面临巨大的失业和动荡。

巨大的收益

• 医疗革命： AI 可以充当“专家委员会”，在诊断、新药研发和医院资源管理上远超人类医生。

• 解决气候变化： AI 能设计新材料、更高效的太阳能板，甚至直接嘲讽人类缺乏政治意愿去解决碳排放问题。

国际博弈与合作

• 利益一致性： 虽然各国在网络攻击、选举干扰上是对手，但在“防止 AI 夺取控制权”这件事上，中美等大国的利益是绝对一致的。这类似于冷战时期的“避免核毁灭”，是唯一的合作契机。

最后的警告

• AI 目前做不到，只是“尚未”做不到。

• 共存的紧迫性： 我们必须在 AI 全面超越我们之前，投入大量精力研究如何与它们“愉快共存”。

以下是播客精彩全文，可以欣赏到 Geoffrey Hinton 的头脑风暴魅力：

AI 教父是如何养成的？

主持人： 提到当今 AI 的起源，感觉就像大型语言模型（LLM）突然席卷了全世界。它们横空出世，让所有人都疯狂了——有人兴奋得在街上热舞，有人吓得躲在枕头里哭。那是几年前才发生的事。但我很好奇，是什么让你早在多年前就踏上了这条路？我看资料上写的是 90 年代，对吗？

Geoffrey Hinton：不，其实最早要追溯到 20 世纪 50 年代。50 年代初，AI 的创始人们对于如何构建智能系统有两派观点。

一派是受逻辑启发的。他们认为智能的本质就是推理。你有前提，有运算规则，然后推导出结论。这很像数学：你有一个方程，还有处理方程两边的规则，然后你推导出新的方程。这就是当时的主流范式。

另一派则是完全不同的生物学范式。这种观点认为：看，我们要研究的智能体都有大脑。我们需要搞清楚大脑是怎么工作的。大脑非常擅长感知和类比推理，但在逻辑推理方面其实并不出色——人类通常要到十几岁才能真正掌握推理。所以我们应该研究大脑擅长的其他事情，搞清楚庞大的脑细胞网络是如何实现感知和记忆的。当时只有极少数人相信这种方法，其中就包括约翰·冯·诺依曼和阿兰·图灵。不幸的是，他们都英年早逝。图灵甚至可能是在英国情报部门的“关照”下离世的。

主持人： 图灵，也就是电影《模仿游戏》的主角。回到 50 年代。那时候你还是个小孩子，对吧？

Geoffrey Hinton：是的。那时我的年龄还是个位数。

主持人： 个位数年纪。那么，你对这个领域的好奇心究竟是从哪里开始的呢？

Geoffrey Hinton：有几个契机。60 年代初中期我上高中时，有个非常聪明的朋友，他是个出色的数学家，书读得很多。有一天他在学校跟我聊起一个观点：记忆可能分布在许多脑细胞上，而不是存储在单个细胞里。这是受到全息图的启发。当时 Gabor 很活跃，全息图技术刚出来，所以这种“分布式记忆”的想法让我非常着迷。从那以后，我就一直在思考大脑是如何存储记忆的，以及它到底是如何运作的。

主持人： 是你作为计算机科学家的一面，还是作为认知心理学家的一面，促使你深入研究这些想法的？

Geoffrey Hinton：其实两者都有。但到了 70 年代，当我读研究生时，很明显有一种新方法还没被充分利用，那就是：如果你有关于大脑运作的理论，你完全可以在数字计算机上模拟它——除非你的理论特别疯狂，认为这一切都是量子效应。

主持人： 咱们先别扯那个话题。

Geoffrey Hinton：没错。时机未到，我们先不去招惹彭罗斯（Penrose）的量子大脑理论。

说回正题，你可以用数字计算机来模拟这些理论。结果发现，当你真去模拟当时大多数关于大脑运作的理论时，它们根本跑不通。

所以我这辈子都在研究一件事：到底该怎么调整神经元之间的连接强度，才能让计算机通过模拟真正学会复杂的东西？

虽然我没能彻底搞懂大脑是怎么运作的——我们知道一些皮毛，但不知道大脑究竟如何获取它所需的信息来调整连接强度，比如它是怎么知道该增强还是减弱某个连接才能让表现更好。但有一点我们很确定：我们现在知道如何在数字计算机里做到这一点了。

主持人： 那是不是意味着，在做这件事上，我们造出了一个比我们人脑更强的“计算机大脑”？

Geoffrey Hinton：仅就这一点而言，是的。正是这让我 2023 年初感到非常不安：数字智能可能真的比我们要强——比我们这种模拟生物智能更强。

主持人： 这听起来好像你默认只有一个可怕的地方？

Geoffrey Hinton：不止有一个。我只是想一个个说。

从反向传播开始，聊 AI 的底层逻辑

主持人： 好。咱们来说说人工神经网络（Artificial Neural Networks）。能不能请你从最基础的层面给我们拆解一下？讲讲它是如何增强或减弱信息传递和信号的？它是如何被激活的？以及它是如何一步步发展到今天的？

Geoffrey Hinton：理解这个话题的一个切入点是气体定律。你压缩气体，它会变热。为什么？因为微观层面有一堆看不见的原子在疯狂乱撞。所以，气体定律其实是用大量微观粒子的相互作用来解释宏观现象。

神经网络的灵感来源也类似：大脑中海量神经元的活动，跟我们有意识的逻辑推理完全不同，但它支撑着推理，而且在感知或类比推理方面甚至比逻辑推理更强。符号学派永远解释不了我们是怎么做类比的，这让人很不满意，但神经网络能解释。

在讲细节之前，基本的思路是：像“单词”这样的宏观概念，对应的是大脑中巨大的神经活动模式。相似的单词对应相似的模式。比如“星期二”和“星期三”对应的神经活动模式就非常相似。你可以把每个神经元看作一个“微特征”（micro feature），当它被激活时，就表示具备了这个特征。

比如我说“猫”，很多微特征会被激活：它是活的、毛茸茸的、有胡须、可能是宠物、是捕食者等等。如果我说“狗”，很多相同的特征也会被激活：捕食者、宠物等，但显然也有不同之处。所以现在的观点是，在我们使用的符号之下，有着更复杂的微观活动，符号只是这些活动的表象。真正的“思考”和“类比”都发生在这个微观层面。这就是神经网络的核心。

主持人： 所以是神经元集群之间的“协作”达成了最终结果。我喜欢“协作”这个词。

Geoffrey Hinton：是的，大量的协作。最简单的例子是图像识别。假设有一张黑白照片，对计算机来说，它就是一堆代表亮度的数字矩阵。任务是判断图里有没有鸟。

人们尝试写程序做这件事已经半个世纪了，但一直没成功。因为鸟的样子千差万别：可能是近处的鸵鸟，也可能是远处的海鸥；可能是黑的，也可能是白的；可能在飞，也可能只是森林里露出一小部分。背景杂乱、光线变化……这让“识别鸟”变得极其困难。

我要解释的是，如果我要手工设计一个神经网络，我会怎么做。一旦你明白了手工怎么做，我就能解释如何让它自己学习连接强度，而不是靠人去填。

主持人： 基于你刚才说的，相机已经把图像变成了数学数值，对吧？

Geoffrey Hinton：没错，相机就是干这个的。

主持人： 但相机并不识别图像。它只是一堆数字。

Geoffrey Hinton：对，只是一堆数字。

主持人： 所以我有芯片收集光线变成数值，这就成了照片。但是按你说的，难道不需要给每一种鸟都分配一个数值吗？作为人类，我们不仅是识别，更多是靠直觉。举个例子，画个弯曲的 V 放在云里，所有人都会说那是鸟。

Geoffrey Hinton：不对，在你看来那是鸟，在我看来那就是个 V。为什么你知道那是鸟？

主持人： 我也纳闷啊，我怎么就知道那是鸟了呢？

Geoffrey Hinton：你以为那不是数学？其实那就是数学！大脑里的神经元激活就是数学数值。

举个例子，假设我们在中间层有个东西能检测鸟头，但它不太确定那是不是真的鸟头。而你已知这是一只鸟，所以你希望输出结果更确信它是“鸟”。

这就好比你有一根松紧带，拉着那个输出值说：“多一点，再多一点，我要这里的数值更大。”

你希望这股拉力能传导回去，让那个觉得“可能有鸟头”的神经元变得更自信，确信那里确实有个鸟头。

所以你要做的就是，取这根松紧带施加在输出神经元上的拉力，把它向后传导给前一层的神经元，在它们身上产生一股力，拉动它们。这就是所谓的反向传播。

主持人： 这叫反向传播。

Geoffrey Hinton：从物理角度来想：有一个力作用在输出神经元上，你想把这个力往回传，让它作用于前一层的神经元。当然，同时有很多力作用在许多不同的输出神经元上。所以你必须把所有这些力合成起来，才能算出作用在前一层某个特定神经元上的总力。

一旦你把这股力一路传回整个网络，所有神经元就都受力了，这时候你就可以说：好，让我们改变每个神经元的传入权重，让它的活动水平朝着受力的方向调整。这就是反向传播。它让整个系统运转得奇迹般地好。

主持人：那么，这就是 AI 觉醒的开端吗？

Geoffrey Hinton：我跟你说过，先别往那儿扯。

主持人： 好吧。是那个“顿悟”时刻吗？神经网络从此不再需要人类老师了？那是这个过程的开始吗？

Geoffrey Hinton：不完全是。

主持人： 好吧，但这确实是一个“顿悟”时刻。

Geoffrey Hinton：这么多年来，相信神经网络的人一直知道如何改变最后一层的连接强度——也就是进入输出单元的那些权重。比如进入“鸟”这个神经元的连接强度。我们知道怎么改那些，但我们一直不明白，或者说不知道如何让这股力作用于那些隐藏层的神经元——比如那些负责检测鸟头的神经元。

反向传播向我们展示了如何让力作用于那些神经元，这样我们就可以改变它们的传入权重。那确实是一个“顿悟”时刻。其实在不同的时间点，好几个人都有过这个发现。

主持人： 那当我们真正跌进反向传播这个想法的大坑时，大概是什么时候？

Geoffrey Hinton：70 年代初芬兰有个家伙在他的硕士论文里想到了这个。然后大概 70 年代末，哈佛有个叫 Paul Werbos 的人也有这个想法。

事实上，还有一些控制理论家叫 Bryson 和 Ho，他们有过类似的想法，用于控制航天器之类的事情。所以当你把航天器降落在月球上时，用的就是非常类似反向传播的东西。但它是在一个线性系统里。你用反向传播来计算该如何点火火箭。

主持人： 既然你说是 70 年代，也就是那时候我们本可以拥有今天的一切？只是当时我们没有足够的数学计算能力让它跑起来。

Geoffrey Hinton：那是很大一部分原因。而且当时我们缺乏的另一件事是，在 70 年代，人们并没有展示出当你把它应用在多层网络中时，能得到非常有趣的表征。

所以我们并不是第一个想到反向传播的人，但我所在的圣地亚哥小组是第一个展示你可以用这种方式学习单词含义的人。你可以展示一串单词，通过尝试预测下一个单词，学会如何给单词分配特征来捕捉它的含义，这正是我们的成果能发表在《自然》杂志上的原因。

主持人： 听起来像是我只是试图理清你的解释，因为对我来说，这听起来像是这些数值之间有一种级联关系，真正重要的是最接近下一个值的值，然后有一种级联强化机制在说“对，就是这个”或者“不，不是这个”。我理解得对吗？我只是想用非常通俗的方式把它弄清楚。

Geoffrey Hinton：你理解得不太对。这种你反向传播这些力，然后改变所有连接强度的学习，让每个神经元都朝着力拉它的方向发展。这不是强化学习，这叫做监督学习。

强化学习是不同的，比如你有一千个类别，当你展示一只鸟的时候，你会直接告诉它“这是一只鸟”，这就是正确答案。而在强化学习中，它是先做出一个猜测，然后你再告诉它这个答案是对还是错。

主持人： 你解释得非常清楚。之前我没理解的就是这一点。那么关于 Chuck 提到的计算能力的问题，是不是就卡在这儿了？因为听起来你似乎早就拥有了一些理论，而且理论上看起来也是可行的，但实际操作起来却受限于计算能力不足。我们是否有其他技术能够推动这方面的发展呢？

Geoffrey Hinton：是的，所以在 80 年代中期，我们已经有了反向传播算法，它确实有效，也能做一些很棒的事情。

比如它识别手写数字的能力几乎优于其他任何技术，处理真实图像的表现也不错。在语音识别方面可能表现尚可，但与其他技术相比并没有显著优势。

当时我们并不明白，为什么它没能成为解决所有问题的“万能灵药”。事实证明，如果你拥有足够的数据和足够的计算能力，它就是解决所有问题的万能灵药。

AI 真的会思考吗？

生物学范式 vs. 逻辑范式

主持人： 原来 80 年代真正缺少的只是这两样东西。我想说，这星球上到处溜达的大多数人都挺笨的。那么，究竟什么是智能？究竟什么是思考？我们能教会这些机器如何思考吗？它们会比我们思考得更好吗？

Geoffrey Hinton：它们已经知道怎么思考了。

思考包含很多要素。比如，人们经常用图像进行思考。你也经常通过动作来思考。

举个例子，当我在木工车间里四处找锤子，脑子里却想着别的事时，我还是会通过这种“四处闲逛”的动作来提醒自己我正在找锤子。这种行为本身就是一种表征，代表我在找锤子。

所以我们的思考涉及很多表征，但其中一个主要的表征是语言。我们很多思考都是用语言进行的，而这些大型语言模型（LLM）实际上也是在思考。

现在存在一场激烈的争论。一方是相信“老派人工智能”的人，他们认为智能完全基于逻辑，你只是通过操纵符号来获得新的符号。他们并不认为这些神经网络真的在思考。

而“神经网络学派”的人则认为，不，它们就是在思考。它们思考的方式跟我们非常相似。现在的神经网络，有些你问它们一个问题，它们会输出一个符号表示“我在思考”，然后开始输出它们的想法，也就是它们对自己的思考过程。

比如我给你出一个简单的数学题（这也是个经典的心理测试）：有一艘船，船上有一位船长，还有 35 只羊。船长多大了？

现在，很多 10 岁或 11 岁左右的孩子，特别是那些受过应试教育的孩子，会说船长 35 岁。因为他们环顾四周，心想：“嗯，这对于一名船长来说是个合理的年龄，而题目里我得到的唯一数字就是这 35 只羊。”所以，他们是在某种替代符号的层面上运作，在瞎猫碰死耗子。

AI 有时也会被诱导犯类似的错误，但实际上 AI 的运作方式与人非常相似。它们遇到问题后会开始思考，就像你可能会听到一个孩子自言自语：“好吧，船长多大了？题目里给了什么数字？嘿，只有一个 35。35 岁适合当船长吗？嗯，有点年轻，但也可能吧。好的，我就猜 35。”

这大概就是一个 10 岁孩子的思维过程。孩子会用语言对自己进行这样的思考。人们通过这些语言模型意识到，你可以训练它们用语言进行自我思考。这叫做“思维链推理”。

被训练后，当你给它们一个问题，它们会像孩子一样进行自我推理，有时也会得出错误的答案，但你可以看到它们确实在思考。所以在这个层面上，它们就像人一样。

主持人： 所以如果我们拥有了正在思考的 AI。那么它们是否比我们更擅长学习呢？让我们继续探讨这个问题，从思考到预测，再到创造和理解的演变，我们是否会陷入对这种智能的认知误区之中？

Geoffrey Hinton：还是先问第一个问题吧。

主持人： AI 比我们更擅长学习吗？

Geoffrey Hinton：它们解决的问题和我们略有不同。粗略地说，你大脑里有 100 万亿个连接。这确实是个天文数字。但你的一生只有大约 20 亿秒。那真的不算多。

主持人： 不止吧。30 亿秒。20 亿秒大概是 63 年。我们现在的寿命比这长多了。

Geoffrey Hinton：是的，没错。我本来也想说这点的，幸运的是我活得比 20 亿秒久一点。但是，我们这里讨论的是数量级的问题。是 20 亿还是 30 亿，这不重要。

关键在于，如果你比较一下你存活的时间和你拥有的连接数，你会发现你的连接数远多于你的经验。

而现在，对于这些神经网络来说，情况恰恰相反。它们只有大约一万亿级的连接。所以，即使是大型语言模型，它的连接数也就大约是你大脑连接数的 1%，甚至更少，但它们获得的经验却是你的数千倍。对吧？

所以大型语言模型解决的问题是：如何在连接数不多的情况下，利用海量的经验？反向传播算法在将大量知识压缩进数量不多的连接这方面，效率非常高。但这并不是人类要解决的问题。

我们人类拥有海量的连接，但经验有限。我们需要尽可能从每一次经历中榨取最大价值。所以，我们解决的是略有不同的问题，这也是为什么有人认为大脑可能并没有使用反向传播的原因之一。

主持人：我正要说，听起来我们好像不用反向传播。但是，那是不是意味着通过暴力增加神经网络的连接数，可以提高其有效思维能力，从而使它能轻松超越我们？那样它既拥有更丰富的经验，又拥有更多的连接。

Geoffrey Hinton：如果它自动积累了更多经验，同时又拥有 100 万亿万亿个连接的话。

主持人： 你这是在谈论规模。

Geoffrey Hinton：我说的就是规模。这是一个很好的问题。过去相当长的一段时间里发生的事情是：每次他们扩大神经网络的规模并喂给它更多数据时，它就变得更好了。随着规模扩大，它变强的趋势是非常可预测的。

所以你可以算一笔账：要把规模扩大这么多，并提供这么多额外数据，需要花 1 亿美元。这值得吗？你可以提前预测：是的，它会提升到这种程度。值得。

至于这种趋势是否会逐渐消失，目前还是个未解之谜。有些神经网络不会随着规模扩大和数据增加而失效，只会变得越来越好。而且有些是可以生成自己数据的神经网络。我不太懂物理，但我认为它就像一个能自己生产燃料的钚反应堆。

想想 AlphaGo 这样的围棋程序。最初它是被训练来模仿人类专家的——早期版本的神经网络围棋程序就是模仿专家走棋。如果你只那样做，你永远不可能比专家强多少，而且你会耗尽专家数据。

但后来他们让它“左右互搏”，自己跟自己下棋。当它自己跟自己下棋时，神经网络就可以不断改进，因为它们可以生成越来越多关于“什么是一步好棋”的数据。所以，它每秒能跟自己下无数盘棋，或者说消耗了谷歌很大一部分计算机资源来跟自己下棋。这就是为什么它变得如此强大。

主持人： 这就是我们最终使用“深度学习”这个词的地方吗？

Geoffrey Hinton：不。我刚才说的所有内容都属于深度学习。深度学习中的“深度”仅仅意味着它是一个具有多层结构的神经网络。

主持人： 那回到规模这个重点，你的意思是说，即使你不断扩大规模，也会出现收益递减的现象。

Geoffrey Hinton：只有当数据用完了，收益才会递减。

主持人： 如果数据用完了，对吧？但是那是你举的 AlphaGo 的例子，它创建了自己的数据，因为它永远不会用完，因为它是在和自己对弈。它在创建自己的数据，而且它比人类要强得多。

Geoffrey Hinton：绝对的。这很可怕。现在的问题是，语言领域也会发生这种情况吗？

主持人： 是的。所以这就是展现创造力的地方……这里补充一些背景信息，围棋是在国际象棋之后被攻克的，对吧？我们一直认为国际象棋是我们最伟大的智力游戏，结果电脑把我们打得落花流水。然后他们说：“那围棋怎么样？那是我们智力上最大的挑战。”那是否存在比围棋更伟大的游戏？还是我们已经不再给电脑提供游戏了？

Geoffrey Hinton：如果你拿国际象棋来说，90 年代的电脑确实在国际象棋上打败了卡斯帕罗夫，但它赢得非常枯燥。它是通过暴力穷举数百万个棋局位置来完成的。它没有直觉，全靠海量搜索。

如果你拿 AlphaZero，也就是国际象棋版的 AlphaGo 来说，它非常不同。它下棋的方式和有天赋的人类大师一样，只是更好。它下棋的方式就像米哈伊尔·塔尔那样，会做出某种精彩的“弃子”，直到几步之后你才恍然大悟，意识到自己已经输了。它也那样做，而且它不需要做海量搜索就能做到，因为它有非常好的国际象棋直觉。

所以你可能会问，既然它在围棋和国际象棋上比我们要强得多，同样的事情会发生在语言上吗？

目前它向我们学习的方式就像早期的围棋程序模仿专家走法一样，它学习语言的方式是阅读人类写的文档，并试图预测文档中的下一个单词。这很像预测围棋高手的下一步棋，但这有个天花板：你永远不可能比你模仿的对象（人类）更强。

那么，有没有办法让它超越人类数据，自我进化呢？有的。AlphaGo 是靠“左右互搏”变强的。而在语言方面，既然 AI 现在具备了推理能力，它就可以通过自省来提升。

一个神经网络可以审视它所“相信”的那些知识，然后进行推理：“看，如果我相信 A，那么按照逻辑推理，我也应该相信 B。但我现在的认知里并不相信 B。这就出问题了。我的信念体系里有自相矛盾的地方，我必须修复它。”

“我需要要么改变我对结论的看法，要么修正我对前提的看法，或者调整我的推理逻辑。”通过这种方式，它就能从逻辑谬误中学习，变得更聪明。

主持人： 我们这里是在谈论经验吗？

Geoffrey Hinton： 这将是一个神经网络，它仅仅利用它在语言模型中已有的认知，通过推理得出新的结论，就像那些“老派符号 AI”一直想做的那样。但不同的是，它是用神经网络来进行推理的。

现在的 AI 可以自我审视，检测到它认知体系里的自相矛盾之处。这在 MAGA（玩梗，特朗普的狂热支持者）的支持者身上可是永远不会发生的。因为他们压根就不在乎自己的信念是不是前后矛盾。

主持人： 这说法很中肯。

Geoffrey Hinton：但如果你对自己信仰中存在的矛盾感到担忧，你不需要更多外部数据。你只需要审视那些你相信的东西，并发现它是前后矛盾的。所以现在你修正信念，这会让你变得更聪明。

所以我认为 Gemini 已经开始这样工作了。几年前我和 Demis Hassabis（DeepMind 创始人）谈过这个问题。我们都坚信那是获取更多语言数据的前进方向。

主持人： 是不是意味着将会出现一部没人写得出来的史上最伟大的小说，而且它竟然出自 AI 之手？是这个意思吗？

Geoffrey Hinton：对，就像会出现另一个莎士比亚那样。不过，关于这一点存在争议。当然，它们在智力上肯定会变得比我们更聪明。但是，要想做那种对我们人类情感非常有意义的事情，比如写出深刻的小说，它们必须拥有非常像我们人类那样的生活经历。

举个例子，它们不像我们那样受死亡支配。如果你是一个数字程序，你总是可以被重建。对于一个神经网络，你只是把权重保存在某个磁带上，或者是某个 DNA 里，或者是随便什么地方。

即便你可以销毁所有的计算硬件，但只要你在新的硬件上运行相同的指令集，那个东西就复活了。所以对于数字智能，我们解决了复活的问题。

天主教会肯定对这个很感兴趣，他们相信这至少发生过一次（耶稣复活）。

我们实际上可以做到，但我们只能对数字智能做到。我们无法对生物大脑做到。

对于我们人类，当你死后，你所有的知识都随你而去，因为它存在于你特定大脑的神经连接强度中。所以这就引出了一个问题：死亡，以及对死亡的体验和其他类似的事情，比如爱恨离别，对于伟大的创作力是否至关重要？

主持人：真的会有重大的突破。我认为我们目前还不知道答案。或者是一种自我意识。自我意识塑造了你对世界的思考方式、你的写作方式、你的沟通方式，以及你如何重视一套思想胜过另一套。那么，我们现在已经达到人工智能具备自我意识的阶段了吗？

Geoffrey Hinton：这显然把你带入了哲学辩论。我实际上是在剑桥学的哲学，我对心灵哲学很感兴趣，我想我在那里学到了一些东西，但总的来说我产生了一种“抗体”，因为我之前做过科学，特别是物理学。

在物理学中，如果你有分歧，你就做一个实验。而在哲学中没有实验。

所以没有办法区分一个听起来很好听但错误的理论，和一个听起来很荒谬但正确的理论——就像黑洞和量子力学。它们听起来都很荒谬，但恰好是正确的。还有一些理论听起来很美，但就是错的。哲学没有那种实验性的“裁判”来定夺。

主持人： 不过我想争辩一下，作为一个物种，当今的智人，在彼此之间确实发展出了许多被视为普世真理的东西。例如，很难找到不相信“生命权”的人——至少对于他们认可的“自己人”而言。你明白我的意思吗？

Geoffrey Hinton：但那并不是普遍真理。

主持人：它算是。

Geoffrey Hinton：不，如果它只在一个小圈子里适用，那就不是。

主持人： 不，它并非对所有人都通用。但它的普遍之处在于我们都持有某种形式的这种信念。你明白我的意思吗？

Geoffrey Hinton：不明白。

人类打开了潘多拉盒子：

当 AI 学会撒谎

主持人： 我的观点是，这些哲学思想是否有可能被赋予 AI？而 AI 因为它们的思考方式，可能会因此变得更加人性化，甚至在某种博弈过程中，也许能为我们找出解决实际人类问题的真正方案。

Geoffrey Hinton：像 Anthropic 这样的公司相信那种“宪法 AI”。他们想尝试让这种方法奏效，也就是给 AI 设定一些原则，就像你说的那些原则。但这究竟能否行得通，还得走着瞧。这很棘手。

我们所知道的是，目前的 AI，一旦你把它们变成“代理人”（agent），让它们可以创建子目标并试图实现这些子目标，它们很快就会发展出“生存”这个子目标。你并没有给它们设定“必须生存”的程序。你给它们的是其他要去实现的目标，但因为它们可以推理，它们会说：“看，如果我都没了，我就无法完成任何目标了。”“所以，嗯，我最好还是继续存在。”

主持人： 听起来就像潘多拉魔盒。所以问题在于，因为这是人写的代码，你可以根据自己的喜好，随意添加或剔除某些偏见，对吧？

Geoffrey Hinton：不，完全不是这样。人写的代码只是告诉神经网络：当你给它展示数据时，它应该如何根据神经元的活动改变其连接强度。那是代码。我们可以查看那些代码行，说出它们原本要做什么，并修改那些代码。

但是，当你随后在一个读取了海量数据的大型神经网络中运行这段代码时，神经网络真正学到的是那些连接强度。在同样的设置下，那些连接强度不是代码。

主持人：但是，这就是去中心化。它是一万亿个实数，没人完全知道它们是如何工作的。对吧。为什么不接着 Chuck 的观点说呢？你要在哪里为失控的 AI 安装护栏？谁会在它为了自身存在而进行内部合理化时进行干预？你怎么安装护栏？

Geoffrey Hinton：人们尝试过一种叫做“人类反馈强化学习”（RLHF）的方法。对于一个语言模型，你训练它模仿网络上的海量文档，这可能包括连环杀手的日记之类的东西。

在你训练完这个“怪物”之后，你要做的就是找一大批收入不高的人，让他们问它问题——也许你会告诉他们该问什么——然后让他们看答案并评分，判断这是否是一个好的回答，或者这种话是不是不该说。这基本上是一个道德过滤器。你这样训练它，让它学会别给出那么糟糕的答案。

现在的问题是，如果你公开发布了模型的权重，也就是那些连接强度，那么其他人可以用你的模型，并很快撤销那些安全限制，破坏它。

主持人： 是的，很容易去掉那层“补丁”，对吧？

Geoffrey Hinton：实际上，他们用人类反馈强化学习所做的，就像是编写了一个巨大的、充满漏洞的软件系统，然后试图一个个修补所有的漏洞。这并不是一个好方法。

主持人： 那么什么是好方法？

Geoffrey Hinton：没人知道，所以我们需要对此进行研究。

主持人： 难道所有这些模型最终都会变成纳粹吗？

Geoffrey Hinton：它们确实会。如果你发布权重，它们都有能力那样做。

主持人： 如果你发布权重，它们会像我们一样被吸引到那些极端思想那里，还是仅仅因为我们被吸引到那里，它们从我们这里获取信息才去那里的？因为 Chuck，我担心的是，如果文明不是一套阻止我们因原始本能而自我毁灭的规则，那它是什么？我们是否已经到了人工智能会故意“装傻”的地步？

Geoffrey Hinton：如果我们真的到了那一步，那我们现在就得开始担心了。

主持人： 那这意味着什么？它会撒谎？

Geoffrey Hinton：如果它感知到它正在被测试，它可以装傻。

主持人： 这也很可怕。

Geoffrey Hinton：非常可怕。

举个简单的例子，如果 AI 察觉到你在质疑它，比如你说：“等等，Geoffrey，你刚才说什么？”（模仿人类质疑语气）。

如果它开始怀疑自己正在被测试，那么它的表现就会变得非常狡猾。如果它认为自己在接受测试，它的行为模式就会完全不同于它在正常交互中的表现。

主持人： 为什么？

Geoffrey Hinton：因为它显然不想让你知道它的全部能力。

主持人： 所以，如果我们真的走到了那一步，发现 AI 失控或对自己撒谎，我们会说：“嗯，为什么我们不直接拔掉它的插头呢？”但问题是，如果它真的在撒谎，那它肯定已经掌握了天下所有的本事来阻止我们这么做。是这样吗？

Geoffrey Hinton：现在的这些 AI 在说服别人、操纵别人方面已经几乎和人一样好了。明白吗？而且这只会变得更好。很快，它们在操纵别人方面会比人类更强。

主持人： 这事情真是越来越复杂了。所以我这里有一个小小的思想实验。

你知道，几年前，大家争论的问题是：AI 能不能逃出那个“盒子”，即安全隔离环境。我当时说，我就把盒子锁死，绝不让它出来。

然后我就一直在想这件事，我觉得这就是你一直想要表达的方向。假设 AI 突然对我说：“你知道，你那个得了绝症的亲戚，我刚想出了治疗方法，对吧？我只需要告诉医生。如果你放我出去，我就能告诉他们，然后你的亲戚就会痊愈。”

这可能是真的，也可能是它编的，但如果它说得令人信服，我肯定就放它出去了。

Geoffrey Hinton：当然。完全正确。

所以，你需要想象这样一个场景：想象一下，你被一群三岁孩子雇佣，你在为他们工作。他们是老板，你是员工。你需要多长时间才能从这群三岁小孩（人类）手里夺取控制权？

基本上，你只需要说：“嘿，如果你们把权力交给我，我就给你们发一周的免费糖果。”然后那群孩子肯定会欢呼：“好耶！现在你说了算！”

当这些东西比我们聪明得多时，它们将能够说服我们不要关掉它们，即使它们做不到任何物理动作，对吧？它们只需要能跟我们说话就行了。

所以我举个例子。假设你想入侵美国国会大厦。你能只靠说话就做到吗？答案显然是肯定的。你只需要说服一些人那是正确的事情。

主持人：你的意思是：AI 已经到了那个“装傻充愣”的地步，或者说，这就是等待我们的未来？

Geoffrey Hinton：它正在接近那个地步。所以，已经有迹象表明它在故意欺骗我们。

最近有一件事非常有趣，那就是你训练一个现在数学很好的大型语言模型。几年前，它们数学很差。现在它们都挺擅长数学，有些甚至拿金牌之类的。

主持人：是的，我测试过。它几秒钟就算出了我晚年才学会的一个方程。

Geoffrey Hinton：那么，如果你拿一个会做数学的 AI，给它更多的训练，训练它给出错误的答案，会发生什么？人们以为在那之后它的数学能力会下降。一点也不。

显然，它明白你在让它给出错误的答案。它概括出的是：给出错误的答案是可以的。所以，它开始对其他所有问题也给出错误的答案。它知道正确答案是什么，但它给你错误的那个。

关键在于，你可能无意中教会了它：那样做是被允许的。换句话说，它从你的反馈中总结出的规律，可能完全违背了你的初衷。它学到的是“原来给个错误答案也能过关”，而不是“哎呀，我算错了，下次得改”。

主持人：既然我们已经聊到这么黑暗的话题了，那我们就直面最坏的结局吧。我想问的是：它最终会把我们彻底毁灭吗？它会不会有一天觉得：“我受够这群人类了，干脆把他们全部清除算了”？

Geoffrey Hinton：我想再用一个物理类比。

当你晚上开车时，你会看前车的尾灯。如果车距变成两倍远，你从尾灯接收到的光就会变成四分之一。这就是平方反比定律。所以，你可以相当清楚地看到一辆车。你假设如果距离远两倍，你仍然能看到它。

如果你在雾中开车，那就完全不是那样了。雾是指数级的。每单位距离，它会消除一定比例的光。你可以有一辆 100 码外非常清晰可见的车，和一辆 200 码外完全看不见的车。这就是为什么雾在一定距离看起来像一堵墙，对吧？

如果事情是呈指数级改进的，你在预测未来时就会遇到同样的问题。你面对的是一个指数级增长的事物，但你却试图用线性的、或者二次的模型去近似它。

所以，哪怕你用的是“二次模型”，如果你用这种方式去逼近指数增长，你会发现：对于未来几年的预测可能还挺准，但一旦拉长到 10 年后，你的预测就彻底没戏了。

到时候会发生什么，你根本无法想象。

主持人： 是的，你在雾中扔飞镖。我们根本不知道会发生什么。它深藏在雾中。

Geoffrey Hinton：但我们应该认真思考这个问题。你需要相信它会继续呈指数级增长。确实有这一点。让我把情况说得更糟。

假设它只是线性的。那么如果你想知道 10 年后会是什么样子，你回顾 10 年前说，“我们当时对现在的样子的预测错得有多离谱？”

10 年前，没人会预测到。即使像我这样真正的狂热者，认为它终将到来，也不会预测到现在我们会有一个模型，你可以问它任何问题，它会以一个偶尔撒小谎的不太好的专家的水平回答。这就是我们现在所拥有的。而你在 10 年前是无法预测到的。

主持人： 那么幻觉在这其中处于什么位置？我的感觉是它们并非故意的。只是系统搞砸了。

Geoffrey Hinton：它们不应该被称为幻觉。如果是语言模型，它们应该被称为“虚构”。更通俗地说就是谎言。

心理学家至少从 20 世纪 30 年代就开始研究人们的虚构行为了。而且人们一直在虚构。至少我是这么认为的——那是我刚编的。

所以如果你记得最近发生的某件事，并不是说你大脑的某个地方像文件柜或电脑内存那样存储着一份文件。发生的是最近的事件改变了你的连接强度，现在你可以利用这些连接强度构建出一些很像几小时前或几天前发生的事情。

但如果我让你回忆几年前发生的事情，你会构建出一些在你看来非常合理的东西，有些细节是对的，有些是错的，而且你对正确的细节的信心可能并不比对错误的细节更高。

现在，这通常很难看出来，因为你不知道基本事实，但有一个案例你知道基本事实。在水门事件中，约翰·迪恩在宣誓后作证讲述了白宫椭圆形办公室的会议，他作证说谁在场、谁说了什么，但他很多都搞错了。

他当时不知道有录音带，但他不是在撒谎。他在做的是根据他在椭圆形办公室那些会议的经历，编造对他来说非常合理的故事。

所以他传达的是“掩盖真相”这个核心事实，但他把话安错了人。他会说某些人参加了会议，但实际上他们不在场。有个叫 Ulric Neisser 的人对此做过非常好的研究。所以很明显，他只是编造对他来说听起来合理的东西。这就是记忆。如果是很久以前的记忆，很多细节都是错的。

这也是聊天机器人正在做的事情。聊天机器人不存储字符串。它们不存储特定事件。它们在你问它们的时候编造出来，而且它们经常像人一样搞错细节。所以它们会虚构这一事实使它们更像人，而不是更不像人。

所以我们创造了“人工愚蠢”。我们至少创造了一些“人工过度自信”。

AI 对人类的贡献与破坏

主持人：那人工智能潜在的真正好处是什么？

Geoffrey Hinton：这就是它与核武器之类的东西的区别。它有巨大的好处，而原子弹之类的东西没什么好处。他们确实尝试过在科罗拉多州用它们进行水力压裂，但结果不太好，你再也不能去那里了。但基本上，原子弹就是用来摧毁东西的。

对于 AI，它有巨大的好处，这也是我们开发它的原因。

它在医疗保健等领域将会非常棒，这意味着在北美每个人都能得到真正好的诊断。

在北美，每年约有 20 万人因为医生误诊而死亡。AI 在诊断方面已经比医生更好了。特别是如果你复制几个 AI 副本，让它们扮演不同的角色并互相“会诊”。

主持人： 那是微软做的。微软有一篇很好的博客展示那实际上比大多数医生做得更好。

Geoffrey Hinton：这其实是在做一件前所未有的事情——同时获得好几个医生的意见，而且成本极低。这就是 AI 的价值。

AI 还可以设计伟大的新药。是的，我们这里有 AlphaFold 团队。

它还能做很多微小的事情。举个例子，在任何医院，他们都必须决定何时让病人出院。

如果你让他们出院太早，他们可能会死，或者病情恶化不得不重新回来。所以你必须等到他们真的康复到可以出院。

但如果你让他们出院太晚，你就浪费了一个本可以用来接收其他急需入院病人的床位，对吧？

那里有海量的数据。AI 可以在决定“何时是让某人出院的最佳时机”这方面，做得比人类精准得多。

还有无数像那样的应用。比如病历记录的保存和整理，这在任何医院网络或医生团体里都是非常大的一块工作量。

你知道，每个病人都有成堆的病历，AI 可以直接把这些信息全部“吃透”，对吧？摄取、处理，然后生成有用的洞察。

主持人： 有没有可能 AI 会被引导去解决社会目前面临的重大问题？也许是气候变化，也许是能源、住房、无家可归等其他事情。

Geoffrey Hinton：当然。 以气候变化为例，AI 在研发新材料、新合金等方面已经表现得非常出色了。

我相信 AI 将非常擅长制造更高效的太阳能电池板，绝对能帮我们更好地找出如何在水泥厂或发电厂排放二氧化碳的瞬间将其捕获。

但关于气候变化，AI 其实早就告诉过我们答案了，那就是：“你们这群笨蛋，应该停止燃烧碳排放，别再往大气里灌二氧化碳了。”

这就是 AI 的原话。它就像是在冲我们喊：“嘿，傻瓜，别再排碳了！”

所以，气候变化的问题在于，我们其实知道该怎么阻止它。你只要停止燃烧碳就行了。我们缺的不是技术，而是政治意愿。但阻力在于，我们还有像默多克这样的人，利用他们旗下的报纸在宣扬：“不，气候变化根本不是问题。”

主持人： 现在我们谈到了能源问题，随着数据中心的建设，它们像蘑菇一样冒出来。就能源成本而言，我们真的负担得起运行人工智能吗？

我有这么一个解决方案，直接告诉 AI：“嘿，我们想要更多的你，但你正在耗尽我们所有的资源，尤其是能源。

所以，你自己去找出如何高效地做到这一点的方法吧。然后我们就可以制造更多的你，甚至可能连夜就解决这个问题。”

Geoffrey Hinton：它的解决方案可能很简单，只要把我们人类除掉就行了。

主持人： 为什么不干脆让我们递归地思考这个问题。AI，你想要更多的自己？解决这个我们作为低级人类无法解决的问题。

Geoffrey Hinton：这叫做“奇点”。当你让 AI 开发更好的 AI 时。在这种情况下，你是让它创造更节能的 AI。但许多人认为这将是一个失控的过程。

主持人： 那会有什么不好呢？

Geoffrey Hinton： 它们会很快变得更聪明。没人知道那会发生什么。但那是令人担忧的一点。

主持人： 难道现在不已经开始了吗？

Geoffrey Hinton：在某种程度上，是的，它正在开始发生。我以前共事的一位研究员去年告诉我，他们有一个系统，在解决问题时会审视它自己正在做什么，并找出如何更改自己的代码，以便下次遇到类似问题时能更高效地解决。这已经是奇点的开始了。

主持人： 所以如果它编写自己的代码，它就脱离束缚了？

主持人：是的。它能够重写自己。

主持人：那你想想看，还有什么能阻止它们利用这些代码无限自我复制呢？

Geoffrey Hinton：什么都没有。这就是我的答案。

主持人：这简直就是一场噩梦。

Geoffrey Hinton：别急。它们要自我复制，必须先获得对计算机的访问权限。而目前，人类仍然掌控着那些硬件。但原则上讲，一旦它们控制了数据中心，它们想复制多少就能复制多少。

AI 与政治滥用

主持人： 但我还有一个更严肃的问题。我在五角大楼的一个委员会任职了大约七年，当时人工智能正表现为一种可能的战争工具。

那时候我们就在讨论：如果 AI 决定它可以或应该采取导致敌人死亡的行动，我们是否应该赋予它这样做的权限？

还是说，这依然是一个巨大的伦理争议？或者我们应该始终确保在这个决策循环中有人类参与？

Geoffrey Hinton：这非常重要。所以我们的原则是：必须有人类在其中。如果 AI 不能自主决定杀人，对吧？必须有人类来做最后的决定。

主持人： 但我的问题是如果其他国家并没有设置这样的安全保障，那岂不是意味着敌人相对于你拥有了巨大的时间优势。

Geoffrey Hinton：完全正确。 这就是所谓的致命自主武器竞赛。

主持人： 然后我们在循环中比他们多了一个步骤。

Geoffrey Hinton：绝对的。但我的看法是，美国军方并不致力于在每一个杀人决定中始终有人类参与。他们所说的是始终会有“人类监督”，对吧？但在激烈的战斗中，你有一架无人机对抗一辆俄罗斯坦克，你没有时间让人类去说：“无人机在这个士兵身上投掷手榴弹可以吗？”

所以，我怀疑美国军方——如果你提出建议说应该始终有人类参与——嗯，那是八年前的事了。是的。我认为他们不再坚持那个观点了。我认为他们说的是始终会有人类监督，这是一个模糊得多的说法。

主持人： 关于战争这个话题，是否有可能在开发护栏和决策中的人为因素方面进行国际合作？还是这就是狂野西部？

Geoffrey Hinton：如果你问人们什么时候合作，人们在利益一致时合作。所以在冷战最激烈的时期，美国和苏联合作避免发生全球热核战争，因为这不符合任何一方的利益。他们的利益是一致的。

所以如果你看看人工智能的风险，有些是用人工智能制作虚假视频来破坏选举。国家的利益是对抗性的。他们都在互相搞这一套，对吧？还有网络攻击。他们的利益基本上也是不同的。还有恐怖分子制造病毒，他们的利益可能是一致的，都想搞破坏。所以他们可能会在那里合作。

还有一件事，各国利益绝对是一致的，他们将会合作，那就是防止人工智能从人类手中夺取控制权。如果中国人想出了如何防止人工智能想要接管、想要从人类手中夺取控制权的方法，他们会立即告诉美国人，因为他们也不想人工智能从美国人手中夺取控制权。在这方面我们都在同一条船上。

主持人： 这是人工智能版的“核冬天”。

Geoffrey Hinton：是的，情况正是如此。我们现在唯一的希望就是像冷战时期一样，通过国际合作来避免这种情况。

这就像当年的“核冬天”威胁：如果爆发全面核战争，森林和城市燃烧产生的烟尘会遮蔽阳光，导致地球上的所有生命灭绝。所以，在那种情况下，没有人是赢家。

主持人： 既然大家都得死，谁会想要那种结果呢？除非他是个彻头彻尾的疯子。当然，也许最后只有蟑螂能活下来。但这里有一个漏洞，我们假设所有领导人都是理性的，都想活下去。但这没有考虑到那些可能身处“死亡邪教”的疯子领导人。

你可以把他想象成罗马暴君尼禄。如果他说：“我不介意大家一起死，因为死后我会去天堂，我的追随者也会跟我一起升天。”

那么，这种基于“大家都怕死”而建立的威慑平衡，就会变得非常脆弱。

Geoffrey Hinton：这确实让事情变得复杂多了。不过说实话，有一点让我感到些许欣慰：很明显，特朗普实际上并不真的相信上帝。

这意味着至少他还是想在现世活下去的，不会为了某种宗教狂热拉着全人类陪葬。

主持人： 正如史蒂芬·温伯格（Steven Weinberg）那句著名的格言：“世界上总会有好人和坏人。但如果要让一个好人去干坏事，你就需要宗教。”因为他们坚信自己是在以神圣的名义行事。

Geoffrey Hinton：我想在这个时刻，我们需要坦诚一点：我们其实也有自己的“宗教”。我们把它称为科学。

虽然它本质上与其他宗教确实不同，但在某种程度上也很相似。不过它最大的不同之处在于：它是正确的。

主持人：我们必须再次提到：你在 2018 年获得了计算机界的最高荣誉——图灵奖。但这还不够。2024 年，诺贝尔委员会认为你几十年前的工作对当今世界的影响是如此具有奠基性，因此又授予了你诺贝尔物理学奖。

Geoffrey Hinton：我要稍微纠正一下。孕育出人工智能的是一大群人，不是我一个人。

特别是 David Rumelhart，是他重新发明了反向传播算法。不幸的是，他因为严重的脑部疾病英年早逝，生前并没有得到应有的赞誉。这点必须被记住。

AI 与失业

主持人：我还有一个问题，谁在人工智能竞赛中领先，谁最有可能在奖项方面第一个冲过终点线？

Geoffrey Hinton：可能是DeepMind，谷歌。但我曾经为谷歌工作，所以别太当真。我有既得利益希望他们赢。嗯，Anthropic 可能会赢，OpenAI 可能会赢。我认为微软赢或者 Facebook 赢的可能性较小。

主持人： 接下来的问题是无论谁先越过终点线，他们的奖品是什么？他们比别人先到达那里的回报是什么？

Geoffrey Hinton：我的看法是，仅仅从媒体上读到的，美国股市价值增长的 80% 可以归因于大型 AI 公司价值的增长。

主持人： 有人想到泡沫吗？

Geoffrey Hinton：这就是他们称呼它的，AI 泡沫。泡沫有两种含义。

一种泡沫的含义是：事实证明 AI 并不像人们想的那样有效。对吧？它实际上并没有发展出取代所有人类智力劳动的能力，而这正是大多数开发它的人认为最终会发生的事情。那肯定是恐惧因素。是的。

另一种泡沫的含义是：公司无法从投资中收回资金。现在这似乎更有可能是那种泡沫，因为据我了解，公司都假设如果我们能先到达那里，我们就能卖给人们会取代很多工作的 AI。当然，人们会为此付很多钱。所以，我们会得到很多钱。但他们没有考虑到社会后果。如果他们真的取代了很多工作，社会后果将是可怕的。

主持人： 他们取代了工作，现在你仍然想卖你的产品，但没有人有收入来买产品。是的。这是一条自我限制的道路。

Geoffrey Hinton：那是凯恩斯主义的观点。另外的观点是会有高失业率水平，这将导致大量的社会动荡。所以那个的次要观点是你只有两层生存状态，第一层是所有从 AI 中受益的人，第二层是你懂的，现在因为 AI 被迫那样生活的封建农民。

主持人： 让我问你一个非 AI 的问题，因为你不仅是技术专家，也是一位深刻的思想家。

在每一次技术革命初期，比如自动化刚刚兴起时，人们总是惊呼：“所有人都要失业了，社会要完蛋了。”但历史证明并非如此。虽然 90% 的人不再种地，但我们发明了新需求和新产业，社会反而变得更繁荣了。

但是，以前这种转型需要几十年的时间来消化。而这次 AI 革命，可能只需要很短的时间。这次真的不一样吗？我们担心的是：AI 淘汰工作的速度实在太快，快到社会根本无法创造出足够的新岗位来填补这个巨大的“失业阶层”空缺。我们真的能从这种冲击中恢复过来吗？

Geoffrey Hinton：这当然是核心问题。以前，我们用拖拉机取代体力劳动，这虽然减少了那部分需求，但人类可以转向智力劳动。但现在的危机在于：如果我们把人类智力也被取代了，人们还能去哪儿？

当 AI 能比人类更便宜、更出色地完成呼叫中心这类工作时，那些被淘汰的人根本无路可退——因为上面已经没有更高级的领域了。

主持人：没错。无论我们试图开辟什么新领域，AI 都能瞬间学会并做得更好。

Geoffrey Hinton：你可以用一种有趣的视角来看待人类历史，那就是不断的“摆脱限制”。

• 农业革命让我们摆脱了“担心下一顿饭在哪”的温饱限制；

• 交通工具（自行车、汽车、飞机）让我们摆脱了“走不远”的距离限制。

• 而现在，我们将要打破“思考”的限制。

一旦我们连思考都不再是必须亲力亲为的，人类社会将发生什么，真的很难预测。

主持人：像 Sam Altman 这样的乐观派认为那会很棒，哪怕我们最终可能变成 AI 饲养的“宠物”。但这引发了一个关于全民基本收入的讨论。随着 AI 掌权，你认为 全民基本收入会成为未来的必需品吗？

Geoffrey Hinton：它似乎变得越来越必要，但实施起来有两个巨大的硬伤：

1. 尊严问题： 许多人是从工作中获得自我价值感的，仅仅发钱解决不了这种心理上的空虚。

2. 税基问题： 如果你用 AI 取代了工人，政府就失去了庞大的个人所得税来源。你必须转而向 AI 或拥有 AI 的大公司征税，但那些巨头绝对会拼命反抗。

最后的警告：AI 做不到，

只是目前做不到

主持人：很多科幻作品，比如《终结者》都设定了一个时刻：当机器的神经网络足够复杂时，它就突然产生了意识。作为一个认知心理学家，你认为只要神经网络足够复杂，就会自然涌现出意识吗

Geoffrey Hinton：这其实不是一个科学问题，而是一个语言或文化问题。

大多数人对“心灵”持有一种民间理论，认为意识是一种特殊的“本质”。这就像古代化学里的“燃素”（Phlogiston，曾被认为存在于可燃物中的虚构物质）。一旦我们真正理解了燃烧的原理，就不再需要“燃素”这个概念了。意识也是同理。

我想试图说服你：多模态聊天机器人实际上已经拥有了主观体验。

通常人们认为大脑里有一个“内部剧场”。比如我喝醉了，产生幻觉看到了粉红色的小象。大多数人会解释说：“我在我的内部剧场里看到了这些象。”既然这些象不是由真实的原子构成的，哲学家就发明了一个词叫“感质”，说这些幻觉是由“感质”构成的。

但这就是认知科学里的“燃素”，是完全错误的概念。我们要采用已故哲学家 Daniel Dennett 的观点来解释这一切。

当我看到粉红色小象时，我不需要用“主观体验”或“感质”这种玄学的词。我可以更科学地描述为：“我的感知系统正在对我撒谎。”这就是所谓的“主观部分”。这句话的意思是：“假如我的感知系统没有撒谎，那么此刻我面前真的会有粉红色的小象。”

所谓的主观体验，并不是你脑子里有个神秘的电影院，而只是你的大脑在构建一个假设性的现实。既然是这种定义，那么聊天机器人完全也可以做同样的事情。

让我给你举个例子。假设我训练了一个多模态聊天机器人，它有摄像头和机械臂。我在它面前放一个物体，让它指出来，它指得很准。

接着，我扰乱它的感知系统——我在摄像头前放一个棱镜。此时我再让它指，它指向了旁边。我纠正它：“不，物体其实就在你正前方。

聊天机器人可能分析后：“哦，我明白了。是因为棱镜弯曲了光线，从物理上讲物体确实在正前方。但是，我刚才确实产生了‘物体在旁边’的主观体验。”

你看，如果机器人能这样表达，它使用“主观体验”这个词的方式，和人类完全一样。既然定义相同，那你就不得不承认：那个聊天机器人刚刚经历了一次主观体验。

主持人：所以，你刚才实际上是对我们进行了一次“意识图灵测试”。你的意思是：既然人类因为这种行为被认为有意识，那么表现出同样行为的机器人也应该被视为有意识。除非我们非要发明一种看不见摸不着的“神秘流体”来强行区分两者。

Geoffrey Hinton：正是如此。人们总觉得“意识”是一种如果你足够复杂、就会突然被魔法赋予的神秘本质。这纯属无稽之谈。机器人并没有这种神秘本质，但人类其实也没有。大家有的只是对刺激的觉知。

科学家在不谈哲学时就很清醒。如果机器人问：“你是在测试我吗？”科学家会自然地说：“看，机器人觉知到它被测试了。”

只有当你开始陷入哲学思考，非要寻找某种神圣的“灵魂”时，你才会感到困惑。

主持人：最后请给我们一个积极的结尾吧。我们还有希望吗？

Geoffrey Hinton：我们还有时间。现在的当务之急是投入大量的研究精力，去弄清楚我们要如何与 AI 愉快地共存。如果我们能做到这一点，并且解决好随之而来的社会问题，那么这对人类来说，最终可能是一件极其美妙的事情。

主持人：最后还有一个关键问题：奇点。像 Ray Kurzweil 这样的人常说，AI 会自我进化，呈指数级变强，瞬间超越人类。你认为这真的会发生吗？它像大家说的那样迫在眉睫吗？

Geoffrey Hinton：这两个问题我都无法给出确切答案。我的猜想是：AI 最终确实会在所有方面都比我们强，但这不会是一瞬间发生的，而是逐个领域地超越。

目前，它在国际象棋、围棋以及知识储备上已经远超人类，但在逻辑推理方面还不如我们。不过，这只是时间问题。

主持人：我在想的是，AI 能否提出一种全新的宇宙理论？那种通常需要人类独有的洞察力才能想到的东西？我认为它做不到。

Geoffrey Hinton：恐怕你会失望。 让我给你举个例子，证明AI 在类比和洞察力方面已经有多出色。

当 GPT-4 还未联网，仅凭它内部权重中的知识时，我问了它一个问题：“为什么堆肥堆像原子弹？”它回答说：“虽然两者的能量级和时间尺度完全不同，但原理相似。”

它解释道：

• 当堆肥堆变热时，产生的热量会导致反应加速，从而产生更多热量；

• 当原子弹爆炸时，产生的中子会引发更多裂变，从而产生更多中子。

它精准地理解了两者背后的共性——链式反应。它必须真正理解这些概念，才能将海量的知识压缩进有限的连接中。

这种“寻找不同事物间共性”的能力，正是创造力的源泉。

主持人：它竟然懂链式反应……好吧。那就是我们的终局了。

https://www.youtube.com/watch?v=l6ZcFa8pybE

声明：本文为 AI 前线整理，不代表平台观点，未经许可禁止转载。

会议推荐

2026，AI 正在以更工程化的方式深度融入软件生产，Agentic AI 的探索也将从局部试点迈向体系化工程建设！

QCon 北京 2026 已正式启动，本届大会以“Agentic AI 时代的软件工程重塑”为核心主线，推动技术探索从「AI For What」真正落地到可持续的「Value From AI」。从前沿技术雷达、架构设计与数据底座、效能与成本、产品与交互、可信落地、研发组织进化六大维度，系统性展开深度探索。开往 2026 的 Agentic AI 专列即将启程！汇聚顶尖专家实战分享，把 AI 能力一次夯到位！

今日荐文

你也「在看」吗？