姚期智对话辛顿：AI有意识和知觉吗？如何让它拥有善意？

·“许多人对超级智能的恐惧没有应有的那么大，因为他们仍相信我们身上有某种特殊的东西——主观体验、感知能力或意识……那是无稽之谈，而且是危险的无稽之谈。”

·“我们需要知道如何训练它们，使其不想接管一切，而目前没有人知道该怎么做到这一点。”

你或许每天都在和AI对话，向它提问，让它写代码、写文案，流畅的回应让人觉得它真的“懂”你，但这种理解是真实的吗？这背后是冰冷的计算过程还是正在萌芽的机器“心智”？它是否真的对你具有善意？我们需要一门“机器心理学”来理解它们吗？

在刚刚落幕的2025WAIC世界人工智能大会期间，“AI教父”、诺贝尔奖与图灵奖得主杰弗里·辛顿（Geoffrey Hinton）和图灵奖得主、中国科学院院士姚期智围绕上述问题进行了精彩对话。以下为对话实录：

【对话】

是对大脑的模仿还是全新物种？

姚期智（图灵奖得主、中国科学院院士、清华大学交叉信息研究院院长）：神经网络最初其实有点像是受神经系统的启发。所以从某种意义上说，它是受大脑启发的。现在我们已经创造出了这种惊人的计算机架构，它在某些方面似乎超过了大脑，问题是，我们是否还有什么可以向脑科学（神经科学）学习的？

辛顿（诺贝尔物理学奖得主、图灵奖得主）：没错，如果没有大脑作为模型，我认为根本不会有人去尝试让神经网络发挥作用。我们知道这种东西肯定行得通，因为大脑本身就是这么运作的。因此，通过调节连接强度让简单单元组成的网络进行学习的这个想法，完全是来自大脑。

现在的问题是，我们是否已经到了这样一个阶段：AI将自行腾飞，再也不需要来自大脑的启发？我想大致上是这样的。粗略地说，AI目前已经从大脑获得了很多启发，不需要再从中汲取太多了。但我认为这并不完全正确。我认为有一个特定方面，现有的AI模型仍然需要改进，而且可以从大脑得到很多启发。那就是关于拥有多少种不同的时间尺度的问题。

在我们所有的AI模型中，神经网络中权重的调整有一个慢速的时间尺度，而神经元活动的变化有一个快速的时间尺度。也就是说，当你改变输入时，所有神经元的活动都会改变，但权重保持不变。权重只会慢慢发生改变。

而在真实的大脑中，神经元之间的连接——也就是突触——会以许多不同的时间尺度进行适应。所以很长一段时间以来，我一直建议我们应该在神经网络中尝试引入三种时间尺度。我们应该有缓慢变化的权重，即普通权重；还应该有快速变化的权重。这些快速变化的权重能够快速适应，但也会快速衰减。这样可以提供一种容量极高的短期记忆。

然而，人们没有这样做是有原因的。Ilya Sutskever和我在2010年尝试过这样做，而且成功了。但是在我们目前的硬件上，如果每个训练样本都有一套不同的权重——因为快速权重会快速调整，而实际权重是慢速权重和快速权重之和——所以对于每个训练样本而言，这两种权重之和都是不同的。这意味着你无法有一套统一的权重矩阵用于许多不同的训练样本。因此你无法进行矩阵乘法，最终只能做向量-矩阵乘法，这效率不高。仅仅因为这个技术原因，人们就此停止了对多时间尺度的研究。从长远来看，我认为我们会在神经网络中引入多种时间尺度。我认为这方面我们还没有充分利用来自大脑的启发。

姚期智：我明白。目前为止，还没有人沿着这一思路产出比当前大型语言模型更好的东西。

辛顿：在当前的计算机硬件上，这是无法高效实现的。

姚期智：是，但至少对我们来说，想出如何利用大脑的生物结构并不容易。当然，这是有原因的，因为我们无法像对大型语言模型那样轻易地在人体大脑上做实验，对吧？所以我觉得，现在可能正是该反思一下脑科学能否从大型语言模型中学到点什么的时候了。顺着这个思路，我来问您第二个问题：您认为在人类大脑中是否存在类似于Transformer那样的结构？

辛顿：好的，那我先来针对你刚才所说的第一部分评论一下。我认为，过去二十年里，大型语言模型乃至AI整体的成功确实对神经科学产生了影响。在AI取得巨大成功之前，神经科学家们并不清楚一种学习技术——随机梯度下降（就是计算出梯度然后沿梯度下降）——是否能够在非常庞大的网络中发挥作用。符号派AI有着悠久的历史，其中人们一直声称这种方法永远行不通：你不能从随机权重开始然后沿着梯度下降，就期望得到有意义的结果。这种立场看起来有道理，但却是错的。而大型语言模型证明了，沿着梯度进行学习在真正庞大的系统中非常有效。这给神经科学上了一课。

至于Transformer问题，乍看之下，你没法把Transformer套用到大脑上，因为Transformer会记住许多前面词语的表征，而在Transformer里，那些表征是以神经活动的形式被记住的。这在大脑中是完全不可能的——你的神经元不够用。你无法记住所有之前词语的活动模式。

因此，这正是快速权重派上用场的地方。你需要这样一种系统：对先前词汇的表征不是以神经活动模式存储的，而是作为联想记忆中权重的临时修改来存储，以便你可以访问它们。通过这样做，你实际上可以用快速权重实现一个非常粗略的Transformer版本。虽然不完全一样，但通过快速权重实现的方法非常相似。因此，我至今对快速权重感兴趣的原因之一是，我认为这是让大脑具备类似Transformer功能的唯一途径。

姚期智：但这就要假定，尽管大脑不同于大型语言模型，它也使用类似词嵌入的东西。

辛顿：我想是有的。很久以前——大概2009年左右——曾有一些研究通过MRI获取大脑信息，尝试判断人们在想哪个单词。结果成功了。所以，一个单词的表征就是大脑中一种神经活动模式，而且通过观察这种神经活动模式，你大概可以猜出那是什么单词。很明显，大脑是通过许多神经元的活动模式来表征单词的。

AI真的“理解”语言吗？它有主观知觉吗？

姚期智：现在我想转向一些更具哲学性的问题。您在今天早上（7月26日）的演讲中，有一句非常重要的表述，您认为完全可以说大语言模型理解它们自己所说的句子。可以再详细阐述一下吗？

辛顿：我这里可以讲一个故事。我曾第一次在和我女儿的争论中输给了她，那时她才4岁。她下楼来对我说：“爸爸，你知道吗？鹦鹉会说话。”我说：“不，Emma，鹦鹉不会说话。它们只是能发出听起来像说话的声音，但那只是学舌，它们不明白那些声音的含义。”她说：“不，你错了，爸爸。它们会说话。”于是我说：“不，Emma，它们并不理解这些词的意思。”她说：“会的。我刚看了一个节目，一个女士给鹦鹉看了一辆汽车，鹦鹉就说‘汽车’。”就这样，我在和我4岁女儿的争论中输了。

我觉得如今的语言学家在某种程度上也有点类似。语言学家们最初的反应是：“哦，这些玩意儿并不会说话。这些玩意儿并不理解它们在说什么。这些东西只是用来预测下一个词的统计技巧。它们没有任何理解能力。”这种看法有好几处是错的。

首先，如果你真想把下一个词预测好——你就需要已经理解了别人说的话。所以有趣且对我们大有帮助的一点是，仅仅通过努力预测下一个词，如果你想把它做到极致，你就迫使系统去理解那个问题。现在仍然有语言学家说这些东西什么都不理解。但我认为现在的情况是，任何真正用过大型语言模型的人都不可能相信它们听不懂你在说什么——它们显然能明白你的话。

而我最有力的论据是这样的：假设我对一个大型语言模型说：“我在飞往芝加哥的途中看到了大峡谷。”大型语言模型回答：“那不可能对。大峡谷太大了，飞不起来。”然后我对模型说：“不，我不是那个意思。我的意思是，在我飞往芝加哥的途中，我看到了大峡谷。”大型语言模型说：“哦，我明白了，我误会了。”如果刚才那算是它的误解，那它在其他时候又是在做什么呢？

姚期智：延伸这一思路，我会假设现在那些多模态聊天机器人不仅能够理解，它们还能做到更多，对吗？

辛顿：是的。我认为有一个很大的问题，就是这些多模态聊天机器人是否有知觉？不同的人用不同方式表达这个问题。有些人问，它们有知觉吗？有些人问，它们有意识吗？还有人问，它们有主观体验吗？那么我们来讨论一下主观体验的问题。

在我们（至少是我的文化）文化中，大多数人认为我们有一个叫作心灵的“内在剧场”（inner theatre)，在这个内在剧场中发生的事情只有自己能看到。举例来说，如果我喝多了，我对你说：“我有一种主观体验，觉得有粉红色的小象在我面前漂浮。”西方文化中的大多数人会将此理解为：在内在剧场中，有小粉红象在眼前漂浮。

如果你问这些小象是由什么构成的，哲学家会告诉你它们是由感质（qualia）构成的：由粉红色的感质、大象的感质、漂浮的感质，通过某种感质“胶水”粘在一起——由此你可以看出，我并不太相信这个理论。

有一种完全不同的理论，来自丹尼尔·丹尼特（Daniel Dennett）等哲学家。他们认为根本不存在什么内在剧场，当你谈论主观体验时，你并不是在说自己心中只有自己能看到的事务，你其实是在试图向别人解释你的感知系统哪里出问题了。所以，让我把“有小粉红象在我眼前飘浮的主观体验”这句话换种说法：“我的感知系统骗了我。但是如果外部世界中真的有小粉红象在我面前飘浮，那我的感知系统说的就是真话。”因此，当你谈论主观体验时，你是在向他人传达你的感知系统出了问题，这就是这些体验被称为“主观”的原因。而你是通过描述一种假想的世界状态来做到这一点的——这些小粉红象并不是由什么叫感质的奇怪东西构成的，它们是主观假想的真实粉红小象。

现在让我把这个套用到聊天机器人上。假设我有一个多模态聊天机器人，它会说话，会指物，配有摄像头。我训练它，然后在它面前放一个物体，对它说：“指一下那个物体。”它指向了那个物体。现在我在摄像头镜头前放一块棱镜，干扰了它的感知系统。然后我再在它面前放一个物体，对它说：“再指一下那个物体。”结果它指向了那边。我说：“不，物体不在那边，它其实就在你正前方。但我在你的镜头前放了一个棱镜。”聊天机器人说：“哦，我明白了，是棱镜折射了光线。所以物体其实在那里。可是我的主观体验是它在那边。”

如果聊天机器人这么说，那么它使用“主观体验”这个词的方式和我们人类用的一模一样。这也是我相信当前的多模态聊天机器人在其感知系统出错时具备主观体验的原因。

姚期智：我觉得这非常有说服力。但哲学家们听到这种论断时，会跳起来，非常恼火。

辛顿：哲学家都是这样的。

姚期智：是，但如果我们单纯站在科学家的立场来看待，这些问题的答案重要吗？因为当你在科学讨论中完全排除掉这些问题，它不会减少什么，也不会增加什么。是这样吗？

辛顿：我认为在政治层面上这非常重要。我觉得许多人对超级智能的恐惧没有应有的那么大，因为他们仍相信我们身上有某种特殊的东西——主观体验、感知能力或意识——是这些其他系统永远无法拥有的。也就是说，我们很特别。我们有一种神奇的组成部分，而AI没有，所以我们觉得会没事。我认为那是无稽之谈，而且是危险的无稽之谈，因为它会让我们自满。

训练一个善良的AI可能吗

姚期智：我想我们第一部分差不多要结束了，但我有个问题一直迫不及待地想问您：您认为AI领域最重要的未解决问题是什么？

辛顿：我认为最重要的未解决问题是：如何训练出一个善良的AI。我们需要知道如何训练它们，使其不想接管一切，而目前没有人知道该怎么做到这一点。

我的猜想是，这很像养育孩子。养孩子的时候，你可以给他定规矩，但那几乎不起什么作用。你可以奖赏或惩罚他，可能会有一点效果。或者你可以给他展示好的行为榜样。如果父母表现出良好的行为，孩子通常会成长为一个品德高尚的人。所以我觉得我们应该用精心筛选的数据来培养AI。当AI开始学习时，它只接触好的行为。我们把所有人的不良行为先存起来，等它学会了什么是好的行为之后，再把那些不良行为给它看。

姚期智：是啊，如果这样行得通，那肯定能解决很多有关AI未来发展的问题。不过让我再追问一下，因为我觉得，要训练出一个完全善良的AI比看起来要难。而且我怀疑，你多少可以证明那是不可能的。

我相信，这个世界上有好人，也有坏人。但事实上，好人也可能在不同环境下变成坏人。所以我认为，“善良”这种特质也是和情境相关的。如果你在一个环境恶劣的社区长大，要成为常人眼中的好人是很难的。

我的担忧是，假设——就像你养育一个孩子，如果他成长在富裕家庭、良好社区，他会成为彬彬有礼的人。但在极端压力下，比如战场上——有时你必须做出价值判断。如果机器人在许多那样的情境下接受训练——我猜想，一台好机器人，如果你让它承受巨大的压力，并且一旦做错就会被销毁，那么它就会变得非常冷酷无情。

所以我的意思是，我觉得要做到你说的那一点，一个宏伟的理想是我们应该首先改造人类本身。如果我们能得到一个善良占上风的世界，然后我们再用这种方式训练机器人，那么最后大家都会很满意。但如果我们无法让人类社会达到那种状态，我认为我们就无法保证那些心怀不轨者不会制造出带有敌意的机器人来消灭所有善良的机器人。

辛顿：但我们没有那个时间。事实上人类为此已经努力了很久了。人类社会运转良好这个目标，我们尝试了很长时间。联合国并没有实现最初的设想。我认为我们没法及时做到你说的那点。我们不可能以足够快的速度改革人类社会，来赶上应对即将到来的超级智能AI威胁。

还有一个替代方案，听起来有点像硅谷的想法：假设我们能造出一个大体上善良的AI，然后让它去设计一个更善良的AI。也许要真正解决如何制造善良AI的问题，你需要一个比我们聪明得多的AI来完成。所以可能可以用递归的方式让AI变得越来越善良，有点像机器学习中的提升（boosting）：你先有一个弱学习器，再把它变成强学习器。这是一个可能的路径。

但就像我说的，目前我们还不知道怎么做到。我只是不认为首先改造人类社会会是一个选项。

姚期智：是的，我能在一种情况下看到一线希望，也就是假设 AGI 的发展是渐进的，并不是一夜之间突然就支配了我们。当迹象已经非常清楚地表明机器人将接管世界，把全人类都扔到一条船上，也许对我们来说那会是好事，让我们汲取教训，认识到人类的局限。

我想我们或许太心高气傲了。我们以为可以拥有一切，但整个宇宙并不那么仁慈。掌握量子、核以及生物合成的秘密知识并非毫无代价，这是一个我们人类应该意识到的危险。我们应该珍惜自己的好运，因为我们竟然能走到今天、领悟数百年来所有这些卓越的思想，实在是个奇迹。

当AI更加强大，我们该如何理解它

辛顿：我有几个关于量子计算的问题想问你。第一个问题是，大多数物理理论在极端条件下都会失效。你认为有没有可能，我们对量子力学的理解也无法一直成立？也就是说，在某些情况下——比如无法保持非常复杂的纠缠，而量子计算依赖于完美维持这些纠缠——最终量子计算实际上可能行不通？

姚期智：我认为按照正统的量子理论，只要量子理论成立，纠缠多少个量子比特都不影响其有效性。但在实践中，就目前而言，物理学家目前能够实现深度纠缠的最大粒子数大概是60个。所以我们距离理想中想要执行的那种量子计算还差得很远。从这个意义上说，这确实是个悬而未决的问题。

不过物理学家或自然科学家的观点是：如果你有一个好的理论，在出现相反证据之前不要去动摇它。我记得在量子计算的早期，有几位非常受尊敬的理论计算机科学家，他们认真质疑过量子因数分解算法是否真的可行，因为物理学家一直无法在实验中实现。但我认为物理学家是能做到的，只是答案尚未揭晓。而我的那些对这个问题感兴趣的朋友，我猜他们内心是想拿诺贝尔奖的。他们觉得，如果计算机科学家设计出量子算法并由物理学家实现，结果发现并不能给出正确答案，那么计算机科学就通过在量子理论中制造了一个悖论而作出了巨大贡献。不过我认为就目前而言，我所有搞量子计算的物理学家朋友都完全忽略了这种可能性。

辛顿：第二个问题：我们先假设量子计算最终能够奏效。你认为在未来比如10到15年内，量子计算会对AI产生巨大影响吗？还是你觉得AI的进展会依靠经典计算来实现？

姚期智：我认为这对AI和量子计算来说确实都是一个前沿问题。因为量子的威力来自一种与AI所带来的能力完全不同的方向。所以自然而然的问题是，终极的计算能力将来自在量子条件下构建AI机器。原则上，我们应该能得到更好的成果，因为利用量子，可以做到一些AI做不到的事情。比如分解大整数——我想几乎没有从事AI的人认为AI真能做到这一点。所以我们不必那么害怕AI，因为有些事我们能做到，而超级智能机器做不到。

辛顿：接下来还有一个不涉及量子计算的问题。有些人认为，我们现在在AI中所做的就是在创造外星生命。我听你说过，如果事情真是如此，我们需要为这些外星生命建立一门心理学。你能详细谈谈吗？

姚期智：我认为我们字面意义上就是在创造外星生物。我记得你今天早上提到，这些超智能机器真的是外星人。我的感觉是，尽管我们同意在科学讨论中去除“意识”和“理解”这些词不会损失什么，但在我们尝试构建机器时，考虑看看能否将这些特性赋予进去以让它们更加善良，实际上可能是有益的。

因此，我确实相信在某个时候 AI 将催生一个独立的学科，也就是机器心理学。我觉得这很有意思，因为机器心理学和普通心理学之间的关系是这样的：目前我们基本上还没有真正的 AGI（通用人工智能），所以我们仍然有许多需要向人类学习的地方。

目前所有智能机器都有一个前提：由人类设计者确定其高层结构。归根结底，AI 大多就是以智能的方式搜索大量可能性的能力，有时这种方式还很神秘，我们无法理解也无法证明。所以假设我暂且不考虑安全问题，只管去设计我所能设计的最聪明的机器，同时努力让它保持善良，那么最好的指导仍然来自人类；我们雇佣聪明的人来思考如何设计体系结构。

我认为目前我们可以利用人类心理学作为指导，对机器进行初步的分类，并对它们进行测试。但我相信，机器心理学最终会比人类心理复杂得多，因为在欺骗方面，它们甚至会比我们人类中最不堪者还要更胜一筹。所以当它们聪明到那种程度，如果我们想研究它们的心理，我认为就得由它们自己的同类来发展这门学科——也就是由机器自己来研究。