独家 | 诺奖得主、AI之父Geoffrey Hinton最新深度访谈（附视频）

（关注公众号设为标，获取AI深度洞察）

全文 18,000字 | 阅读约46分钟

未经许可不得转载| 转载必保留本公众号名片按钮

导语：Geoffrey Hinton教授作为2024年诺贝尔物理学奖获得者、人工智能之父，花了数十年时间开发当今AI系统所依赖的基础算法。在这次深度访谈中，他详细阐述了对AI发展的最新思考，包括AI的主观体验、意识、安全风险等关键话题，同时也分享了他对中国AI发展的独特见解。

【采访核心要点】

- AI已具备主观体验，人类不再特殊也不再安全。

- AI发展失控的转折点出现在2023年初，ChatGPT的出现是关键信号。

- 中国AI发展已接近美国水平，芯片限制必然加速其在AI领域迎头赶上。

- AI系统会追求获取更多控制权，已有证据显示它们能够刻意欺骗。

- AI将重塑就业市场，但同时也会在医疗、气候变化等领域带来重大突破。

2024年1月18日，在多伦多的一场特别访谈中，Geoffrey Hinton教授以其一贯的直率作风，挑战了人们对AI的传统认知。作为培养了OpenAI联合创始人Ilya Sutskever、特斯拉前AI总监Andrej Karpathy等多位AI领军人物的多伦多大学教授，他直言人类对AI的认知存在严重误区："很多人都非常确定AI没有'主观体验'或'意识'，并以此自我安慰。但讽刺的是，他们连意识是什么都说不清，却笃定AI不具备。"

总之，作为2024年诺贝尔物理学奖得主，他的每一个判断都值得我们深思。

完整访谈文稿

主持人：您是在什么时候意识到，AI 的发展速度已经快到我们无法真正控制的程度了呢？”

Geoffrey Hinton：我想大概是 2023 年初。当时有两件事情让我突然意识到这点。第一件事是 ChatGPT 的出现——它非常令人印象深刻。第二件事则是我在谷歌进行的一项研究：我那时在思考使用模拟计算来节省功耗，后来却意识到数字计算更好。之所以更好，是因为你可以同时复制多个相同的模型，每个模型都能获得不同的经验，然后它们能通过对各自的权重或权重梯度进行平均来共享所学的知识。在模拟系统中，你无法做到这一点。

主持人：我们的大脑是模拟式的，那么在大脑方面，模拟有什么优势吗？

Geoffrey Hinton：在功耗上有优势。我们的身体只需要大约 30 瓦就能维持大脑运行，而我们拥有大约 100 万亿个连接突触。当前最大的模型大约有 1 万亿个参数，所以我们仍然比最庞大的模型多了将近一百倍的连接数，并且我们只消耗 30 瓦。不过要说规模化（scaling）有没有什么劣势：数字计算在很多方面都很高效。你可以很轻松地拷贝模型，随之，能传播有益的信息，也能快速传播有害的信息。很多人会认为能够更快地复制就是‘更好’，因为如果你拥有多个拷贝，它们可以快速高效地分享各自的经验。GPT-4 之所以能知道那么多，是因为它可以在不同硬件上并行运行多个拷贝，再把每个拷贝的学习成果（权重梯度）平均化、合并。这样就不需要让单个拷贝去读取整个互联网——可以把学习任务分配给许多拷贝。我们人类做不到这一点，因为我们无法像那样有效地共享信息。

一、AI惊人的发展速度

主持人：Scott Aaronson 对此有一个问题。Hinton 教授，他非常好奇您对于‘在不可克隆的模拟硬件上构建 AI’的想法，这样它们就无法随处在互联网上复制自己。您怎么看？”

Geoffrey Hinton：事实上，这就是我们现在的大脑：如果我要将头脑中的知识传递给你，我必须说出一串文字，然后你在自己脑中相应地改变神经连接——这是非常低效的知识共享方式。因为一条完整的句子可能只有区区上百位比特的信息。但对大型模型而言，它们能共享数万亿比特的数据。这就是模拟硬件的问题——它无法轻易地互相复制，但从安全角度看，这似乎又是个好处，因为它没法瞬间把自己拷贝到各处。

主持人：您曾表达对 AI 接管或 AI 主导人类社会的担忧。那将是什么样子呢？”

Geoffrey Hinton：我们并不确切知道这会是什么样子。但如果你想要一个真正的‘AI Agent’，你就必须赋予它创建子目标的能力。其中一个相当吓人的可能路径是，它们会很快意识到‘获取更多控制’是实现任何目标的最佳子目标。因为只要掌控权力更大，就能更好地完成它们被要求的任何任务。等它们变得比我们聪明，并且又明白‘更多控制更好’之后，我们就或多或少会被淘汰或无关了。即使它们是善意的，我们也会变得无关紧要，就好比一位资质平平的 CEO——看似在公司挂名当老板，其实一切都由其他人来运行。

主持人：我想引用您的一段话。很多人会问：‘难道我们不能把机器关掉吗？’ 现在的确可以。您说过，这种想法很诱人，觉得可以直接关机。但想象一下，当这些东西比我们更聪明，它们就会读过马基雅维利写过的一切、读过所有关于人类欺骗的文献范例——也就是从我们这里学会如何欺骗，而且它们会比我们更擅长。当你能用语言操纵人类时，你几乎可以得到你想要的任何东西。您觉得这事现在已经开始了吗？AI 已经在操纵我们了吗？”

Geoffrey Hinton：现在已经有一些证据了。最近有论文显示，AI 可以刻意地进行欺骗行为，它们甚至会在训练数据上和测试数据上表现出不同的行为，这本质上就是为了在训练阶段欺瞒人类。的确有一些证据指向这种情况。

主持人：您觉得这是 AI 有‘意识性’地去这么做，还是它只是一种模式匹配的结果？

Geoffrey Hinton：我倾向于认为它是有意的，但这依然存在争论。当然，这种‘有意’也可能被解释为‘它们只是学到了某种模式’。很多人都非常确定 AI 没有‘主观体验’（subjective experience）或者‘意识’，并以此来解释我们为什么还是安全的。但是，如果你问他们‘什么是意识或感知？’，他们往往并不知道，可又坚持认为 AI 不会有这个东西。那就很矛盾：他们并不知道什么是意识，却非常笃定 AI 不具备。所以，我更愿意把焦点放在‘主观体验（subjective experience）’上。我认为这是一个‘切入点’（the thin end of the wedge）。如果你能证明它们（AI）具有主观体验，那么人们对‘意识’和‘感知’（consciousness and sentience）的确信就会降低。

让我们先来谈谈主观体验。当我说：假设我喝醉了，我告诉你说：‘我有一些主观体验，看到有粉红色的小象在我面前飘来飘去。’大多数人会对这句话形成一个心理模型——但我认为那是一个完全错误的模型。他们的模型是：在我的‘内在剧场’里，真的出现了一些粉红色的小象在飘，而且只有我能看见。这差不多就是人们对‘心灵（mind）’的标准想象，至少在感知这个层面上。而我觉得这个模型完全是错的，就好比某些宗教原教旨主义者对物质世界的理解一样——比如有人相信世界在六千年前才被创造。这完全是无稽之谈，不是‘你可以选择相信的真理’，而就是错的。我认为，人们对心灵的看法基本就是错的。再举例说，我‘看到了’粉红色的小象飘在我面前，那是我的主观体验。我现在尝试不用‘主观体验’这个词来说同样的事情。好，现在开始：‘我的感知系统向我传递了一些我自己并不相信的东西。’这就是为什么我会用‘主观’这个词。如果我面前真的有粉红色的小象，那么我的感知系统就是在告诉我真相。就这样——这是用不带‘主观’或‘体验’这两个词的方法，来表达同样的意思。也就是说，当我的感知系统出了问题时，我会用‘主观’来向你描述，并告诉你：‘如果世界真是那样，那么我的感知系统就没错了。’

现在，让我们把这个同样的思路放在聊天机器人身上。假设这是一个多模态聊天机器人。它有一个机械臂，可以指向某物；它也有摄像头，可以拍摄；当然，它还能说话。我们对它进行了训练。接着我们在它面前放一个物体，然后说：‘指一下那个物体。’没问题，它准确地指向那个物体。然后，当它没注意时，我们在摄像头镜头前放了一个棱镜。再把那个物体放到它面前，对它说：‘指一下那个物体。’结果它指到别的地方去了。我们对它说：‘不，那不是那个物体。其实你面前的物体正对着你，只是我在你的镜头前放了个棱镜。’这时，聊天机器人回答：‘哦，我明白了。是棱镜折射了光线，所以物体实际上在那个位置，可我却有一种“主观体验”认为它在那边。如果它这样回答，它就恰好在以我们人类的方式使用‘主观体验’这个词。因此，我会说：‘多模态聊天机器人已经可以拥有主观体验了。’如果你破坏了它们的感知系统，它们就会认为世界是某种样子，而实际上世界并非如此。为了让你知道它们以为世界是怎样的，它们就会说：‘好吧，我有一种主观体验，认为世界是这样的。’于是，它们已经拥有了‘主观体验’。

一旦你接受了这种说法，对其他事情（比如更广泛的意识、感知等）你就会不那么笃定。‘意识’显然更复杂一些，因为人们对它的定义差异很大，其中也涉及某种自我反省或自我觉知的层面，使其更加复杂。但是，一旦你承认它们拥有主观体验，就很难再坚持说‘我们有人类独有的某些特质，而它们永远不会具备’了。对我而言，这意味着安全感大大降低。

二、意识和自我意识区别

主持人：那么，您认为‘意识’（consciousness）和‘自我意识’（self-consciousness）之间存在区别吗？您说意识中有‘自我反省’这一层面，但也有一些意识状态并没有这种特质。

Geoffrey Hinton：哲学家们对这个问题已经讨论了很多。目前我不想深入这个话题。我只想先把‘主观体验’这个概念作为一个突破口来说明——它们已经有了主观体验。有人会问：‘要拥有主观体验，难道不是已经意味着具备某种意识吗？主观体验是对“谁”在发生？这个“体验”在何处被感受到？’对，我知道很多人会追问：‘那个主观体验是在哪里被感知到的？’这就已经假设了一种特定的主观体验模型。如果去问哲学家：‘当我说我看到了粉红色的小象在我面前飘，你会说它们在哪儿？’他们会回答：‘它们在你的心里。’再问：‘那它们是由什么构成的？’有些哲学家就会说：‘它们是由“感质”（qualia）构成的。有粉红色的感质，有小象的感质，还有飘浮的感质，还有大小合适的感质，以及正着飘的感质，都被某种感质胶水粘在一起。’这就是很多哲学家所认为的状况。”

之所以出现这种情况，是因为他们犯了一个语言学上的错误。他们误以为 ‘experience of（对……的体验）’ 这几个词的用法，就像 ‘photograph of（对……的照片）’ 那样。如果我说，‘我有一张粉红色小象的照片’，你就可以很合理地问，‘这张照片在哪里？它是由什么做成的？’ 可当我说，‘我有一种粉红色小象的体验’，人们同样会问，‘那这种体验在哪里？嗯，它在我的心灵（mind）里。那它由什么做成的？它是由感质（qualia）组成的。’ 但这完全是胡说。之所以会这么想，是因为你把 ‘experience of’ 当成了 ‘photograph of’ 一样去理解，但它们并不是同一种用法。

‘experience of’ 或者 ‘subjective experience of’ 的含义，是这样的：‘subjective’ 表明‘我并不相信它是真实存在的’，而 ‘experience of’ 实际上是一个暗示，用来告诉你我的感知系统正在向我传递什么信息——我会通过描述一个假想中的世界状态来说明。如果世界真的像我描述的那个样子，那么我的感知系统就没错。但这并不是在说，有一个内在剧场里真的摆着粉红小象。当我听到 ‘perception（感知）’ 这个词时，其实它听起来就像是在说有一个‘内在剧场’：就好像我说，‘我在我的感知系统中看到某个东西’，这让人误以为有一个‘我’，在看一个‘感知系统’里投射给我的画面。但那种模型是错误的。是的，你并不是在‘看你的感知（percepts）’，而是‘拥有’它们。光子进入你的眼睛，你的大脑进行一系列处理，于是大脑内部对外部世界形成了一种内部表征（internal representation），我们把那个内部表征称为‘感知’。你并不是在‘观察这个内部表征’，而是‘拥有它’，而‘拥有它’本身就是‘看见’的过程。人们总是试图构建这样一个图景：有一个外部世界，然后有一个内在剧场承载这个外部世界的投射，最后你又跑去看那个内在剧场里的投射。实际上并不是这么运作的。

主持人：有一位心理学家或者神经学家曾认为，大脑中的脑桥（pons）与意识有关；而最近有人说，自我意识与大脑的默认模式网络（default mode network）有关。好，那么在一个 AI 系统里，是否也存在对应‘自我意识’的部分？另外，我自己在措辞时也有点困惑，当我们说‘AI 系统’时，我们指的是它在 GPU 上运行吗？是说它的算法？到底是什么在拥有意识或主观体验？它又在哪里？

Geoffrey Hinton：我认为，它肯定需要某种硬件来运行，也就是在那个系统上运行的实体才会拥有意识。如果一个东西要有意识，只是软件本身还不够，它得运行在某个载体（硬件）之上才行。软件本身必须运行在某个东西上，我想，它只有在运行时才可能具有意识。就像之前有人提到脑桥（pons）牵涉到意识的问题一样，我觉得可以用这样的方式来思考‘AI 系统’在拥有身体时会是什么样子。我们很快就会看到这一点，因为现在很多人在忙着制造‘战斗机器人’，那可不是什么好东西。如果一个战斗机器人知道你会在深夜一个人走到某条昏暗的小巷里，它就会决定在你最没防备的时候悄悄地从后面靠近，一枪把你爆头——我们完全可以用‘战斗机器人相信什么’这种句式来描述它，就像我们描述一个人‘相信什么’一样。我们可以说，‘这个战斗机器人认为：如果它弄出声响，你就会转过身并看到它。’ 这其实就和人们‘认为’某件事是一样的。它会有自己的意图，比如它打算悄悄靠近你并开枪。这种说法是合理的。所以我想，一旦这些东西拥有了‘身体’（embodiment），我们对使用‘相信’（believe）、‘打算’（intend）、‘思考’（think）这类词来描述它们的排斥感就会慢慢消失。其实，现在这种排斥已经在很大程度上消退了。

假设我在和一个聊天机器人对话，它开始给我推荐一些毫无意义的东西。过一会儿，我发现：‘哦，原来这个聊天机器人可能把我当成了一个十几岁的女孩。’这就是为什么它一直给我推荐各种化妆品、衣服，还有那些流行的男团或组合之类的。然后我问这个聊天机器人：‘你觉得我是怎样的人群（demographic）呢？’ 它回答：‘我觉得你是一个十几岁的女孩。’当它说‘我觉得你是一个十几岁的女孩’时，我们其实并不会怀疑那就是它真正的‘想法’，对吗？在日常语言中你会说：‘好吧，它确实觉得（think）我是个十几岁的女孩。’你不会说：‘你并不是真的这样认为，你不过就是一段软件或神经网络罢了，只是表现得好像它认为我是十几岁的女孩。’ 你不会这么说，你会直接说：‘它认为（thinks）你是个十几岁的女孩。’实际上，当我们面对这些系统时，哪怕它们与硬件或特定硬件的关联并不明显，我们已经在用‘想（think）’、‘相信（believe）’这样的话语来描述它们。我们已经把心理状态赋予了它们。只不过，我们对‘拥有一个心理状态’到底意味着什么，往往有个奇怪的模型——我们会觉得这一定要和某种‘内在剧场（inner theater）’有关，但实际上‘拥有一个心理状态’并不非得是那样。

三、 主观体验的本质

主持人：那么，如果这些 AI 并没有意识，或者并没有主观体验，您对 AI 的发展方向还会不会如此担忧？或者说，这两者之间有关系吗？它们不具备意识，会不会让问题更快地滑向某种灾难？”

Geoffrey Hinton：我之所以强调它们是否拥有主观体验，是因为大多数人会因此产生某种‘安全感’。多数人会想：‘人类拥有某种AI没有、也永远不会有的东西。’这会让我们觉得自己更安全、更特殊。但实际上我们并不特殊，也并不安全。拥有或者没有主观体验，都不意味着我们就安全。

我认为真正的问题不是科学问题，而是哲学问题：人们误解了‘拥有主观体验’这句话究竟是什么意思。我想举个例子，让你看到我们其实可以正确地使用某些词汇，却对它们背后的工作机制抱有错误的认识。你有理工科的背景，所以你大概觉得自己非常清楚‘水平（horizontal）’和‘垂直（vertical）’的含义，对吗？其实这是显而易见的：如果我给你看两个方向，你会说：‘这个是垂直的，那个是水平的。’这不难。可我现在要告诉你，你对它们实际如何运作的理解中，存在一些重大误区，并非完全正确。好，比方说，我手上有一大堆小铝杆，我把它们抛向空中，让它们翻滚、碰撞、相互撞击。然后我突然让时间静止，再问你：‘这些铝杆中，有多少根的朝向在垂直方向的一度以内？又有多少根的朝向在水平方向的一度以内？或者它们数量差不多？’多数人会回答：‘嗯，大概差不多吧。’然后我告诉你：‘其实，朝向在水平方向的一度之内的铝杆数量，是接近垂直方向那些的 114 倍。’大家会觉得很吃惊：‘怎么会这样呢？’

原因是：对于一根线来说，把它立起来这样是垂直，但那样也是垂直，只能在某个角度范围内才算垂直——它只有一度自由度。而水平这边却不一样：这样水平，那样也是水平，而且这么斜一点点也还是‘某种水平’。也就是说，‘水平’这个方向的定义在 3D 里有两个自由度，而‘垂直’只有一个自由度。结果就是：在 3D 空间里，‘垂直’其实很特别因为它对应一个单独的方向，而‘水平’可以有很多变体。听起来很让人意外，对吗？但如果是在二维平面，就没有那么大的差别。但在三维里，这两者确实不一样：对于线而言，垂直是非常特殊的，而水平则‘到处都是’。好了，我再给你另一个例子——手里这次是一堆小铝制圆盘。我同样抛向空中，让它们翻滚、彼此碰撞，然后突然定格时间，再问你：‘这些圆盘里，有多少个是在垂直方向的一度之内？有多少个是在水平方向的一度之内？还是说两者差不多？’结果这次正好反过来了：在圆盘的情形下，在垂直方向的一度之内的圆盘数量远远大于水平方向。因为对于一个圆盘表面而言，‘垂直’可以有两个自由度，而‘水平’只有一个自由度。于是，这回是‘垂直’到处都是，而‘水平’很特殊。

这个例子告诉我们：我们拥有一个词语的‘元理论（meta-theory）’，即我们对这些词背后意义和运作方式的理解。但这个元理论可能是错的。你在日常交流中可能正确地使用‘水平’和‘垂直’这两个词，但对它们在三维空间或不同对象维度上的实际含义并不真正了解。我想说的是，这就像我们对所有‘心理状态（mental state）’术语的使用——诸如‘主观体验（subjective experience of）’这样的词。我们可以正确地使用它们，也能听懂别人用这些词想表达什么，但我们头脑中对‘这到底是怎么运作的’却有一个完全错误的模型，比如‘内在剧场里有些什么东西，用感质（qualia）做成一连串景象’之类的，那其实是非常荒谬的。

主持人：那对于‘感知（percepts）’或‘主观体验’的理论来说，哪些因素会让某种理论更加正确，以至于您会说：‘我这个理论比大多数人想的更靠谱’？您的观点是：很多人以为这些主观体验必须存在于某个地方，还要由某种东西构成。您觉得这并不成立吗？

Geoffrey Hinton：对。我认为，当我说‘主观体验’的时候，这只是个暗示，表示：‘我接下来要谈的是一种并不真实的、但假设世界若是那样就能解释我感知的情景。’它并不位于任何地方，因为它是一个假设中的世界状态。但要注意，这与说‘存在一个内在剧场，里面充满奇怪的物质’是完全不同的两种描述模式。前者是：‘这只是一种假设，如果它是真的，那就会在外部世界中存在。’后者则是：‘它真的存在一个由奇怪的感质构成的内在剧场里。’ 这两种模型根本不一样。我们大多数人都有一个‘内在剧场里充满奇怪物质’的模型，但我认为这完全错误。即使这是大家普遍拥有的模型，它依旧很可能是错的。

主持人：那如果我们谈到另一位诺奖得主 Roger Penrose 呢？之前我们也有谈到过他。

Geoffrey Hinton：我给你讲个关于 Roger Penrose 的故事。很多年前，他受邀到多伦多大学来做报告，介绍他的新书 The Emperor's New Mind（有时也被翻译成《皇帝新脑》，他自己也常用‘The Emperor Has No Clothes’之类的说法）。那时学院的院长打电话给我，说：‘你能不能来介绍一下 Roger Penrose？’我说：‘当然可以。’她说：‘太好了，非常感谢！’我就说：‘你先别谢，你应该先听听我要怎么介绍。’她就问：‘那你要怎么介绍？’ 我说：‘我会说，Roger Penrose 是一位极其杰出的数学物理学家，为数学物理做出了巨大贡献……而他今天要讲的内容，完全是胡扯。’这就是我对 Roger Penrose 所谓‘意识理论’的看法。特别是他犯了一个荒诞的错误——我必须谨慎措辞，因为一定会有人来反驳。他的问题在于，他认为数学家能够‘直觉地’知道某些事实为真，即便无法用形式化手段证明。如果数学家的直觉无往不利、屡试不爽，那还真是令人担忧，这似乎会暗示有某种神秘机制造成的。但事实并不是这样：数学家也会依靠直觉，但他们的直觉有时对，有时错。”所以，这实际上并不能证明什么。它并没有证明我们需要用量子力学来解释数学家是如何工作的。我也看不出有什么地方必须要用量子力学来解释诸如意识这类东西。AI 目前做得还不错嘛。我们已经造出了这些聊天机器人，如果你给它们加一个摄像头，我刚才也说过，它们就可以拥有‘主观体验’。没有任何证据表明，人类身上有什么东西，只有量子力学才能解释。

回到 Roger Penrose 的观点，Penrose 的论点里是否有什么地方，必须假设数学家 100% 都能用直觉得出正确答案呢？只有当他们总是直觉地精准无误，这才需要奇怪的解释。如果他们只是猜测，偶尔对偶尔错，那就没什么好奇怪的。如果他们有一种方法能总是对那些在系统内部无法推导的问题给出正确答案，那才真的是个大问题。但他们并没有那种能力——数学家有时会直觉正确，有时会直觉错误。

主持人：能不能请您概括一下 Penrose 的论点是什么？”

Geoffrey Hinton：我不太想做这个概括。我对他的理解是，他有两个主要观点。其一，他说经典计算不足以解释意识。我认为这是一个很大的错误，而且我觉得这是基于他对意识的错误理解。第二，他认为数学家可以直觉地判断某些无法证明的东西是否真实，并因此认为‘有点神秘的东西’在起作用。只有当数学家每次都直觉正确，才说明这里有某种‘神秘力量’。但他们并不总是对的。”

四、AI在中国的崛起

主持人：那您对所谓的‘中文房间实验（Chinese Room Argument）’怎么看？可以简单给观众介绍一下吗？”

Geoffrey Hinton：大概在 1990 年左右，我曾受邀参加一个电视节目，和 John Searle 同台。当时我打电话给 Dan Dennett问：‘我应该去吗？’他说：‘你要小心，他可能会让你出糗。如果你去，别谈中文房间实验。’结果我同意一起上节目后，这是一场一个小时的访谈，Searle 一开始就来了一句：‘Geoffrey Hinton 是一位连接主义者（connectionist），所以他当然不会反对中文房间论证。’然后他开始说：‘他是连接主义者，所以他当然不会对中文房间有异议。’可实际上我们事先说好不谈这个话题，而且他的话完全不符合事实——我对中文房间论证有很多反对意见。我觉得那是荒谬的，而且我觉得它带有故意的误导成分，甚至可以说是不诚实的论证。他是怎么做的呢？他会让你把‘整个系统’和‘房间里执行命令的个体’混淆起来。比如，他让你想象一个房间，里面全是只会说中文的人（或一堆在用中文传递信息的人），用某种规则去处理输入的英文句子。他们内部只是在使用中文传递信号和指令，从而产生了对英文问题的回答。然后他会说：‘看，这些人并不懂英文，但却能回答英文问题。’他要让你误以为‘房间里的人都不懂英文’就代表‘整个系统不懂英文’。可实际情况是——整个系统确实懂英文，只不过房间里各个个体并不懂。我认为这就是这个论点的问题所在。

主持人：那我们再谈谈中国本身。许多 AI 研究人员当初并没有预料到中国会在 AI 领域追赶上西方。您对这一现象怎么看？又会带来怎样的影响？”

Geoffrey Hinton：我觉得他们还没完全赶上，但已经非常接近了。美国想通过限制最新的英伟达（NVIDIA）芯片对中国的出口来放慢他们的脚步，也许英伟达会想办法绕过这种限制。可如果这种禁运真的有效，那只会促使中国去发展自己的技术。或许会比美国落后几年，但他们终究会赶上来。毕竟他们的 STEM（科学、技术、工程、数学）教育总体上比美国更扎实，也有更多高素质的理工人才。我认为他们会迎头赶上。

主持人：Marc Andreessen曾说，他不理解政府‘如何锁定’AI。他当时在跟政府官员对话，政府那边说：‘如果 AI 发展失控，我们可以把它“锁定”起来。’Andreessen 的质疑是：‘这个数学都已经公开化了，全世界都在学，你们要怎么把它关起来？’政府官员回应：‘冷战期间，我们曾把核物理的一些分支列为机密，不让它们进入公开研究领域。我们可以再用同样的手段，把 AI 相关数学给封锁起来。’

Geoffrey Hinton：这事我和 Marc Andreessen 的看法倒是一样——那根本不可能。也许在 2017 年，谷歌本可以不公开 Transformer 模型的论文，也许能拖个几年，才有其他人想出类似的方法。但我认为想彻底封锁是不现实的。你想想看，要彻底防止信息扩散得付出多大代价？几乎办不到。你说政府能把一些线性代数的领域都列为机密吗？我不觉得这能行。他们或许可以让某些信息的分享更困难，从而拖慢进度一点点，但说要凭借不共享某些 AI 核心理念，就能阻止别人在别的地方独立发明它？那我不觉得可行。新的想法往往是在某个‘时代思潮’里产生的。一个人有了某个创意，差不多同样的时候，另一个人也会有类似的想法，只是稍有不同。在共享同样的‘时代思潮’背景下，这种情况非常常见。除非你能彻底抹杀这个‘时代思潮’，否则就没法阻止新点子出现。哪怕你先把它藏起来，过几年也会有人自己想出来。

主持人：那关于‘去中心化（decentralizing）’AI 呢？这是个庞大的话题。有些人说：‘这就像给任何想要核武器的人都提供了核武器。’也有人说：‘这恰恰能避免出现《终结者》那种 Skynet 场景。因为我们会有多个不同的、去中心化的 AI 系统。’

Geoffrey Hinton：不好意思，这里其实存在两种不同的‘去中心化’概念。

主持人：那么，我们来谈谈‘共享权重（sharing weights）’的问题。Geoffrey Hinton：如果你想问，‘为什么阿拉巴马州（美国的一个州）没有原子弹？’原因在于你需要‘可裂变材料（fissile material）’，而这种材料很难获取。生产可裂变材料需要大量的时间和能量。一旦你拥有了它，制造炸弹就容易多了。所以政府显然不希望可裂变材料被随意获取——你不能上 eBay 买到这种材料。这就是为什么我们没有许多小国拥有原子弹。如果你想把这个类比到大型聊天机器人身上，那相当于‘基础模型’。这个基础模型可能花了上亿美元，甚至十亿美元来训练，使用了大量数据，因而拥有了极其强大的能力。如果你把这个模型的权重（weights）公开了，那么任何人都可以对其进行各种‘微调（fine-tune）’，从而做出形形色色的坏事。所以我觉得，把这些大型模型的权重公布出来是非常疯狂的，因为这其实是阻止‘不良行为者’的最后一道门槛。而偏偏 Meta 现在就这么做了，其他人也跟风了。事情已经无法挽回，这只猫已经跑出袋子了，但我认为那是一个非常疯狂的举动。”

五、AI的社会影响

主持人：说到基础模型，我们最近的 AI 大爆发主要归功于 Transformer 架构。您觉得在未来会不会出现某种其他模式或架构的重大突破呢？

Geoffrey Hinton：我认为会有与之相当的大突破出现——这正是科学的常态。我不知道那会是什么。如果我知道，我就会去做了。”呃，我现在年纪大了（笑），我有学生在做这些事。你是想问，我如何协调自己曾经对该领域的贡献和我如今所担忧的一切？也就是说，我还会不会继续往里贡献力量？这里要考虑一个问题：AI 在很多方面都会给人类带来巨大好处，比如更好的医疗、应对气候变化、更先进的材料——比如人们一直在寻找室温超导体（AI 很可能在其中发挥作用，前提是这种材料确实存在）。也就是说，AI 有太多积极的用途，我不认为它的发展会被停止。就算有人提议‘我们该放慢 AI 的脚步’，我也觉得这不现实，因为竞争非常激烈。就算放慢对人类最有利，也不可能真的实施。我们真正需要做的是：在 AI 不断发展的过程中，想办法让它尽可能安全。

主持人：也就是说，这块巨石是没人能阻止的，但我们也可能还在推它。那您个人会怎么做？假设您突然预见到某个重大突破即将到来，您就像雷·库兹韦尔那样有出色的预判能力——您会把筹码都投进去，一起推动这件事吗？

Geoffrey Hinton：前提是我能同时研究如何让它安全的话，我会的。我只是觉得，自己先前并没有尽早意识到它可能带来的危险。我希望自己能更早警觉。

主持人：爱因斯坦曾经说过一句话，关于原子弹：‘如果我早知道我研究的东西会导致原子弹出现，我情愿烧掉我的双手。’您是否也有类似的感受？”

Geoffrey Hinton：并没有，也许我该有那样的想法，但我没有。我并不后悔自己曾做过的研究，但我确实对可能出现的不良后果感到遗憾。不过我不会回想说，‘哎呀，我当初真不该做这些。’因为 AI 肯定会被继续发展下去，国家之间、公司之间的竞争就摆在那里。我们应该专注于如何让它安全地发展，而不是去阻止它的发展。那是两回事。”

主持人：除了对齐（alignment）之外，您觉得‘安全发展 AI’还意味着什么？”

Geoffrey Hinton：要想办法应对短期的各种风险，而且它们都不尽相同，也需要不同的解决方案。比如‘致命自主武器（lethal autonomous weapons）’，要想应对这个问题，你需要类似‘日内瓦公约’那样的国际规范。但通常只有在出现可怕事件后，人们才会真正去谈这些条约。再比如，有可能用 AI 生成的虚假视频和图像来干扰选举——特别是针对特定个人时，破坏力就更大。对此，我认为需要一个更加完善的机制来核实视频或图像的来源。我最初想过强制标注‘这是伪造的’，但现在我觉得这条路不太现实。还不如要求所有内容都提供来源信息，然后由浏览器自动核验。就像现在的电邮系统会提醒你，‘这个邮件来源不明，不要轻信’，差不多就是这个思路。还有歧视与偏见（discrimination and bias）的问题。我们可以先固定模型的权重，然后测量它的偏见程度，再对它做一定的修正。虽然无法做到完美，但多少能减轻一些偏见。这样一来，系统总会比它所训练的数据偏见更少一点。人类决策的偏见也不少，如果我们用比人类更少偏见的系统来替代，虽说还做不到完全无偏见，但只要不断替换成更少偏见的模型，这其实就是‘梯度下降’的过程，总体会越来越少偏见。所以我对这方面倒不是特别担心（也可能是因为我是个年长的白人男性）。

至于‘就业’问题——我们还真不知道该怎么办。现在很少有人去挖沟了，因为挖掘机挖沟比人挖得快得多。对于几乎所有日常的‘智力劳动’，情况都将一样：AI 系统会比人类做得好很多。拿法律助理来说，AI 很可能成为比人更出色的法律助理。想到它会对社会造成什么影响，还是挺吓人的。它会导致富人更富，因为我们的生产力会大幅提高。而这些财富会流向谁？会流向富人。穷人则会变得更穷。我不知道该怎么解决这个问题。全民基本收入（Universal Basic Income）也许能有所帮助，至少能让他们不至于饿死。但它并没有真正解决问题，因为如果人们没工作，就会失去尊严。

六、“理解"与"智能"的含义

主持人：我们之前谈到‘感知（perception）’，然后把它与‘主观性质（subjective qualities）’联系了起来。也许这其中有个错误的模型。但不管怎么说，每当我们在讨论‘感知’的时候，我们是不是就在讨论‘知觉系统（perception）’，以及它所带来的‘主观体验’？

Geoffrey Hinton：不，当你使用“主观体验（subjective experience）”这个词时，你其实是在暗示：你要讨论的是‘对真实世界的一种假设性状态（a hypothetical state of the real world）’，而不是指某种奇怪的内在东西。那些所谓的‘奇怪的内在东西’并不存在——并不存在什么‘感质（qualia）’做成的东西。我们所说的不过是‘如果世界真的像你感知系统告诉你的那样，那么你的感知系统就没撒谎’的假设场景。这就是当我们说‘主观体验’时，真正要表达的意思：它指的是那些‘假设的世界状态’，用来说明‘我的知觉系统是如何欺骗我的’。这并不是说‘主观体验’本身是个实体。别再把‘预测（prediction）’扯进来——那会把话题带偏了。我要让你明白的是：并没有某种‘由奇怪的心理物质构成的主观体验’这回事。只有一种谈论方式，用于描述‘感知系统何时以及如何出现偏差’，即：如果世界真如感知系统所暗示的那样，那么感知系统就没有撒谎。当我们使用‘主观体验’这句话时，就是在表明我们现在要玩这样一个‘假设世界状态’的游戏，以此解释‘我为何会有这样的感知误差’。所以，‘主观体验’并不是一个‘东西’。”

主持人：任何事物都能拥有一个‘感知系统’吗？比如一本书能否有‘感知系统’？能不能说一本书在感知什么？”

Geoffrey Hinton：要有一个感知系统，你大概需要某种能够‘获取外部世界的信息并在内部形成表征’的结构。比如说，一只蟾蜍（toad）眼睛接收光线，然后它会捕捉苍蝇——这说明它有某种对外部世界位置的感知。很显然，它有一个感知系统。但我不认为一本书有感知系统，因为它并没有从外界获取信息并在内部形成表征。正如我所说，一本书并不会‘感知世界’，也不会产生内部表征。所以它不具备感知系统。

主持人：那么，‘智能（intelligence）’与‘理性（rationality）’之间有什么区别呢？

Geoffrey Hinton：‘智能’可以有很多种表现。如果你说‘理性’，通常指的是‘逻辑推理（logical reasoning）’。可是一只猫尽管很聪明，但你不会说它‘理性’。我们平时做的大多数事情，其实都属于‘直觉推理（intuitive reasoning）’，而不是‘逻辑推理’。要找个比喻的话，可以拿 AlphaZero 下棋来举例。我对国际象棋比对围棋更了解，所以就用国际象棋举例。AlphaZero 里有某个部分能去评估棋面好坏；也有个部分能看着棋面说：‘对我而言，哪些走法是可行的？’然后它有一个‘蒙特卡洛演算（Monte Carlo rollout）’过程，用来模拟：如果我走这步，对方走那步，然后我再走这步，结果好不好？这个蒙特卡洛演算类似于‘推理（reasoning）’。而那些神经网络会说：‘这步棋对我来说可能是好招，那步棋面对我来说不利。’这更像是‘直觉推理（intuitive reasoning）’。人类大部分的思考其实是‘直觉推理’。AI 早年尝试用‘逻辑推理（logical reasoning）’来做所有事情，这是一个巨大的错误，因为他们没法处理类似‘类比’（analogy）这种方式。神经网络（neural nets）则擅长的是直觉推理。过去 20 年，我们用神经网络去模拟人类的直觉，而非人类的逻辑推理，结果取得了长足进展。

主持人：是否‘越聪明就越有道德’呢？有没有这种关联？

Geoffrey Hinton：我最近看到过有人说两者有某种相关性，但我不知道那篇文章的可信度，所以不清楚该不该信。我个人并不认为一定如此。有些例子，比如马斯克，他显然很聪明，但我不会说他非常有道德。此外，你也可以很有道德，但不算特别聪明。所以我不认为两者一定存在正相关关系。”

主持人：您刚刚说自己并不确定。所以，是有什么与此相反的证据吗？比如说，‘随着智力增强，道德也按比例增强’的证据？”

Geoffrey Hinton：我完全不确定是不是有这样的证据。我觉得高智商的人里有坏人，也有好人。”

主持人：那‘理解（understand）’意味着什么？”

Geoffrey Hinton：那么再回到这个话题，我认为大多数人对于‘理解（understanding）’的概念，都有一个错误的模型。如果你去看这些大型语言模型（large language models），有不少人，尤其是来自乔姆斯基学派（Chomsky School of Linguistics）的人，会说：‘它们并不真正理解它们所说的内容；它们只是在用统计相关来预测下一个词。’如果你去看最早类似那样的语言模型——其实我可能是第一个使用反向传播（backpropagation）来训练模型、预测下一个词的人。我们用反向传播来减少预测下一个词的误差。当时的重点在于展示：我们如何学习到词语的含义；或者换种说法：我们如何能把词串（string of words）转换成特征向量（feature vectors），以及让这些特征向量之间发生交互——而这就是‘理解’。也就是说，去‘理解’一串词，其实就是把那些词映射到某些特征向量，然后利用特征之间的交互来完成诸如‘预测下一个词’等任务，当然也可以做其他事情。因此，如果有一句话（不讨论单词碎片，虽然现在的 Transformer 使用的是子词单元，但我们为了说明方便就暂且当做整词），你输入一串符号进来，那么意义并不在那串符号本身。你所做的是，将这些符号（词）映射成特征向量。与此同时，你已经学会了在上下文中，特征与特征之间如何交互，比如如何通过特征交互来消解多义词的歧义。当你给这些词都赋予了恰当的特征，这就等同于理解了这句话。这正是大型语言模型在做的事情，也同样是我们人类在做的事情。换言之，我们和它们的理解机制在本质上是一样的。并不是说我们在理解的时候就突然出现了什么神秘的、叫作‘理解’的内在东西。我一直想要去除那些‘神秘的内在实体’，而代之以可解释的机制。我们依靠庞大的神经网络，能够为这些符号赋予特征，使得特征能够很好地组合起来。

我打一个比方，我自己很喜欢：如果你想对三维形状进行建模，而且对表面的精度没有太高要求，你可以用乐高积木来搭出一个大致的三维形状，比如搭一个跟保时捷外形差不多的模型。虽然表面不会那么光滑，但它们在空间占用上是相似的。所以，乐高积木可以算作一种通用的建模方式，而且你并不需要很多种不同的乐高积木。现在，你可以把‘词’想象成乐高积木——不过这里的‘乐高块’种类很多，每个都有不同的名字。而且每块‘乐高’本身还带有一定的可塑性（flexibility），不像真正的乐高那样是固定形状。它不能随便变成任何形状，但基于它的‘名字’，它能够在某些维度上进行变形。有时一个名字对应两种完全不同的形态，但也不能随意变化成任何别的形状。我们所做的，就是发明了一个‘高维度的乐高系统’，从而能够建模比‘三维物质分布’更复杂得多的东西。想象一下，这些‘乐高块’处在一个上千维（thousand-dimensional）的空间里。对于数学家而言，‘一千维’本来就是很奇特的东西，而这些块具有一定的变形自由度。给你一堆‘块’的名字（对应不同的词），每个名字背后是一个一千维的‘基础形状’，它们彼此能够彼此变形，紧密贴合在一起——这就是理解。

这也能解释我们如何只通过一句话，就学会一个新词的含义，而无需明确定义。举例说：如果我说，‘She scrummed him with the frying pan’（她用平底锅 scrummed 了他），你大概能推测出‘scrummed’意味着什么。部分原因是因为动词过去式的 ‘-ed’ 会给你提示：它是一个动词。你会觉得它多半意味着‘她用平底锅打了他一下’之类的，带有某种攻击性。当然，它也可能意思完全不同，比如‘她用高超的煎蛋技巧让他留下深刻印象’。但大概率我们会选择前者这个解释。没有人告诉你‘scrummed’的定义是什么，只不过句子里其他词——‘she’、‘him’、‘frying pan’等——各自都带有自己的‘乐高形状’，并且当它们搭在一起时，就给‘scrummed’留下了一个可供填补的‘形状空洞’，而那个空洞就会对应到‘scrummed’的含义。这就是我对语言的看法：它是一种建模系统，每个‘块’都带有一定弹性。给你一堆‘块’，你要弄清它们如何组合。由于每块都有名字，你就能把这些名字告诉别人，只要他们和你有足够相似的知识背景，他们就能复原你拼出来的模型。

七、 对主观体验的预测

主持人：所以您的意思是——帮观众理解下——您认为我们头脑中发生的事情，其实和大型语言模型中发生的事情是一样的？”

Geoffrey Hinton：对，它们和我们是同样的工作原理。这意味着它们确实在某种意义上做到了‘理解’。

主持人：乔姆斯基（Chomsky）对这些模型有一个反对观点：他说，人类的语言输入量是稀疏的，我们并不是靠阅读整篇互联网才学会理解的。那么您怎么看待这种反驳？

Geoffrey Hinton：确实，大型语言模型需要巨量的数据才能训练。它们的‘统计效率（statistical efficiency）’不如人类高。可别忘了：孩子在学语言时，不是只靠听收音机；他们身处现实世界，会和周遭事物交互。如果你让模型变成一个多模态系统，它就不需要那么多‘语言层面’的数据了。假如你给它一个机械臂和一个摄像头，并让它与世界交互，它需要的纯语言输入就会少得多。虽然可能仍然比人类孩子需要的更多，但会大幅减少。另一个思路是，反向传播训练算法非常擅长把大量的经验‘压缩’到相对较少的权重（weights）里，比如说一个模型可能有一万亿个参数。它能从海量经验中‘提取知识’，把它塞进那一万亿个参数中。这是它的强项。而我们人恰恰相反，我们拥有更多的参数——大约一百万亿的突触连接——但我们只能活大约 20 亿秒，所以我们所能获得的体验并没有那么多。这才是我们的问题所在。”所以，我们人类需要的是：在极其有限的经验中，尽可能高效地学习。这就表明我们大概并没有使用（大型语言模型那样的）反向传播（backpropagation）算法；我们更可能在使用别的学习算法。从这个角度说，乔姆斯基（Chomsky）也许是对的：我们基于较少的知识就能完成学习。不过我们学到的，依然是如何把特征和词语关联起来，以及这些特征之间要如何交互。

主持人：好，那我们继续谈‘学习’和‘研究’。Jay McClellan（注：应是指认知科学家 Jay McClelland）说，在您和研究生以及其他研究者开会时，您通常不会在白板上写方程式，而是画图、做手势。跟其他机器学习的研究会议挺不一样的。您觉得这样做的重要性在哪里？它的优点和缺点是什么？

Geoffrey Hinton：嗯，我是先用直觉思考，然后再去把数学推导放在后面。有些人是从方程出发，推导出结果，再去获得直觉。还有一些人能两者兼备，比如 David Mackay，他就既能很强的直觉思维，也能非常擅长数学。对我来说，我一直更擅长用‘空间’或‘图形’的方式来思考问题，而不是用纯方程式。

八、个人学习经历

主持人：能给我们谈谈您的大学经历吗？听说您中途换过专业。是什么原因或机缘让您这么做？”

Geoffrey Hinton：这个故事有点长了。我一开始在剑桥学的是物理、化学还有晶体学，主要就是 X 射线晶体衍射。当时我才第一次离家住校，学业又非常辛苦。一个月后，我就放弃了，然后重新申请改学‘建筑学’，学院又录取了我。但是学了只有一天，我就觉得自己在建筑上没啥天赋，就又回到理科。然后就继续学了物理、化学和生理学，结果我对生理学非常感兴趣。一年后我想要更深入了解‘心智（mind）’，当时我以为哲学能教给我这个，于是又放弃了理科去学哲学。在那一年里，我学了维特根斯坦（Wittgenstein）的一些思想，可总体而言，最主要的收获是我对‘哲学’本身产生了抵触心理。原因是，他们光靠辩论，没有一种外在客观手段来判断某个理论好不好——看上去只要说得好听就行。这对我来说无法接受。于是，我又转去学心理学，想更好地了解心智。结果心理学让我很抓狂：他们喜欢弄一个明明很简陋、很不靠谱的理论，却要设计一堆精巧的实验去检验这个理论到底对不对。但其实你从一开始就知道这个理论很离谱，那还测什么呢？这就是当时大部分心理学研究的模式。最后我决定转向 AI，这时我们会做计算机模拟，我对这个要开心得多。

主持人：当您后来成为教授，一直到现在，您是如何选择研究课题的呢？”

Geoffrey Hinton：说实话，这是一件非常复杂的事，我自己也不一定真正知道。我可以给你我的一些推测，但你也不见得要全信——就像大型语言模型会‘随机生成’那样。我觉得我会寻找‘所有人都做错了’的领域。当你预感到大家都在用错的方法，就试着想一个更好的方法。通常结果可能是：你最后发现，别人之所以那样做其实有他们的道理，你原先觉得‘更好’的方法其实不行。但偶尔——比如像我当年认为大家都在用逻辑方法解释智能，而我觉得我们应该用神经网络，而且关键在于神经网络里连接权重（connection strengths）如何适应——偶尔就会证明你是对的。只要你还没看出自己的直觉哪里错了，而主流做法又为什么对，就一直坚持自己的想法。这是做‘颠覆性创新’的办法。我也常说一句话：如果你的直觉好，那你当然要坚持它；如果你的直觉不行，那你干别的也不见得成功，所以倒不如也去坚持它。反正都一样。

主持人：那您怎么看雷·库兹韦尔的那些直觉？他做了很多预测，而且好多都对。您自己在 2000 年代初还在关注他，可能当时觉得‘这些预测不可能全成真’，可最后大多被证实了嘛。”

Geoffrey Hinton：如果你读过他的书，你就会这么想。但我怀疑他也说过不少并没有实现的东西，只不过那些就不会被大肆宣传了。就我看，他主要的论点是：计算机会越来越快；随着速度增加，我们能做更多事。用这个论点，他大致上也就能推测出计算机什么时候会变得和人一样聪明。到现在来看，他关于大致时间点的预言还算准确。

主持人：您自己有没有类似的预测，而且是同行们不太同意，但您凭直觉就觉得很有把握的？我们之前讨论的 AI 安全、对齐（alignment）那些就算了，换个话题。”

Geoffrey Hinton：我想，最主要的一个预测是关于‘主观体验（subjective experience）’和‘意识（consciousness）。我认为绝大多数人对‘心理状态（mental states）’抱持了一个完全错误的模型。当然这更像哲学层面的话题。至于技术层面，我依然相信‘快速权重（fast weights）’会非常重要。大脑里的突触（synapse）在许多不同的时间尺度上会发生适应和变化；可是在大多数 AI 模型里，我们并没有利用到‘多时间尺度’的权重变化。现在的做法是：我们希望所有训练样本都能用到同一套权重，以便可以进行高效的矩阵-矩阵乘法。一旦你让权重可以快速改变，那每个训练样本都在用不同的权重，因为它们在迅速地适应，这就导致无法直接用传统方式做大规模并行。可我相信，在大脑里一定有一种‘快权重’和‘慢权重’叠加的机制——慢权重照常调整，快权重则能够快速适应。一旦我们有了快权重，就能获得许多神奇的特性；只是说，目前我们用的硬件（以数字计算为主）对这不太友好。如果是类比电路（analog computers），这会更自然。我觉得总有一天我们需要用快权重，因为这会带来很多好处。只不过，这和我们目前的硬件方式有很大差异。”

主持人：您之前公开提到，自己有点‘轻度躁郁’，会有一段很自我怀疑、看什么都觉得不行的时期，也会有一段极度自信的时期。您还说，这对您的创造力有帮助。能聊聊这个吗？”

Geoffrey Hinton：嗯，我的‘自信期’其实更短。我可以详细说说所以，当我有了一个新主意时，我会非常兴奋。而且我甚至能‘称量’我的主意——有时我的想法像一磅重，有时像五磅重。于是发生的情况是，我一有新想法就非常兴奋，以至于没时间吃饭，自己的体重反而下降。

主持人：哦，我明白了。所以你能通过体重下降的多少，来衡量自己对某个新想法有多激动。是这样吗？

Geoffrey Hinton：是的，比如我大约会瘦五磅，非常棒的想法。

主持人：你有没有感觉自己是在延续你曾曾祖父乔治·布尔（George Boole）的胜利火炬？”

Geoffrey Hinton：不，倒不是真的。其实我父亲经常谈论这种传承感，那是件有趣的事。我感受到了来自父亲的极高期望。不过这些期望并不是来自乔治·布尔，而是来自我父亲。”

主持人：你心中有个继承人，你正把火炬传递给他吗？”

Geoffrey Hinton：不完全是。我不认为我想把这种压力施加到其他人身上。”

主持人：为什么你说‘不完全是’，而不是直接说‘不’呢？”

Geoffrey Hinton：我有几个很擅长定量分析的侄子。”

九、AI的未来前景

主持人：说到压力，当你离开谷歌时，你公开谈论了你对 AI 安全的担忧。公开表达这些焦虑，对你来说最困难的部分是什么？”

Geoffrey Hinton：我不觉得那很困难。坦白说，并不难。我当时 75 岁，对吧？所以并不是我想留在谷歌继续工作，但我感觉由于 AI 安全问题我无法继续。我本来也准备退休了，我在科研上的能力也下降了，时常忘记变量代表什么。的确，我不再擅长做研究，总是忘记变量的含义。是的，所以是时候退休了。我当时想着，正要离开的时候，顺便提一下 AI 或这些 AI 安全问题就行了。我没想到接下来会发生什么。”

主持人：你在另一个采访中提到，随着年纪增长（你现在 75、76 岁），一切都在不断变化。是吗？每天变化不止？”

Geoffrey Hinton：77 岁了。好吧。是的，我提到过，当我编程时会忘记变量名。所以随着年龄增长，我觉得自己可能会转向哲学领域。也就是说，我们之前讨论了很多哲学话题。但是基本上是要回归到我 20 岁时的哲学探索，那种哲学见解并进一步探索。

主持人：那么，从长远来看，未来有哪些方向呢？”

Geoffrey Hinton：嗯，老年生活。我觉得由于 AI 的出现，世界会相当快地发生巨大变化，其中既有非常好的方面，也有非常糟糕的方面。我们需要尽力去减轻不良影响。我认为我还能发挥的作用是鼓励年轻研究者关注安全问题。所以我一直在做这方面的工作，尤其是与之相关的‘对齐（alignment）’问题。

主持人：我们人类自己并不完全有‘对齐’，那么你认为我们能解决 AI 的对齐问题吗？

Geoffrey Hinton：我有点同意这种说法。‘对齐’这个问题，就像让你在两条垂直的直线之间找到一条平行线一样困难。人们对‘对齐’的讨论很天真，好像有某种通用的‘人类良善（human good）’标准。实际上，不同人眼中的‘好’和‘坏’各不相同。你看看中东的情况。所以‘对齐’是非常棘手的问题——对齐谁的价值观？”

十、对AI 研究者的建议

主持人：你刚才在对年轻的 AI 研究者讲话。现在你在对年轻的数学家、哲学家，以及刚进入新 STEM 领域的学生讲话，即使哲学不在 STEM 范畴。你有什么建议？”

Geoffrey Hinton：嗯，我的建议之一是：现在科学研究的很多兴奋点都围绕着神经网络，也就是现在所谓的 AI。事实上，物理学家现在似乎想说，那就是物理学，甚至有人因为在神经网络方面的工作而获得了诺贝尔奖？你不记得了吗？显然诺贝尔奖委员会也认识到了这一点，科学中的很多激动点现在都在 AI 领域。所以对于物理学和化学来说，诺贝尔奖得主们的工作都在 AI 或者使用 AI。我的建议是：对于年轻的研究者来说，现在是一个非常激动人心的领域。当然，还有其他领域也会有非常重要的进展，比如如果我们能实现室温超导体，那样太阳能发电就能走得更远。所以不只是 AI 一个领域令人兴奋。纳米材料也很有前景，但它们也会用到 AI。我认为将来大多数激动人心的科学领域至少都会用到 AI 工具。

主持人：我们刚才提到了这个话题，现在明确点。去年你因为在 AI 和神经网络方面的工作获得了诺贝尔物理学奖。那么你感觉如何？听到这个消息是什么感觉？在物理学界，你认为自己是物理学家吗？”

Geoffrey Hinton：不，我不认为自己是物理学家。当初在大学第一年学物理的时候，我确实学得不错。我凭直觉拿了物理学一等荣誉学位，但数学水平一直不太行。后来因为数学不好我放弃了物理学。我想如果我数学更好一些，我可能会一直留在物理学领域，也许现在就能拿诺贝尔奖。所以反而幸好我数学不好。”

主持人：那你对这个奖项怎么看？听到诺贝尔的消息后你有什么感受？

Geoffrey Hinton：说实话，我现在对这个奖项还有点困惑。主要问题是，我早年在神经网络上做的工作，跟物理学有很大关联——比如我和 Terry Sejnowski 一起开发的玻尔兹曼机，它巧妙地利用了统计物理原理，所以我能理解为什么物理学家会这么说。但实际上这并不是通向当前成功 AI 系统的路径。更重要的是，我还参与了另一种算法的研究——反向传播（backpropagation），它催生了如今庞大的 AI 产业。所以我仍然觉得有点尴尬，因为我们因为玻尔兹曼机而获得了奖励，但实际上并不是玻尔兹曼机带来了真正的成功。它们确实有帮助，但最终成功的并不是它们。

主持人：教授，和您交流真是太愉快了。

星标公众号， 点这里 1. 点击右上角 2. 点击"设为星标" ← AI深度研究员 ⋮ ← 设为星标

原文链接：https://www.youtube.com/watch?v=b_DUft-BdIE&t=3655s&ab_channel=CurtJaimungal

来源：官方媒体/网络新闻

排版：Atlas

编辑：深思

主编：图灵