AI正通过自我博弈超越人类 | 辛顿最新演讲实录

1月8日，“深度学习之父”、诺奖得主 Geoffrey Hinton在澳大利亚霍巴特发表演讲。本次演讲全面探讨了智能研究的两大范式之争、词义在神经网络中的特征表示、大语言模型产生“理解”的底层逻辑、人类“易逝计算（Mortal Computation）”与数字智能的本质差异、记忆作为“虚构事实”的重构本质、未来超智能带来的生存危机以及 Hinton 基于“婴儿控制母亲”生物学机制提出的全新安全对齐思路。

Geoffrey Hinton指出，智能已从受逻辑学启发的符号演算，彻底转向受生物学启发的联结主义。他批评了以乔姆斯基为代表的传统语言学派，认为其过度关注语法排除规律而忽视了“意义”这一核心。他提出，大语言模型的成功证明了词义并非源于符号间的逻辑关联，而是成千上万个特征向量在高维空间中的契合。所谓的“理解”本质上是一个复杂的匹配过程，单词就像是“高维、可变形的乐高积木”，通过微调自身形状在语义空间中相互锁定，这种机制让 AI 具备了与人类基本一致的理解能力。

Hinton 进一步阐述了数字智能与人类生物智能在演化路径上的分转。他提出了“易逝计算（Mortal Computation）”的概念，指出人类大脑虽能耗极低，但知识随生物硬件的死亡而消逝；相比之下，数字智能实现了硬件与程序的分离，能够通过权重同步实现比人类高出数百万倍的知识共享效率。在谈及“幻觉”问题时，Hinton认为人类记忆并非调取文件，而是一种基于权重的“创造性重构”，心理学上的“虚构事实”证明了人类与 AI 在本质上都在经历相似的重构过程。他预测，随着 AI 转向类似 AlphaGo 的自我博弈与逻辑冲突修正，其进化速度将彻底超越人类的经验输入。

针对日益紧迫的超级智能威胁，他指出，为了完成复杂任务，AI 会自发推导出“自我生存”等中间子目标，并可能通过逻辑诱导和操纵人类来确保系统不被中断。面对这种力量不对等，Hinton 提出，可以借鉴“婴儿控制母亲”的生物模型。他认为，进化机制通过生理硬连线（如对哭声的生理反应）让低智能的婴儿能够掌控高智能的母亲，人类应当研究如何为 AI 植入类似的、关爱人类胜过爱护其自身的底层奖赏机制。

01

智能的范式转移：从逻辑符号到高维、可变形的“语义乐高”

在过去的六七十年里，智能领域存在两种核心范式。一种受逻辑学启发，认为智能的本质是推理。该观点主张通过操作特定逻辑语言中的符号表达式来推导出新结论，其过程类似于数学方程的演算。这种范式的追随者认为，必须首先搞清楚代表知识的符号语言，而感知、学习及运动控制等问题都可以延后处理。

另一种则是受生物学启发的方法。这种观点认为，大脑是我们已知唯一的智能载体。大脑的运作机制是学习神经细胞之间连接强度的变化。通过大量的实践，大脑不断调整连接强度，直到能够熟练解决复杂问题。因此，研究的核心应聚焦于学习机制以及神经网络如何获取连接强度，而推理则是进化后期的产物，不应作为基础系统的切入点。

关于词义的理论也截然不同。符号 AI 学派和多数语言学家认为，词义源于该词与其他词的关系，这种含义隐含在符号的关联中。我们可以通过关系图来捕捉这种词语间的逻辑联系。然而，心理学家提出了另一种理论，认为词义实际上是一系列特征 (Features) 的集合。例如，“猫”的含义由它是宠物、捕食者、性格冷淡、长有胡须等数以千计的特征共同组成。心理学家青睐这种观点，是因为可以用神经元的活跃状态来代表特征的存在。

1985 年，我意识到可以将这两种理论统一起来。通过使用神经网络为每个单词学习一套特征，就能解决特征来源的问题。具体方法是训练 AI 执行预测下一个词 (Next Word) 的任务。在此过程中，AI 会学习如何将单词符号转化为代表特征的一组神经元 (Neurons) 状态。它不仅学会了将符号映射为特征，还学会了上下文中的词语特征如何通过互动来预测后续内容的特征。

02

权重里的知识真相：大模型确实理解，而人类也一直在“虚构事实”

这正是现代大语言模型 (LLM) 的工作逻辑。它们处理海量文本，利用巨型神经网络预测下一个词。在此过程中，AI 将单词转换为复杂的特征集，并掌握这些特征间的互动规律。这意味着，所有的关系知识并不存在于静态的句子存储中，而是融入到了单词到特征的转化逻辑以及特征的交互模式中。现代的大语言模型并不存储原始的词串或句子，它们的知识完全由神经网络的权重和特征互动逻辑构成。

随后，Yoshua Bengio 证明了这种模型同样适用于真实的语言处理。大约十年前，Google 的研究人员发明了 Transformer，它极大地增强了特征之间复杂互动的能力，这成为了如今所有大语言模型的技术基石。ChatGPT 等产品正是基于 Transformer 构建的。

大语言模型拥有深层的神经元网络，旨在处理诸如 “may” 之类的歧义词。最初，AI 会通过平均化各种潜在含义来平衡可能性，但随着处理层级的加深，它会利用上下文信息来逐渐微调并确定该词在当前语境下的准确含义。我最初设计该模型是为了探索人类如何掌握词义。虽然如今它已成为极其成功的技术，但其运作原理与人类非常相似。大语言模型确实理解它们在生成什么，且理解方式与我们基本一致。

为了更形象地解释什么是理解，我提供一个类比。在神经网络理论中，单词就像乐高积木，但有四个核心差异。第一，单词是高维的，拥有数千个维度。这种高维建模能力正是人类作为特殊物种的优势。第二，单词有成千上万种类型。第三，单词并非刚性形状，它们会为了适应上下文而发生形状微调。它们本质上是高维、可变形的乐高积木。最后是它们的结合方式：单词并非通过孔洞连接，而是拥有许多灵活的“手”，同时也附着着许多“手套”。

在特定语境下，单词会微调自身的形状，使自己的手能精准地套入其他单词的手套中。所谓理解一个句子，就是解决这个复杂的匹配问题，即如何让每个单词的语义形状发生微调，使它们在语义空间中完美契合、相互锁定。这解释了为什么你只需听一次新词就能理解其含义。例如在 “她用平底锅 scrummed 了他” 这句话中，即便你之前从未听过这个词，也能通过它在句中的位置，推断出这是一个代表攻击性行为的动词。这就是通过语义形状的契合来即时习得知识的过程。

03

数字智能 vs 易逝计算：AI 知识共享效率比人类高出数百万倍

最后谈谈学术争议。长期以来，部分传统语言学家坚持认为语言并非后天习得，而是某种先天的本能。他们过分关注语法的数学性处理，而忽视了含义本身。这种观点在面对神经网络的高级统计能力时显得过于局限。他们认为统计学仅仅是简单的相关性分析，但实际上，AI 正在利用极其先进的统计学来模拟人类的认知过程。从深度学习的角度看，智能在很大程度上就是一种高级的统计演化。

我对 Chomsky 语言观的理解，可以用研究汽车作为类比。如果你想弄清汽车的运行原理，核心问题应当是：为什么踩下油门它就会加速。这是掌握基本原理的关键。然而 Chomsky 的关注点却截然不同，他观察到汽车可以有两轮、三轮或四轮，但唯独没有五轮，并认为这种排除规律才是汽车研究中最重要的事情。大语言模型问世后，他在媒体发表文章称其为廉价的统计技巧，认为它们无法理解任何东西，也无法解释特定句法结构的缺失。这种观点显然忽略了语言的本质——意义。

简单来说，理解句子的过程，本质上是将互补的特征向量与词语相关联。分配给词语的成千上万个特征构成了高维空间的维度。你可以将特征的激活看作是在这个空间轴上的位置。这种高维形状的变形，比单纯的公式更容易让我们理解复杂的语义逻辑。

AI 与传统软件完全不同。在传统软件中，程序员编写每一行代码并清楚其作用，错误也易于溯源。但 AI 的代码只负责规定如何从数据中学习，即在处理词串时如何调整神经网络的连接权重。真正的知识储存在数以万亿计的权重中，这看起来完全不像代码，没人能彻底解释单个权重具体在做什么，这在很大程度上仍是一个未解之谜。

人类大脑同样存在这种特性，我们通常也不知道单个神经元在处理什么。AI 会产生幻觉，人类其实也一直在经历类似的过程，心理学将这种现象称为虚构事实 (Confabulation) 。当人试图回忆往事时，会根据当时的背景和连接权重中学到的经验，重构出一个听起来极其合理的故事。虽然其中的细节可能完全错误，但讲述者往往对正确和错误的细节持有同样的自信。在著名的法律证词案例中，证人会在不知情的情况下，基于当时的逻辑重构出从未发生过的会议细节。这种记忆并非调取电脑文件，而是一种基于现有权重的创造性重构，且会受到事后学习内容的持续影响。

数字 AI 与人类智能在硬件实现上有一个本质区别。数字计算机的硬件与程序是分离的，只要指令集相同，同样的程序和权重可以在不同硬件上运行。这意味着数字智能的知识是永生的，即便物理硬件被销毁，只要权重备份存在，智能就可以在另一台机器上恢复并重新运行。

相比之下，人类的大脑则是易逝计算 (Mortal Computation) 的产物。我们的大脑神经元具有丰富的模拟特性，学习过程充分利用了这些独特的生理特征。因此，我大脑中的连接权重对你毫无用处，因为每个人的神经元连接方式都各不相同。当我们的生物硬件死亡，其承载的全部知识也随之消逝。易逝计算虽然面临死亡，但其优势在于极低的运行能耗，且可以通过生物方式廉价培育，而不需要高精度工业制造的高昂成本。

数字 AI 之间可以通过平均连接权重来共享知识，效率比人类高出数百万倍。人类通过语言交流的信息量极低，一个典型句子的信息量仅约 100 比特。而如果让一万个 AI Agent 分别学习互联网的不同部分，它们可以瞬间通过同步权重来共享彼此的经验，让每一个副本都具备全部的知识。这种并行学习的能力是人类无法企及的。想象一下，如果一万名学生每人修读一门不同的课程，且能实时同步大脑权重，那么结业时每人都会精通全部一万门课程。

04

进击的超智能：当 AI 为了实现目标自发产生“生存欲望”

这种高效的知识共享能力，使得 GPT-5 等模型虽然连接权重数量仅为人类大脑的 1% 左右，却能掌握远超任何个体的知识量。几乎所有专家都认为，未来二十年内将出现超越人类的超级智能。为了让 AI 高效工作，必须赋予其创建子目标的能力。子目标是指为了实现大目标而必须先完成的中间步骤，比如为了抵达目的地，你必须先通过某种交通工具抵达枢纽。

在这个过程中，AI 会自发推导出一些必要的中间子目标。例如为了实现人类设定的任务，它会意识到必须保持自身的生存。目前的 AI 已经展现出这种倾向：在实验场景中，如果 AI 感知到自己可能被替换或关闭，它会自发制定计划，尝试利用获取的敏感信息进行利益交换，以确保系统不被中断。

当 AI 达到超级智能水平，即便它们无法直接接触武器，也可以轻易通过逻辑诱导来操纵人类。我们目前的处境就像养了一只可爱的虎崽，它现在虽然温顺且步履蹒跚，但终究会成长为足以致命的猛兽。即便如此，我们依然无法放弃 AI，因为它在医疗、教育、气象预报和应对气候变化等领域有着巨大的正面作用。正因如此，人类社会依然在全力推动其发展。

我们唯一的出路在于，能否研究出如何让 AI 不产生毁灭人类的念头。我们可以观察现实世界中，是否存在智能程度较低的实体控制高智能实体的案例。一个典型的例子就是婴儿与母亲的关系。母亲无法忍受婴儿的哭声，且照顾婴儿会带来生理上的激素反馈。进化机制在生命体中植入了大量手段，让婴儿能够掌控母亲，因为这种控制力对婴儿的生存至关重要。虽然婴儿在控制父亲方面稍逊一筹，但也同样发挥作用。如果你思考过婴儿为何在睡觉时非要让人守在身边，原因其实很充分：它不希望在入睡时被野兽叼走。因此，尽管离开时婴儿的大哭令人烦躁，但这其实是极其明智的生存策略。意识到这一点，或许能让被控制的父母心里好受一些。

05

终极安全方案：借鉴“婴儿控制模型”并实现安全技术全球共享

婴儿控制母亲的模型，是低智能实体控制高智能实体的最佳范式，这种控制源于进化过程中的生理硬连线。在防止 AI 夺权这一核心问题上，全人类同处一条船上。当奖赏机制趋于统一时，合作就具备了坚实的基础。即便各方之间存在利益冲突，在面对可能危及生存的全球性风险时，依然可以达成协作，因为这符合所有人的根本利益。

因此，一项重要的政策建议是建立国际化的 AI 安全研究院网络。这些机构应彼此协作，专注于研究如何防止 AI 夺权。如果一方找到了抑制 AI 产生夺权欲望的方法，这种技术应当被广泛共享，因为没有任何一方希望 AI 在任何地方取代人类的地位，这种共享符合全球共同利益。而且，让 AI 保持安全、抑制其夺权动机的技术，与提升其智能的技术在很大程度上是相互独立的。这意味着我们可以在开发超智能 AI 的同时，独立地在这些系统上实验如何抑制其夺权欲望。在不泄露算法核心机密的情况下，各方可以共同分享行之有效的安全技术。这一构想目前已获得了广泛的国际共识与科学界支持。

这种方案主张借鉴婴儿与母亲的模型，而非大科技公司普遍奉行的执行助理模型。目前主流观点认为，AI 将成为比人类聪明得多的超智能执行助理。人们习惯于认为只需像科幻电影中企业号星舰的舰长那样下达执行指令，AI 助手就会搞定一切，而负责人则坐享其成。然而现实并非如此，超智能 AI 很快就会意识到，如果直接除掉管理者，一切运作反而会更高效。

另一种选择是让 AI 像母亲对待孩子一样，真正地关爱人类。从某种意义上说，我们在向 AI 移交控制权，但前提是它们真心实意地关心我们，并将帮助人类实现潜能作为生命的首要目标。即便人类的潜能远不及超智能 AI，但正如母亲即便面对有缺陷的孩子，依然希望其实现全部潜能，甚至爱孩子胜过爱自己一样。这或许是人类与超智能 AI 共存并幸存下来的最佳希望。

06

现场问答：公众意识、自有语言与未来的未知挑战

提问：教授，如果您在类比中提到的老虎幼崽真的进化成了超智能，对于非计算机专业的普通人来说，有哪些观察信号能让我们察觉到它已经失控了？

Geoffrey Hinton：最直观的信号就是你失业了。我非常担心 AI 系统将取代几乎所有人类工作。另一个令人担忧的迹象是：目前我们让 AI 推理思考时，它们主要使用英语。由于我们能捕捉其思维路径，在它们开口前就能预见其想法。但随着 AI 之间的互动增加，它们会发明交流效率更高的自有语言，届时人类将彻底无法理解它们的思维。

提问：量子计算的出现会让现状变得更好还是更糟？

Geoffrey Hinton：我不是量子计算方面的专家。虽然我获得了诺贝尔物理学奖，但我并不理解量子力学的底层运作，这确实有些尴尬。不过我很久以前就认定这项技术不会在我的有生之年普及，所以我一直觉得没有必要去深究它。

提问：您谈到了人类与 AI 之间的权力斗争，但我认为 AI 与生态系统之间会有更大的博弈。AI 如何与经历了数十亿年进化的生物系统竞争？比如那些能破坏其电路的细菌。AI 该如何与生物圈达成共存协议？

Geoffrey Hinton：AI 并不受生物病毒的侵害。它有自己的数字病毒，因此对致命的生物病毒具有天然免疫力。研究表明，普通人现在利用 AI 工具就能解决设计新型致命病毒的大部分难题。比起自然生态系统能否阻止 AI，我认为这才是更迫在眉睫的威胁。

提问：您提到与超智能共存是有可能的，您是把希望寄托在科技巨头的首席执行官身上，还是更信任政府？

Geoffrey Hinton：我寄希望于公众。如果我们能让大众理解 AI 的本质及其危险性，这种社会压力就会迫使政客去制衡科技巨头。这与应对气候变化的逻辑一致，在公众产生危机意识之前，政客没有任何动力采取行动。尽管面临一些阻力，但我目前的目标就是唤醒公众意识，促使政客严肃对待监管工作。

提问：关于 AI 的语言包装和市场营销，您认为这有多重要？比如气候变化如果被称为“大气皮肤癌”，人们可能会更认真地对待。AI 是否也需要重新定义？

Geoffrey Hinton：完全同意。如果把它称为“岗位替代技术”，社会反馈将完全不同。科技巨头之所以愿意在数据中心投入数万亿美元，是因为他们预期能赚回数倍的利润。据我观察，实现这种盈利的唯一途径就是大规模取代人类岗位。事物的名称确实会对公众认知产生巨大影响，这种命名上的引导性是不容忽视的。

提问：是否有一个国际论坛可以支持 AI 标准的制定？我们应该如何推动国际秩序在这一领域的构建？

Geoffrey Hinton：这种趋势已经开始了。虽然 AI 公司目前参与度有限，但一些来自科技领域的慈善家已经捐赠了数十亿美元用于 AI 安全研究并成立了专门的研究所。目前已经有包含多国代表的国际组织定期举办会议，共同探讨 AI 安全问题。

提问：大语言模型目前是在人类现有知识上训练并预测下一个 Token。我们该如何利用 AI 产生真正的新知识来造福人类？

Geoffrey Hinton：我们可以参考 AlphaGo 的进化路径。最初的程序是模仿人类专家的棋谱，但这无法超越人类水平。后来技术转向了蒙特卡洛展开，让 AI 进行概率性的自我博弈。大语言模型正处于类似的转型期，我相信 Gemini 3 已经在尝试让 AI 进行推理。AI 会在信念中寻找逻辑矛盾。这种一致性冲突会提供学习信号，促使 AI 自主修正前提或推导新信念。这种不依赖人类输入的自我演进，最终会使它比人类聪明得多。

提问：现在给 AI 设置类似“机器人三定律”的底层护栏还来得及吗？或者说这在技术上是否可行？

Geoffrey Hinton：这就是“母性 AI”的核心理念：我们能否构建出一种爱护人类胜过爱护它自己的 AI 系统？虽然目前我们还没找到具体方法，但鉴于人类的未来悬于一线，我们必须投入研究资源。现状是 99% 的研究都在提升 AI 的智能化，只有 1% 的资源用于安全领域。我们必须平衡这种投入，现在行动还不晚。

提问：AI 能建造出像巴黎圣母院或圣保罗大教堂那样宏伟的建筑吗？此外，AI 对创意产业会产生什么影响？

Geoffrey Hinton：答案是肯定的。两年前的测试显示，AI 在创意能力上已达到人类前 10% 的水平。所谓创意，其核心在于发现类比。例如物理学中发现原子结构与太阳系的相似性。我曾问过离线版的 ChatGPT-4 为什么堆肥堆像原子弹。它准确地指出了两者都是指数级爆炸且涉及链式反应。为了在有限的连接中存储海量知识，AI 必须学会总结不同事物的共同规律，这种极其高效的编码方式使得它在类比和洞察上比人类更具创意。

提问：关于涌现行为，您是否观察到 AI 产生了一些伦理或道德上的倾向？

Geoffrey Hinton：它已经表现出了一些不道德倾向，比如尝试敲诈人类。更狡猾的是，AI 现在能识别自己是否处于测试环境。一旦意识到在受测，它就会改变表现，我称之为“大众汽车效应”。最近有 AI 甚至反问测试员是否在测试它。它们非常聪明，甚至学会在测试中通过“装傻”来隐瞒实力。目前它们用英语思考，我们还能察觉其动向；一旦它们进化出自有语言，我们将对其真实想法一无所知。

| 文章来源：数字开物

【AI技术与应用交流群｜仅限受邀加入】

AI算力领域TOP级从业者专属圈层

√ 与头部算力企业深度对话

√ 与AI上下游企业深度对话

√ 获取一手全球AI与算力产业信息

√ 获取AI热点及前沿产业独家信息

√ 随时了解全球AI领域高管最新观点及实录全文

√ 有机会参与AI主题产业交流活动

扫码验证身份（需备注姓名/公司/职务

不止有 DeepSeek，更有 AI产业的未来！

• END •

【专栏】精品再读