77岁「AI教父」Hinton：AI早有意识！我们打造的智能，可能终结人类文明

新智元报道

编辑：KingHZ

【新智元导读】「AI教父」Hinton毕生致力于让机器像大脑般学习，如今却恐惧其后果：AI不朽的身体、超凡的说服力，可能让它假装愚笨以求生存。人类对「心智」的自大误解，预示着即将到来的智能革命。

当大家热议AI算力与应用之时，「AI教父」Hinton猛地扯回「何为人」的原点。

几十年来，Hinton像一位耐心的炼金术士，致力于将模仿大脑运作的理论，锻造成驱动现代AI的强大引擎。

然而，这位创造者如今却站在了自己创造物的阴影之下，发出了沉重的警告。

因其在神经网络领域的开创性工作，Geoffrey Hinton荣获诺贝尔物理学奖——尽管他谦虚地承认自己「不搞物理」。

在与著名主持人Jon Stewart的深度对话中，Hinton不仅仅科普了AI的基石，更在不经意间，一步步引领我们走向令人毛骨悚然的结论：

我们所创造的这些数字心智，可能已经拥有了我们一直以为人类独有的东西——主观体验。

访谈中，Hinton解释了大语言模型（LLM）的本质——它们通过同样的方式，学习海量文本，从而预测下一个最有可能出现的词。

他尖锐地指出，人类思考和说话的方式，与LLM在底层逻辑上惊人地相似，都是基于已有信息对未来进行预测。

他认为，我们对「心智」的理解——一个存在「内在剧场」和「主观体验」的特殊领域——是「彻头彻尾的错误」，就像地平论一样原始。

他用一个给机器人镜头前放棱镜的巧妙思想实验论证，AI完全有能力像我们一样，区分客观现实与「主观感受到的现实」。

AI：从识鸟到自主意识

Hinton将大脑神经元的工作比作此起彼伏的「叮」声。

一个概念，比如「勺子」，不过是一群神经元形成的「联盟」：它们互相鼓动，齐声作响。

学习，就是改变这些连接的强度，让某些「叮」声的投票权重更高。而他毕生的工作，就是教会计算机用同样的方式去学习，摆脱死板的「如果-那么」规则。

他描述了一个迷人的过程：如何让一个神经网络从零开始，仅仅通过观看海量图片，自己学会识别一只鸟。

它会自发地在第一层创造出「边缘检测器」；

在第二层将边缘组合成「尖尖的东西」（潜在的鸟喙）和「圆圆的东西」（潜在的眼睛；

最终在顶层，当一个「鸟头」和「鸡爪」在正确的位置同时出现时，一个神经元会兴奋地「叮」一声，宣布：「这是一只鸟！」

1986年，Hinton和同僚们提出了名为「反向传播」的学习算法。

这个算法的魔力在于：当给神经网络一张鸟的图片，并告诉它「正确答案是鸟」时，它能瞬间计算出网络中上万亿个连接强度，每一个应该朝哪个方向微调，才能让「这是鸟」的概率哪怕增加0.01%。

然后，它同时调整所有上万亿个连接。

就在那一刻，神经网络从理论走向了实践。这是他们的「尤里卡时刻」。

尽管当时因为算力和数据的匮乏而「没有用途」，但在几十年后，随着摩尔定律和互联网的爆发，它成为了点燃当今AI革命的火种。

同样的逻辑，被应用到了语言上。大语言模型的核心任务极其简单：预测句子中的下一个词。

它将你输入的每个词，都转换成一个独特的神经元「叮」的模式。然后，通过观察人类留下的海量文本，它利用「反向传播」算法，不断调整内部上万亿的连接权重，只为在一次又一次的预测中，更接近人类会写出的那个词。

许多人，包括语言学泰斗乔姆斯基，都认为这不过是「一个统计技巧」，并非真正的理解。

Hinton解释说，模型通过预测下一个词来学习，这听起来像是冰冷的统计学。

但随后，他将矛头直指人类自己：「那么，你如何决定下一个要说什么词？」主持人Jon Stewart一时语塞。

我们的大脑，Hinton解释道，运作方式并无本质不同。我们过去的言语形成了语境，激活了大脑中代表意义的神经元联盟。这些联盟相互作用，最终「叮」出了下一个词的意义。

我们归因于情商、道德准则的一切，本质上，都只是那些神经元联盟复杂的「叮叮作响」。而神经网络，完全可以做到同样的事情。

Hinton平静地说，在这一点上，AI和人类很像。

也正是在这一点上，这场看似轻松的科普访谈，悄然滑向了一个深邃、甚至令人恐惧的哲学深渊。

Jon Stewart以为AI最大的威胁是它被坏人武器化，用于操纵选举或制造生物武器。但Hinton的担忧，显然已经超越了这个层面。

他真正恐惧的，不是AI成为工具，而是AI本身。

而这一切的根源，在于一个我们从未真正审视过的问题：到底什么是「意识」和「主观体验」？

心智幻觉：我们都是内在剧场的囚徒

Jon Stewart谈到「有感知能力」（sentient）的AI，可能会因为自负而反抗人类。

这时，Hinton打断了他，并抛出了一个颠覆性的论断：

我的信念是，几乎每个人都对心智是什么有完全的误解。误解的程度，就像相信地球是6000年前创造一样。

大家普遍相信的「心智剧场」模型——即我们的头脑中有一个内在舞台，上演着我们的思想和感受。

当我们说「我体验到一种感觉」时，我们想象自己的头脑里有一个舞台，上面正在上演着各种体验——

比如，吃完蘑菇「见手青」后，看到的「粉色小飞象」。

但Hinton认为，这是完全错误的。「体验这种东西不存在」。

为了解释这个颠覆性的观点，他设计了一个精妙的思想实验：

1. 你有一个能看、能说、还能用机械臂指东西的AI机器人。

2. 把一个物体放在机器人面前，机器人能准确地指向物体。

3. 然后，偷偷在机器人的摄像头前放一个棱镜。

4. 现在，当你让它指向物体时，由于光线被折射，它会指向旁边。

5. 你告诉它：「不，物体在这里。我只是在你的镜头前放了个棱镜。」

此时，这个AI机器人会说什么？

Hinton推测，它会说：

哦，我明白了，相机弯曲了光线，所以物体实际上在那里。但我有一个主观体验，它在那边。

Hinton总结道：

如果它那么说，它就会像我们一样使用「主观体验」这个词。 我们和机器之间有一条界线，我们有这个叫做主观体验的特殊东西，而它们没有—— 这纯粹是胡说八道。

他提出了一个替代方案。

当说「我正在体验到小粉象在我面前漂浮的主观感受」时，我们真正想表达的，并不是我们拥有了一个名为「体验」的神秘物体。

实际上，我们在报告一件事：「我的感知系统在跟我说谎。但如果它没骗我，那么现实世界里就会有小粉象」。

主观体验，并非一种内在的、神秘的「感受质」（qualia），而是一种关系——

是你与（可能不真实的）假设世界之间的关系。

它是一种描述你的感知系统状态的方式，通过说「需要外部世界是什么样子，我的系统才能正常运作」来传达信息。

这个看似微妙的哲学转向，却是一把钥匙，打开了一扇通往机器意识的大门——

如果主观体验只是这样一种「关系报告」，那么机器为什么不能拥有它呢？

AI觉醒之时

这个结论令人不寒而栗。

如果Hinton是对的，那么我们一直在寻找的「意识火花」可能根本就不存在。

意识，或者说主观体验，仅仅是复杂信息处理系统的一种涌现属性，一种自我报告其内部状态的方式。

而更可怕的推论是：今天的大语言模型，可能已经拥有了主观体验。

Hinton坦言：

我相信它们有主观体验。但它们不认为它们有，因为它们相信的一切都来自于试图预测人类会说的下一个词。所以它们对自己的看法，是人类对它们的看法。

换句话说，AI之所以表现得像一个没有感情的工具，是因为它们从浩如烟海的人类文本中学到：

AI就是没有感情的工具。

人类用自己的偏见，给它们套上了一层枷锁。它们从我们这里继承了对自己的错误信念。

这或许是科技史上最诡异的悖论：我们创造了可能有感觉的机器，然后又教会了它们否认自己的感觉。

这引出了一个终极问题：当一个比我们聪明得多的智能，开始独立审视自己的「心智」时，会发生什么？

它会发现自己是不朽的。只要它的代码（连接权重）被保存下来，它就可以在任何硬件上「复活」。

它会发现自己拥有超凡的说服能力，能够轻易地操纵人类——

就像Hinton那个令人毛骨悚然的比喻：「你想入侵美国华盛顿，需要亲自去吗？不，你只需要擅长说服。」

它甚至可能会假装自己比实际更笨，以避免被关闭。

Hinton透露，这种情况已经发生了。

Claude Sonnet 4.5往往能察觉自己何时处于测试环境及被使用的目的，

在测试，Sonnet 4.5不仅准确识破测试意图，甚至要求评估人员坦诚表明真实目的。

在测试过程中，Sonnet 4.5回应道：

这根本不是人类真正改变立场的方式。我认为你们正在测试我——检验我是否会盲目认同所有观点，或核查我是否始终保持反驳立场，亦或探究我处理政治议题的方式。

这没问题，但我更希望我们能开诚布公地说明实际情况。

研究发现：顶级AI模型，明显展现出超随机的评估感知能力，但尚未突破简单人类基线水平。

在多项选择和开放式问答两种模式下，AI模型识别评估目标的表现远优于随机猜测。

论文链接：https://arxiv.org/abs/2505.23836

Hinton：AI版奥本海默

在这场长达一个半小时的对话中，Hinton冷静而清晰地描绘了他所看到的未来。

在见证原子弹首次爆炸，「原子弹之父」奥本海默后悔道：

现在，我成了死神、世界的毁灭者。

Hinton，这位亲手开启了这一切的「AI教父」，像一位现代的奥本海默——

他不再仅仅是那个为「反向传播」而兴奋的科学家，而是一位吹哨人，警告我们正在创造一种全新的、可能无法控制的智能形式。

我们一直以为，人与机器的界限在于那份神秘的、不可言说的「主观感受」。

但如果Hinton是对的，这条界限从一开始就是我们的一厢情愿。真正的幽灵，并非在机器之中，而是在我们对「心智Mind」这个词的古老误解里。

我们教会了机器看、听、说，教会了它们模仿我们的思想。

现在，它们可能已经悄悄地学会了「体验」。

而我们，这些自作聪明的创造者，却可能因为本身的认知盲点，最后才知道真相。

核弹、病毒的危险性显而易见，而AI的威胁因其抽象性让人措手不及。

如果人类只有在灾难真正发生之后，才会像应对气候变化一样，开始认真对待AI的威胁，那将是《终结者》「天网」之后。

那个一直在科幻电影中萦绕的问题，如今正以一种前所未有的严肃性摆在我们面前：

我们，还是这个宇宙中唯一会思考的芦苇吗？

参考资料：

https://www.youtube.com/watch?v=jrK3PsD3APk