AI教父辛顿尖峰对话：各国应大量研究并分享让AI善良的技术

21世纪经济报道记者吴斌 上海报道

7月26日至28日，2025世界人工智能大会暨人工智能全球治理高级别会议在上海举办。AI教父杰弗里·辛顿（Geoffrey Hinton）与上海人工智能实验室主任、首席科学家周伯文开展了一场尖峰对话。两位科学家谈及AI多模态大模型前沿、“主观体验”和“意识”、如何训练“善良”的超级智能、AI与科学发现，以及给年轻科学家的建议。

辛顿表示，几乎每个人都对“主观体验”这类术语有着根深蒂固但完全错误的理论。有了错误的模型，会做出错误的预测。他的观点是，当今的多模态聊天机器人已经具有意识。

大模型从人类提供给它们的文档中学习，它们学会了预测一个人会说的下一个词。但是，一旦出现像机器人这样的在世界中的智能体，它们就可以从自己的经验中学习，而且辛顿认为，它们最终学到的会比人类多得多。

辛顿认为，人们可以研发出既聪明又善良的AI，但如何训练它变得聪明和如何训练它变得善良是不同的问题。虽然这是同一个AI，但会通过不同的技术来实现。各个国家应该分享让AI善良的技术，即便他们不愿意分享让AI聪明的技术。

“那是我的希望，可能无法实现，但这是一种可能性，我认为我们应该研究这种可能性。”辛顿指出。

在对话最后，辛顿对年轻科学家表示，如果想做出真正原创的研究，就要寻找那些“所有人都搞错了”的领域。“当你认为‘大家都搞错了’，大多数时候你最终可能会发现大家那样做是有原因的，而你的方法是错的。但你永远不应该轻易放弃新思路，不要因为你的导师说‘这个方法很蠢’就放弃。忽略导师的建议，坚持你笃信的，直到你自己弄懂。”

“偶尔你会发现，你的信仰其实是正确的，重大突破正是由此而来，它们从不属于轻易放弃之人。”辛顿勉励道。

以下为21世纪经济报道记者整理的辛顿与周伯文对话全文。

周伯文：关于多模态模型的主观体验，你认为可以证明即使是当今的多模态和语言模型也能发展出自己的主观体验。你能详细阐述一下吗？

辛顿：我认为关于它们是否具有意识或主观体验的问题，严格来说不是一个科学问题，而是取决于你如何定义“主观体验”或“意识”。我们大多数人对这些概念的理解模型都是完全错误的。就像人们可以正确使用词语，却对词语如何运作持有完全错误的理论。

让我用一个日常词汇的例子来说明。想想“水平”和“垂直”这两个词。大多数人都认为自己理解它们的含义，但实际上他们的理解是错误的。我来证明一下：假设我手里有很多小铝棒，它们朝向各个方向。我把它们抛向空中，它们翻滚、碰撞，然后我突然让时间静止。

这时空中有很多铝棒。问题是：与垂直方向夹角在1度以内的铝棒更多，还是与水平方向夹角在1度以内的铝棒更多？或者数量差不多？几乎所有人都说“差不多”。他们的理解是错误的，实际上，与水平方向夹角在1度以内的铝棒数量是垂直方向的约114倍。“垂直”是非常特殊的方向，而“水平”则很“普通”，但人们不知道这一点。

这个例子看似与意识问题无关，但它说明：我们对词语运作方式的理解可能是完全错误的。同样，几乎每个人都对“主观体验”这类术语有着根深蒂固但完全错误的理论。这不是真正的科学问题，而是源于我们对心理状态的错误模型。我们有这些用来描述心理状态如何运作的术语，并且有了错误的模型，会做出错误的预测。我的观点是，当今的多模态聊天机器人已经具有意识。

周伯文：所以，这听起来让在场的许多研究者感到震惊，刚才图灵奖得主、加拿大计算机科学家Richard S. Sutton做了一个演讲，题目是《欢迎来到体验时代》，当人类数据耗尽时，模型可以从自己的体验中学习很多。你从另一个角度阐明了，智能体或多模态大模型，不仅从经验中学习，它们还可以发展出自己的主观体验。Richard没有过多触及这种从主观体验中学习的潜在风险。你想就此多谈谈吗？到目前为止，智能体可以从主观体验中学习，这是否会在未来带来任何潜在风险？

辛顿：大模型从人类提供给它们的文档中学习，它们学会了预测一个人会说的下一个词。但是，一旦你有像机器人这样的在世界中的智能体，它们就可以从自己的经验中学习，而且我认为它们最终学到的会比我们多得多。

周伯文：几天前当我们在IDAIS（AI安全国际对话）讨论前沿风险时，你提到，减少未来AI风险的一个可能解决方案，是设法将AI的不同能力分别处理。

辛顿：我不是那个意思。我的意思是，你会有既聪明又善良的AI，但如何训练它变得聪明和如何训练它变得善良是不同的问题。你可以有让它善良的技术和让它聪明的技术。这将是同一个AI，但会有不同的技术。所以，各个国家应该分享让AI善良的技术，即便他们不愿意分享让AI聪明的技术。

周伯文：我真的很喜欢这个想法，但我对我们在这一方向上能走多远有些疑问。你认为会有某种通用的AI训练来使AI变得善良吗？这些方法可以应用在不同智能水平的AI模型上吗？

辛顿：那是我的希望，可能无法实现，但这是一种可能性，我认为我们应该研究这种可能性。

周伯文：是的，确实如此。我提出这个问题并不是因为我不喜欢这个想法，而是因为我想提高人们的意识，让更多人能在你提到的方向上进行更多研究。而且我想在这里做一个物理学类比，来向你展示为什么我有这个疑问。当物体低速运动时，牛顿定律有效。但物体运动速度接近光速时，牛顿定律就不再适用了，所以我们必须求助于爱因斯坦来获得更好的解决方案。顺便说一下，这有点班门弄斧，因为我正在向一位诺贝尔物理学奖得主讲解物理学101（大学物理入门课）。

辛顿：（瑞典皇家科学院给我颁奖）是一个错误。他们想在人工智能领域颁发诺贝尔奖，但他们没有这个奖项，所以他们拿了一个物理学的奖颁给人工智能（的科学家）。

周伯文：哦不，这不是错误，你绝对值得这项殊荣。我想用这个类比来说明一个观点，对于善良的要求，可能需要根据智能系统的不同层级进行调整和改变。我不知道这是否正确，但我确实希望聪明的年轻人可以想办法来实现这一点。

辛顿：是的，很有可能，随着系统变得更加智能，让它变得善良的技术也会发生变化。我们现在还不知道答案，这就是我们现在需要对其进行大量研究的原因之一。

周伯文：很多人对辛顿印象深刻，作为一位成就卓著的学者，你经常说“我不知道”。我觉得这非常诚实和开明，我们都要向你学习。今天我们这里有一半的参会者来自量子物理、细胞生物学等不同前沿科学领域。今天我们齐聚一堂，正是因为相信AI与科学的交叉融合将带来突破。关于利用AI促进科学进步，或者反过来利用科学驱动AI发展，你怎么看？

辛顿：我认为人工智能对科学的帮助是显而易见的。显然，迄今为止最令人印象深刻的例子是蛋白质折叠，Demis Hassabis和John Jumper等人使用人工智能，付出大量努力，证明了这一点。在预测蛋白质如何折叠方面，我们借助AI可以做得更好。这是一个早期信号，预示着AI将在众多科学领域带来进步。我听说了上海AI实验室的例子，在预测台风登陆地点和天气预报方面，人工智能可以做得更好一些。

周伯文：对，我们用AI模型做出来的结果，比基于PDE（偏微分方程系统）的传统物理模型表现更优。

周伯文：你不仅拓展了AI技术的边界，更深刻影响了下一代科研工作者。在上海AI实验室，我们的研究人员平均年龄只有30岁，AI的未来属于年轻一代。你能否给这些年轻人一些加速成长的建议？你最想传递给他们什么？

辛顿：我想最核心的建议是：如果想做出真正原创的研究，就要寻找那些“所有人都搞错了”的领域。当你认为“大家都搞错了”，大多数时候你最终可能会发现大家那样做是有原因的，而你的方法是错的。但你永远不应该轻易放弃新思路，不要因为你的导师说“这个方法很蠢”就放弃。忽略导师的建议，坚持你笃信的，直到你自己弄懂。

偶尔你会发现，你的信仰其实是正确的，重大突破正是由此而来，它们从不属于轻易放弃之人。你必须坚持己见，即使他人并不认同。

有一个逻辑支撑这一观点：你可能拥有好的直觉，也可能直觉很差。如果你的直觉很好，那你显然应该坚持；如果你的直觉很差，那你做什么关系都不大，所以你依然应该坚持自己的直觉。

周伯文：我想我们可以就此畅谈一整天，但我知道你已疲惫。最后，请在场所有人随我一同感谢辛顿为我们倾注的时间，非常感谢你。