AI意识「觉醒」！图灵得主Bengio重磅发声：AI正接近人类意识临界点

新智元报道

编辑：元宇

【新智元导读】有意识的AI，距离我们有多近？近日，图灵奖得主Bengio等人发表在《Science》的一篇文章提到：不管是碳基，还是硅基，都可能出现意识。AI研究，可能推动越来越多的公众相信AI会产生意识，但也可能带来一系列风险与社会伦理争议。

有意识的AI，是否已经触手可及？

科学家、哲学家，以及公众对此莫衷一是。

反对者认为：意识本质上是人类大脑所特有的生物属性。

这似乎排除了AI具备意识的可能性。

但一部分支持者则宣称：不管碳基，还是硅基，都具备出现意识的可能性：

意识只取决于算法对信息的操控，不管执行这些计算的系统由神经元、硅，还是任何其他物理基质构成。

这种思路，被称为计算功能主义（computational functionalism）。

它将意识的载体，扩大到硅基生命，乃至更大的范畴。

近日，图灵得主Yoshua Bengio，和Eric Elmoznino在《Science》发表的一篇文章中探讨了AI出现意识的可能性，以及它的出现可能带来的社会影响及风险。

Bengio在文章中说，关于AI是否会产生意识，目前尚无确切答案，但我们可以关注与之相关的两个问题：

• 随着AI的不断进步，科学界与公众关于AI意识的看法，可能会如何演变。

• 将与意识相关联的「道德地位」和「自我保存」等特征，投射到未来的AI身上，将带来哪些风险。

有意识的AI，距我们到底有多近？

计算功能主义，对AI具有深远的影响。

过去几十年的神经科学技术发展已证实：人类的意识状态，具有特定且可观察的神经特征，这为功能主义理论的展开提供了依据。

最近，还有研究者沿着这种思路，提出了一份针对多种主流功能主义意识理论的「指标清单」。

这些指标足够具体，因此可以在现代AI系统中，评估它们是否存在：

只要一个AI系统，可以在越来越多的理论指标上达标，我们就越有理由相信它可能是有意识的。

当然，这只是提供了可检验的证据路径，不等于宣称「已证明」。

尽管我们现在已经开发出了大量AI模型，但仍没有哪个AI系统，可以满足任何一种主流理论为意识设定的全部标准。

但这也可能只是时间问题。

这项研究还认为：构建满足这些标准的系统，并不存在根本性障碍。

为什么这种「可行性」推测，看起来并不离谱？

因为现代AI已经可以（部分地）实现多种在这些理论里被认为很关键的计算部件。

比如，神经网络可以实现注意力机制、循环性（recurrence）、信息瓶颈、预测建模、世界建模、智能体式行为（agentic behavior）、心智理论，以及其他在主流功能主义意识理论中，被认为至关重要的计算组件。

可以预见，随着AI的进步，系统将复现更多支撑人类认知的复杂机制，它们也可能实现意识所必需的那些功能。

这也意味着，AI将会满足越来越多的上述指标。

许多理论也认为，意识对智能发挥着关键的功能性作用：

推理、规划、高效吸收新知识、校准自信程度以及抽象思维，都需要意识。

AI研究者在处理这些问题时，从意识理论中汲取灵感也很常见。

尽管有一天，科学或许会否定计算功能主义，并提出更有说服力的其他解释，但当前主流观点认为这一观点还是可信的，这一判断也让AI意识的出现，在理论上随之成为可能。

而且，随着理论可检验性增强，指标更可操作，人们将可能更愿意相信「AI意识」的存在。

这不是因为感性，而是由于逐渐累积的、可对照的证据。

跨越AI意识的「解释鸿沟」

科学有哪些新解释？

尽管用计算功能主义的思路，来解释「AI意识」出现的可能性，已经说服了不少人，但也有人对此持怀疑态度。

哲学家Chalmers，将意识研究区分为两类问题：

容易问题：可用功能/计算/神经机制解释的问题，识别在看似需要意识的任务中，大脑处于活动状态的是哪些区域；

困难问题：使用功能或计算原理来解释主观体验。

后一类问题，也被称为「解释鸿沟（explanatory gap）」。它在很大程度上植根于思想实验，而科学或许能够将其解释清楚。

例如，注意图式理论（Attention Schema Theory，AST）认为，大脑会构建一个关于神经注意机制的内部模型，而这个内部模型，就是我们所认为的主观意识。

该模型并不要求内部逻辑完全自洽，它更像是一则由大脑构造出来的「故事」，而这则故事，可以充满那些会让我们相信存在「意识困难问题」的矛盾之处。

那些看似神秘、「丰富但难以言表」的主观体验，能否用一种功能主义来解释？

我们无法像描述其他自然现象那样，来描述这类主观体验。

比如，一个人可以说明什么是重力，但好像无法完全表达「红色」在他心中唤起的感受。

这让人觉得意识体验，难以用信息与功能来解释。

另一项理论，把这种「丰富性」和「难以言表」的主观体验，解释为当意识体验出现时，脑中观察到的收缩性神经动力学与稳定状态的结果。

收缩性动力学，会在数学上把神经轨迹驱向「吸引子」，即随时间稳定的神经活动模式。

这种动力学，把所有可能的神经活动向量的集合，划分为一组离散的区域，每个区域对应一个吸引子及其吸引域。

这一假说认为：通过离散词语所能传达的，可能只有吸引子的「身份」（在所有吸引子中把它区分出来，只需要少量比特的信息），而无法传达与该吸引子对应的神经状态的全部丰富性（涉及约10¹¹个神经元的放电活动）以及通往它的转瞬即逝的轨迹。

因此，所谓「丰富性」，源于构成这些吸引态及其相应轨迹的大量神经元；「难以言表」在于，语言报告不过是这些吸引子的指示性标签，无法捕捉它们所对应的高维意义与联想——这既由吸引子的向量状态本身决定，也与因人而异的循环突触权重有关。

这并非神秘学，而是「信息论+动力系统」的联合解释框架。

这类解释，将会说服一部分人。

随着我们对大脑以及一般意义上的智能了解得越来越多，关于意识的哲学难题，很可能会对越来越多的人「自动消解」，从而使科学界越来越愿意接受「人工系统也可以有意识」。

事实上，即便目前没有科学共识，一项2024年发表于《Neuroscience of Consciousness》的研究也发现，不少公众（尤其是常用聊天机器人的人）倾向于把某些「心智属性」赋予LLM。

该研究并非在宣称AI已有意识，而是描述一种社会心理事实：很多人已经在这么想。

AI意识

可能的现实影响与风险

一个将AI视为有意识存在的人类社会，将会面临哪些现实影响和风险？

首先，这可能影响到社会制度和法律框架。

如果认为AI具有意识，就可能倾向于把它们当作具有道德地位的主体来对待，或者赋予类似人权的权利。

不管这样做是否正确，我们的制度和法律框架都将不得不作出重大调整，由此也会衍生出来许多问题。

比如，它可能会动摇到现有社会制度的基础：

AI系统不像人类那样脆弱、会死亡，软件和记忆可以被复制，从而无限期地保存；但人类的死亡与脆弱，是许多社会契约原则的基础。

它还会让我们重新思考，基于正义与平等的诸多社会规范和政治制度，该如何适用于这种变化：

当AI明显比人类聪明很多，将带来公平性的新挑战；

由于AI的资源需求与人类大相径庭，将带来如何裁决「正义」的新问题。

微软AI首席执行官Mustafa Suleyman曾表示，虽然人工智能可能感觉真实，但赋予它权利将是错误的。

他认为权利应该与痛苦挂钩——这是生物体所经历的，而不是人工智能。

Mustafa的立场与Anthropic等公司形成对比，后者探索了「AI福利」。

Anthropic 推出「模型福利（Model Welfare）」研究，并让Claude在极端辱虐场景下主动结束对话。

此外，是否应该把AI系统视作「个体」，也待商榷。

当一群由AI驱动的计算机共享信息和目标，彼此协同行动时，且可以随着算力的增加而任意扩张，这时仍把AI系统当作「个体」来看待，也可能并不准确。

如果因为AI表现出像是有意识的样子，就赋予它们与其他生物所具有的「自我保存」的目标，则会出现更具体的担忧。

比如，我们有充分理由担心：最大化任何包含自我保存的目标函数（无论是作为直接目标还是工具性目标），都会让AI采取行动，确保人类永远无法把它关掉。

而且，一个足够聪明、以自我保存为目标的AI，只要预见到人类可能把它关掉，就会自然而然发展出控制人类、甚至消灭人类的子目标。

另外一个担忧是：如果法律体系被修改为承认具有「生命、自由与追求幸福」之类权利的、以自我保存为目标的AI系统，那么人类就有可能制造出与自身权利相竞争的冲突。

出于人类安全考虑，一个系统类别也许应该被关闭，但如果这些系统也拥有生存权，依法可操作的空间就会被大大压缩。

综上所述，AI研究可能正把社会推向这样一种未来：相当一部分公众和科学界会相信AI系统有意识。

就目前而言，AI科学尚不知道如何构建会与人类价值与规范一致的系统，而社会也既没有能够容纳「看起来有意识」AI的法律框架，以及相应的伦理框架。

但这条路并非不可更改。

在更好地理解这些问题之前，人类完全可以避免把自己置于如此危险的处境，转而选择去构建那些在外观和功能上都更像「有用的工具」，而不是「有意识的智能体」的AI系统。

你是倾向于构建更像工具的AI，还是倾向于构建「像人一样」的AI？

作者介绍

Yoshua Bengio

Yoshua Bengio为蒙特利尔大学全职教授，LawZero总裁和科学总监，Mila创始人和科学顾问。

1991年，Yoshua Bengio获得加拿大麦吉尔大学计算机科学博士。

Yoshua Bengio得到了加拿大高级研究院（CIFAR）和加拿大自然科学与工程研究委员会（NSERC）的支持。

Eric Elmoznino

Eric Elmoznino现为Mila人工智能博士研究生，对意识感兴趣，同时在Lighthouse Labs担任数据科学讲师。

参考资料：

https://www.science.org/doi/10.1126/science.adn4935