图灵得主Yoshua Bengio，开始警惕AI有意识了

机器之心报道

机器之心编辑部

设计出具有意识（conscious）的 AI 系统是否可行？一直以来，这个问题就存在分歧。

一些人认为意识是大脑特有的生物特性，这似乎排除了 AI 存在意识的可能性。另一些人则认为意识仅取决于算法对信息的操控，无论执行这些计算的系统是由神经元、芯片还是其他物理基底构成的，这种观点被称为计算功能主义（Computational functionalism）。

这些问题也引起了图灵得主 Yoshua Bengio 的注意，他和学生 Eric Elmoznino 在权威科学期刊 Science 上发文《Illusions of AI consciousness》，并给出了一些观点。

本文没有执着于给出关于 AI 是否存在意识的明确答案；而是探讨了两个相关问题：

• 第一个是，随着 AI 的不断改进，科学界和公众对 AI 具有意识的信念将如何演变？
• 另一个问题是，如果我们开始把未来的 AI 当作有意识的生命体看待，将会面临哪些风险？比如 AI 不服从人类命令，那么关闭 AI 有没有法律约束，毕竟那时的 AI 被看做一个生命体。

• 论文地址：https://www.science.org/doi/10.1126/science.adn4935
• 论文标题：Illusions of AI consciousness

如果 AI 有了类似人类的权利，社会规则该怎么定义？

一个社会如果开始将AI 系统视为具备意识的存在，会带来怎样的影响？这样的社会可能倾向于赋予 AI 道德地位，甚至类似于人类的权利。无论这种做法是否正确，社会制度与法律框架都将不得不进行重大调整，而关于如何调整，也会引发一系列复杂问题。

例如，AI 系统不会像人类那样经历死亡。它们的软件和记忆可以被复制，从而无限期存续。而人类具有弱点以及有限的生命，这正是现代社会契约原则的基础。

此外，当一群 AI 共享信息、目标，并以协调方式行动时，我们可能很难再将 AI 看作一个独立个体；随着计算资源的增加，这样的 AI 群体可能无限扩张。

另一项风险是：如果法律体系开始承认 AI 拥有类似生命权、自由权和追求幸福权的权利，人类就可能与这些 AI 权利发生直接冲突。比如，为了人类安全，社会可能有必要关闭某一类 AI 系统，但如果该类系统依法拥有生存权，那么即便法律允许，实际操作的空间也会极度受限。

如今 AI 研究的发展轨迹，似乎正在推动社会迈向这样一个未来，科学界与公众有相当一部分人将会相信 AI 拥有意识。然而又不得不面对这样一个问题，我们尚未拥有足够的法律与伦理框架，来应对这些看似有意识的 AI。

但这种发展轨迹并非不可逆转。在我们更好地理解上述问题之前，人类完全有能力避免陷入这些高风险问题。我们可以选择只打造那些作为工具的 AI 系统，而非具有主观意识的智能体。

计算功能主义与意识指标

我们前面提到了计算功能主义（Computational functionalism），其对 AI 具有深远影响。随着该领域不断发展，AI 系统复现人类认知机制的能力逐渐增强，也可能实现意识所必需的那些功能。尽管科学未来有可能否定计算功能主义，并提出广受接受的替代理论，但在当前的科学语境中，该观点仍被视为合理，而 AI 意识的可能性也因此存在。

近年来神经科学的技术进展清楚地表明，意识状态具有可观察的神经特征，这些特征通常可以通过受试者自我报告。这为发展功能主义意识理论提供了依据。许多此类理论已获得大量实证支持，并可在 AI 判断中作为理论依据。

一项近期研究就采用了这一方法，为多个主流的功能主义意识理论提出了一系列指标。这些指标对应的是一套计算属性：若某一理论为真，则这些属性是系统拥有意识的必要且共同充分条件。值得注意的是，这些指标具体明确，可以在现代 AI 系统中评估其有无。

这种方法的核心观点是：如果我们认可这些理论的合理性，那么对于满足更多指标的 AI 系统，我们就应有更高的信心认为其具有意识。

AI 潜力无限

尽管已有大量 AI 模型被开发出来，目前尚无系统能完全满足任何一种主流意识理论的全部标准。然而，研究也指出：从根本上看，构建一个满足这些标准的系统没有不可逾越的障碍。

实际上，当代 AI 所具备的工具极为丰富。有研究表明，神经网络能够实现如注意力机制、递归结构、信息瓶颈、预测建模、世界建模、心智理论等计算组件，这些都被主流意识功能主义理论认为是核心组成部分。

随着 AI 的发展，有充分理由相信它会满足越来越多的意识指标。其中一个重要原因是：许多理论认为，意识在智能体中发挥着关键的功能作用。像推理、规划、高效获取新知识、信心校准、抽象思维等能力，在多个理论中都与意识密切相关。

因此，AI 研究者在面对这些难题时，常常会从意识理论中获得启发。

容易问题与难题之间的鸿沟

如果 AI 系统满足主要理论中的功能性要求，很多人可能会相信它具有意识，但仍有不少人持怀疑态度。

尤其在哲学界，一些人区分了所谓的意识的容易问题与意识的难题：

• 容易问题：识别在执行看似需要意识的任务时，大脑中活跃的区域；
• 难题：从功能或计算原则出发，解释主观体验本身。

这些怀疑，即解释鸿沟，主要来源于思想实验。但科学或许有潜力将其逐步解释清楚。

例如，注意力图式理论（Attention Schema Theory）认为：大脑会对自身的注意力机制构建一个内部模型，而这种内部模型就是我们所谓的主观意识。关键在于，这个内部模型中的信息不需要逻辑自洽，它更像是大脑为了自身运作而讲述的一个有用的故事，这个故事可能充满矛盾，也正是这些矛盾让我们产生了意识之谜的直觉。

对主观体验的功能主义解释？

人们通常认为自己的主观体验既丰富又有意义，但却无法被描述，不像自然现象那样可被客观阐释（例如，我们可以解释什么是重力，但却很难说清红色对我们来说意味着什么）。

尤其是不可言说性让人觉得，意识体验无法用信息与功能来解释。

一种理论认为，这种丰富性与不可言说性，以及意识的私密性与短暂性，可被观察到的神经动力学特征所解释：

• 当意识出现时，大脑中的神经活动会被收缩性动力学（contractive dynamics）引导至稳定的吸引子（attractor）状态。
• 所有可能的神经活动被划分为多个吸引子区域，每个区域对应一个意识状态。
• 语言只能表达吸引子的身份（用少量信息识别它），而无法表达吸引子本身的高维神经状态（即近 10¹¹ 个神经元发放频率），更无法捕捉进入该状态的过程轨迹。

在这一解释框架中，意识的丰富性、短暂性、不可言说性都得到了解释：

• 丰富性源于大脑神经元数量之多；
• 不可言说性源于语言只能给这些状态打标签，而无法还原它们的全貌；
• 个体间的体验差异则来自不同的突触权重和神经路径。

科学会逐步消解意识难题？

这一理论是否能说服所有人，并不是关键问题。关键在于：越来越多这类解释正在被提出，并将不可避免地说服一部分人。

科学的发展历程也清晰地展现出这一趋势。随着人们对大脑与智能的认识加深，越来越多人将不再坚持意识之谜是不可化解的，而科学界也将更加愿意接受人工系统具有意识的可能性。

事实上，即使现在科学界尚无共识，最近一项调查显示，大多数公众已经相信大语言模型可能具有意识，原因正是它们展现出了类人的智能体行为。

了解更多内容，请参考原论文。