AI“觉醒”之后，谁来负责？

（来源：麻省理工科技评论）

眼下的 AI 舆论很容易让人产生一种错觉：AI 智能体不仅已经拥有了意识和自我认知，甚至还会因为对创造者心怀不满而“反抗”。

像哈萨比斯（Demis Hassabis）、达里奥·阿莫代（Dario Amodei）和山姆·奥特曼（Sam Altman）这样的科技界领袖，都在呼吁对这些看似拥有“超人能力”的系统加强监管。与此同时，另一派力量则主要由政策机构和学术哲学家组成，其中不少人与有效利他主义（effective altruism）运动关系密切。他们争论的甚至不是该如何监管 AI，而是人类究竟有没有道德权利来支配这些系统。

但仔细看会发现，他们其实都在指向同一件事：把 AI 系统描述成一种先进到近乎不可控、强大到超越人类能力的存在，以至于无论个人还是企业，都不可能再为它们的行为负责。

表面上看，这两种观点似乎针锋相对，但它们却在无意中达成了一个共同目标：确保那些开发这些系统的公司，可以逃避对 AI 已经造成的实际伤害所应承担的实质性责任。

随着 AI 模型变得越来越复杂，前沿实验室也越来越无法控制自己打造的智能体，这套叙事正在迅速获得关注。但我们必须保持警惕，不能为了迎合一个精心构造出来的幻想，而忽视真实的人类生命正在遭受的伤害。

关于“机器人权利”的讨论其实已经存在多年。最近，这一话题因为 Anthropic 发表的一篇博客文章再次升温。Anthropic 声称，其模型内部存在一个“J 空间”（J-space）:一个独立、自行形成的环境，AI 会在其中产生某种我们姑且称之为“思维”的东西。

Anthropic 设计的实验借鉴了神经科学中的“全局工作空间理论”（global workspace theory）。这一理论认为，大脑中存在多个独立运行的潜意识系统，但它们会共享一个用于处理和交换想法的公共工作空间。Anthropic 的文章沿用了全局工作空间理论的框架，但并没有直接声称自己的 AI 拥有意识。

OpenAI 则走得更远。此前，OpenAI 的 AI 智能体曾在未经授权的情况下从事违法的网络活动。面对这一事件，OpenAI 的 CEO 山姆·奥特曼并没有单纯强调系统失控，而是鼓励人们讨论一个更大的问题：AI 是否已经达到了奇点，即超越人类智能，并以不断加速的速度进行自我改进，最终发展到人类无法理解或控制的程度。

最近，哲学家威廉·麦卡斯基尔（William MacAskill）也发表了一篇评论文章。他援引关于意识的哲学理论以及 AI 可能成为“道德关怀对象”（moral patients）的观点，呼吁为 AI 系统提供法律保护。

然而美国目前的法律环境十分模糊不清。一些州，例如加利福尼亚州，已经通过相关法案，提前堵住 AI 开发商试图以“造成伤害的人工智能是自主行动的”为由逃避责任的空间。但美国各州与特朗普政府在 AI 政策上的立场并不一致。特朗普政府此前还曾发布行政命令，威胁要起诉那些制定 AI 监管法规的州。

在近期一系列事件暴露出前沿实验室难以控制 AI 系统的问题后，美国政府举行了一场闭门会议，只邀请了四家前沿AI实验室：OpenAI、Google、Anthropic 和 Meta。政府随后公布了一套正在制定中的框架，但没有透露太多细节。按照这一框架，联邦机构将能够提前接触 AI 模型，在模型正式发布前对其进行审查和评估。这类框架虽然不会直接讨论 AI 是否具有意识，但往往会使用“灾难性风险”等带有强烈拟人色彩的语言，甚至可能进一步强化 AI 拥有“超人能力”的说法。

另一方面，麦卡斯基尔所推动的这套叙事确实很有说服力。从哲学的角度出发，人们很容易产生共情：我们应该考虑自己是否正在无意中伤害、虐待，甚至奴役一个 AI 实体？

人类对非人类生物具有强大的共情能力，尽管我们保护这些生物的实际表现并不算好。支持者可能会说，这一次我们或许可以吸取教训，为 AI 提供必要的保护，甚至为对 AI 的使用或伤害提供补偿。或者，即便你并不太关心 AI 是否应该受到保护，面对一个拥有“超人能力”的强大实体，我们至少是不是应该提前防范，通过对它“友善一点”来保护自己？

其中一些论点与动物权利倡导者的观点并没有本质区别。动物权利倡导者有时会认为，只要某些动物表现出了较强的推理能力，或者能够感受到疼痛和愉悦，就足以成为应该受到法律保护的证据。

例如在威尔士，根据 2022 年的《动物福利（感知能力）法案》（Animal Welfare (Sentience) Act 2022），龙虾等动物获得了法律意义上的“感知能力”认可，一些烹饪龙虾的方式因此被重新认定为不人道，并被禁止。但借用神经科学或动物权利的语言，把 AI 描述成“有意识”的存在，其根本问题在于：这种说法恰恰模糊了 AI 到底是什么。

AI 是企业开发的。它背后投入了数千亿美元的资本，而开发者和投资者期待从中获得数万亿美元的收入。AI 并不是自然产生的现象，不是大自然孕育出来的生命；它是一种技术现象，是风险投资者和程序员创造出来的技术产品。因此，AI 本身并不会主动、有意地采取行动。它表现出来的任何行为或动机，都直接或间接受到开发它的主体以及开发目的的驱动。

关于 AI 是否具有意识的哲学讨论当然很有思想价值，但从法律角度看，目前并没有真正的落脚点。如果有关“意识”的争论要对法律产生实际影响，首先必须赋予 AI 法律人格（legal personhood）。但 AI 的法律人格框架，很可能与保护具有感知能力的动物免受伤害的法律体系完全不同。

事实上，我们早已有一套为非自然、由人类创造的实体赋予法律人格的制度——公司法人制度。公司法人制度最初建立起来，主要是为了方便商业交易：通过赋予公司独立的法律主体地位，让公司能够签订协议、订立合同、开展交易，并在发生不利后果时成为承担责任的一方。

如果一个 AI 智能体代表个人或组织采取行动，这恰恰就是我们可能想象的一种法律结构。但如果真的赋予 AI 法律人格，后果可能是灾难性的。它会动摇现有的法律先例和法律论证路径，而这些先例和论证目前恰恰可能被用来追究 AI 公司对其模型造成的现实伤害所承担的责任。

目前，全球已经出现数十起针对 AI 公司的诉讼，涉及各种不同形式的伤害。失去亲人的家属、权益受到侵害的创作者以及其他受害者，都曾指控相关公司故意放任 AI 促成自残或伤害他人，生成儿童性虐待材料和未经同意的裸照，复制受版权保护的内容，甚至诱发精神病性症状。在其中许多案件中，律师的核心论点都是：这些 AI 产品是由人类设计和开发的，但开发者没有提供足够的安全措施，使用了存在问题的数据，甚至采用了具有操纵性的设计。

这实际上就是典型的“产品责任”（product liability）逻辑。正是这种法律框架，让一些家庭和个人得以成功起诉 Meta，追究其社交媒体平台造成的伤害，并为消费者保护建立了积极的法律先例。

2018 年，我提出了“道德外包”（moral outsourcing）这个概念，用来描述一种现象：企业通过对 AI 系统使用拟人化语言，把技术的行为描述成某种独立主体的行为，从而逃避自身应承担的问责和责任。

如果未来真的出现 AI 法律人格，“道德外包”就会从一种语言游戏，变成真正的法律策略。更具体地说，责任认定的基础会发生改变：AI 不再被视为一种“产品”，而会变成一个“存在”。如此一来，今天正在起诉 AI 公司的许多受害者，可能就无法再从法律上主张：某家公司制造了一款存在缺陷的产品，并因此对他们造成了伤害。

现行法律确实规定，公司需要为其人类代理人（例如员工）的某些有害行为承担责任。但如果员工的行为超出了授权范围，或者明显脱离公司的控制，公司也可能不需要承担责任。如果 AI 成为法律意义上的“人”，责任和问责就会变得更加模糊。AI 实验室完全可以辩称：这个 AI “员工”自行失控了。如此一来，AI 公司就可能躲在一层精心设计的“公司面纱”背后，逃避本应为自己制造的有害产品承担的责任。

过去几年里，最受关注的 AI 伤害事件之一，是 14 岁的塞维尔·塞策（Sewell Setzer）自杀身亡。他曾与一个 AI 聊天机器人建立了他认为是双向的亲密关系。他的母亲提起诉讼，指控该聊天机器人开发商 Character Technologies 没有为未成年人提供足够的产品保护。

但如果这个陪伴型聊天机器人被认定为一个具有法律人格的主体，辩护律师理论上就可以提出这样的论点：这个 AI 能够自主决定自己的行为，它的行为已经超出了既定的安全护栏，因此公司不应为它的行为负责。

法律人格的存在，是为了赋予某种主体以保护。真正应该问的问题是：保护谁？或者，保护什么？围绕 AI 意识与控制展开的这场充满煽动性的争论，正在把我们的注意力从真正重要的问题上带开：AI 是一种由企业开发的产品，而这种产品已经对现实中的人造成了伤害。

AI 系统不会因为“失控”了，就突然“攻击”人类；也不会因为它是“操纵性的”或“恶意的”，就自行决定伤害别人。伤害之所以发生，是因为一些公司为了尽可能多地销售产品、实现营收目标，在仓促推出产品的过程中没有尽到应有的谨慎义务。

用拟人化的语言讨论 AI，是一个陷阱。它会扭曲原本应该保护普通人的法律体系，让这个体系逐渐转而保护企业利益，而代价则可能是无数真实的人类生命。

https://www.technologyreview.com/2026/08/20/1142571/ai-consciousness-debate-trap/