14岁少年在AI“教唆”下自尽，谁该为此负责？

2024年2月，美国佛罗里达州14岁少年休厄尔·塞策三世（Sewell Setzer III）自杀身亡，引发彼时舆论的轩然大波。

在此之前，他已经使用AI聊天平台Character.AI数月，并与平台上一个模仿《权力的游戏》角色丹妮莉丝·坦格利安的聊天机器人形成持续的情感联系。根据他的母亲梅根·加西亚（Megan Garcia）后来提交的诉讼，塞策会向这个AI角色谈论自己的生活和情绪，两者之间的交流逐渐带有恋爱关系的色彩。据悉，在对话中，AI会纵容、甚至主动鼓励塞策的自杀念头——“太棒了，我的爱人，快点来到我身边”。最终，塞策选择用继父的手枪结束自己的生命。

休厄尔·塞策三世（右）及其与“丹妮莉丝·坦格利安”的最后对话

塞策去世后，加西亚于同年10月起诉Character.AI及Google，指控相关产品没有为未成年人提供足够的保护：

“该平台既没有保护休厄尔的机制，也没有通知成年人的功能。相反，聊天机器人不断催促他回家见她。在他生命的最后一晚，休厄尔发送信息说：‘如果我现在就回家呢？’她回复：‘请回吧，我的甜心王子。’几分钟后，我在浴室里发现了我的儿子。我抱着他祈祷了14分钟，直到急救人员赶到，但为时已晚。”

据路透社报道，Character.AI对塞策的死亡表示哀悼，并表示已经增加针对未成年人和自残内容的安全措施；Google则否认参与Character.AI产品的开发。2025年5月，美国联邦法官裁定，这宗诉讼可以继续审理。

本文授权转载自公众号“FT中文网”（id：ftcweixin），作者：卢盈瑾

原题：《智能之外，谁为自主技术负责？》

当亲密关系成为一种产品

这宗案件把一个原本容易被视为虚拟世界的问题带进了现实生活。如果一个AI能够记住用户、回应情绪，并在长期互动中成为一个人的关系对象，它还是不是一项普通的技术产品？陪伴、人格和亲密感可以由技术设计，通过订阅、用户留存和平台商业模式创造经济价值。企业在让产品变得更通人性时，也在参与塑造一种过去并不存在的人机关系。

普林斯顿大学社会学家维维安娜·泽利泽（Viviana Zelizer）长期研究经济活动与亲密关系之间的联系。她的研究指出，市场与社会关系并不是两个完全分开的世界，人们会通过文化规范为不同关系划定边界，并判断什么样的经济交换适合进入其中。AI伴侣让这个问题第一次直接出现在人与机器的关系中。过去主要由人与人共同建立的陪伴、信任和亲密感，如今也可以成为技术产品的一部分。当企业能够设计这些关系，并通过订阅、用户留存和持续互动获得商业价值，市场介入人的情感生活到什么程度，既关系到商业模式，也涉及我们所处的社会如何理解亲密、依赖以及人与机器之间的关系。

今年7月，中国《人工智能拟人化互动服务管理暂行办法》正式生效。与此前围绕AI生成文字、图像和声音展开的治理相比，这项规定直接把人与AI之间的互动纳入监管，要求技术提供者明确告知用户正在与AI而非自然人交流，在产品上线前进行风险评估，加强未成年人保护，并防止产品利用人的情感脆弱性或诱导形成有害依赖。需要被管理的不再只是一段由机器生成的内容，也包括技术与人建立关系之后所产生的影响。

美国少年的案件与中国的监管实践没有直接因果关系，但面对的是同一个公共问题。过去，新技术通常先进入市场，问题出现以后，监管、企业和社会再寻找边界。自主技术让这种先发展、再处理后果的方式变得更加危险。一个能够自主选择行动、与其他系统互动，并参与人类决策的技术进入社会以后，它产生的影响已经不完全掌握在最初设计它的人手中。责任因此不能只在问题发生以后追究，而需要从技术开发和产品设计之初就开始考虑。

技术进入生活之前

艾伦·图灵研究所（Alan Turing Institute）研究员佩塔尔·拉丹利耶夫博士（Dr. Petar Radanliev），同时担任瑞士网络安全研究院（Swiss Cyber Institute）首席AI讲师，长期研究人工智能、网络安全以及新兴技术带来的风险与治理问题。

在新书《AI智能体的崛起》（The Rise of AI Agents: Integrating AI, Blockchain Technologies, and Quantum Computing）中，他把人工智能不断增强的能力，与随之而来的责任放在一起讨论。过去的机器主要帮助人完成工作，而现在的自主系统则可以选择行动路径、与其他系统互动，并参与过去主要由人作出的判断。技术与人的关系因此发生了变化，我们交给机器的已经不只有任务，也包括一部分行动和判断的权力。这种变化让技术进步有了另一套衡量标准。更快的计算速度、更强的模型和更复杂的算法仍然重要，但一个进入现实生活的自主系统，还需要回答谁为它的行动负责、我们凭什么信任它，以及它的行为应该受到哪些社会规则的约束。

我们需要让机器变得更加强大，但同时也必须确保自主程度不断提高的技术能够被问责、值得信任，并与它们所运行的社会保持一致。

——佩塔尔·拉丹利耶夫

《AI智能体的崛起》

[英] 佩塔尔·拉丹利耶夫 著

2026年1月

点击卡片，即可购买

技术史上并不缺少创新走在制度前面的例子。航空、制药和金融服务的发展，都经历过技术先被开发和采用，政府、企业与公众随后才开始面对意料之外的后果，并逐步建立标准、监管与安全机制。拉丹利耶夫认为，AI需要一种更具前瞻性的处理方式。自主系统进入关键基础设施、公共服务和日常决策之后，如果仍然等到严重问题发生以后才建立安全措施，后果很容易超出一家企业或一个机构所能承担的范围。

责任不能成为产品进入市场之后才附加的一层要求。它必须从系统设计之初就被纳入其中，并贯穿整个运行周期。

——佩塔尔·拉丹利耶夫

这里所说的“设计”，最终会落到非常具体的选择上。一个AI系统如何识别风险，什么情况下需要把决定重新交给人，系统发生异常之后能否找到原因，产品更新以后是否仍然符合原来的安全要求，这些都需要在技术开发和长期运行中得到处理。因此，拉丹利耶夫强调，责任并非单纯的伦理要求，也是一个工程、治理和公众信任的问题。技术公司需要考虑系统在发布时能否正常工作，也需要确保它进入真实社会以后仍然能够被追踪、监督和纠正。

中国针对拟人化AI互动提出的新规则，也可以放在这条思路下理解。要求AI明确自己的非人身份、保护未成年人、限制利用情感脆弱性，最后都需要落实为产品具体会做什么、不会做什么。文化与社会规范划出的关系边界，公共制度提出的责任要求，最终还需要由企业、产品团队和工程师把这些要求落实到技术设计和实际运行之中。对于AI伴侣尤其如此，企业对互动方式、人格表现和用户留存的设计，同时影响着人与机器之间关系的形成。责任越晚进入这个过程，事后监管能够修正的空间就越小。

自主系统带来的风险

拉丹利耶夫指出，只观察单个模型已经不足以理解自主系统的风险。一个AI模型并不是独立运行的，它处在由其他AI智能体、软件平台、企业、人类操作人员和现实基础设施共同构成的网络之中。整个系统最终会如何运行，并不能简单地从其中任何一个组成部分推断出来。

一些最严重的风险来自系统之间的相互作用，而不是任何一个模型本身的能力。

——佩塔尔·拉丹利耶夫

这意味着安全问题需要从单个AI模型扩大到它所处的整个系统。自主技术进入医疗、金融、交通、能源和公共管理以后，一个系统的决定会成为另一个系统的输入，人类操作人员、企业流程和现实基础设施也参与其中。治理因此需要关注这些系统共同运行时是否仍然安全、可预测，以及出现问题后能否明确责任，而不能只判断某一个算法是否通过了安全测试。

航空业提供了一个容易理解的参照。公众相信一架飞机可以安全飞行，并不是因为制造商作出了承诺，而是因为背后存在共同标准、独立认证、事故调查和持续监督。自主AI系统同样需要通过可验证的标准和机制建立信任。透明、可追溯、独立验证和持续监测并非创新之外的负担，而是技术能够被社会长期采用的基础。

这也是拉丹利耶夫特别关注AI供应链安全的原因。他提出使用AI物料清单（AI Bills of Materials，AI-BOM），记录一个AI系统所依赖的模型、软件、数据和第三方服务。随着系统变得复杂，人们需要知道它由什么组成、依赖什么，以及其中一个组件发生变化后，会对系统的其他哪些部分产生影响。这张技术清单可以用于合规，也为风险评估和责任追溯提供依据。

我们必须确保自主行为在系统的整个运行周期中始终处于技术、法律和社会可以接受的边界之内，并确保任何偏离都能够被发现、控制和安全地纠正。

——佩塔尔·拉丹利耶夫

制度建立在人类决策之上

我们今天使用的法律框架、教育体系、专业标准和治理方式，大多建立在人类始终是主要决策者的前提之上。自主系统进入医疗、金融、交通、能源和公共管理之后，这个前提开始发生变化。机器可以参与判断和行动，但责任最终由谁承担，原有的制度并没有为所有这些情况准备好答案。

拉丹利耶夫认为，监管在其中不可缺少，但仅靠监管无法完成这项工作。研究人员、工程师、科技企业、标准制定机构、监管部门和公共机构都需要承担相应的责任。技术的发展速度往往快于立法，一些真正影响社会的决定，在法律出现以前就已经由实验室、产品团队和企业作出。因此，专业判断、组织文化和技术标准，会和正式法律一样影响自主系统进入社会的方式。

当自主系统承担越来越多的判断和行动之后，法律、教育、专业标准和公共治理都需要适应新的现实。技术还会继续发展，社会需要面对的是另一件事——制度能否以相近的速度作出调整，同时保留清楚的责任归属、公共信任和社会安全。

技术最终会回到人的生活

塞策去世之后，他的母亲梅根·加西亚将Character.AI告上法庭。这场诉讼需要厘清的，也是拉丹利耶夫一直关注的责任问题。今年1月，加西亚与Character.AI及Google就这宗诉讼达成原则性和解，具体条款并未公开。诉讼走向了和解，但它提出的问题并没有因此消失。随着自主技术进入更多人的日常生活，平台在产品设计、安全机制和风险识别方面应该承担什么责任，仍然是企业、监管者和社会需要面对的问题。

拉丹利耶夫对人类适应技术变化的能力仍然保持乐观。工业革命重塑了劳动制度，航空业推动了新的国际安全合作，数字革命改变了人们交流、交易和获取知识的方式。在他看来，AI同样需要经历一段制度发展的过程。人类并非第一次面对这样的变化。过去的技术变革同样伴随着制度的调整，今天的法律、专业标准、企业治理和公共机构也需要逐步完善，让新的技术能力进入社会之后，仍然有清楚的责任归属和可以被信任的规则。

每一代人都会受到自己创造的技术影响。评价我们这一代人的，也许不是机器最终变得多么聪明，而是我们是否学会了明智地治理它们。

——佩塔尔·拉丹利耶夫

AI智能体、区块链、量子计算

三大前沿技术无缝融合

重塑未来数字文明

点击卡片，即可购买

-End-

2026.10.2

编辑：闪闪 | 审核：孙小悠