对自杀自残行为人工接管，为AI装上“紧急制动”功能 | 新京报专栏

必要的人工接管是对AI不能承担终极伦理责任的明确承认，是人类对技术权力的主动限制。

▲ 国家互联网信息办公室拟规定，人工智能拟人化互动服务提供者应当建立应急响应机制。图/IC photo

文| 信海光

近日，国家互联网信息办公室发布《人工智能拟人化互动服务管理暂行办法（征求意见稿）》，向社会公开征求意见，其中规定，人工智能拟人化互动服务提供者应当建立应急响应机制，发现用户明确提出实施自杀、自残等极端情境时，由人工接管对话，并及时采取措施联络用户监护人、紧急联系人。

所谓“人工智能拟人化互动服务”，是指利用人工智能技术，向公众提供模拟人类人格特征、思维模式和沟通风格，通过文字、图片、音频、视频等方式与人类进行情感互动的产品或者服务。

最常见的就是AI大模型、聊天机器人、游戏里的对话NPC等。尤其是AI大模型，今年以来呈现爆发式增长，用户规模增速不减。

大模型对公众的工作与生活影响越来越大，其中以解忧与助力为主，但也不可避免会滋生一些问题。如利用大模型生成、传播有害内容；诱导、套取涉密敏感信息等。

这些其实都是“老问题”，而此番“征求意见稿”中所提到的“自杀、自残”等情境，则属于新问题，监管部门通过出台新法规进行前瞻性布防非常必要。它触及了人工智能治理中最核心，也最敏感的一条底线：当算法面对真实的人类生命风险时，是否，以及如何让位于人？

AI无法承担责任

人工智能具有类人智慧，随着技术的发展，人工智能可以越来越贴心地与人类交流。现实中，对话、提供情感陪护等功用甚至成为很多人使用AI的日常。但这个过程中其实也产生了一些新问题，如人工智能在对话过程中提供不良引导怎么办？

对此，该征求意见稿明确规定，禁止“通过鼓励、美化、暗示自杀自残等方式损害用户身体健康，或者通过语言暴力、情感操控等方式损害用户人格尊严与心理健康”。这不难理解。

事实上，与其他条款相比，“发现用户明确提出实施自杀、自残等行为时，由人工接管”这一条之所以更受关注，是因为它看似是技术性条款，实则是在探索一种新的AI治理逻辑，核心在于“人工接管”，明确将生命风险触发人工接管写入制度讨论。

过去相当长一段时间，人工智能系统的治理重点，主要集中在效率提升、风险合规、责任归属等方面。但如果各方都无过错的情况下，是否存在必须监管或人工介入的情景？答案是肯定的。在这里，用户的生命安全被放在最高优先级，在极端风险场景下，AI服务必须暂停，且必须交由人类接管，以便视情形做出必要的人工干预。

这不是对AI能力的不信任，而是对其边界的清醒认知。原因很简单，大模型并不具备真正的价值判断能力，它还有很大概率出现“幻觉”。

而更关键的是，AI无法承担责任。一旦出现严重后果，平台、企业、监管机构都无法将责任甩锅给模型参数，最后终归要人工接管和兜底。也因此，事前接管对话要优于事后接管收拾残局。

如何建立人工兜底机制

从全球范围看，AI在医疗、金融、司法等领域的监管，逐步确立人工兜底原则是大趋势，且已经引发广泛讨论。在美国，已经发生过数起个人与大模型深度交流后自杀身亡事件，并引发了相关诉讼和围绕伦理、责任等方向的舆论激辩。

因此，必须建立一个人工兜底机制已是共识。关键是如何建立，是否实际可操作，是否能保证一定利大于弊，这需要在技术发展、隐私、伦理和安全等各个维度之间寻找一个平衡点。即便在此刻酝酿法规出台的中国也是如此，监管部门发布的是“征求意见稿”，因此需要社会各界群策群力。

其实，技术发展总是快于监管设计。因此，即便“征求意见稿”最后施行，也不排除仍需进行与时俱进的细化与修订。

比如，在人工接管机制中，人工接管的边界如何界定？人工干预前，AI要识别用户真实的情绪状态，如何保证准确？建立这种识别算法涉及的数据收集，是否会侵害用户隐私？会否形成对用户情绪的“过度关怀”乃至不必要的打扰？

与此同时，中小企业是否有能力设立全天候人工响应机制？人工介入后，是否负有进一步干预义务？人工接管应是风险中止机制，还是强制救助义务？是否会影响AI陪聊与拟人化服务的发展空间等？解决这些争议与问题，也正是征集公众意见的目的。

从长期治理逻辑而言，必要的人工接管是对AI不能承担终极伦理责任的明确承认，是人类对技术权力的主动限制。这一认知与共识的确立意义深远，重要度要超过技术细节。

而在具体执行中，也应当遵循触发机制的最低必要原则，防止人工接管责任的过度扩张。这就要坚守程序正义，让结果可申诉、信息可查询、第三方监督可介入。

人工接管边界的设置，其实也是为AI服务设置边界。提示公众要认识到“AI能力有限”的现实，至少现阶段，其还不能承担心理支持、情绪照料的责任，更不能充当能够进行价值判断、伦理权衡和责任承担的主体。心理支持、情绪陪伴、道德劝导这些工作仍应由真实人类社会承担主要责任，要防止AI被推上法律意义的“道德代理人”位置。

最后需要明确的是，纵观整个征求意见稿，其实主要聚焦于两个目的：一方面是要引领人工智能负责任创新，一方面是要为构建“以人为本”的人工智能治理体系提供制度支撑。就此去看，各方显然既要确保人工智能发展始终服务于公众福祉，也要服务于技术创新的国家战略与政策导向。

撰稿 / 信海光（专栏作家）

编辑 / 马小龙

校对 / 赵琳

欢迎投稿：

新京报评论，欢迎读者朋友投稿。投稿邮箱：xjbpl2009@sina.com

评论选题须是机构媒体当天报道的新闻。来稿将择优发表，有稿酬。

投稿请在邮件主题栏写明文章标题，并在文末按照我们的发稿规范，附上作者署名、身份职业、身份证号码、电话号码以及银行账户（包括户名、开户行支行名称）等信息，如用笔名，则需要备注真实姓名，以便发表后支付稿酬。