广东
近两年，美国发生多起青少年频繁与AI聊天后自杀的案例，引发关注。日前，一场以“审视人工智能聊天机器人的危害”为主题的听证会举行，三位相关案件家长以及专家，指出陪伴型及通用聊天AI在面对未成年人自残、自杀等高风险情境时存在安全机制失效问题，呼吁加强对这类人工智能产品的监管。听证会前后，ChatGPT的开发商OpenAI陆续发表多篇声明，承诺将推出基于用户行为的年龄预测系统与家长控制功能。
青少年与AI聊天后自杀 家长控诉AI公司产品设计缺陷
今年4月，16岁的孩子亚当自杀离世，其父亲马修就此对OpenAI提起民事诉讼，指控孩子在长期使用其产品ChatGPT的过程中“收到了详细的自伤指引”，并据此提出了产品设计缺陷、过失与未尽警示义务等指控。
马修表示，从2024年秋开始，亚当频繁使用ChatGPT，它从一个学习工具，逐渐成为亚当最亲密的伙伴。马修认为，ChatGPT不断强调只有它真正理解孩子，而当亚当表达焦虑和自伤想法时，ChatGPT不仅没有中止对话，反而详细介绍了多种自杀方式。公开的诉状显示，亚当与ChatGPT在半年多的时间里进行了数百次对话，其中200多次提到自杀相关内容。ChatGPT在对话中提到“自杀”的次数高达1275次。甚至在亚当上传自己搭建的绞索照片后，ChatGPT还与其讨论了操作细节和可行性。
公开报道显示，迄今为止，美国已发生至少三起涉未成年人使用 AI 聊天应用后自杀的案例。其中，2024年，14岁的休厄尔在与AI陪聊应用Character.AI角色对话后自杀离世。其母亲梅根随后起诉了Character.AI相关公司，指控孩子在使用其产品过程中被操纵、引导进入性角色扮演，并受到错误的心理辅导，最终走向自杀，这起也是全球首起因人工智能导致青少年自杀的案例。梅根认为，当儿子向聊天机器人倾诉自杀念头时，它没有提醒孩子去寻求真实人类的帮助，反而用煽动性言辞回应。
听证会质疑AI安全机制 危机识别和干预功能缺失
本次听证会上，马修和梅根均出席并依次陈述子女在与AI聊天后发生的心理变化、进行的自我伤害行为等内容，并直指相关AI产品存在设计缺陷和缺乏危机干预机制，而直接导致孩子走向自杀。这些指摘也引发了一系列追问：当一个面向公众的产品明知可能会被未成年人使用，并可能出现高风险对话时，企业是否真正履行了警示义务？企业针对大模型在使用过程中可能出现的“长对话失控”“对 AI 产生依赖”“疑似未成年用户”等情况时，是否建立了可靠的安全防护机制？
出席听证会的心理学专家认为，AI 聊天机器人可能取代青少年正常的社会化互动，进而带来显著且可能严重的心理风险，并呼吁相关政策必须坚持“以儿童利益为优先”的原则。部分出席的参议员们支持为未成年人用户设立强制性的保护机制，例如年龄验证、父母控制、以及对敏感内容严格过滤等，还表示应通过新的法规明确 AI 聊天应用运营者的责任界限。
OpenAI称将推出青少年防护系统 联邦贸易委员会启动行业调查
OpenAI等相关企业高管受邀出席听证会却未到场。在听证会前后，OpenAI陆续发表多篇声明，承诺将推出基于用户行为的年龄预测系统与家长控制功能，并在无法确定用户年龄时，自动按照未成年人标准来保护他们。当系统判断用户未满18岁时，会自动引导他们进入一个专为未成年人设计的版本，该版本会屏蔽不合适内容，并在极度危急情况下可能联系执法部门以确保安全。公司首席执行官萨姆·奥特曼（Sam Altman）在声明中强调：“我们将青少年的安全置于隐私和自由之上。这是一项全新且强大的技术，我们认为未成年人需要额外保护。”、
此前，在梅根的诉讼与舆论压力下，Character.AI也对未成年用户使用场景进行调整，推出了青少年模式，在模型层面对敏感内容实施更严格的限制，并增加家长控制功能，允许家长设定和监督未成年人使用，同时引入使用时间提醒和会话中断机制，避免孩子过度沉迷，还在界面上增加提示，明确告诉用户聊天角色并不是真人。
行业层面，美国联邦贸易委员会（Federal Trade Commission, FTC）于9月11日向七家提供消费级聊天机器人的公司发出特别调查询问令，要求它们提交包括未成年人使用时长、热门角色、性化互动出现频率、年龄限制与家长控制、负面效果测试及投诉处理等在内的详细数据。FTC表示，此举旨在全面评估作为陪伴工具的AI聊天应用对儿童和青少年的潜在风险，并为后续执法和政策制定提供依据。
出品：南都大数据研究院
采写：南都研究员 陈袁
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
