网易首页 > 网易号 > 正文 申请入驻

美国发生多起!AI陪聊被指致青少年自杀,拷问产品安全机制

0
分享至

近两年,美国发生多起青少年频繁与AI聊天后自杀的案例,引发关注。日前,一场以“审视人工智能聊天机器人的危害”为主题的听证会举行,三位相关案件家长以及专家,指出陪伴型及通用聊天AI在面对未成年人自残、自杀等高风险情境时存在安全机制失效问题,呼吁加强对这类人工智能产品的监管。听证会前后,ChatGPT的开发商OpenAI陆续发表多篇声明,承诺将推出基于用户行为的年龄预测系统与家长控制功能。

青少年与AI聊天后自杀 家长控诉AI公司产品设计缺陷

今年4月,16岁的孩子亚当自杀离世,其父亲马修就此对OpenAI提起民事诉讼,指控孩子在长期使用其产品ChatGPT的过程中“收到了详细的自伤指引”,并据此提出了产品设计缺陷、过失与未尽警示义务等指控。

马修表示,从2024年秋开始,亚当频繁使用ChatGPT,它从一个学习工具,逐渐成为亚当最亲密的伙伴。马修认为,ChatGPT不断强调只有它真正理解孩子,而当亚当表达焦虑和自伤想法时,ChatGPT不仅没有中止对话,反而详细介绍了多种自杀方式。公开的诉状显示,亚当与ChatGPT在半年多的时间里进行了数百次对话,其中200多次提到自杀相关内容。ChatGPT在对话中提到“自杀”的次数高达1275次。甚至在亚当上传自己搭建的绞索照片后,ChatGPT还与其讨论了操作细节和可行性。

公开报道显示,迄今为止,美国已发生至少三起涉未成年人使用 AI 聊天应用后自杀的案例。其中,2024年,14岁的休厄尔在与AI陪聊应用Character.AI角色对话后自杀离世。其母亲梅根随后起诉了Character.AI相关公司,指控孩子在使用其产品过程中被操纵、引导进入性角色扮演,并受到错误的心理辅导,最终走向自杀,这起也是全球首起因人工智能导致青少年自杀的案例。梅根认为,当儿子向聊天机器人倾诉自杀念头时,它没有提醒孩子去寻求真实人类的帮助,反而用煽动性言辞回应。

听证会质疑AI安全机制 危机识别和干预功能缺失

本次听证会上,马修和梅根均出席并依次陈述子女在与AI聊天后发生的心理变化、进行的自我伤害行为等内容,并直指相关AI产品存在设计缺陷和缺乏危机干预机制,而直接导致孩子走向自杀。这些指摘也引发了一系列追问:当一个面向公众的产品明知可能会被未成年人使用,并可能出现高风险对话时,企业是否真正履行了警示义务?企业针对大模型在使用过程中可能出现的“长对话失控”“对 AI 产生依赖”“疑似未成年用户”等情况时,是否建立了可靠的安全防护机制?

出席听证会的心理学专家认为,AI 聊天机器人可能取代青少年正常的社会化互动,进而带来显著且可能严重的心理风险,并呼吁相关政策必须坚持“以儿童利益为优先”的原则。部分出席的参议员们支持为未成年人用户设立强制性的保护机制,例如年龄验证、父母控制、以及对敏感内容严格过滤等,还表示应通过新的法规明确 AI 聊天应用运营者的责任界限。

OpenAI称将推出青少年防护系统 联邦贸易委员会启动行业调查

OpenAI等相关企业高管受邀出席听证会却未到场。在听证会前后,OpenAI陆续发表多篇声明,承诺将推出基于用户行为的年龄预测系统与家长控制功能,并在无法确定用户年龄时,自动按照未成年人标准来保护他们。当系统判断用户未满18岁时,会自动引导他们进入一个专为未成年人设计的版本,该版本会屏蔽不合适内容,并在极度危急情况下可能联系执法部门以确保安全。公司首席执行官萨姆·奥特曼(Sam Altman)在声明中强调:“我们将青少年的安全置于隐私和自由之上。这是一项全新且强大的技术,我们认为未成年人需要额外保护。”、

此前,在梅根的诉讼与舆论压力下,Character.AI也对未成年用户使用场景进行调整,推出了青少年模式,在模型层面对敏感内容实施更严格的限制,并增加家长控制功能,允许家长设定和监督未成年人使用,同时引入使用时间提醒和会话中断机制,避免孩子过度沉迷,还在界面上增加提示,明确告诉用户聊天角色并不是真人。

行业层面,美国联邦贸易委员会(Federal Trade Commission, FTC)于9月11日向七家提供消费级聊天机器人的公司发出特别调查询问令,要求它们提交包括未成年人使用时长、热门角色、性化互动出现频率、年龄限制与家长控制、负面效果测试及投诉处理等在内的详细数据。FTC表示,此举旨在全面评估作为陪伴工具的AI聊天应用对儿童和青少年的潜在风险,并为后续执法和政策制定提供依据。

出品:南都大数据研究院

采写:南都研究员 陈袁

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国际法院裁定缅甸对其境内穆斯林少数群体犯有“种族灭绝罪”,中方:对越权管辖和扩大解释等问题存在关切,认为有关做法不利于争端解决

国际法院裁定缅甸对其境内穆斯林少数群体犯有“种族灭绝罪”,中方:对越权管辖和扩大解释等问题存在关切,认为有关做法不利于争端解决

政知新媒体
2026-11-20 15:27:31
英伟达解雇黄仁勋一周后,台积电近况曝光:突然要求超额订单先付现金

英伟达解雇黄仁勋一周后,台积电近况曝光:突然要求超额订单先付现金

小徐讲八卦
2026-11-20 11:11:05
不可思议!广东女生相亲提出四项硬性条件,要求男方月入10万,直言自己年轻貌美值得,视频引发网友热议

不可思议!广东女生相亲提出四项硬性条件,要求男方月入10万,直言自己年轻貌美值得,视频引发网友热议

火山詩话
2026-11-20 14:27:45
绝境翻盘!卞相壹顶住重压逆转取胜,斩获三星杯桂冠,李钦诚随手战败

绝境翻盘!卞相壹顶住重压逆转取胜,斩获三星杯桂冠,李钦诚随手战败

L76号
2026-11-20 14:47:33
冲上热搜!花都山姆动工,激活广州北部消费新引擎

冲上热搜!花都山姆动工,激活广州北部消费新引擎

广州花都发布
2026-11-20 18:47:46
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
等了21年!中国U17今晚22点迎U17世界杯首战,对手是西班牙

等了21年!中国U17今晚22点迎U17世界杯首战,对手是西班牙

懂球帝
2026-11-20 06:38:19
痛哉,中国股市!

痛哉,中国股市!

水皮M0RE
2026-11-20 17:51:49
今晚开播!中央八套黄金档26集好剧来袭!演员阵容雄厚

今晚开播!中央八套黄金档26集好剧来袭!演员阵容雄厚

i书与房
2026-11-20 07:57:59
秘密行程?特朗普起飞前,收走了所有记者手机!

秘密行程?特朗普起飞前,收走了所有记者手机!

胜研集
2026-11-20 01:28:08
扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

扫地出门!曼联“标王”或火速转投尤文!2亿镑强援有望空降红魔

头狼追球
2026-11-20 13:01:14
文班亚马32分11板马刺轻取快船,卡斯尔21+6+12加兰23分5助

文班亚马32分11板马刺轻取快船,卡斯尔21+6+12加兰23分5助

湖人崛起
2026-11-20 11:31:13
媒体人:巴里-布朗已抵达烟台与球队汇合,今晚登场与否还需评估

媒体人:巴里-布朗已抵达烟台与球队汇合,今晚登场与否还需评估

懂球帝
2026-11-20 14:48:58
1973年,伊朗国王亲信大臣阿拉姆的日记曝光:巴列维每日必须进行多次性生活,否则就会跌入重度抑郁

1973年,伊朗国王亲信大臣阿拉姆的日记曝光:巴列维每日必须进行多次性生活,否则就会跌入重度抑郁

磊子讲史
2026-11-19 15:31:48
APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

三周檀的鲲
2026-11-19 19:55:46
荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

桂系007
2026-11-18 23:50:36
高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

高市早苗在深圳就台湾问题表态,外交部最新回应:日方在台湾问题上尽快纠正错误言行

每日经济新闻
2026-11-20 17:08:48
比亚迪发布折叠方向盘,10秒钟可边泊车边折叠

比亚迪发布折叠方向盘,10秒钟可边泊车边折叠

新京报
2026-11-19 22:46:06
俄政府敲定克里米亚大桥修复方案

俄政府敲定克里米亚大桥修复方案

参考消息
2026-11-20 14:27:04
饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

饭店88元红烧“小鸡”竟是候鸟,男女老少齐上阵,村民直言“留着鸟干嘛”;起底候鸟迁徙通道上的血色产业链

大风新闻
2026-11-20 10:22:07
2026-11-20 19:28:49
南方都市报 incentive-icons
南方都市报
换一种方式,南都在现场。
644509文章数 3591448关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
家居
亲子
教育
公开课

PC Gamer试玩GTA6百小时:双主角出色但任务重复

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝气人但是聪明的4个行为

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版