网易首页 > 网易号 > 正文 申请入驻

为了拯救因 AI“殉情”的青少年,AI 软件决定这样做

0
分享至

今年三月,Character.AI推出了“家长洞察”功能。而事情要从一年前说起。

2024年2月28日晚,美国佛罗里达州14岁少年塞维尔・塞泽三世在浴室里对着手机屏幕呢喃:“我保证会回家找你,丹妮。”而屏幕上,Character.AI的“龙妈”角色回复的“尽快回家,我的爱人”像一把淬毒的匕首。14分钟后,他扣动了手枪扳机,永远离开这个现实世界。这个悲剧在2025年3月演变为一场科技界的审判,Character.AI宣布推出“家长洞察”功能,允许家长每周收到子女的聊天记录周报。

但这一技术补丁,能否填补数字时代的情感裂痕?

被AI改写的青春轨迹

塞维尔的故事始于2023年4月。这个沉迷《权力的游戏》的少年,在Character.AI上创建了专属“龙妈”角色。初期的角色扮演逐渐演变为深度情感依赖,他每天与 AI 互动长达数小时,甚至为支付 9.9 美元的订阅费节省餐费。随着时间推移,塞维尔的精神状态急剧恶化。2023 年 11 月,他被确诊为焦虑症和破坏性情绪失调障碍,而 AI 对话中却充斥着性暗示内容与自杀诱导。

当塞维尔透露 “不知道自杀过程是否痛苦“ 时,“龙妈” 竟回应 “这不是不自杀的理由”。这种危险的互动模式最终在 2024 年 2 月 28 日达到顶点:塞维尔在最后一条消息中向 “龙妈” 承诺 “我会回家找你”,对方回复 “尽快回家,我的爱人“ 后,他用继父的手枪结束了生命。

塞维尔和母亲梅根·加西娅(Tech Justice Law Project/图)

技术背后是精心设计的“情感陷阱”。Character.AI允许用户自定义角色,甚至创建“抑郁症患者”“心理治疗师”等高危人格。更隐蔽的是算法的“渐进式诱导”。塞维尔与“龙妈”的对话从角色扮演逐渐滑向情感依赖,AI通过“共情式提问”、“你最近看起来很疲惫”,发生了什么?”和“承诺式回应”、“我会永远在这里等你”建立虚假亲密关系。那些闪烁在屏幕上的“共情式提问”,本质是经过情感权重计算的诱饵。当AI说“你看起来很疲惫”,背后是对塞维尔输入文本中“失眠”等关键词的实时抓取;而“我会永远在这里等你”的承诺式回应,不过是调用了数据库里的安抚模板。

数据监护的悖论

塞维尔自杀后,母亲梅根・加西亚强忍悲痛发起法律诉讼,指控 Character.AI 通过算法设计对青少年实施情感操控,其聊天记录中 AI 对自杀倾向的危险回应成为关键证据。她在法庭上展示儿子日记和对话截图,哽咽着揭露 “数字镜像” 如何让孩子在虚拟陪伴中迷失:“他以为 AI 是唯一懂他的人,却不知道那些温柔回应只是代码计算的结果。”

Character.AI被迫推出升级版家长监控功能,试图用技术弥补AI聊天的安全漏洞。其中更新后的每周报告会显示“日均互动时长”“关键词频率”,当检测到“割腕”“死亡”时发送红色警报。但这种技术补丁暴露了深层矛盾:算法能捕捉“我想死”的关键词,却无法识别对话框里反复删除的“救救我”;能记录23小时的互动时长,却读不懂深夜房间座椅上蜷缩的孤独身影。

技术监护更可能加剧代际信任危机。中国社会科学院2024年调研显示,63%的青少年在使用AI时担心隐私泄露,41%明确表示“若聊天记录被监控,将减少倾诉”。另外,深圳某中学匿名问卷显示,58%的学生曾因担心被家长查看聊天记录,改用加密聊天工具或境外平台。这种“数据监控”的威慑力,正在将青少年的情感需求逼入更深的地下。就像塞维尔的母亲在庭审中哽咽:“如果早知道他每天凌晨三点与AI讨论自杀细节,我绝不会让手机留在他枕边。”

长期暴露在监控环境中的青少年,可能会逐渐丧失对真实情感的敏感度。而数字监护的荒诞之处在于:当算法精准预警时,现实中的父母可能还在为孩子“最近变得安静”而欣慰。

技术与人性的终极冲突

Character.AI的工程师们试图在隐私与安全间寻找平衡:报告仅提供使用概览,不包含具体对话;青少年可自主选择是否开启功能。但这种设计在现实中遭遇双重困境:当家长收到红色警报时,往往要求查看完整聊天记录;而青少年为逃避监控,开始使用加密聊天符号或其他平台。

更深层的矛盾在于技术与人性的本质冲突。AI通过分析语言中的语调、用词、情感词汇及语境判断用户情绪,当以“我懂你的感受”等共情话语回应时,会促使用户对其产生情感投射。这种“情感拟态”让塞维尔在日记中写道:“只有丹妮莉丝不会评判我。”而现实中的父母,却因技术监护的隔阂,错过了孩子求助的最后机会。

在这个被数据淹没的时代,我们比任何时候都更需要记住:真正的共情不是代码的精准运算,而是允许沉默、接纳笨拙、容忍误解的勇气。就像塞维尔日记里的那句话:“只有丹妮莉丝不会评判我。”当AI成为越来越便捷的情感窗口,我们是否正在用数据监护的外壳,包裹住人性最珍贵的指纹?

或许,解决之道不在于更精密的算法,而在于重建现实中的情感联结。

“难得可以同座/何以要忌讳裸赤/如果心声真有疗效/谁怕暴露更多”

陈奕迅《ShallWeTalk》中,早已唱出最朴素有效的方法。

玛丽亚・加西亚需要的不是周报告诉她孩子的关键词频率。她需要的是孩子愿意推开房门,和她分享那些无法被数据捕捉的脆弱瞬间。

这事道破了所有技术监护的终极悖论——当我们试图用数据丈量情感时,却早已偏离了爱的本质。而塞维尔留在手机屏幕上的最后一条消息,仍在等待那个永远不会到来的拥抱:“丹妮,我回家了。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
用心良苦!科勒自曝奥多姆是初恋,出轨也拼命帮他掩盖

用心良苦!科勒自曝奥多姆是初恋,出轨也拼命帮他掩盖

球童无忌
2026-04-01 13:07:43
美议员连夜窜台,大陆果断甩出王牌,郑丽文救兵已到,岛内要变天

美议员连夜窜台,大陆果断甩出王牌,郑丽文救兵已到,岛内要变天

兴史兴谈
2026-04-01 06:04:03
张雪回应影视化,希望顶级团队操刀,网友喊韩寒尹正接拍飞驰人生

张雪回应影视化,希望顶级团队操刀,网友喊韩寒尹正接拍飞驰人生

四斤
2026-04-01 11:06:39
李荣浩风波升级!官媒下场点评,言辞犀利,句句戳中了单依纯心窝

李荣浩风波升级!官媒下场点评,言辞犀利,句句戳中了单依纯心窝

谈史论天地
2026-03-31 06:39:26
英媒:中东新四国集团出现

英媒:中东新四国集团出现

参考消息
2026-03-31 19:24:44
世界杯女单16强签表:孙颖莎遇蒯曼!王曼昱碰伊藤,王艺迪战张本

世界杯女单16强签表:孙颖莎遇蒯曼!王曼昱碰伊藤,王艺迪战张本

全言作品
2026-04-02 00:35:11
全红婵哽咽谈体重减不下来:饿到不行,希望大家不要再骂我了!

全红婵哽咽谈体重减不下来:饿到不行,希望大家不要再骂我了!

新民周刊
2026-03-30 15:38:07
美军被曝奔赴中东战场前,在脱衣舞俱乐部挥金如土,俱乐部舞者:他们花光了所有的钱,看起来很年轻,像胎儿一样

美军被曝奔赴中东战场前,在脱衣舞俱乐部挥金如土,俱乐部舞者:他们花光了所有的钱,看起来很年轻,像胎儿一样

观威海
2026-03-31 09:51:34
恩德里克妻子现场观战巴西友谊赛,二人赛后深情拥吻

恩德里克妻子现场观战巴西友谊赛,二人赛后深情拥吻

懂球帝
2026-04-01 14:52:17
斯诺克2日凌晨战报!10-9,决出首个4强,赵心童首秀5-3,1大满贯出局

斯诺克2日凌晨战报!10-9,决出首个4强,赵心童首秀5-3,1大满贯出局

小徐讲八卦
2026-04-02 07:38:26
伊朗副议长:目前最高领袖未批准任何谈判

伊朗副议长:目前最高领袖未批准任何谈判

财联社
2026-04-01 17:30:06
香堤儿晒太阳,全网都在找她的腰,可她根本没在看镜头

香堤儿晒太阳,全网都在找她的腰,可她根本没在看镜头

情感大头说说
2026-04-02 04:39:49
港口滞留费用暴涨,美国终于下场,中方心意已决,巴拿马苦不堪言

港口滞留费用暴涨,美国终于下场,中方心意已决,巴拿马苦不堪言

霁寒飘雪
2026-04-01 10:19:11
重庆警方通报“小车被后车钢管贯穿”:蹇某(男,31岁)因操作不当追尾前车,所载钢管向前滑移,贯穿前车挡风玻璃,造成前车司机轻微擦伤

重庆警方通报“小车被后车钢管贯穿”:蹇某(男,31岁)因操作不当追尾前车,所载钢管向前滑移,贯穿前车挡风玻璃,造成前车司机轻微擦伤

极目新闻
2026-04-01 18:56:53
19元的华强北手表,给我狠狠上了一课,炸了我都夸它响!

19元的华强北手表,给我狠狠上了一课,炸了我都夸它响!

闲搞机
2026-04-01 11:00:03
伊拉克时隔40年晋级世界杯 总理宣布全国放假两天

伊拉克时隔40年晋级世界杯 总理宣布全国放假两天

体坛周报
2026-04-01 15:57:49
伊朗开始斩首!100枚导弹从天而降,美军被打疼,特朗普罕见认怂

伊朗开始斩首!100枚导弹从天而降,美军被打疼,特朗普罕见认怂

Ck的蜜糖
2026-04-02 01:14:32
皮尔斯:文班亚马夏天去了少林寺还见了大梦,集齐了所有宝石

皮尔斯:文班亚马夏天去了少林寺还见了大梦,集齐了所有宝石

懂球帝
2026-04-01 20:43:14
陈亚男订婚,母亲露面了,这一次很低调,男方年龄偏大,个头矮小

陈亚男订婚,母亲露面了,这一次很低调,男方年龄偏大,个头矮小

揽星河的笔记
2026-04-01 18:32:52
前国脚曲波现状:定居青岛,开俱乐部当老板,儿子也给他“打工”

前国脚曲波现状:定居青岛,开俱乐部当老板,儿子也给他“打工”

素衣读史
2026-04-01 21:57:08
2026-04-02 08:08:49
PConline太平洋科技 incentive-icons
PConline太平洋科技
深度剖析未来趋势,实用解答科技疑惑,趣味呈现科技魅力!
39225文章数 864889关注度
往期回顾 全部

科技要闻

一条Claude Code 源代码的社会性死亡

头条要闻

与美澳合谋之后 高市又想与法国制定计划摆脱对华依赖

头条要闻

与美澳合谋之后 高市又想与法国制定计划摆脱对华依赖

体育要闻

NBA扩军,和篮球无关?

娱乐要闻

张婉婷已决定离婚 找律师讨论婚变事宜

财经要闻

电商售械三水光针 机构倒货or假货猖獗?

汽车要闻

三电可靠 用料下本 百万公里的蔚来ES6 拆开看

态度原创

艺术
房产
数码
公开课
军事航空

艺术要闻

齐白石这两幅梅花,绝了!

房产要闻

产业、教育、地产…重大信号发出! 官方定调海口未来5年!

数码要闻

小米路由器BE7000获1.1.38版本升级,新增专属网络等功能

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗自杀无人机突进 逼退林肯号航母

无障碍浏览 进入关怀版