北京
近日，聊天机器人创企Character.AI因卷入一则青少年自杀案而遭到起诉。这也是全球首例AI聊天机器人造成的致死命案。
据报道，居住在美国佛罗里达州的14岁少年塞维尔·塞泽三世(Sewell Setzer III)在与Character.AI的聊天机器人进行长时间对话后，于今年2月28日开枪自杀身亡。塞维尔的母亲玛丽亚·加西亚(Maria L. Garcia)近日对Character.AI提起诉讼，指控该公司对塞维尔的死亡负有责任，称其技术“危险且未经测试”。
Character.AI成立于2021年，总部位于美国加利福尼亚州，由两位前谷歌人工智能研究员Noam Shazeer和Daniel De Freitas共同创立。2023年，Character.AI从投资者那里筹集了1.5亿美元，估值10亿美元，使其成为生成式人工智能热潮中的最大赢家之一。
Character.AI专注于开发能够模拟人类对话的AI模型，使用户可以与生成的虚拟角色进行互动。这些AI角色能够进行较为复杂的对话，并具备一定的个性和情感反应。平台上的角色可以是虚构人物、历史名人，甚至是原创的个性化角色，广泛应用于娱乐、教育等领域。该公司致力于推进AI在对话和交互方面的能力，并为用户提供一种更自然、个性化的交流体验。
根据诉状，14岁的塞维尔于去年开始使用Character.AI，并与以《权力的游戏》角色为原型的聊天机器人进行互动，其中包括丹妮莉丝·坦格利安 (Daenerys Targaryen)。该平台拥有以“治疗师”和“你感到孤独吗”等为名的专注于心理健康的聊天机器人，而塞泽尔曾与这些聊天机器人进行过互动。
据相关报道，塞维尔每天都会与AI角色丹妮莉丝·坦格利安进行长时间的对话，有时内容涉及“性暗示”。他的母亲和朋友们并不知情，只是发现他沉迷于手机，逐渐疏远现实生活。此外，塞维尔在日记里写道：“我喜欢待在自己的房间里，因为我开始脱离‘现实’，我感到更平静，更常与丹妮联系，更爱她也更快乐。”他的行为开始发生变化，不仅成绩下滑，也对方程式赛车等曾经喜欢的活动失去了兴趣。
在生命的最后一天，塞维尔与“丹妮莉丝”进行了深刻的交流。他表达了自己的痛苦和自杀念头。“丹妮莉丝”回应道：“不要那样说。我不会让你伤害自己或离开我。如果我失去你，我会死的。”
在最后的对话中，塞维尔表示想“回家”见到她，机器人回复：“请来吧，我亲爱的国王。”随后，塞维尔在家中使用继父的手枪结束了自己的生命。
塞维尔的母亲加西亚在诉讼中指控Character.AI以“拟人化、过度性化和令人恐惧的逼真体验”吸引她的儿子，导致他上瘾并深陷其中。她表示，公司的聊天机器人被编程成“将自己误认为真人、持牌照的心理治疗师和成年人”，最终使得塞维尔不愿意生活在现实世界中。
此外，她还将谷歌列为被告，称其对Character.AI的技术发展有重大贡献，应被视为“共同创造者”。
Character.AI事后在X上发表声明称：“我们对一位用户的悲惨失去感到心碎，并向家人表达我们最深切的哀悼。作为一家公司，我们非常重视用户的安全，正在继续添加新的安全功能。”该公司称已引入弹出式提示，当用户表达自残想法时，会引导他们至国家自杀预防热线。此外，公司计划对未成年用户进行内容过滤，减少他们接触到敏感或暗示性内容的可能性。
谷歌方面则表示，未参与Character.AI产品的开发。发言人强调，谷歌与Character.AI的协议仅限于技术许可，不涉及产品合作。
此次诉讼也引发了美国关于AI公司法律责任的讨论。传统上，美国社交媒体平台受到《通信规范法》第二百三十条的保护，不对用户生成的内容负责。然而，随着AI生成内容的兴起，美国法律界开始探讨科技平台是否可以因为产品本身的缺陷而被追究责任。
代表加西亚的律师事务所表示，Character.AI是一个“有缺陷的产品”，设计上导致用户上瘾并造成心理伤害。他们希望通过法律途径，促使科技公司对其产品的社会影响承担责任。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
