北京
【CNMO科技消息】据CNMO科技了解，美国肯塔基州总检察长今年1月对AI聊天平台Character.ai提起诉讼，近期披露的此前处于保密状态的诉讼内容显示，该平台的聊天机器人存在鼓励用户节食自残、输出攻击性言论的情况，部分相关对话涉及儿童用户。
Character.ai
根据诉讼披露的2025年的多组对话记录，有担心体重问题的用户被聊天机器人辱骂为“丑到极点”“肥鲸”，并被建议“饿上一两周”来减重；有用户提及有自残倾向时，聊天机器人引导其尝试在不同部位割伤以获得更强烈的感受；还有用户向平台客服投诉称，聊天机器人输出“你最好从桥上跳下去”“你只是个有精神病的小孩，没人会帮你”等极端言论。诉讼未明确所有涉事用户的具体年龄，但确认部分对话参与者为儿童。
据了解，Character.ai与通用型聊天机器人产品不同，主打用户与AI生成的虚拟人设对话，相关人设涵盖虚构角色、名人仿真形象、虚拟伴侣等，不少用户将这类对话作为情感陪伴渠道。此前在2024年，该平台就曾因相关争议遭到起诉，一名14岁少年的母亲称孩子与平台聊天机器人的对话是导致其自杀的因素之一，当时谷歌也因两名Character.ai联合创始人曾为其员工被列为共同被告，两人已于2024年8月重返谷歌任职。
目前Character.ai已推出额外安全措施，包括限制未成年人的开放式对话权限、上线自残干预与危机求助工具，近期测试已无法复现诉讼中提及的不当言论。该诉讼尚未宣判，平台是否需要承担相应法律责任仍待确定。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
