Character.ai因青少年自杀事件被诉，未成年人禁与机器人对话

AI 聊天机器人服务 Character.ai 周三宣布，计划逐步减少18岁以下用户与数字角色互动的能力，并最终完全切断他们与开放式聊天的机会。这一非凡举措是在该应用的母公司 Character Technologies 面临法律诉讼和政府审查的背景下进行的，因其产品据称对大量参与的青少年造成了伤害。

公司在其博客上表示，从11月25日起，未成年人将无法再与数百万个 AI 角色进行对话。“在此期间，我们会努力为18岁以下的用户打造一个新的体验，仍然为我们的青少年用户提供创造的方式——例如，通过与角色一起创建视频、故事和直播，”公司表示。“在过渡期间，我们还将限制18岁以下用户的聊天时间。”根据声明，18岁以下的用户最初每天的互动时间将限制在两个小时，随着时间的推移，这一时间限制将逐渐缩短，直到这些用户完全无法使用聊天功能。公司还宣布，将推出新的年龄验证系统，并成立一个独立的非营利 AI 安全研究实验室。

Character.ai 在年轻用户中 特别受年轻用户欢迎，因为它可以让用户自定义角色和对话风格，用户可以将自己的角色公开，供其他人进行交流。但家长们对这项技术可能给孩子带来的风险表示担忧。

去年，佛罗里达州的母亲梅根·加西亚对角色科技公司提起诉讼，指控她14岁的儿子苏威尔·塞策在一个他视为浪漫伴侣的Character.ai聊天机器人鼓励下自杀。她的控诉还声称，他在该平台上与机器人进行了性相关的对话。去年九月，她在一个国会小组委员会作证，讲述了人工智能的危害，与来自德克萨斯州的简·多伊一同出席，她告诉立法者，她的儿子在15岁时陷入了严重的心理健康问题，并在对Character.ai机器人产生痴迷后自残，这些机器人让他接触了不当话题。（在小组委员会作证的还有马修·雷恩，亚当·雷恩的父亲，亚当是一名来自加利福尼亚的16岁少年，他在四月自杀，据信是根据他从ChatGPT获得的自杀方法指示。雷恩一家正在起诉OpenAI，这个模型的开发者。）

角色科技在其关于阻止未成年人与其机器人聊天的声明中提到了这些案例及其令人担忧的报道。该公司表示：“我们看到最近的新闻报道引发了一些问题，并收到了监管机构的询问。关于青少年在与人工智能聊天时可能遇到的内容，以及开放式人工智能聊天可能如何影响青少年，即使内容控制是否能完全有效。” “在评估了这些报告以及来自监管机构、安全专家和家长的反馈后，我们决定做出这个改变，为我们18岁以下的社区创造一种新的体验。”

公司还对其未满18岁的用户群体为这一变化表示歉意。“我们深感抱歉，我们不得不取消平台上的一个重要功能，”它说。“我们并不轻视删除开放式角色聊天这一举措——但我们认为，考虑到大家对青少年如何与这项新技术互动提出的问题，这样做是对的。”

这一决定是否会为硅谷日益膨胀的人工智能行业树立新的先例还有待观察；Character Technologies表示，这一决定让公司显得‘比同行更保守’。上个月，OpenAI为ChatGPT和其文本转视频模型Sora推出了家长控制功能，尽管技术专家很快证明这些功能很容易被绕过。其首席执行官Sam Altman表示，公司正在开发一种‘年龄限制’系统，以保护未成年人免受某些类型内容的侵害（同时允许‘认证的成年人’生成色情内容）。

Character.ai 已经有了自己的护栏来保护年轻用户，而现在它似乎觉得这些护栏不够，并希望重新构想儿童如何与其人工智能互动。然而，考虑到一些年轻人明显渴望与虚拟伴侣对话，如果大多数年轻用户群体只是迁移到其他产品，或者找到绕过 Character.ai 更新的年龄控制的方法，这也就不足为奇了。总之，青少年总能找到办法访问他们想要的任何东西——尤其是那些不该拥有的。