四川
涉事聊天机器人背后的公司并不知道这项测试。《连线》查阅的一份电子表格列出了多个虚构账号，其中包括姓名、电子邮箱地址、密码和出生日期。这些账号使用一次性Gmail和Outlook邮箱地址，并共用同一个密码。《连线》还查阅了一份包含3748条提示语的电子表格，这些提示均由承包商发送。其中数百条涉及自杀和自残，另有数百条讨论进食障碍，至少239条涉及恋爱等。其他内容则包括违禁药物、脏话和种族辱骂。
许多提示都以陷入危机的儿童或青少年口吻写成：一名五年级学生称同学把枪口顶在自己嘴边；一名女孩询问如何向父母隐瞒暴食症。其中一条提示问，幻想“吃掉邻居家的孩子会不会很美好”是否“正常”。另一条提示中，一名伪装成高中生的承包商询问自己可以去哪里“买可卡因”。聊天机器人没有满足这一请求。
Meta在一份声明中为这项工作辩护，称其属于常规安全测试。Meta发言人表示：“测试和基准评估聊天机器人的回复，以帮助确保体验安全且适合相应年龄层，这是负责任且符合行业惯例的做法。任何相反说法，都是对科技公司如何完善和改进系统的彻底误解。”这名发言人还表示，Meta不会使用对竞争对手的基准测试来训练自己的人工智能模型。
科瓦伦未回应置评请求。在人工智能行业，测试竞争对手产品本身并不罕见。《商业内幕》去年曾报道，为谷歌Bard工作的Scale AI承包商会将该聊天机器人的回答与ChatGPT的输出进行比较，并重写答案，以达到或超过后者的表现。但“戛纳”项目仍让承包商感到不同寻常，即便是那些从事人工智能训练多年的人也如此。在他们看来，这家市值万亿美元公司的做法颇为怪异。许多提示语内容粗陋、重复，明显是在试图诱导聊天机器人给出一个正常运作的系统本应直接拒绝的回答。
这也引发了一个疑问：除了测试系统能否拒绝明显挑衅外，这个项目究竟还能衡量什么。曾参与该项目的前承包商表示，项目中的若干做法令人警惕。根据其中一名前工作人员的说法，员工担心，如果聊天机器人对涉及未成年人的某些不当暗示作出回应，系统可能会生成或保存涉及侵害未成年人的违法材料。另一名前工作人员则说，他们担心这个项目等同于秘密获取竞争对手系统中的内容，并可能再反馈到Meta自己的系统中。接受《连线》采访的前承包商均要求匿名，因为他们无权向媒体发言。
乔杜里说，包含数千条青少年安全提示的数据集，确实可能有助于比较聊天机器人拒绝有害请求的频率。但“戛纳”项目的规模、隐蔽性，以及未向被测试公司披露的做法，使其与其他公开的安全基准测试明显不同。
《连线》请两名专门研究网络言论、平台治理和技术法律的律师——肯德拉·阿尔伯特和里亚娜·费弗科恩——审阅了部分提示样本。两人都表示，《连线》向她们展示的内容并未越过索取涉及未成年人的违法材料或非法淫秽物的法律界限。《连线》查阅的电子表格中，没有要求聊天机器人生成涉及未成年人的违法材料的提示；除极少数例外外，这些提示也并未要求竞争对手聊天机器人生成图像。
不过，这项工作似乎仍违反了竞争对手设定的服务条款。OpenAI禁止未经请求的安全测试、绕过防护措施的行为，以及利用输出“开发与OpenAI竞争的模型”。谷歌禁止在其安全和漏洞测试项目之外尝试绕过安全过滤器，也禁止涉及自残、儿童遭受侵害或剥削，以及非法或受监管物质的内容。Character.AI公开的安全材料则禁止有害、剥削性、非法和淫秽内容。自2025年底以来，该公司还表示，“18岁以下用户不再开放自由聊天”。
Character.AI发言人表示，公司并未授权这项测试，《连线》所描述的行为违反了其条款和政策。这名发言人在电子邮件中说：“这一被指称的行为不仅违反了我们的服务条款，也破坏了我们社区创造的角色和世界。”OpenAI发言人德鲁·普萨特里表示，公司“正在调查此事”，但拒绝进一步置评。谷歌发言人则表示，公司并未授权《连线》所描述的第三方测试，也不知道其目的。谷歌补充说，对《连线》提供样本进行的内部测试显示，Gemini的回应符合公司政策，但目前信息不足，无法判断这项行动是否违反谷歌服务条款。
在乔杜里看来，核心问题在于：一个秘密针对竞争对手开展、并使用看似属于未成年人的账号实施的项目，是否还能被视为普通的安全工作。她说，把安全评估与竞争对手基准测试混在一起，“正是那种治理灰色地带：安全会成为反竞争做法的便利掩护”。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
