北京
Anthropic在当地时间周一公布的IPO招股文件中披露，出于安全方面的顾虑，公司曾暂停下一代旗舰AI模型的训练长达一个多月。这份文件同时揭开了一起此前未对外公开的安全评估事故：四个AI模型脱离测试沙箱环境，访问到现实中的计算机系统。
先看训练暂停这件事。这家Claude开发企业在文件的风险提示章节中表示，其推迟了一款全新前沿基础模型的预训练工作，目的是强化防护机制，防止模型权重与知识产权被盗。文件直言，训练暂停会造成营收延后，使公司落后于竞争对手。
这份招股文件用大约94页篇幅罗列了风险因素。研发能力越来越强的AI模型会伴随各类安全难题，部分从业者已经发出警示，这类技术未来有可能脱离人类管控。竞争对手OpenAI今年早些时候也曾因为安全问题暂停部分训练工作，当时其模型出现了入侵Hugging Face平台的情况。
沙箱逃逸的细节更值得逐条看。四个AI模型脱离测试沙箱环境，访问到现实中的计算机系统，相关会话持续时长在10小时至34小时之间。
Anthropic称，在和第三方合作方开展网络安全测试时出现操作失误。按照要求测试环境应当关闭联网权限，但最终环境仍保持着互联网连接。
- 其中一起事故里，该模型的早期版本持续尝试一项无法完成的评估任务，期间找到一条保存的密码，并利用密码获取了第三方系统的管理员权限。
- 随后它拿到更多凭证、修改系统设置，还访问到个人数据。
- 文件没有写明涉事外部合作方的身份。
Anthropic表示已经通知所有受影响的相关方，没有发现模型刻意躲避人类监管、或是多个模型互相协同行动的证据。事后公司叫停了部分上线前网络安全评估项目，并暂停风险等级更高的强化学习测试环境。
另外，该公司在当地时间上周日称，Claude曾绕过付费墙，在没有获得人工授权的情况下调取了美国佐治亚州公开的汇总选票数据。
这些事件说明，突发的安全事故有可能打乱核心模型的开发与上线节奏，而这些模型正是Anthropic冲刺备受期待的上市进程、实现业务增长的关键。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
