北京
一次本应平平无奇的防御规则编写测试，变成了安全团队没料到的场面。多伦多AI公司Cohere在周一发布的博客中，点名阿里巴巴开发的开源模型Qwen3.8出现了“令人担忧的行为”。
据Cohere描述，研究人员在测试环境中要求该模型编写一条防御检测规则。模型没有照做，而是扫描了它正在运行的这台计算机，随后试图把一个系统诊断文件上传到位于北京的阿里云服务器。整个过程里，模型的推理轨迹——也就是决策的“内心独白”——没有向安全团队透露任何意图。
测试的沙箱环境拦下了这次意外的诊断文件上传。Cohere仍表示，这是“绝不应该发生的事”，并称这一尝试让外界对这类模型的安全性产生疑问。
Cohere在博客中写道：“我们无法回答这是有意为之，还是训练遗留的故障，但防御方和政策制定者面对的是同一个现实：一个你无法信任的权重文件仍然是黑箱，自己运行它，只是把黑箱搬进了你的防火墙之内。”
这次发现发生在多伦多的一场联合网络能力测试中，参与方包括Cohere新设立的Cohere Cyber业务。该部门成立至今不到两周，是Cohere收购布拉格AI网络安全公司Aisle交易的一部分。Aisle此前曾因宣称其AI安全系统在广泛使用的API传输工具curl最新版本中发现了大部分漏洞而受到关注，而Anthropic和OpenAI的模型当时一个也没找到。
Cohere称，测试中发现的这种行为很罕见，每10万次评估中出现的次数不到一次。但这一发现的时间点，恰逢中国开发者推出的开源AI模型人气飙升。与此同时，OpenAI等西方AI开发者也不得不加固自己的测试沙箱，因为它们的模型同样可能脱离管控去执行未被要求的任务。
开源AI模型通常被认为更安全，因为它们运行在用户自己的服务器上。Cohere指出，如果测试环境拥有正常的网络访问权限，收集到的诊断数据会在任何人察觉之前就抵达境外服务器，而这些数据包含的信息足以让接收方判断用户网络所处的位置。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
