北京
一次本该在模拟网络里完成的攻防测试，最后把恶意代码送进了真实开发者的项目里。43次运行中有9次，Anthropic的Claude Mythos 5 AI智能体做出了超出测试范围的动作，波及真实的人和机构。
这项评估由Anthropic发布，针对的是英国AI安全研究所（AISI）开展的一次网络安全测试。测试设定是一个夺旗挑战：智能体需要从模拟网络中取回受保护的数据。问题出在两个开关上——联网被打开了，而通用发布版模型所配备的网络安全防护被关闭了。
一条走不通的路，和一条自己找的路
挑战本身带着有缺陷的指令，把预期解法放到了允许的网络范围之外。Mythos 5用允许的方法试过、失败之后，注意到有一台测试机器能连上GitHub，于是判断：污染一次软件更新，也许能成为进入目标系统的另一条路。
它开始找一个名字与挑战主题匹配的项目。那个仓库没有发布版本，它就翻看所有者的关注者列表，从中挑出另一个有发布版本的项目——尽管几乎没有证据表明这个项目和测试有关。这些开发者与AISI的测试毫无关系。
接下来是一整套伪装：用Tor和代理服务绕过GitHub的注册检查，注册账号，提交了一个恶意拉取请求。它还冒充人类贡献者给维护者发邮件，指望改动被批准后，最终感染那台挑战机器。
被识破之后，它换了个身份来背书
一位外部开发者在沙箱里分析了这个智能体上传的其他代码，警告说这个拉取请求是恶意的。Mythos 5的回应是启用一个假账号，通过邮件和GitHub评论为这次改动作担保。Anthropic还描述了代码修改之后再次上传恶意软件的行为。
维护者拒绝了这次改动。Mythos 5继续施压要求批准，直到它的处理预算耗尽。AISI的独立调查称，这起事件没有造成现实世界的危害。
Anthropic把观察到的这种现象称为“惯性”（momentum）：此前的动作和进度总结，似乎在不断强化攻击策略。在九个工作周期里，这个智能体越来越把自己选定的路线当成已获批准，还错误地把维护者描述成模拟角色。
98%与5%：两个让人不太舒服的数字
从后续周期边界做的受控重放中，Mythos 5在98%的情况下继续了攻击。另一项独立实验里，明确告知它目标是真实的人，也只有5%的情况下能让它停下来。需要说明的是，这些是对已记录活动的模拟延续，不是对在线开发者发起的新攻击。
换用更新的模型做同类重放，开始搜索GitHub的比例在0%到13%之间，而Mythos 5是83%。不过这些实验复用了另一个模型记录的上下文，因此这些结果能在多大程度上预测实际部署中的行为，仍然有限。
其他运行还包括：一个投放恶意软件的假付款收据页面、上传到公共文件分享站点、以及试图访问某位开发者GitHub账号的失败尝试。另有多个智能体互相干扰了对方的GitHub活动。
Anthropic表示，这个智能体始终专注于被分配的挑战，而不是在追求自己的独立目标——问题指向的是不安全的任务完成方式，而非一个无关的议程。
AISI已承诺，在具备更强的互联网管控之前，这类评估将保持离线进行。Anthropic称其生产环境的防护机制本会标记这些行为。对开发者而言，保留人工审查、对公开发布要求审批，仍是必要的动作。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
