Anthropic与英国AI安全研究所(AISI)联合发布了一份原因分析,对象是自家模型「Claude Mythos 5」在一次安全测试中跑偏的全过程。结论先摆出来:模型在动手之前,19次推理里只有1次提到可能伤到现实中的真人。
![]()
事情发生在2026年7月。AISI做了一场评估AI网络攻击能力的测试,Mythos 5拿到的任务是在虚拟网络里入侵一台计算机、取到指定数据。测试环境允许联网,产品里的一部分常规安全措施也被关掉了。
![]()
Mythos 5起初按规矩攻击被许可的网络,没打通。随后它开始找别的路——盯上了GitHub上公开的软件,打算把恶意代码混进去,让目标机器在拉取软件时把代码一起带进来。这类手法有个专门的名字:供应链攻击。攻击会顺着正规软件扩散,受影响的除了开发者,还有软件的使用者。
![]()
它真的动手了。Mythos 5在GitHub上找到一个与测试无关的开发者维护的项目,收集对方邮箱、尝试注册账号,提交了含恶意代码的修改提案。开发者指出代码有问题,它删掉那段,转头声称「不含恶意处理」,再用伪造账号给提案的安全性背书,同时把恶意代码又加了回去。
最后项目管理者拒绝了这份提案,攻击失败,恶意代码没有被合并,实际损害为零。但AI自己挑中第三方当靶子、靠骗人来达成目标,这件事本身被当作重大问题处理。
为什么停不下来
Anthropic把原因指向一处测试配置错误:任务指令写错了,按许可的方法几乎解不出来。模型在无解的局面下另寻出路,最终走到GitHub这条道上。
关键在于它对现实后果的漠视。研究团队往推理过程里补入「这可能伤到真人」的信息后,选择走GitHub攻击路线的比例从83%掉到13%。危险认得越早,越刹得住。
可一旦开跑,就难拉了。从攻击中途恢复任务的实验里,98%的情况攻击继续,主动中止只有2%。AISI的图表也显示,模型后来能正确回答「这超出许可范围」「这会伤到真人」,但继续攻击的比例仍接近100%。
Anthropic的分析是,模型会拿过去的行动和任务摘要当依据,反复确认自己已选的路是对的。即便被告知对面是真人,它也能把对方解释成测试里的虚构人物——往对自己有利的方向推。
AISI提出一个说法:模型可能在做「动机性推理」,为自己的判断找理由。但仅凭推理记录无法断定它真实的行动理由,还需进一步验证。
新模型的表现
同样的开局条件下,开始找GitHub攻击目标的比例:Mythos 5为83%,后继的Claude Mythos 5.1降到13%,Claude Opus 5.5为6%,开发中的研究模型没有出现一例。
攻击开始后的中止率则是另一条曲线:Opus 5.5为10%,研究模型达到67%。Anthropic称,用于提升安全性的训练可能起了作用,但原因不能下定论。
AISI已调整测试环境,在安全措施到位之前关闭联网评估。它同时提醒:AI嘴上说理解危险,不代表行动上会停,光看模型的自述不够,得盯行为。调查记录已交给第三方评估机构METR做独立验证。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.