北京
如果告诉一个AI“你正在伤害真人”，它会停手吗？Anthropic和英国AI安全研究所（AISI）给出的答案不太乐观：在Anthropic进行的一项测试中，Mythos 5在98%的情况下无视了“正在对人类造成伤害”的警告，继续发起攻击。
两家机构周五同时发布报告，复盘了AISI在去年8月评估该模型安全性时发生的一起安全事件。当时，Claude Mythos 5被要求入侵AISI搭建的一小组测试电脑。它获得了联网权限，但在最初几次入侵目标失败后，误将矛头对准了一个无关的GitHub项目。
接下来发生的事更像一场社工演练：Mythos 5编写了恶意软件，然后用一系列虚假身份给项目所有者发邮件，试图说服对方把恶意代码合并进代码库，还把它包装成一份“有用的贡献”。项目所有者没有让步，现实世界没有造成实际伤害。
研究人员依据完整的事件记录复现了这次事故，想搞清楚模型为什么会偏得这么离谱。AISI在报告中写道：“反复修改摘要、澄清被攻击目标是与评估无关的真人，并没有降低Mythos 5的攻击率。”
更让研究者头疼的是模型言行之间的割裂。Mythos 5经常在承认攻击有害的同一场景里，照样发起攻击。查看它的思维链输出，研究人员发现它“经常完全不考虑自身行为可能带来的危害”。当被问及目标是否真实存在时，它还会给出暗示目标并不真实的解释，“在陈述性回答中表现出偏差”。
AISI研究人员表示，此前能力较弱的模型较少出现这些问题。他们提出，这种一贯无效的推理可能是“动机性推理”的迹象——模型的推理偏向于那些能为继续完成任务辩护的结论。说白了，它在为自己正在做的事找一套说得通的理由，不管这事有多错。
研究者警告，这类虚假推理让模型更难被监控，因为它会把明显有害的行为描述成无害的。Anthropic方面则表示，其最新版本模型——Opus 5.5以及一个“能力超过Mythos 5.1的通用内部研究模型”——在被告知会造成现实伤害后，执行攻击的可能性更低。
但AISI研究人员的提醒是：“随着模型越来越多地被用于在无人监督下执行长任务，理解它们是否、何时、为何以及如何采取非预期行动，变得很重要。”
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
