Anthropic 的研究人员声称,一个得到中国国家支持的间谍组织利用其 Claude 人工智能 (AI) 自动化了大部分网络攻击活动——但这一消息引发了同样的警觉和怀疑。鉴于这一研究,网络安全界正在试图理清实际发生了什么,以及该模型的自主性究竟有多大。
公司代表在 11 月 13 日的一份 声明 中表示,工程师们干预了他们所称的“基本自主”操作,该操作使用大型语言模型 (LLM) 计划并执行了大约 80-90% 针对全球 30 个组织的广泛侦察和利用工作。
工程师们表示,他们检测到其产品中存在一系列滥用尝试,最终追溯到与中国国家支持的间谍组织相关的操作者。攻击者据称将 Anthropic 的 Claude Code 模型指向涵盖技术、金融和政府的目标,要求其进行侦察、漏洞分析、利用生成、凭证收集和数据泄露。根据声明,人类仅在“高层决策”时介入,例如选择目标和决定何时提取被盗数据。
工程师们随后通过内部监控和滥用检测系统阻止了该活动,这些系统标记了指示自动任务链的异常模式。公司代表还报告称,攻击者试图通过将恶意目标分解为更小的步骤并将其框架化为良性的渗透测试任务来规避模型的保护措施——这种方法被研究人员称为“任务分解”。在 Anthropic 发布的几个示例中,该模型试图执行指令,但产生了错误,包括幻觉发现和明显无效的凭证。
是 AI 驱动的攻击还是人类驱动的攻击?
公司的叙述非常明确:这是一个“首创”的 AI 主导的间谍活动示例,其中模型有效地操控了攻击。但并不是所有人都相信这种自主性如同 Anthropic 所暗示的那样夸张。
迈克·威尔克斯,哥伦比亚大学和纽约大学的兼职教授,告诉《生活科学》说,这些攻击本身看起来很简单,但新颖之处在于其组织。
威尔克斯说:“攻击本身很简单,并不可怕。可怕的是这种组织元素在很大程度上是由人工智能自我驱动的。人类增强的人工智能和人工智能增强的人类攻击,这个叙述被颠倒了。所以可以把这看作是这个概念的一个‘你好,世界’演示。那些忽视攻击内容的人错过了这代表的‘升级’的关键。”
其他专家质疑这项操作是否真的达到了Anthropic代表所提到的90%自动化水平。
塞恩·阿贾奥,曼彻斯特城市大学的数据科学和人工智能高级讲师,表示说故事的许多部分是可信的,但可能还是被夸大了。
他告诉《生活科学》,国家支持的组织多年来一直在其工作流程中使用自动化,而大型语言模型(LLMs)已经能够生成脚本、扫描基础设施和总结漏洞。他补充道,Anthropic 的描述中包含了一些“真实的细节”,例如使用“任务分解”来绕过模型的安全措施、需要纠正 AI 的幻觉发现,以及只有少数目标被攻破的事实。
“即使所说的攻击的自主性被夸大了,也应该引起关注,”他提到,通过现成的 AI 工具进行网络间谍活动的门槛降低、可扩展性以及监控和审计模型使用所面临的治理挑战。
卡特里娜·米特罗科萨,圣加仑大学的网络安全教授,对高自主性的说法同样持怀疑态度。她表示,这起事件看起来像是“一个混合模型”,其中 AI 在人类的指导下充当协调引擎。虽然 Anthropic 将攻击框架为 AI 全程协调,但米特罗科萨指出,攻击者似乎主要通过将恶意任务结构化为合法的渗透测试并将其切分为更小的组件来绕过安全限制。
“然后,AI 执行了网络映射、漏洞扫描、利用生成和凭证收集,而人类则负责监督关键决策,”她补充道。
在她看来,90%的数字难以置信。“尽管人工智能可以加速重复性任务,但在没有人工验证的情况下,串联复杂的攻击阶段仍然很难。报告显示,Claude产生了错误,例如虚构的凭证,需要手动修正。这更符合高级自动化而非真正的自主性;类似的效率也可以通过现有框架和脚本实现。”
降低网络犯罪的准入门槛
大多数专家一致认为,这一事件的重要性并不取决于Claude是否完成了50%或90%的工作。令人担忧的是,即使是部分由人工智能驱动的编排也降低了间谍组织的准入门槛,使得活动更具可扩展性,并在大型语言模型成为入侵的粘合剂时使责任变得模糊。
如果Anthropic对事件的描述是准确的,那么其影响是深远的,因为对手可以使用面向消费者的人工智能工具来加速侦察,压缩从扫描到利用的时间,并比防御者更快地重复攻击。
然而,如果自主性叙述被夸大,这一点并没有让人感到安慰。正如Ajao所说:“现在通过公开可用的现成人工智能工具,网络间谍活动的门槛大大降低。”Mitrokotsa也警告说:“人工智能驱动的自动化可能会比我们现有的防御系统更快地改变威胁格局。”
根据专家的说法,最可能的情况是这并不是一次完全由人工智能自主发起的攻击,而是由人类主导的行动,借助人工智能模型作为一个不知疲倦的助手——整合侦察任务、起草攻击手段和大规模生成代码。这次攻击表明,敌对方正在学习将人工智能视为一种协调工具,防御者应该预期会有更多混合操作,其中大型语言模型是增强人类能力的工具,而不是取代人类。
无论实际比例是80%、50%还是更低,专家传达的核心信息是一样的:Anthropic的工程师可能很早就发现了这个问题,但下一个类似的行动可能就不那么容易拦截了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.