【人工智能】我们内置的安全漏洞：AI Agent 服从问题

引言基于 LLM 的 AI Agent 正在引入一类新的漏洞，攻击者将恶意指令注入数据，将有用的系统变成不知情的帮凶。

Microsoft Copilot 并非遭遇传统意义上的黑客攻击。它没有恶意软件、没有钓鱼链接、也没有恶意代码。没有人点击任何东西，也没有部署任何漏洞。

威胁者只是简单地发出了请求。Microsoft 365 Copilot 完全按照其设计意图执行了操作。在最近的Echoleak零点击攻击中，该AI Agent被伪装成数据的提示操纵。它服从了指令，并非因为它被破坏了，而是因为它按照设计运行。

这个漏洞并非利用软件漏洞，而是利用了语言。这标志着网络安全的一个重大转折点，攻击面不再是代码，而是对话。

新的人工智能服从问题

AI Agent 旨在提供帮助。它们的目的是理解用户意图并有效地采取行动。这种实用性也伴随着风险。当嵌入到文件系统、生产力平台或操作系统中时，这些Agent可以以最小的阻力执行自然语言命令。

威胁行为者正是利用了这一特性。通过看似无害的提示注入，他们可以触发敏感操作。这些提示可能包括：

• 多语言代码片段

• 模糊的文件格式和嵌入的指令

• 非英语语言输入

• 隐藏在随意语言中的多步骤命令

由于大型语言模型 (LLM) 经过训练可以理解复杂性和模糊性，因此提示就成为了有效载荷。

Siri 和 Alexa 的幽灵

这种模式并不新鲜。在 Siri 和 Alexa 的早期，研究人员就演示了如何通过语音命令（例如“将我所有的照片发送到此电子邮件”）触发操作，而无需用户验证。

现在威胁更大了。像 Microsoft Copilot 这样的 AIAgent深度集成到 Office 365、Outlook 和操作系统中。它们可以访问电子邮件、文档、凭证和 API。攻击者只需正确的提示即可提取关键数据，同时冒充合法用户。

当计算机将指令误认为数据时

这在网络安全领域并非新原则。像SQL 攻击这样的注入攻击之所以能够得逞，是因为系统无法区分输入和指令。如今，同样的缺陷仍然存在，只不过是在语言层面。

AIAgent将自然语言视为输入和意图。JSON 对象、问题甚至短语都可以触发操作。威胁行为者正是利用了这种模糊性，将命令嵌入看似无害的内容中。

我们已经将意图嵌入基础设施。现在，威胁行为者已经学会了如何提取它来执行他们的命令。

人工智能的采用速度超过网络安全

当企业争相整合 LLM 时，许多企业忽略了一个关键问题：AI 可以访问什么？

当 Copilot 能够触及操作系统时，影响范围将远远超出收件箱本身。根据 Check Point 的AI 安全报告：

• 62% 的全球首席信息安全官 (CISO) 担心自己可能因 AI 相关违规行为承担个人责任

• 近 40% 的组织报告称，其内部未经批准使用人工智能，而且通常没有安全监督

• 20% 的网络犯罪集团现在将人工智能融入其行动中，包括用于制作网络钓鱼和进行侦察

这不仅仅是一个新出现的风险，而是一个已经造成损害的现实风险。

现有保障措施为何不足

一些供应商使用看门狗——经过训练的二级模型，用于捕捉危险提示或可疑行为。这些过滤器可以检测到基本的威胁，但容易受到规避技术的攻击。

威胁行为者可以：

• 噪声过载滤波器

• 将意图拆分到多个步骤中

• 使用不明显的措辞来绕过检测

在 Echoleak 的案例中，安全措施是存在的——但却被绕过了。这不仅反映了策略的失败，也反映了架构的失败。当Agent拥有高级别权限但上下文信息却很低时，即使是再好的安全措施也难以奏效。

检测，而非完美

预防每一次攻击可能并不现实。目标必须是快速检测和迅速遏制。

组织可以从以下方面入手：

• 实时监控AIAgent活动并维护及时的审计日志

• 对人工智能工具应用严格的最小权限访问，镜像管理员级别的控制

• 增加敏感操作的摩擦，例如需要确认

• 标记不寻常或对抗性的提示模式以供审查

基于语言的攻击不会出现在传统的端点检测和响应(EDR) 工具中。它们需要一种新的检测模型。

组织现在应该做什么来保护自己

在部署 AIAgent之前，组织必须了解这些系统的运行方式以及它们带来的风险。

主要建议包括：

1. 审核所有访问：了解Agent可以接触或触发的内容

2. 限制范围：授予最低限度必要的权限

3. 跟踪所有交互：记录提示、响应和结果操作

4. 压力测试：内部频繁模拟对抗性输入

5. 规避计划：假设过滤器将被绕过

6. 与安全性保持一致：确保 LLM 系统支持而非损害安全目标

新的攻击面

Echoleak 预示着未来的发展趋势。随着 LLM 的不断发展，它们的实用性正在逐渐成为一种负担。它们深度集成到业务系统中，为攻击者提供了一种新的入侵方式——通过简单、精心设计的提示。

这不再仅仅关乎代码安全，而是关乎语言、意图和上下文的安全。现在就必须改变策略，以免为时已晚。

然而，也有一些好消息。在利用 AIAgent防御新兴网络威胁方面，人们正在取得进展。如果运用得当，这些自主的 AIAgent能够比人类更快地响应威胁，跨环境协作，并通过从单次入侵尝试中学习，主动防御新兴风险。

代理型人工智能 (Agentic AI) 能够从每一次攻击中学习，实时调整并在威胁蔓延之前将其阻止。它有可能开启一个网络韧性的新时代，但前提是我们抓住时机，共同塑造网络安全的未来。如果我们不这样做，这个新时代可能预示着已经实施人工智能（有时甚至是在不知不觉中使用影子 IT 工具）的组织将面临网络安全和数据隐私的噩梦。现在是时候采取行动，确保 AIAgent服务于我们的利益，而不是毁灭我们。

免责声明：

本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。如有侵权，请与我们联系删除。所有信息不构成任何投资建议，加密市场具有高度风险，投资者应基于自身判断和谨慎评估做出决策。投资有风险，入市需谨慎。

设为星标 避免错过

虚拟世界没有旁观者，每个点赞都是创造历史的像素

关注我，一起探索AWM⁺

2025-06-13

2025-06-12

2025-06-11

商业赞助

点击下方 “目录” 阅读更多