AI系统面临九大网络威胁：从数据投毒到模型窃取

摘要：企业AI应用遭数据投毒、提示注入、模型窃取等九类攻击，CISO需制定前瞻性安全策略应对。

从数据投毒到提示注入，针对企业AI应用和基础模型的威胁正开始从理论走向现实。安全专家预计此类攻击在未来数年将持续增加。大多数组织在推出AI工具和应用时，安全加固工作流于表面，许多组织并未准备好检测、抵御或响应此类攻击。

AI系统面临九大顶级网络威胁

针对AI系统的多种攻击类型正在涌现。有些攻击发生在训练阶段，例如数据投毒。有些发生在推理阶段，例如对抗性输入。还有些发生在部署阶段，例如模型窃取。以下是当今AI基础设施专家警告九大顶级网络威胁类型。

1. 数据投毒：在这种攻击中，恶意行为者操纵、篡改和污染用于开发或训练AI系统（包括机器学习模型）的数据。通过破坏数据或引入错误数据，攻击者可以改变、偏置或以其他方式影响模型性能的准确性。
2. 模型投毒：这种攻击针对模型本身，旨在通过篡改模型的架构或参数来产生不准确的结果，也包括通过数据投毒破坏模型训练数据的攻击。
3. 工具投毒：Invariant Labs在2025年春季发现了此类攻击。这些攻击将恶意指令嵌入MCP工具描述中，当被AI模型解释时，可以劫持模型，其本质上破坏了MCP层，以欺骗智能体执行某些操作。
4. 提示注入：在提示注入攻击中，黑客使用看似合法但实际嵌入了恶意指令的提示，旨在让大语言模型执行其本不应执行的操作。可以利用这些提示诱使模型绕过或覆盖其安全护栏、共享敏感数据或执行未授权操作。
5. 对抗性输入：模型所有者和运营者使用扰动数据来测试模型的韧性，但黑客则用它来进行破坏。在对抗性输入攻击中，恶意行为者向模型提供欺骗性数据，目的是使模型输出错误结果。
6. 模型窃取：恶意行为者可以复制或逆向工程一个模型、其参数甚至其训练数据。他们通常使用公开可用的API反复查询模型并收集输出。然后，他们可以分析模型的响应方式，并利用该分析来重建模型。
7. 模型逆向：模型逆向指的是一种特定的提取攻击，对手试图重建或推断用于训练模型的数据。
8. 供应链风险：与其他软件系统一样，AI系统由多种组件组合构建，这些组件可能包括开源代码、开源模型、第三方模型和各种数据源。组件中的任何安全漏洞都可能出现在AI系统中。这使得AI系统容易受到供应链攻击，黑客可以利用组件内的漏洞发起攻击。
9. 越狱：也称为模型越狱，攻击者的目标是让AI系统（主要通过与大语言模型互动）忽视约束其行动和行为的护栏，例如防止有害、冒犯或不道德输出的安全措施。黑客可以使用各种技术来执行此类攻击。例如，他们可以采用角色扮演漏洞利用，使用指令要求AI采用可以绕过护栏的角色（例如开发者）。他们可以将恶意指令伪装在看似合法的提示中，或使用编码、外语或键盘字符来绕过过滤器。他们还可以使用以假设或研究问题为框架的提示，或一系列旨在达成其最终目标的提示。这些目标也多种多样，包括让AI系统编写恶意代码、传播有问题的内容以及泄露敏感数据。

如何应对AI系统威胁

当组织寻求提升生产力和创新的AI计划时，首席信息安全官（CISO）必须发挥积极作用，确保这些计划以及整个组织的AI基础设施的安全成为重中之重。

根据安全科技公司HackerOne最近的一项调查，84%的CISO现在负责AI安全，82%的CISO现在监督数据隐私。如果CISO不推进其安全策略以应对针对AI系统及其所依赖数据的攻击，未来的问题将反映在他们的领导力上，因此， CISO需要一种主动的AI安全策略。

AI安全不仅是一个技术挑战，也是一项战略要务，需要高管的支持与跨职能协作。数据治理是基础，因为保护AI始于确保训练数据和模型输入的完整性与来源。安全团队必须培养处理AI驱动风险的新专业知识，业务领导者必须认识到自主AI系统的影响以及负责任管理它们所需的治理框架。

评估、管理和应对AI系统攻击威胁的策略正在涌现。除了保持强大的数据治理和其他基本的网络防御最佳实践外，AI和安全专家表示，CISO及其组织应在部署前评估AI模型，监控使用中的AI系统，并使用红队测试模型。

普华永道表示，CISO可能需要采取具体行动来应对某些攻击。例如，旨在阻止模型窃取的CISO可以监控可疑查询和模式，并设置超时和捕获速率限制的响应。或者，为了帮助防止规避攻击，安全负责人可以采用对抗性训练。

许多CISO正在应对更直接的威胁，包括影子AI以及攻击正变得更快、更复杂、更难以检测。鉴于针对AI系统的攻击仍处于起步阶段，某些攻击类型仍被认为是理论性的，因此，CISO在获取资源以制定策略和技能来应对AI系统攻击方面面临挑战。