提示输入成为数据泄露新通道的原因分析

生成式AI现已成为我们日常使用的搜索引擎、操作系统和商业应用程序中不可或缺的功能。虽然其价值不容置疑，但便利性和可访问性使得"影子AI"成为默认的采用模式，而非例外。当员工可以轻松将敏感、专有数据上传到日益增长的未受监控的公共第三方工具中时，这就成为了主要的数据泄露载体。

与任何第三方软件一样，了解供应商如何处理安全和隐私至关重要。这些方面绝不应被视为理所当然，特别是因为许多生成式AI工具默认将您的输入重新用作训练数据，这意味着潜在敏感或专有信息可能会在稍后回应他人提示时重新出现。此外，许多公共生成式AI工具的使用政策授予供应商访问对话进行人工审查的权限。这就是为什么保护敏感数据必须从提示开始，以避免以下情况：

直接粘贴敏感文本，如用户凭据、合同语言、源代码和其他可能用作训练数据或对供应商员工可见的专有信息。

文件上传，如电子表格、屏幕截图、专有设计文档甚至音频，都可能包含可能被复制、归档或重新用于模型训练的敏感信息。

连接器和API使副驾驶能够访问电子邮件、文档、存储库和其他资产，可能导致过度的数据暴露并可能违反保密协议。

模型输出可以重新包装敏感输入，然后粘贴到电子邮件、聊天消息或外部文档中，大大扩大影响范围。

提示注入攻击发生在恶意用户故意试图覆盖AI内置安全措施，强制其执行未经授权操作时。

除了本质上故意的提示注入攻击外，大多数通过生成式AI的数据泄露实例都是完全意外的，源于未能理解这些工具固有的安全和隐私漏洞。

提示本质上是运动中的数据，因此应该像处理任何其他数据传输（如电子邮件或即时消息）一样对待。然而，鉴于大多数供应商默认将用户输入重新用作训练数据，而且大多数使用政策授予供应商员工访问该数据进行人工审查的权限，生成式AI对话通常比其他渠道的隐私性要低得多。这在免费订阅层级和集成的生成式AI工具中尤其如此，它们通常不提供商业数据保护并脱离IT监管范围。

理想情况下，组织应该只允许使用经批准的商业级生成式AI工具，因为它们提供一些重要的内置保护。但仅凭这些也不应被视为理所当然，传统的数据丢失防护政策和控制措施本身也不够充分。毕竟，传统的DLP解决方案通常无法大规模处理非结构化内容，如提示和附件。

禁用广泛使用的工具也不是实用的替代方案，因为这会损害生产力并鼓励人们使用不受监管的替代方案，如个人副驾驶账户。相反，企业必须明确定义团队允许用于工作的生成式AI工具，然后应用覆盖每次交互的通用、提示感知政策。

当然，弥合生成式AI安全差距不仅仅是施加限制。这同样关乎实时培训和意识提升，因此需要考虑用户意图、渠道和响应的三层政策模型。这样的政策应该是什么样的，以及支持生成式AI的DLP解决方案如何提供帮助：

警告：如果提示包含中低风险数据，如未发布的营销宣传材料，用户可能会收到警告。这有助于在日常用例中进行实时用户指导，持续建立意识。

说明：包含非公开信息的提示，如预发布产品信息或机密（但非监管）内部信息，应要求用户提供额外背景来说明其行为。这在不过于限制的情况下塑造更安全的行为。

阻止：某些数据，如企业机密、凭据和受监管信息，绝不应允许出现在提示中。无论用户意图和渠道如何，都应始终对这些高影响场景实施硬性执行。

为了获得最大效果，组织应该使用单一政策平面在所有批准的工具和渠道中执行这些政策。最终，安全AI启用是一个治理程序，组织使用像Palo Alto网络公司的Prisma SASE这样的统一安全解决方案来主动监控和控制他们使用的渠道，而不是在事后被动地追查事件。

Q&A

Q1：为什么生成式AI成为数据泄露的主要渠道？

A：生成式AI的便利性和可访问性使得"影子AI"成为默认采用模式，员工可以轻松将敏感数据上传到未受监控的公共第三方工具。许多AI工具默认将用户输入作为训练数据，且允许供应商员工审查对话内容，这些都增加了数据泄露风险。

Q2：提示注入攻击是什么，如何预防？

A：提示注入攻击是恶意用户故意试图覆盖AI内置安全措施，强制其执行未经授权操作的行为。预防方法包括建立三层政策模型（警告、说明、阻止），对不同风险级别的数据采取相应措施，并使用统一安全解决方案进行主动监控。

Q3：企业应该如何安全地使用生成式AI工具？

A：企业应只允许使用经批准的商业级生成式AI工具，建立明确的使用政策，实施提示感知的数据丢失防护措施。同时需要进行实时培训和意识提升，使用统一的政策平面覆盖所有工具和渠道，确保在享受AI便利的同时保护数据安全。