微软扩展Copilot功能引发企业AI安全新挑战

本周，微软发布了Copilot的新功能扩展，旨在为企业工作流程提供持续的AI协作助手。这些功能结合了多个AI模型，能够在员工现有使用的工具中持续运行。与此同时，谷歌也在Chrome产品中持续推出AI功能，该功能能够跨多个标签页进行解释和操作，有效地将浏览器转变为执行层而非被动界面。

单独来看，这些发布可能只是渐进式的产品更新。但综合考虑，它们标志着一个更有意义的转变。今天的AI不再局限于用户打开和关闭的独立工具，而是嵌入到工作环境中，实时观察、解释并日益主动处理信息。

对于CIO来说，这种转变引入了一种新的安全问题，不是因为AI创造了全新的风险，而是因为它现在在大多数企业安全程序未被设计来管理的地方运行——交互层。

基于数据流动的模型

现代企业安全建立在这样的假设之上：风险可以通过管理访问权限和跟踪数据移动来控制。身份系统决定谁可以访问什么。数据丢失防护工具监控信息的流向。终端和网络控制为两者执行边界约束。

这个模型仍然有效，但已不再完整。

最直接的担忧也是最熟悉的。正如Presidio公共部门首席信息安全官Dan Lohrmann所解释的，用户已经在日常工作中向AI系统输入敏感信息："用户将敏感内容——源代码、客户记录、事件详情、内部战略文档——粘贴到聊天提示中，因为这感觉快速且非正式。"

在许多情况下，这些交互发生在批准的工作流程之外，当用户在公司设备上访问个人账户时，这创造了Lohrmann所描述的持续影子AI问题。

但仅关注用户输入AI系统的内容只捕获了部分风险。更重要的变化是接下来发生的事情。

数据的形态转换

AI不仅仅移动数据，它还会重塑数据。运营技术网络安全专业人员联盟OT SOC Options的首席执行官Edward Liebig解释说，这种区别经常被忽视。企业花费了数年时间在数据移动周围构建控制，但AI通过数据转换引入风险；它以难以跟踪的方式总结、重新组合和重新解释信息。

"AI嵌入浏览器、电子邮件和工作流工具所改变的不仅仅是数据如何移动，还有上下文如何构建，以及决策如何被影响，"Liebig说。

他警告说，这种转变创造了落在传统检测模型之外的场景。一份被总结成要点的敏感报告可能不再符合分类规则。多个低风险数据源结合时，可能产生高风险结论。输出可能反映内部策略或运营逻辑，即使不包含任何原始数据。

"AI不需要泄露数据就能创造暴露，"Liebig说。"它可以推断。"

保险公司Ariel Re的网络威胁和风险分析主管Cameron Brown也担心这个新的安全缺口。传统控制被构建来检测清晰信号：文件离开系统、数据被复制或传输。但AI生成的暴露更加微妙。

"AI并不总是以明显的方式泄露数据，"Brown说。"它总结、重塑、暗示、推断。突然间那个'泄露'根本不像泄露。"

授权访问但产生意外结果

如果数据转换是唯一问题，现有的数据丢失防护控制可以演进来解决它。但AI引入了第二个更复杂的问题：从完全授权的活动中出现的风险。

"在交互层，主要风险不是未授权访问，"Liebig说。"而是授权使用产生意外结果。"

身份和访问管理系统可以确定用户是否被允许访问数据集。它们无法确定AI系统一旦访问该数据将如何解释，或者它将如何与其他输入结合。

"IAM解决了访问问题，"Liebig说。"它不能解决结果问题。"

当AI系统集成到企业环境中时，这个缺口变得更加重要。Lohrmann指出，将AI工具链接到CRM平台、工单系统或代码存储库等系统，实际上创造了一个具有用户权限的新操作员——一个能够跨多个系统查询和综合信息的操作员。

"AI是访问的力量倍增器，"Lohrmann说。

这意味着不仅是更广泛的访问，还有对该访问更强大且更不可预测的使用。换句话说，是一个安全噩梦。

浏览器成为控制缺口

这些交互发生的地方与它们如何发生同样相关。AI越来越多地嵌入浏览器和生产力层；用户在同一环境中认证系统、访问敏感数据并与外部内容交互。这使浏览器成为暴露的中心点，但从历史角度来看，这个点在安全方面被忽视了。

"浏览器没有成为最薄弱的环节，"Liebig说。"它只是暴露了我们从未治理的层面。"

企业花费了数年时间装备网络、终端和身份系统。投资于治理用户和AI系统现在汇聚的交互层的企业要少得多。Brown对这种影响非常直白。

"这是大多数AI交互发生的地方，但它被当作堆栈中最不有趣的部分，"他说。"这是错误的。它应该是零地带。"

Lohrmann同意这个观点，他注意到嵌入式助手和扩展程序通常以比传统企业应用程序更弱的控制和更少的可见性运行。

当用户在企业管理环境之外操作时，问题变得更加复杂。Lohrmann说，员工通过在企业设备上使用个人账户引入安全风险，与AI工具共享的数据可能存储在企业系统之外，超出审计和响应流程的范围。

然后出现了可见性挑战："模型历史堆积起来，商业智能与它们纠缠在一起，祝任何试图解开这团过度煮熟的意大利面的取证团队好运，"Brown说。

将控制扩展到访问之外

这些发展都没有使现有的安全控制变得无关紧要。身份管理、终端安全和数据丢失防护仍然至关重要。但它们不足以解决AI引入的风险。

Brown解释说，传统监控方法受限于它们被设计来检测的内容。"传统的数据丢失防护仍然在捕获明显的东西方面发挥作用，"他说。但AI驱动的暴露经常落在这些模式之外，需要转向监控行为和意图，而不仅仅是数据移动。

Lohrmann说，企业需要一个新的控制层，超越访问扩展到AI系统如何使用和转换数据。"IAM通常回答'你是谁？'和'你可以访问什么？'"他说。"AI增加了'数据如何被使用和转换？'"

这种转变意味着新的要求：对提示和输出的可见性、对AI工具如何连接到企业系统的更严格控制，以及对AI生成的输出如何在决策制定中使用的更精细监督。

综合来看，这些变化指向企业安全的更广泛演进，这种演进不会取代传统控制，而是将它们扩展到一个直到现在基本上未被治理的层面。如果数据的含义可以在没有可见性的情况下改变，仅监控数据去向就不再足够。如果无法验证访问的结果，控制访问是不够的。

"我们正在从数据保护的世界转向决策保证的世界，"Liebig说。

Q&A

Q1：什么是影子AI问题？它会带来哪些风险？

A：影子AI问题是指用户在批准的工作流程之外，在公司设备上使用个人账户访问AI系统，将敏感内容如源代码、客户记录、事件详情、内部战略文档粘贴到聊天提示中。这会导致企业敏感信息暴露在未受控制的AI系统中，超出企业安全管控范围。

Q2：为什么传统的数据安全控制措施无法应对AI带来的新风险？

A：传统安全控制基于数据移动管理，但AI不仅移动数据，还会重塑数据。AI会总结、重新组合和重新解释信息，以难以跟踪的方式转换数据。AI可以推断和暗示信息而不直接泄露原始数据，这种微妙的暴露方式落在传统检测模型之外。

Q3：企业应该如何应对AI时代的新安全挑战？

A：企业需要建立新的控制层，扩展到AI系统如何使用和转换数据。具体包括：提高对AI提示和输出的可见性、更严格控制AI工具与企业系统的连接、精细监督AI生成输出在决策中的使用，以及监控AI行为和意图而不仅仅是数据移动。