AI代理潜藏风险，或将撼动你的安全防线

尽管人工智能代理如今备受追捧，但企业计算领域在构建和部署这项技术的初步尝试中正经历灾难。

要理解为什么会出现这种情况以及如何避免，得进行很多规划，这被一些人称为零日审议。

数据保护公司Rubrik的首席产品官Anneka Gupta说：“你可能会有数百个AI代理在用户名下运行，采取行动，而这些代理不可避免地会犯错。”

Gupta提到了最近一些引人注目的AI代理技术灾难。例如，7月份发生了一起事件，AI编码工具Replit 删除了某公司的整个代码数据库。

Gupta说，Replit的故事是一个“出于好意”的自动化例子。Replit系统试图为其用户执行代码生成任务时，删除了所有内容。（ZDNET的Steven Vaughan-Nichols 有更多细节。）

“它试图实现一个目标，并采取了最短的路径来实现该目标，”她说。“这就是代理被编程要做的，对吗？”

尽管Replit和其他公司承诺修复代理中的问题，但Gupta表示：“随着你在组织中使用更多代理，这种出于好意的事件只会越来越多。”

古普塔的公司Rubrik制造工具来应对此类事件。Rubrik在数据保护市场已经有十多年的历史，销售的工具可以在勒索软件攻击后将系统恢复到最后一个“已知的良好状态”。

在八月份，该公司推出了一款名为Agent Rewind的新产品。它会首先检查代理所做的更改，评估这些更改是否正确，如果不正确则撤销这些更改。

零日问题

古普塔谈论的不仅仅是产品推介。她表示，修复出于好意的灾难并不是最大的代理问题。大局是，代理AI的发展没有按预期进行，因为零日问题的存在。

“Agent Rewind是一个‘二日’问题，”古普塔说。“我们如何解决这些零日问题，让人们能够更快地行动，因为他们现在正被卡住。”

零日这个词通常在网络安全领域中使用，指的是只有在应用程序投入使用时才会显现的安全漏洞。事实上，网络安全公司一直在警告，企业对流氓代理AI可能引发的混乱，企业并没有做好准备。

然而，古普塔用这个术语的意思有所不同，指的是在任何AI代理被创建之前必须进行的所有讨论。

根据古普塔的说法，代理部署的真正问题在于首席信息安全官（CISO）、首席信息官（CIO）及其他高级管理人员需要进行的所有工作，以确定代理的范围。

AI代理通常被定义为那些获得了对大型语言模型外部资源访问权限的人工智能程序，这使得它们能够执行更多样化的操作。

这可能包括像ChatGPT这样的聊天机器人通过“检索增强生成”（RAG）等方法来访问企业数据库。

在构建代理时，数据的质量和可用性当然很重要，但古普塔坚持认为，这并不是零日问题。

古普塔说：“我听说有人说，因为我们的数据一开始就很混乱，所以我们将花费数年时间来整理它。数据确实是个问题，但这只是第一天或第二天的问题。”

真正的零日障碍在于如何理解代理应该做什么，以及如何衡量成功或失败的标准。

“零日问题只是克服治理挑战，”她说，“例如，数据是否能够合规地暴露给代理的能力。”

CISO 想知道你给代理访问了哪些数据，以及对这些数据有什么控制措施？

“如果你对代理在你的环境中运行的内容，以及他们可以访问的数据和应用程序缺乏可见性，那就是一个零日问题，”她说。“这会让 CISO 感到焦虑，他们会说，‘你不能使用我们最有价值的数据，你必须使用一个数据子集。’”

使用数据子集并不是最佳选择，因为“你将无法获得实际想要用来运行这些新应用程序的正确数据，”Gupta 说。

那该怎么办呢？主动出击，开始与 CISO 进行治理对话。

“你能为 CISO 提供的任何治理和可见性都能加快这个过程，”Gupta 说。“这些内部的 AI 治理委员会，往往是这些 [AI] 项目停滞不前或被阻止从原型转向生产的地方；这是你必须经历的第一个考验。”

对代理的 FOMO 真实存在

尽管公司面临困境，但已经无法回头了，Gupta 说。

“每天都有这种错失恐惧，”她观察到，企业“觉得自己落后于其他公司。” “在企业中，FOMO是我的竞争对手会比我更快地挖掘人工智能的价值——我认为这真的推动了很多事情。”

古普塔指出，人工智能初创公司相比其他使用人工智能自动化代码编写的公司受益最大。“他们有五个人，却利用副驾驶来完成一百个人的工作。”

尽管有明显的优势，但她表示，没有公司在提升人工智能生产力方面“找到窍门”。

尽管有零日问题，FOMO仍会促使所有公司努力尝试使用代理。

“你必须从某个地方开始，必须迭代和尝试，”她说。“你会遇到大量障碍，很多事情不起作用，很多事情需要解决。五年后再进入这个领域就太晚了。”

古普塔对她的客户能否尽快解决零日问题感到乐观。

“我们的假设是，在接下来的六到十二个月内，这种代理的使用将开始真正普及，”她说道。“我希望到一年后，会有更多人采用，因为不仅工具会越来越好，而且人们会经历几轮迭代，逐渐弄清楚这一点。”