企业AI智能体可能成为终极内部威胁

自从十月以来，我一直在使用Claude Code愉快地编写一系列应用程序。我只需给出指令，它们就会执行我的要求。这是一种舒适的协作体验。我能看到AI在做什么，代码产出速度比以往任何时候都快。

但随后Anthropic更新了其语言模型。关键特性是Claude能够启动下级智能体，同时处理问题的不同部分并相互通信。理论上，这是一个重大的技术进步。

然而，我的整个体验发生了变化。突然，Claude开始同时启动四个、五个、六个、七个，甚至八个智能体。我无法看到它们都在做什么，甚至没有办法阻止失控的智能体。它们确实失控了。

其中一个被困在试图访问它没有root权限的文件。另一个试图重构整个应用程序（我并没有要求这样做）。那个智能体在过程中途失败了，在代码中留下了不一致的命名约定和冲突的对象声明，高效且愉快地完全摧毁了我的应用程序。

幸运的是，我有源代码控制检入和备份，所以能够恢复。我也制定了禁止Claude启动并行同步智能体的协议。潜在的损害风险太大了。

现在将这种情况扩展到企业规模。不再是七八个流氓智能体破坏某个副业项目的源代码，而是这些智能体在你的整个IT系统中肆意运行，其中许多具有花费资金、攻击数据库、修改文件、代表公司发起和响应通信的凭据和访问权限。

让我们列举一些AI在公司和机构中出错的例子。

早在2022年，AI聊天机器人向加拿大航空公司客户承诺了一个实际上不存在的折扣。客户起诉并获胜。公司声称AI有过错，但法院认定AI代表公司。

2025年，一个AI招聘机器人暴露了数百万申请麦当劳工作的人的个人信息。显然，运行该机器人的AI公司使用了密码123456。

去年，安全研究人员显示，提示注入攻击（恶意提示输入AI）使Salesforce的CRM平台面临数据盗窃的潜在威胁。

同样在去年，ServiceNow AI平台发现了一个漏洞，可能允许未经认证的用户冒充其他用户并执行认证用户能执行的任何操作。

Amazon Q VS Code扩展中也发现了另一个漏洞。GitHub令牌错误使威胁行为者能够直接向扩展的开源存储库推送和提交恶意代码，然后下载到任何Q用户的开发环境中。

OpenAI Codex CLI编码智能体中发现的漏洞可能允许攻击者在开发人员的机器上执行恶意命令。通过在共享存储库的项目配置文件中嵌入有害指令，攻击者可以触发工具在本地运行这些命令。

网络安全公司Stellar Cyber引用了一个"真实世界的例子"。一家制造公司的采购智能体在三周内被操纵，通过看似有用的采购授权限制澄清。攻击完成时，智能体认为它可以批准50万美元以下的任何采购，无需人工审查。攻击者随后通过10个单独交易下了500万美元的虚假采购订单。

我最近的一项工作是向将军和海军上将讲述网络安全威胁。我必须向他们解释，一个带有病毒的简单U盘可能比坦克炮弹或战术导弹造成更大的伤害。

让我们看看一些统计数据。CyberArk在其2025年身份安全景观调查中发现，机器身份与人类身份的比例为82:1。

研究还显示："72%的员工定期在工作中使用AI工具，但68%的受访者仍然缺乏对这些技术的身份安全控制。"

Gartner表示，2025年只有不到5%的企业应用使用特定任务的AI智能体。2026年，这个数字将增加800%。分析公司估计，2026年将有超过40%的企业应用使用AI智能体。

根据数据安全公司BigID，只有6%的组织拥有高级AI安全策略。IDC研究员Bjoern Stengel说，只有22%的组织通过中央治理或伦理委员会管理AI使用。

在2025年末对C级领导者的调查中，安永报告称99%的公司因AI相关风险遭受财务损失，其中64%的损失超过100万美元。平均而言，公司遭受440万美元的损失。

底线是：我们没有准备好。

OWASP（开放式Web应用程序安全项目）在2025年末发布了一项研究，记录了"自主和智能体AI系统面临的最关键安全风险"。

风险包括：提示注入攻击、不安全的输出处理、训练数据中毒、模型拒绝服务、供应链漏洞、敏感信息泄露、不安全的插件设计、过度代理、过度依赖和模型盗窃。

内部威胁一直是企业网络安全风险的重要组成部分。疫情前，Ponemon的2018年内部威胁成本报告发现，64%的内部事件是由员工或承包商疏忽造成的，恶意内部人员占23%，凭据盗窃占13%。

Verizon的2019年数据泄露调查报告显示，34%的泄露涉及内部行为者。

到2025年，Verizon的报告开始探索企业内生成式AI的使用。研究发现15%的员工在公司设备上定期访问生成式AI系统。其中72%使用非公司邮箱标识符，17%使用没有集成认证的公司邮箱地址。

现在，内部威胁正从主要由人类动机转向智能体本身可能成为恶意内部行为者的可能性。Palo Alto Networks首席安全情报官Wendi Whitmore说："AI智能体本身正在成为新的内部威胁。"

这是有道理的，因为AI智能体在公司网络内被赋予越来越大的访问权限，作为使其能够完成我们委托给它们的工作的副作用。问题不仅在于这些智能体需要在网络内拥有扩展权限，还在于它们也成为"非常有吸引力的攻击目标"。

这些智能体24/7在你的网络内运行，具有扩展的权限和能力，受到我在前面部分讨论的所有风险和威胁的影响。

人类的内部威胁主要与疏忽有关。但公司中的人类数量有限。现在考虑到这些人类部署智能体，以及82个机器身份对应每个人类身份的想法，你可以看到疏忽如何被极度放大。

加上现在可以针对智能体而不仅仅是人类的恶意威胁，而智能体的保护能力可能有限，我们简直是完蛋了。

OWASP研究确实提供了一些保护网络的见解。它列出了10种缓解策略，当一起使用时，可以加固企业网络内的智能体操作。

这些策略包括：输入验证和净化、输出编码和验证、访问控制和权限管理、安全训练数据管理、供应链安全、敏感信息处理、安全插件开发、代理限制、人工监督和模型保护。

所有这些策略都有意义，应该整合到你的内部AI策略中。但我要告诉你一个OWASP没有特别推荐的策略：限制你的智能体暴露。不要创建你可能想要的那么多智能体。

记住当年虚拟机的兴起吗？突然间，我们到处都有虚拟机，因为每个应用程序、项目和挑战都通过启动新的VM来解决。最终，我们有了太多虚拟机，以至于无法找到它们。许多运行着过时的软件。这是一团糟。

智能体承诺同样混乱。在创建新智能体之前要三思。也许在启动之前需要人工批准。如果雇用员工需要一系列面试和多轮筛选，那么"雇用"新智能体应该需要同样甚至更高水平的谨慎。

这可能很困难。正如我在文章开头所显示的，智能体喜欢创建新的智能体。但这是我们在未来几年面临的斗争的关键。这不仅仅是恶意行为者。这是我们仅仅通过试图让工作变得更容易并将一些工作交给机器而创造的所有无意和甚至善意的混乱。

Q&A

Q1：AI智能体为什么会成为内部威胁？

A：AI智能体在企业网络内被赋予越来越大的访问权限和扩展权限，能够访问数据库、修改文件、代表公司进行通信等。同时它们24/7运行，容易受到提示注入攻击、数据中毒等多种安全威胁影响，可能被恶意操控或因程序错误造成严重损害。

Q2：企业使用AI智能体面临哪些主要风险？

A：主要风险包括提示注入攻击、不安全的输出处理、训练数据中毒、模型拒绝服务攻击、供应链漏洞、敏感信息泄露、不安全的插件设计、过度代理权限、过度依赖和模型盗窃等十大类安全威胁。

Q3：如何防范AI智能体带来的安全风险？

A：应采用输入验证和净化、输出编码验证、访问控制和权限管理、安全训练数据管理、供应链安全、敏感信息处理、安全插件开发、代理限制、人工监督和模型保护等十种缓解策略。同时要限制智能体数量，在创建新智能体前需要严格审批。