德勤警告：AI智能体部署速度超越安全框架建设

德勤最新报告警告，企业部署AI智能体的速度远超其安全协议和防护措施的建设步伐，引发了对安全性、数据隐私和责任追究的严重担忧。

调查显示，智能体系统正以极快速度从试点阶段转向生产环境，而传统的风险控制措施原本针对以人为中心的操作设计，难以满足当前的安全需求。

尽管采用率不断提高，但仅有21%的组织对AI智能体实施了严格的治理或监督。虽然目前有23%的公司表示正在使用AI智能体，但预计未来两年这一比例将升至74%。同期，尚未采用该技术的企业比例预计将从25%降至仅5%。

德勤并非将AI智能体视为固有危险，而是指出真正的风险来自糟糕的环境设定和薄弱的治理。如果智能体作为独立实体运行，其决策和行为很容易变得不透明。缺乏稳健治理的情况下，管理变得困难，几乎无法为错误投保。

Kovant公司首席执行官兼创始人Ali Sarrafi认为，答案在于受治理的自主性。"设计良好的智能体具有明确的边界、政策和定义，像企业管理任何员工一样进行管理，可以在明确护栏内快速处理低风险工作，但当行为超过定义的风险阈值时会升级至人类处理。"

"通过详细的行为日志、可观察性和对高影响决策的人工把关，智能体不再是神秘的机器人，而是可以检查、审计和信任的系统。"

正如德勤报告所示，AI智能体的采用将在未来几年加速，只有那些以可见性和控制力部署技术的公司才能在竞争中占据上风，而非部署最快的公司。

AI智能体在受控演示中可能表现良好，但在系统可能碎片化、数据可能不一致的真实商业环境中却表现困难。

Sarrafi评论了AI智能体在这些场景中的不可预测性："当智能体一次性获得过多环境信息或范围时，容易出现幻觉和不可预测的行为。"

"相比之下，生产级系统限制模型工作的决策和环境范围。它们将操作分解为更窄、更专注的任务供单个智能体处理，使行为更可预测、更易控制。这种结构还支持可追溯性和干预，使故障能够早期发现并适当升级，而非造成级联错误。"

随着智能体在业务系统中采取实际行动，如保持详细的行为日志，风险和合规性的看法有所不同。记录每个行为后，智能体的活动变得清晰可评估，让组织能够详细检查行为。

这种透明度对保险公司至关重要，他们不愿为不透明的AI系统承保。这种详细程度帮助保险公司了解智能体做了什么以及涉及的控制措施，从而更容易评估风险。通过对风险关键行为的人工监督和可审计、可重放的工作流程，组织可以创建更易于风险评估管理的系统。

共享标准，如智能体AI基金会（AAIF）正在制定的标准，帮助企业集成不同的智能体系统，但当前的标准化努力专注于最容易构建的内容，而非大型组织安全运营智能体系统所需的内容。

Sarrafi表示，企业需要支持运营控制的标准，包括"访问权限、高影响行为的审批工作流程，以及可审计的日志和可观察性，使团队能够监控行为、调查事件并证明合规性。"

限制AI智能体可访问的内容和可执行的行为对确保真实商业环境中的安全性很重要。Sarrafi说："当智能体被赋予广泛权限或过多环境信息时，它们变得不可预测并带来安全或合规风险。"

可见性和监控对保持智能体在限制范围内运行很重要。只有这样，利益相关者才能对技术采用有信心。如果每个行为都被记录和管理，团队就能看到发生了什么，识别问题，并更好地理解事件发生的原因。

Sarrafi继续说道："这种可见性，结合重要环节的人工监督，将AI智能体从难以理解的组件转变为可以检查、重放和审计的系统。它还允许在问题出现时快速调查和纠正，从而增强操作员、风险团队和保险公司的信任。"

德勤的安全AI智能体治理策略为智能体系统可做出的决策设定了明确边界。例如，它们可能采用分层自主性运行，智能体只能查看信息或提供建议。从这里开始，它们可以被允许采取有限行动，但需要人工批准。一旦在低风险领域证明可靠，就可以被允许自动行动。

德勤的"网络AI蓝图"建议治理层级，并将政策和合规能力路线图嵌入组织控制中。最终，跟踪AI使用和风险的治理结构，以及将监督嵌入日常运营对安全使用智能体AI很重要。

通过培训准备劳动力是安全治理的另一个方面。德勤建议培训员工了解不应与AI系统分享什么、智能体偏离轨道时该怎么办，以及如何识别异常、潜在危险的行为。如果员工无法理解AI系统的工作原理及其潜在风险，他们可能会无意中削弱安全控制。

稳健的治理和控制，加上共同的知识素养，是AI智能体安全部署和运营的基础，能够在真实环境中实现安全、合规和负责任的性能表现。

Q&A

Q1：德勤报告中提到的AI智能体部署现状如何？

A：调查显示，目前23%的公司正在使用AI智能体，预计未来两年将升至74%。但仅有21%的组织对AI智能体实施了严格的治理或监督，智能体系统正以极快速度从试点转向生产环境。

Q2：AI智能体在实际业务环境中面临什么挑战？

A：AI智能体在受控演示中表现良好，但在真实商业环境中遇到困难，主要是因为系统碎片化和数据不一致。当智能体获得过多环境信息时，容易出现幻觉和不可预测行为，带来安全和合规风险。

Q3：如何确保AI智能体的安全部署和运营？

A：需要实施受治理的自主性，包括设定明确边界、政策和定义，保持详细行为日志，实施分层自主性运行，对高影响决策进行人工监督，以及培训员工识别潜在风险和异常行为。