智能体暴露信任机制的局限性

企业计算长期依赖信任链条。组织信任云服务提供商、软件供应商、身份系统和管理员能够按照设计运行。这种模式之所以行之有效，是因为人类始终是最终决策者。

智能体人工智能改变了这一格局。自主系统可以检索信息、做出决策、调用外部工具、与其他智能体协作，并代表企业执行操作。随着组织将越来越多的权限委托给智能系统，它们也需要一种方法来判断这些系统是否按预期行事。

问题不再仅仅是人工智能能否完成复杂工作，而是每一个具有实质影响的操作是否都能被独立检查和验证。企业计算的下一个时代，不仅将由自主系统能做什么来定义，还将由组织能否重建并验证系统已经做过什么来定义。

信任的局限

一个人工智能智能体可能从多个企业系统中检索信息，将其传递给另一个智能体，调用外部服务，并授权一项财务操作。每个独立组成部分可能都是安全的，但企业仍然可能没有一份完整、可独立验证的记录，来说明最终操作是如何发生的。

传统安全技术有助于确认谁被授权执行操作、他们可以访问哪些系统，以及是否发生了异常行为。传统日志可以显示某个应用程序接口被调用过，或者某笔交易已经发生。但这些记录不一定能捕捉到导致某一结果的完整指令链、输入、决策和操作过程。

问题在于，信任本身是否足以作为自主计算时代的架构原则。

当今大部分网络安全讨论都从一个熟悉的问题开始：我们应该信任哪个平台？这是一个合理的问题，但也越来越成为一个错误的问题。

传统安全技术仍然不可或缺，但它们大多是为通过执行策略、监控行为和控制访问来保护系统而设计的。它们本身无法确定是哪些指令和数据塑造了智能体的行为，无法重建其在多个系统间的交互过程，也无法证明由此产生的记录未被篡改。

当涉及智能体时，企业领导者应该提出一个不同的问题：这个系统产生了什么证据？这些证据能否被独立验证？如果答案主要依赖于信任供应商、基础设施或软件本身，那么企业仍然停留在上一个计算时代的假设之中。

自主计算要求更高标准。它要求系统能够产生可独立验证的证据，证明其被指示做什么、使用了什么信息以及采取了哪些行动。这就是可信计算与可验证计算之间的区别。

从信任到证明

这一转变并不需要放弃当今的网络安全实践。身份管理、终端保护、监控和策略执行仍将不可或缺。但它们正在成为一个更广泛架构模型的一部分，在这个模型中，独立验证为信心提供了额外的基础。

第一步是确定哪些行为需要可审计。并非所有交互都具有相同的风险级别。组织应识别可能带来重大财务、运营、安全或监管后果的操作，并为这些活动建立更高的证据标准。例如，一个总结内部文件的智能体，不需要与批准付款、修改生产代码或访问受监管数据的智能体承受相同程度的审查。

对于每一项具有实质影响的操作，组织应明确定义智能体可以做什么、其行动前必须满足的条件，以及需要人工批准的情形。这些要求构成了一个基准，日后可据此评估智能体的实际行为。

随着智能体开始跨越组织和系统边界行事，这一点变得尤为重要。一个智能体的决策可能依赖于另一个智能体生成的信息，而后者本身可能依赖于某个外部系统。如果没有一条可验证的链条将这些事件连接起来，组织可能知道结果，却无法确定其发生的过程。

下一步是确定重建这些操作所需的证据。这些证据应将最初的意图与智能体的行为联系起来：智能体被指示或授权做什么、访问了哪些信息、调用了哪些工具、随后做出了哪些决策或采取了哪些行动，以及产生了什么结果。

根据具体应用场景，审计记录可能还需要捕捉发起用户或系统、生效的策略和权限、与其他智能体的通信、外部服务调用、审批事件以及对企业系统所做的任何更改。目标不是保留智能体接触到的每一条信息，而是在尊重隐私、安全和数据最小化要求的前提下，保留足够的证据以重建具有实质影响的行为。

由于智能体很少孤立运行，证据需要跨系统留存。一个智能体可能从数据库中提取信息，接收用户的指令，将任务委派给另一个智能体，并调用外部服务。如果审计轨迹止步于某个应用程序层面，可能会遗漏链条中的关键部分。

每一个具有实质影响的工作流程都应具有一致、可追溯的身份标识，将最初的请求与后续的委派、工具调用、审批和结果联系起来。组织还应确定它们需要第三方智能体平台和外部服务提供哪些审计证据，以确保当某项操作跨越系统或组织边界时，责任不会随之消失。

最后一个问题是，证据本身是否可信。

密码学的作用

这正是密码学技术能够发挥强大作用的地方。组织可以使用加密签名、哈希值和其他证明方式，来确立记录、输入和输出的完整性与来源。这使得证明证据未被篡改，以及证明某一特定操作与相关数据和指令确实关联成为可能。

不同的机制满足不同的审计需求。数字签名有助于确立记录的来源。哈希值可以揭示指令、输入、输出或日志是否被更改过。带时间戳的证明可以将某一操作与特定的授权、策略或系统状态联系起来。更先进的密码学证明技术甚至可以在不暴露底层敏感信息的情况下，验证某项操作的某些声明。

但密码学只是这个等式的一部分。如果组织从一开始就没有确定要记录什么内容，那么经过加密保护的记录也就毫无用处。有效的智能体审计需要明确定义的控制措施、全面的事件捕获、操作之间可追溯的关联，以及对最终证据的独立验证。

密码学也无法单独判断智能体的判断是否恰当，或其接收的数据是否准确。它的作用在于确立证据的完整性和来源。验证的适当程度应与操作的后果相匹配，而不是对每一次智能体交互都套用相同的控制措施。

组织应定期尝试利用其系统产生的证据来重建具有实质影响的智能体操作。他们能否确定智能体被授权做什么、其所依赖的信息、与其他系统的交互情况，以及由此产生的记录未被篡改？

这些问题的答案，能为安全团队提供调查事件的方法，为合规团队提供证明决策合理性的依据，也能为业务领导者提供评估自主系统是否在既定边界内运行的方法。

构建这种能力需要在部署智能体之前做出一些运营决策，包括哪些操作需要加强审计、必须捕获哪些证据、应保留多长时间、记录如何跨系统关联、谁可以访问这些记录，以及谁负责审查这些记录。组织还应建立一个常态化流程，以测试具有实质影响的操作能否被重建，并纠正测试过程中暴露出的任何漏洞。

更大的转变是从设计仅仅"被信任"的系统，转向设计其具有实质影响的行为可被审查和证明的系统。如果做不到这一点，这些系统或许还没有准备好承担具有实质影响的自主权。

Davis是OpenMatter Network Inc.的联合创始人兼首席业务官。她为SiliconANGLE撰写了这篇文章。

Q&A

Q1：什么是可验证计算？它和可信计算有什么区别？

A：可验证计算是指系统能够产生可独立验证的证据，证明其被指示做什么、使用了什么信息以及采取了哪些行动。这与传统的可信计算不同，后者主要依赖于信任供应商、基础设施或软件本身，而可验证计算要求有独立可查的证据支撑。

Q2：为什么企业需要对AI智能体的行为进行审计？

A：因为智能体可以自主检索信息、做决策、调用工具并执行操作，涉及多个系统交互。如果没有完整可验证的记录，企业可能知道结果，却无法确定其发生过程，一旦出现问题也难以追责和调查。

Q3：密码学技术在智能体审计中起什么作用？

A：密码学技术如数字签名、哈希值和时间戳证明，可以确立记录、输入输出的完整性与来源，证明证据未被篡改。但密码学不能单独判断智能体判断是否恰当，需要配合明确的控制措施和事件捕获机制才能发挥作用。