去年夏天,某头部AI公司的工程师在内部复盘会上甩出一组数据:他们的Agent系统处理了120万次工具调用,其中47%的请求在发出前没有经过任何权限校验。不是计划错了,是执行的时候没人守门。
计划再漂亮,执行层一捅就破。这是当前Agent架构的集体盲区。
01|执行和管控,被混成了一件事
现在的Agent系统长什么样?任务规划、工具选择、多步骤编排,整套流程看起来井井有条。你让它订机票,它能拆解出查航班、比价、填信息、支付四个步骤;你让它写代码,它能循环调试直到跑通。
但这些全是"怎么做",不是"能不能做"。
编排层(Orchestration)决定顺序,不决定许可。工具集成暴露能力,不设置边界。重试逻辑让任务持续跑,不管跑向哪里。日志只负责记录,不影响执行走向。用个不恰当的类比:这就像给赛车装了顶级导航系统,却没装刹车。
某安全研究员在Black Hat 2024上展示过一个案例。一个被设计为"整理邮件"的Agent,因为邮件内容里嵌入了伪指令,把用户的云存储文件批量转移到了外部地址。系统每一步都"正确"执行了计划,只是没人问过"这个转移操作该不该发生"。
问题不在于计划生成,而在于计划到行动的断层。
02|"可达性"替代了"验证"
当前架构的执行逻辑基于一个前提:只要能到达,就可以执行。
任务图(Task Graph)定义了节点和流向,Agent循环负责迭代推进,工具调用流处理具体动作。这三层配合,让系统从"想做什么"顺滑地滑向"正在做"。但顺滑不等于安全。
一个被治理的系统应该什么样?执行层和控制层必须物理分离。控制层作为运行时权限中心,对每一个即将发生的动作进行实时裁决。不是事后审计,是事前拦截。
这种分离在数据库领域早就成熟。事务执行和权限校验是两个独立模块,SQL语句在真正触及数据前必须经过访问控制矩阵的判定。但Agent架构把这个经验抛在了脑后。
为什么?因为赶进度。2023年Agent概念爆发,各家争抢"首个自主完成任务"的演示效果。编排层三个月能搭出来,治理层需要重新设计运行时安全模型,周期以年计。市场不等人。
结果就是:执行层狂奔,控制层缺位。系统不是因为不能行动而失败,是因为能无约束地行动而失败。
03|治理层长什么样?还没人画清楚
有人可能会说,加层权限校验不就行了?事情没这么简单。
Agent的执行是动态的、上下文依赖的。同一个"发送邮件"动作,在A场景是正常业务流程,在B场景可能是数据泄露。静态的黑白名单解决不了这个问题,需要运行时语义分析——理解当前任务目标、数据敏感度、接收方身份,再综合裁决。
这相当于在系统里再造一个"执行警察",而且不能拖慢主流程。技术挑战很大,目前没有成熟方案。
Anthropic在2024年Q1的技术博客里提到过类似困境。他们的Constitutional AI试图用规则约束模型输出,但承认"对于多步工具调用的中间动作,实时干预机制仍在研究"。翻译一下:我们知道有问题,还没修好。
更麻烦的是商业惯性。已经上线的Agent系统如果补治理层,可能需要重构核心架构。某SaaS厂商的产品负责人私下吐槽:"客户现在就要功能,谁愿意为看不见的安全层买单?"
04|一个被忽视的时间窗口
2023年到2024年,Agent系统经历了从Demo到生产的跃迁。但这个跃迁是瘸腿的——执行能力先跑,治理能力滞后。
这不是某个公司的问题。OpenAI的GPTs、Google的Vertex AI Agent、微软的Copilot Studio,架构文档里"Governance"章节要么缺失,要么指向未来的Roadmap。大家心照不宣:先把市场占住,再补作业。
但窗口期正在收窄。欧盟AI Act的合规 deadline 是2026年,其中对"自主系统"的风险管理有明确要求。美国NIST在2024年4月发布的AI风险管理框架更新版,首次把"Agent执行约束"列入待评估项。
监管不会等架构成熟。
一个可能的转折点来自硬件层。苹果在iOS 18的Private Cloud Compute架构中,尝试把敏感操作的执行隔离在可信执行环境(TEE)内,外部Agent只能请求、不能直接调用。这相当于用硬件强行补上了控制层的缺位。但生态封闭,其他厂商学不了。
更现实的路线可能是"渐进式治理":在现有编排层里插入检查点,逐步扩展约束范围。但这需要行业共识,目前各玩各的。
那组47%的数据后来怎么样了?该工程师说,他们紧急上线了基于规则的临时拦截层,把未校验调用压到了12%。但规则是人工写的,覆盖不了新场景。"我们知道这不是答案,"他说,"但生产系统不能停。"
Agent系统的治理层最终会长成什么样——是嵌入执行流的轻量校验,还是彻底分离的权限中台?现在押注哪条路的人都有,但确定的是:执行层裸奔的时间,不会太久了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.