给AI Agent多少自主权,很多团队把它当成一个能力问题:模型跑分越高,就敢放得越多。但企业真正要回答的,是另一个问题——这个系统在没有人逐步批准的情况下,被允许行使多大的操作权限。
![]()
换句话说,自主性是授权决策,不是能力刻度。跑分提升能扩大模型"能做什么",却决定不了企业"该允许它做什么"。由此得出一条很实用的规则:把自主权分配给工作流的具体步骤或某类动作,而不是整个Agent。
Ariftly的工作流自主性阶梯把操作模式分成五级:
- L0 人工操作:关键动作由人执行。
- L1 AI辅助:AI负责检索、解读或建议,由人决策并行动。
- L2 AI备妥:AI准备好可执行的产物或动作载荷,由人审核并提交。
- L3 有边界的AI执行:AI可在强制边界内执行预先授权的动作,但需要独立的完成校验、异常路由和恢复控制。
- L4 例外式AI运营:AI运行一段定义好的多步骤工作流,人负责策略、例外、事故和总体结果,而不是逐项批准每个常规动作。
L4不等于"没有人"。它改变的是问责所在的位置。
比标签更重要的是晋级闸门。一个步骤只有在证据达到预先设定的阈值后,才应该获得更多权限,这些维度包括:预期结果、假成功率、证据完整性、异常召回的准确率与覆盖率、策略边界、对抗性安全、回滚与恢复、人工介入、漂移与回归、运营价值。
NIST的智能体评估工作为这套做法提供了参照。其2026年的评估探针项目正在构建可运行在智能体工作流内部的自动验证器,并生成机器可读的审计轨迹,初期工作是对照可信语料核查事实依据。NIST的ARIA方法还把模型测试、红队测试和用户测试结合起来——只靠一个基准做自主性决策,结构上就是脆弱的。
静态安全测试容易低估风险。NIST/CAISI的AgentDojo工作给出了一个例子:在某一测试环境中,最强的基线攻击成功率为11%,而通过红队定制的新攻击达到81%;在五项注入任务中,每项尝试25次后,平均攻击成功率从57%升到80%。后来一场公开红队竞赛涉及13个前沿模型、超过25万次尝试、400多名参与者,每个目标模型都至少被发现一次成功的劫持攻击。
这些数字不该被读成生产环境的入侵概率,而应被读成一条要求:评估条件要匹配部署工作流可能面对的对手和重试强度。
自动化判分也可能偏离验收标准。METR的2026年SWE-bench维护者研究显示,来自三个仓库的四位活跃维护者审核了296个AI生成的PR,在主要的标准化分析中,自动评分器的结果平均比维护者的合并决定高出24.2个百分点。这不是要取消确定性测试,而是要让确定性验收套件对准真实的目标状态。
工作流需要定义"已验证完成":动作既已发生,也通过了代表业务验收的独立检查。同时要跟踪"假成功"——那些被当作完成、但预期状态并未达成的案例。
还要给可靠性留预算。在一个刻意简化的模型里,n个步骤各自以概率p独立成功,整体可靠性为p的n次方。单步可靠性99%时:
- 10步 → 约90.4%
- 20步 → 约81.8%
- 50步 → 约60.5%
要让50个等权独立步骤达到99%的端到端可靠性,单步需要约99.98%。真实工作流存在相关错误、重试、补偿控制和分支,这些都需要建模;简化结果的价值在于逼团队去要一个端到端可靠性预算,而不是假设组件通过率能扛住长链条。
"零故障"也需要分母。按统计学中的三倍法则,n次可比的独立试验中零事件,95%置信上界约为3/n:100次试验约3%,300次约1%,1000次约0.3%,3000次约0.1%。智能体评估经常违反简单的二项分布假设,所以这不是通用保证方法,而是一种纪律:报告样本量和不确定性,别把"零观测"翻译成"安全"。
自主权还应当可逆。模型、工具、提示词、策略和环境的变化都可能让此前的证据失效,因此生产环境的自主性策略需要降级触发器。关键假成功事件、漏掉的异常、策略违规、安全回归、恢复失败、漂移或实质性系统变更,都应把该动作退回更低级别或审核状态,直到证据重新建立。
结果不是一条笔直的成熟度阶梯,而是一套受控的权限运行系统。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.