网易首页 > 网易号 > 正文 申请入驻

单步99%可靠,50步只剩六成?AI自主权限该按步骤给

0
分享至

给AI Agent多少自主权,很多团队把它当成一个能力问题:模型跑分越高,就敢放得越多。但企业真正要回答的,是另一个问题——这个系统在没有人逐步批准的情况下,被允许行使多大的操作权限。


换句话说,自主性是授权决策,不是能力刻度。跑分提升能扩大模型"能做什么",却决定不了企业"该允许它做什么"。由此得出一条很实用的规则:把自主权分配给工作流的具体步骤或某类动作,而不是整个Agent。

Ariftly的工作流自主性阶梯把操作模式分成五级:

  • L0 人工操作:关键动作由人执行。
  • L1 AI辅助:AI负责检索、解读或建议,由人决策并行动。
  • L2 AI备妥:AI准备好可执行的产物或动作载荷,由人审核并提交。
  • L3 有边界的AI执行:AI可在强制边界内执行预先授权的动作,但需要独立的完成校验、异常路由和恢复控制。
  • L4 例外式AI运营:AI运行一段定义好的多步骤工作流,人负责策略、例外、事故和总体结果,而不是逐项批准每个常规动作。

L4不等于"没有人"。它改变的是问责所在的位置。

比标签更重要的是晋级闸门。一个步骤只有在证据达到预先设定的阈值后,才应该获得更多权限,这些维度包括:预期结果、假成功率、证据完整性、异常召回的准确率与覆盖率、策略边界、对抗性安全、回滚与恢复、人工介入、漂移与回归、运营价值。

NIST的智能体评估工作为这套做法提供了参照。其2026年的评估探针项目正在构建可运行在智能体工作流内部的自动验证器,并生成机器可读的审计轨迹,初期工作是对照可信语料核查事实依据。NIST的ARIA方法还把模型测试、红队测试和用户测试结合起来——只靠一个基准做自主性决策,结构上就是脆弱的。

静态安全测试容易低估风险。NIST/CAISI的AgentDojo工作给出了一个例子:在某一测试环境中,最强的基线攻击成功率为11%,而通过红队定制的新攻击达到81%;在五项注入任务中,每项尝试25次后,平均攻击成功率从57%升到80%。后来一场公开红队竞赛涉及13个前沿模型、超过25万次尝试、400多名参与者,每个目标模型都至少被发现一次成功的劫持攻击。

这些数字不该被读成生产环境的入侵概率,而应被读成一条要求:评估条件要匹配部署工作流可能面对的对手和重试强度。

自动化判分也可能偏离验收标准。METR的2026年SWE-bench维护者研究显示,来自三个仓库的四位活跃维护者审核了296个AI生成的PR,在主要的标准化分析中,自动评分器的结果平均比维护者的合并决定高出24.2个百分点。这不是要取消确定性测试,而是要让确定性验收套件对准真实的目标状态。

工作流需要定义"已验证完成":动作既已发生,也通过了代表业务验收的独立检查。同时要跟踪"假成功"——那些被当作完成、但预期状态并未达成的案例。

还要给可靠性留预算。在一个刻意简化的模型里,n个步骤各自以概率p独立成功,整体可靠性为p的n次方。单步可靠性99%时:

  • 10步 → 约90.4%
  • 20步 → 约81.8%
  • 50步 → 约60.5%

要让50个等权独立步骤达到99%的端到端可靠性,单步需要约99.98%。真实工作流存在相关错误、重试、补偿控制和分支,这些都需要建模;简化结果的价值在于逼团队去要一个端到端可靠性预算,而不是假设组件通过率能扛住长链条。

"零故障"也需要分母。按统计学中的三倍法则,n次可比的独立试验中零事件,95%置信上界约为3/n:100次试验约3%,300次约1%,1000次约0.3%,3000次约0.1%。智能体评估经常违反简单的二项分布假设,所以这不是通用保证方法,而是一种纪律:报告样本量和不确定性,别把"零观测"翻译成"安全"。

自主权还应当可逆。模型、工具、提示词、策略和环境的变化都可能让此前的证据失效,因此生产环境的自主性策略需要降级触发器。关键假成功事件、漏掉的异常、策略违规、安全回归、恢复失败、漂移或实质性系统变更,都应把该动作退回更低级别或审核状态,直到证据重新建立。

结果不是一条笔直的成熟度阶梯,而是一套受控的权限运行系统。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
曼城天才一战封神:欧冠独造4球,3进球1助攻,射手榜超越姆巴佩

曼城天才一战封神:欧冠独造4球,3进球1助攻,射手榜超越姆巴佩

足球狗说
2026-10-21 05:18:59
记者当面提问拉夫罗夫:为什么俄罗斯只剩朝鲜和伊朗两个盟友?他一句反问让全场沉默

记者当面提问拉夫罗夫:为什么俄罗斯只剩朝鲜和伊朗两个盟友?他一句反问让全场沉默

磊子讲史
2026-10-10 17:04:45
净支持率-15,CNN数据分析师:万斯是共和党最不受欢迎副总统

净支持率-15,CNN数据分析师:万斯是共和党最不受欢迎副总统

追星雷达站
2026-10-21 03:49:47
我国越来越多的人患糖尿病?建议:停止食用“8物”,保护胰岛

我国越来越多的人患糖尿病?建议:停止食用“8物”,保护胰岛

任医生聊健康
2026-10-19 22:25:07
法国骚乱游戏店老板走红!社区筹款支援 已破1万美元

法国骚乱游戏店老板走红!社区筹款支援 已破1万美元

游民星空
2026-10-20 20:20:15
WTT海报把孙颖莎挤到了边角,这事儿办得有点看不明白!

WTT海报把孙颖莎挤到了边角,这事儿办得有点看不明白!

眼界纵横
2026-10-21 09:35:32
性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

性专家说:当一个异性开口跟你要钱,要礼物,不管对方是不是想试探你的真心,你都应该明白,你已被对方列入供养者行列

心理观察局
2026-08-05 06:46:04
薄一波究竟属于哪一级别?是正国级,还是副国级?

薄一波究竟属于哪一级别?是正国级,还是副国级?

人生录
2026-10-15 05:18:24
四川大学华西医院泌尿外科专家:魏强

四川大学华西医院泌尿外科专家:魏强

荷兰豆爱健康
2026-10-21 03:13:00
发现没?凡是长期不祭祖的家庭,过个十年八年,往往会有变化

发现没?凡是长期不祭祖的家庭,过个十年八年,往往会有变化

牛锅巴小钒
2026-10-18 03:47:07
事情闹大了!解放军准时封锁海域,中美航母或将首次正面掰腕较量

事情闹大了!解放军准时封锁海域,中美航母或将首次正面掰腕较量

无悔的灿烂人生
2026-10-19 17:10:03
突发!特朗普支持率遭重创!

突发!特朗普支持率遭重创!

财经要参
2026-10-21 13:44:19
浓眉大眼的宁王崩了,半年蒸发10000亿

浓眉大眼的宁王崩了,半年蒸发10000亿

鸣金网
2026-10-21 17:07:53
34万老外挤爆广交会,中国工厂却笑不出来

34万老外挤爆广交会,中国工厂却笑不出来

深莞惠
2026-10-20 18:07:44
内塔尼亚胡下令:推翻伊朗政权,伊朗警告:若再打就切断海底光缆

内塔尼亚胡下令:推翻伊朗政权,伊朗警告:若再打就切断海底光缆

每日经济新闻
2026-10-20 18:14:18
蒋介石曾言:亡于日本虽亡国奴,亡于共党连为奴也不能!

蒋介石曾言:亡于日本虽亡国奴,亡于共党连为奴也不能!

微野谈写作
2026-10-11 17:55:11
车间实拍流出!特斯拉Roadster高压氮气罐引争议,网友:这要炸了,不死也得死啊

车间实拍流出!特斯拉Roadster高压氮气罐引争议,网友:这要炸了,不死也得死啊

火山詩话
2026-10-20 17:01:23
这条无耻新闻,终于引起公愤了!

这条无耻新闻,终于引起公愤了!

胖胖说他不胖
2026-09-07 11:50:18
20261021问界起火事故Q1

20261021问界起火事故Q1

蓝鲨财经社
2026-10-21 16:32:21
经济日报的评论,替一个断掉的踏板撑腰

经济日报的评论,替一个断掉的踏板撑腰

鲁先生的笔
2026-10-19 23:29:24
2026-10-21 18:20:49
固件更新中
固件更新中
有态度网友ytd
240文章数 83关注度
往期回顾 全部

科技要闻

SpaceX收入暴涨!马斯克:这事"不再不可能"

头条要闻

49岁男子三小时内连杀三人 一审被判死刑

头条要闻

49岁男子三小时内连杀三人 一审被判死刑

体育要闻

“我,对得起天津足球!”

娱乐要闻

张柏芝自曝五点陪伴儿子 谢霆锋尴尬了

财经要闻

日赚近5亿的长鑫,股价却跌掉了15000亿

汽车要闻

高新华:奇瑞致力于成为AI驱动的智能科技公司

态度原创

数码
艺术
教育
健康
公开课

数码要闻

还得再等3年!RTX 6060因缺料延期至2029年:12GB显存+192-bit位宽

艺术要闻

24亿的义乌大剧院,冲刺年底建成!“一叶轻舟”已成型!

教育要闻

北京毛毛虫冲上热搜!海淀这所小学的学生出手了

痘痘能根治吗?皮肤科医生说实话

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版