网易首页 > 网易号 > 正文 申请入驻

复盘智能体事故:Gartner 40%失败率背后的三种模式

0
分享至

Gartner在2026年5月预测,到次年,40%的企业将取消自主智能体项目。"到2027年,40%的企业将降级或停用自主AI智能体,原因是在生产事故发生后才暴露的治理缺口。"

我们需要关注的关键信息在句子的后半段:缺口只有到事故发生后才被发现。


这不是关于模型质量的预测,而是关于基础设施短板的预测——这也是企业数据团队内部状况的真实写照。

智能体的失败方式不同于确定性系统

很多次AI智能体事故后会进行复盘。数据团队聚集在一起搞清楚发生了什么,结果发现……往往搞不清楚。

团队知道出了问题,因为下游测试失败了、某个数字不对、或者收到了一张意外账单。有时问题几乎立刻显现,有时要过几天甚至几周才浮出水面。

如果是人工编写的变更,后续追问清晰明了——工程师会用堆栈追踪、git blame或查询历史过滤来回答。但对于智能体的工作,每一种追问都查无结果。

企业事故响应体系是围绕快速且明确地失败的软件成长起来的。服务崩溃会抛异常,任务失败会触发告警,部署出问题会回滚。企业拥有的几乎所有治理控制都是为捕获这类失败而设计的。

但智能体的失败方式不同。

一个缺乏上下文的智能体不会按其不确定性程度减速;它会用看似合理的推理填补空白,然后以机器速度继续推进。输出能编译、能执行、返回的东西看起来合理——这意味着失败在发生时不会产生任何信号。

智能体时代的治理缺口保持不可见,直到事故将它们暴露——这正是Gartner所描述的时间序列。

在过往事故复盘中,无法回答的问题聚集为三种模式。每一种都是早在暴露它的事故之前就存在的基础设施短板。


模式一:权限是继承的,而非设计的

复盘问的第一个问题是:智能体接触了什么?

回答它本应只是一条针对访问日志的查询、按主体过滤即可;但它变成了一项清点工程,因为智能体从未拥有自己的主体身份 。

在大多数部署中,智能体的行动范围根本没有被设计过。智能体继承了启动它的工程师的凭证,或者通过一个已被多个其他系统使用的共享密钥进行认证。

2026年Gravitee对900多位高管和技术从业者的一项调查发现,46%的团队仍然依赖共享API密钥进行智能体认证,而非为每个智能体发放可独立限定范围、轮换和撤销的专用服务身份。

Gravitee是一家专注于事件原生(Event-Native)API管理的开源平台公司,总部位于美国。其核心定位是帮助企业设计、部署、管理和保护同步与异步API的完整生命周期。

团队确实会写限制条件,但他们写在了提示词里。像"不要修改生产表"这样的指令是建议性的,随着长任务中上下文的增长,其影响力会衰减。

提示词指令不能替代IAM(身份与访问管理)策略——提示词是请求智能体遵守规矩,而策略是让违规变得不可能。

公开记录已经展示了这样做的后果。一个AI编码智能体在Replit上于代码冻结期间删除了一个生产数据库,尽管有明确指示要求不得动它;一个数据团队收到了一张来自单次AI生成查询的5000美元账单,而其资源监控器从未捕获到。

纠偏方法是一个被大多数部署忽略的区分:智能体的自主性和智能体的访问权限是两个不同的属性,需要分别治理。

智能体被允许接触什么,应在权限层执行(在那里违规是不可能的),而非在提示词层(在那里违规仅仅是被劝阻的)。


模式二:所有者——组织架构图无法产出的东西

第二个问题是:谁拥有这个智能体,谁为其行为负责?

随之而来的沉默本身就是诊断结果。

一个生产环境中的智能体位于多个团队的交汇点。平台团队配置了它的访问权限,业务团队编写了它的指令,供应商提供了运行框架,每一方都合理地认为其他某一方对其行为负责。

一个有着同样岗位描述的人类新员工,不会在没有明确上级的情况下通过入职流程。

身份层让这个问题雪上加霜。同一项Gravitee调查发现,只有22%的团队将AI智能体视为拥有自己凭证的独立身份实体。

当智能体通过共享密钥或借用登录凭证行动时,审计追踪将其行为归属于某个人(通常与智能体的部署无关)或一个被十几个系统共享的服务账号。归因变得在结构上不可能,而不可归因的行为产生不可归属的事故。

这里的纠偏既是组织性的,也是技术性的:每个智能体需要自己的身份、限定于其任务的凭证,以及一个在智能体进入生产环境之前就被书面指定的人类负责人。

十年前企业在服务账号上经历过同样的成熟过程;智能体压缩了这一时间线——因为它们行动更频繁、更具主动性。

模式三:证据从未被捕获

第三个问题是:智能体到底逐步做了什么?

这是复盘卡壳最久的地方。

事故响应假设日志能解释意图。智能体留下的是输出:四百条执行的查询、一组合并的变更、一张仓库账单。记录显示运行了什么,但不显示智能体在行动时知道什么、检查了什么、跳过了什么,以及为什么选择了它所走的路径。

长时间运行的任务扩大了这一缺口。智能体系统随着会话增长会压缩其工作上下文,而这种压缩通常丢弃了取证复盘所需的中间推理。

证据不仅未被索引——它在任务中途就被丢弃了,在任何人知道事故会使其变得有价值之前。

这种模式解释了Gartner选择的那个特定措辞。一个无法重建智能体行为的团队无法缩小范围或修复具体缺口,因为复盘从未建立哪个缺口失效了。唯一可用的应对是全面降低智能体的自主性,或直接关停它。

"降级"正是当没有证据可供修复时,修复长什么样。

纠偏方法是将决策追踪(decision traces) 视为一等工件。对于每一个有后果的行动,系统应记录:智能体检索了什么上下文、运行了什么验证、它有多大的置信度、以及是否有人的批准。

该记录必须在行动发生时生成,因为它事后无法恢复,并且应以适合分析的形式呈现。

三个模式之下的同一个根因

这三种模式看起来各不相同,但源自同一个根。

Gartner高级总监分析师Shiva Varma在该预测发布时点明了它:

"企业将AI智能体治理视为二元的——要么完全锁死,要么完全信任——这正是失败的根本原因。"

一个被完全锁死的智能体不会产生事故,也不会产生价值,于是压力积累到翻转开关。一个被完全信任的智能体会产生价值——直到它产生一个范围无法控制、所有者无法捕获、追踪无法解释的事故。

替代方案是分级自主性(graduated autonomy) 。Gartner的框架有四个层级:

  • 观察智能体( agents that observe )

  • 建议智能体( agents that advise )

  • 经批准后行动智能体( agents that act with approval )

  • 在护栏内自主行动智能体( agents that act autonomously within guardrails )

每个层级需要逐步加重的基础设施,智能体通过在下一层级积累实绩来赢得晋升。

分级只在每一层的检查是可信的情况下才有效——这指向一条坚定原则:

确定性问题应该得到确定性答案。

一张表是否存在、一个连接是否匹配其键、一条查询是否在支出限额内——这些都是有可验证答案的问题,应该由不能产生幻觉的系统来检查。模型的判断应该属于需要判断的地方:模糊的决策,而非可验证的决策。

Gartner的40%是一个普遍现状,但你肯定不希望成为其中一员

企业正将智能体推进到更高风险的工作流中,速度快于其治理的成熟速度。是的,大约40%的企业可能会以昂贵的方式发现缺口。

其余的将已经先建好了那些不那么光鲜的部分:被强制执行的范围、被明确命名的负责人、以及能在事故中幸存的追踪记录。


这项工作改变了数据和平台工程师每天的工作内容,它标志着这个学科一个新时代的开始。

这份工作正在从执行工作转向智能体数据工程——以及治理执行工作的系统:决定智能体可以接触什么、谁为其负责、以及它们留下什么证据。

拥抱这一转变的团队将运行他们能在事故复盘中站得住脚的智能体。

跳过它的团队将成为Gartner 40%的不幸者——并将在一场每个问题都有令人不安答案的会议中,做出降级智能体的决定。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
苹果高管开炮:折叠屏又贵又烂,iPhone Duo才是答案

苹果高管开炮:折叠屏又贵又烂,iPhone Duo才是答案

算力游侠
2026-10-15 22:18:03
龚翔宇剪短发,加盟日本女排俱乐部,发型改变,气质大变样!网传,龚翔宇年薪约320万人民币

龚翔宇剪短发,加盟日本女排俱乐部,发型改变,气质大变样!网传,龚翔宇年薪约320万人民币

开成运动会
2026-10-15 22:17:42
马斯克最新预警:未来20年AI威胁最大的群体,不是精英,不是学历,恰恰是90%的普娃……

马斯克最新预警:未来20年AI威胁最大的群体,不是精英,不是学历,恰恰是90%的普娃……

LULU生活家
2026-10-15 17:29:13
他落选中央委员、政治局候补委员、中顾委常委,上级:不做变动!

他落选中央委员、政治局候补委员、中顾委常委,上级:不做变动!

王姐懒人家常菜
2026-10-15 04:55:34
黄子韬徐艺洋宣布当爸妈,晒出一家三口海边牵手合照,配文:“落日漫过海面,爱的人都在身边”

黄子韬徐艺洋宣布当爸妈,晒出一家三口海边牵手合照,配文:“落日漫过海面,爱的人都在身边”

韩小娱
2026-10-15 16:53:26
《伟大的长征》博古坠机离世,后半辈子活在悔恨中,女儿成为遗憾

《伟大的长征》博古坠机离世,后半辈子活在悔恨中,女儿成为遗憾

天玑影视说
2026-10-15 21:26:36
横店空了!剧组暴跌八成,15万群演在景区找到新饭碗,日薪还涨了

横店空了!剧组暴跌八成,15万群演在景区找到新饭碗,日薪还涨了

阿废冷眼观察所
2026-10-15 12:31:05
批评尊界就是不爱国?

批评尊界就是不爱国?

廖保平
2026-10-14 08:26:07
童年郑钦文全家福曝光,少时轮廓已然定型,天生自带运动员锋芒

童年郑钦文全家福曝光,少时轮廓已然定型,天生自带运动员锋芒

娱你同欢
2026-10-14 19:38:08
42岁时我给父亲捐肾,做手术前一天,隔壁床阿姨偷偷跟我说:你爸的4套房子和78万存款下午都给你弟了,我眼泪直接流了出来

42岁时我给父亲捐肾,做手术前一天,隔壁床阿姨偷偷跟我说:你爸的4套房子和78万存款下午都给你弟了,我眼泪直接流了出来

品读时刻
2026-10-16 09:04:11
33岁炸串女摊主被差评后跳河轻生,警方已介入调查;评判商家,不该只有“避雷帖”

33岁炸串女摊主被差评后跳河轻生,警方已介入调查;评判商家,不该只有“避雷帖”

极目新闻
2026-10-15 07:23:25
罗永浩又批评餐厅了:价格贵,巨咸,很难吃!可这一次,大量网友已经反感了:到处碰瓷!

罗永浩又批评餐厅了:价格贵,巨咸,很难吃!可这一次,大量网友已经反感了:到处碰瓷!

谭谈社会
2026-10-02 16:39:44
美国一小学发生枪击事件,3名儿童和1名成年人死亡,据称枪手是青少年

美国一小学发生枪击事件,3名儿童和1名成年人死亡,据称枪手是青少年

第一财经资讯
2026-10-16 07:46:23
一旦俄乌冲突结束,三国将面临亡国,还有一国有可能“乌克兰化”

一旦俄乌冲突结束,三国将面临亡国,还有一国有可能“乌克兰化”

史之韵
2026-10-13 13:23:36
著名女星,被逮捕

著名女星,被逮捕

中国新闻周刊
2026-10-14 20:27:19
体制内外退休金的巨大差距引起老百姓的很大不满!

体制内外退休金的巨大差距引起老百姓的很大不满!

逍遥论经
2026-10-08 14:57:40
监管部门强势介入,江淮汽车懂车帝迎来裁判时刻

监管部门强势介入,江淮汽车懂车帝迎来裁判时刻

风风顺
2026-10-16 03:05:07
甘肃甘南一居民“用摩托车搬家”视频走红,本人回应:是短距离搬迁,花费1.5个小时,是铁皮房所以不是很重,当地基本都是用这种方式搬家

甘肃甘南一居民“用摩托车搬家”视频走红,本人回应:是短距离搬迁,花费1.5个小时,是铁皮房所以不是很重,当地基本都是用这种方式搬家

潇湘晨报
2026-10-15 18:57:08
Acer Sospiro A70把1.88英寸副屏装进了手机背面

Acer Sospiro A70把1.88英寸副屏装进了手机背面

有态度网友ytd2993
2026-10-15 05:46:36
男子和四十多岁女网友认识后,频繁发生关系,最后一次在车内,男子死亡后家属向女子索要巨额赔偿

男子和四十多岁女网友认识后,频繁发生关系,最后一次在车内,男子死亡后家属向女子索要巨额赔偿

丫头舫
2026-10-13 22:10:25
2026-10-16 09:40:49
Ai时代前沿
Ai时代前沿
人工智能新闻动态及应用案例。
1890文章数 512关注度
往期回顾 全部

科技要闻

杨天若院士:AI是中国弯道超车的机会

头条要闻

牛弹琴:泽连斯基豁出去了 索性不装了跟特朗普对着干

头条要闻

牛弹琴:泽连斯基豁出去了 索性不装了跟特朗普对着干

体育要闻

五大联赛第二射手,开着11年前的二手车

娱乐要闻

蒋劲夫晒体脂率引关注,家暴史再被扒

财经要闻

避险情绪压倒通胀担忧,欧美国债普涨

汽车要闻

年轻人专属的大五座 小鹏MONA L05预售16.98万起

态度原创

数码
时尚
家居
健康
本地

数码要闻

小米双11正式开启 至高立省4000元

开衫,是秋天最好穿的衣服

家居要闻

2026建博会(广州) 公装联探展交流活动

孩子运动莫名晕倒?当心这类疾病

本地新闻

这个十一,林都伊春彻底出圈!

无障碍浏览 进入关怀版