网易首页 > 网易号 > 正文 申请入驻

智能体反复调错工具却不报警,问题出在哪?

0
分享至

“最难的部分并不是构建智能体,而是当它们出错时,弄清楚到底发生了什么。”StackGen 首席工程师 Sabith K Soopy 在 8 月 4 日发布的一篇 CNCF 博文中这样写道。这句话点出了一个被很多团队忽略的现实:智能体可以反复调用错误的工具,却不会触发任何可用性告警。

这篇博文基于数月在生产环境运行智能体的实践经验。标准应用监控只能判断服务是否正常响应,却解释不了自主工作流为何陷入循环、调用无效接口,或是声称已完成实际跳过的任务。服务“活着”,不代表它做对了事。


把每一次调用都记成一条链路

StackGen 的做法是用 Langfuse 采集嵌套会话追踪数据。每一次大语言模型调用、工具执行和子智能体委派,都会被记录为一个独立的 span,并附带执行延迟和 token 成本。把子 span 嵌套在父 trace 之下,复杂的多智能体工作流里就能保留完整的委派链。

博文还建议采用异步批量导出器:让 span 先在内存中排队,再定期刷新。这样即便遥测后端发生临时故障,丢掉的也只是追踪数据,而不会阻塞正在运行的智能体。

成本是防止失控的主要抓手

成本控制被这篇博文视为防止执行失控的主要运维保障。具体做法包括:

  • 在执行开始前强制执行严格的迭代上限
  • 设置单工具调用次数限制
  • 配合执行前检查,阻止重复的相同工具请求

阻止连续重复调用能处理简单的重复场景,但团队还需要把它和统计监控结合起来。把会话成本与每个智能体的滚动平均值做比较,可以发现相对隐蔽的异常,包括模型路由错误、工具幻觉,以及多轮交互中上下文的无限膨胀。博文的判断是:对于快速运行的并行智能体而言,仅仅依靠被动触发警报往往为时已晚。

追踪用于调试,指标用于告警

事后复盘方面,博文建议将工具调用、治理决策和内存操作写入仅支持追加且可搜索的日志中,并在存储前对凭据和个人身份信息(PII)进行脱敏处理。StackGen 还提供了一个命令行诊断工具,可在单次执行中验证模型 API 访问、向量数据库可达性、待处理的审批、内存计数、追踪后端连接以及集成健康状况。

已完成的追踪会经过自动化分析器处理,标记出执行时长、工具故障、重试次数和 token 效率问题,供人工审查。博文建议将有限的运维指标导出到 Prometheus,例如工具错误率和审批延迟直方图。

这里有一条明确的警示:把动态会话 ID 放进指标标签,会产生高基数时间序列,可能导致指标服务器崩溃。细粒度的会话上下文应严格保留在追踪或结构化日志中。正如博文所言:“追踪用于调试,指标用于告警。”

跨厂商的标准化路径

其他配套工具为跨生产环境评估追踪数据提供了结构化路径。OpenTelemetry 的生成式 AI 语义约定定义了模型操作、token 消耗和工具调用的标准化属性,在不同遥测后端之间建立一致的规范结构。

追踪记录执行历史,评估工具则验证输出质量。LangSmith 可将生产环境中的异常追踪转换为测试数据集,用于回归基准测试和质量监控。开源的 Arize Phoenix 把原生支持 OpenTelemetry 的追踪,与自托管的 LLM 评审器评估能力和提示词实验结合在一起。OpenTelemetry 项目在一个单独的代码库中维护这些规范,涵盖客户端、服务器和模型上下文协议的 span,以此支持一致的多厂商可观测性。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
戴笠死后第二天,蒋介石没顾上哭就先派人抄家,打开金库那刻全场都看傻了

戴笠死后第二天,蒋介石没顾上哭就先派人抄家,打开金库那刻全场都看傻了

纪史行者
2026-09-15 06:20:03
CCTV5直播!U23国足VS伊朗,小组出线关键战,安东尼奥带队争2连胜

CCTV5直播!U23国足VS伊朗,小组出线关键战,安东尼奥带队争2连胜

兵哥篮球故事
2026-09-18 13:08:24
王鹤棣疯传做阴茎增大术坏死!「诊所急发3点声明」 热搜爆了压不下来

王鹤棣疯传做阴茎增大术坏死!「诊所急发3点声明」 热搜爆了压不下来

ETtoday星光云
2026-09-17 13:51:01
9月18日,2026年退休人员基本养老金调整通知公布了吗?

9月18日,2026年退休人员基本养老金调整通知公布了吗?

小彬说事
2026-09-18 09:45:06
没想到,敬一丹葬礼仅1天,倪萍竟因一个举动被公然挑毛病

没想到,敬一丹葬礼仅1天,倪萍竟因一个举动被公然挑毛病

叶公子
2026-09-18 11:50:52
中纪委再次放话!要求各地哪怕掉层皮,也要一抓到底!

中纪委再次放话!要求各地哪怕掉层皮,也要一抓到底!

职场资深秘书
2026-09-17 17:37:19
陈冠希现开机仪式,长发齐肩胡子拉碴,跟大肚垮脸的黄秋生差别大

陈冠希现开机仪式,长发齐肩胡子拉碴,跟大肚垮脸的黄秋生差别大

娱说瑜悦
2026-09-17 19:06:50
卡位AI眼镜入口,阿里、腾讯、京东为何都选乐奇Rokid?

卡位AI眼镜入口,阿里、腾讯、京东为何都选乐奇Rokid?

脑极体
2026-09-03 13:58:16
三名机长吃印度酒店早餐,飞行途中集体拉稀,飞机差点变无人驾驶

三名机长吃印度酒店早餐,飞行途中集体拉稀,飞机差点变无人驾驶

杭城村叔
2026-09-18 13:55:07
长沙一戒毒所退休民警诉讼拿下2亿物流园控股权,前合作伙伴曝光800万元“运作”账本

长沙一戒毒所退休民警诉讼拿下2亿物流园控股权,前合作伙伴曝光800万元“运作”账本

澎湃新闻
2026-09-18 13:34:29
CCTV5临时换台!中国男篮半决赛不播了,这中日对决藏着一个信号

CCTV5临时换台!中国男篮半决赛不播了,这中日对决藏着一个信号

林子说事
2026-09-18 12:09:31
4亿人都在用的豆包,今天成了全网最大的笑话

4亿人都在用的豆包,今天成了全网最大的笑话

财通社
2026-09-17 20:35:18
通勤3小时,国乒搬出游轮?日本队仅半小时,孙颖莎提要求,王曼昱表态

通勤3小时,国乒搬出游轮?日本队仅半小时,孙颖莎提要求,王曼昱表态

喜欢体育的猫
2026-09-18 07:06:25
已确认,是张艺谋!

已确认,是张艺谋!

东方不败然多多
2026-09-18 09:50:25
美驻墨西哥使馆以“墨西哥万岁,中国制造”调侃墨西哥国庆,中使馆发表严正声明

美驻墨西哥使馆以“墨西哥万岁,中国制造”调侃墨西哥国庆,中使馆发表严正声明

界面新闻
2026-09-18 07:25:53
中央安全生产考核巡查组在浙江明查暗访:安全培训,岂能变成应付检查的“纸面安全”

中央安全生产考核巡查组在浙江明查暗访:安全培训,岂能变成应付检查的“纸面安全”

新京报
2026-09-18 08:43:12
HOA又来了!屋主欠费不到1000美元,47.5万美元的房子竟被8172美元拍走!

HOA又来了!屋主欠费不到1000美元,47.5万美元的房子竟被8172美元拍走!

华人生活网
2026-09-17 04:49:19
广西“替人养子”事件冲上热搜:一个出轨女,害惨三代人……

广西“替人养子”事件冲上热搜:一个出轨女,害惨三代人……

桌子的生活观
2026-09-18 12:45:59
《长安的荔枝》当你接触的人越多,就会发现:越是人前圆滑、滴水不漏、八面玲珑的人,越是在人后算计、落井下石,关键时刻还会捅你一刀

《长安的荔枝》当你接触的人越多,就会发现:越是人前圆滑、滴水不漏、八面玲珑的人,越是在人后算计、落井下石,关键时刻还会捅你一刀

互联网思维
2026-09-18 00:52:10
夫妻俩把28800支烟绑身上进境,裤子被撑的“有棱有角”:为代购牟利,把烟盒绑在腰部和腿部

夫妻俩把28800支烟绑身上进境,裤子被撑的“有棱有角”:为代购牟利,把烟盒绑在腰部和腿部

极目新闻
2026-09-18 12:08:45
2026-09-18 15:19:00
Ping值焦虑
Ping值焦虑
有态度网友ytd
309文章数 101关注度
往期回顾 全部

科技要闻

苹果店外黄牛蹲守:18 Pro Max加价500

头条要闻

"甲醛白菜"爆料博主再曝"硫磺熏笋" 现场气味异常刺鼻

头条要闻

"甲醛白菜"爆料博主再曝"硫磺熏笋" 现场气味异常刺鼻

体育要闻

一个角色球员,靠什么在NBA征战17年

娱乐要闻

敬一丹逝世 央视送别,女儿成“心病”

财经要闻

中国汽车:尾大不掉,必须出清

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

本地
时尚
家居
健康
公开课

本地新闻

不止胖东来!许昌藏着半部三国史

没想到这件事,对我的改变这么大!

家居要闻

2026建博会(广州) 公装联探展交流活动

脑动脉瘤的治疗方法,该选哪一种?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版