网易首页 > 网易号 > 正文 申请入驻

哪个Agent在烧Token?成本超3倍?这个开源库一键追踪

0
分享至

单个大语言模型的调用,追踪起来轻车熟路:发送提示词,拿到 token,记下延迟,翻篇。可一旦四五个智能体同时开跑,有些还并行,每个调着不同的模型,事情就全乱了。有一个超时了,不声不响地切到备用廉价模型;批判型智能体读完输出,又打回去重做一轮;整个流程跑成40秒而不是预计的12秒,或者成本烧掉预算的三倍——你根本不知道是哪个智能体造的孽。

日志在这里几乎帮不上忙。并发任务把日志行交错排成一条扁平的流,没有父子结构,没法问“到底是哪个角色把 token 烧光了”。核心痛点其实很明确:你缺的是一棵看得清责任归属的调用树,而不是一堆平铺的事件日志。

这正是分布式追踪要解决的问题。用 Trace 把每一次跨智能体、跨模型的调用串成有根有叶的树,谁耗了多久、谁走了降级、谁触发了复审,一目了然。可问题又来了:要给每个角色、每次模型调用、每条重试路径都手工接上 OpenTelemetry 仪表,又繁琐又容易漏,漏掉一层,追踪树就开始撒谎。这种苦力活没人想干两遍。

所以,我在一次黑客马拉松里,从自己开发的多智能体代码生成器 DevSwarm 中,把仪表化部分抽了出来,做成了一个独立的、MIT 协议的开源库:otel‑swarm。思路很简单:一次 createSwarm(),三个动词,就把追踪树稳稳当当地搭起来。

otel‑swarm 的 API 干净得有点不真实。引入 createSwarm,传入服务名和 OTLP 端点,就可以得到一个 swarm 对象。用它开启一个 task,叫作“generation”,顺便塞进自定义属性。task 的回调里,根追踪节点已经打开,接下来就是 agent,agent 里面再 llm,层层嵌套,恰好对应真实的调用拓扑。

每个 agent() 调用都会在根节点下开一个子节点,角色名称一目了然:planner、frontend、backend、critic,全看你怎么起名。

而 llm() 更进一步,开的是符合 GenAI 语义约定的追踪节点,里面记录模型名称、输入输出 token 量,甚至把真正执行调用的逻辑封装在一个 call 函数里。这个 call 拿到模型 ID,你负责对接你的模型提供方,返回内容和 token 用量就行。

如果一次模型调用炸了怎么办?otel‑swarm 把容错与可观测性绑到了一起。llm() 接受一个 fallbackModel,call(model) 抛出的异常不会只记在日志里,而是触发一次切换,用备用模型再调一遍 call,并且把这次切换记录为一个名叫 fallback_promotion 的事件。

该事件清清楚楚记录着 from 模型、to 模型,连原始 provider 返回的错误原文都原样保留。谁降级了、从哪降的、因为什么错,都不用去翻别的系统,全在同一个 trace 里。

另一个精妙的设计藏在 swarm.events 里。它是一个 EventEmitter,把追踪节点的生命周期镜像成事件流:llm_start、llm_end、fallback、critic_catch 等等,每个 LLM 事件都带着 traceId。前端实时 UI 监听这些事件,而追踪后端通过 OTLP 导出器接收同一套代码路径生成的 trace;UI 面板上看到的,永远跟 SigNoz 里的 trace 数据一致,不会出现各说各话的情况。更实用的,是 traceId 本身变成了一条深层链接:UI 表格里随便哪一行,点进去就能直接跳到 SigNoz 里那一条精确的 trace。

我们把 npm run example 往本地的 SigNoz 上一挂,效果立刻显现。在服务名 otel‑swarm‑demo 下,整整齐齐生成了 9 个追踪段:一个 1325 毫秒的根节点 generation,下面是 agent.planner 挂着 llm.planner,agent.frontend 挂着 llm.frontend,agent.backend 挂着 llm.backend,最后是 agent.critic 挂着 llm.critic。其中前端 LLM 的节点上挂着一个 fallback_promotion 事件,评审智能体的节点上则有一个 critic_catch 事件。所有东西都在一棵树上,一眼就能看穿整个 swarm 的每一次呼吸。

这套方案并不是 toy demo。在 DevSwarm 的生产环境中,同样的库已经追踪了 29 次 generation、跨 8 个模型

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
韩旭:孝感中院故意使用小法庭限制被告人亲友旁听

韩旭:孝感中院故意使用小法庭限制被告人亲友旁听

天下说法
2026-07-29 06:19:18
“速成鸡”刚被罚完,宝马又连发“速成车”的广告片

“速成鸡”刚被罚完,宝马又连发“速成车”的广告片

ZAKER新闻
2026-07-27 18:21:54
1988年,我国核武器专家张宪义带着机密携全家“叛逃”美国,28年后,他竟然在采访中给自己“洗白”

1988年,我国核武器专家张宪义带着机密携全家“叛逃”美国,28年后,他竟然在采访中给自己“洗白”

贱议你读史
2026-07-29 02:46:10
1-2!郑钦文遭21岁菲律宾新星逆转 华盛顿站首轮出局 连丢7局崩盘

1-2!郑钦文遭21岁菲律宾新星逆转 华盛顿站首轮出局 连丢7局崩盘

我爱英超
2026-07-29 04:38:58
行李箱忘在高铁上,超过5公斤车站不转送,找朋友开车四五百公里取回;12306:规定如此,会反馈合理化建议

行李箱忘在高铁上,超过5公斤车站不转送,找朋友开车四五百公里取回;12306:规定如此,会反馈合理化建议

大风新闻
2026-07-28 19:56:33
汪小菲抱5个月儿子外出散步,正脸被曝光,软软萌萌,胖乎乎的

汪小菲抱5个月儿子外出散步,正脸被曝光,软软萌萌,胖乎乎的

空樽对月花独瘦
2026-07-27 13:33:25
冉莹颖2000万高跟鞋曝光!邹市明脸色惨白,倪萍一语道破背后真相

冉莹颖2000万高跟鞋曝光!邹市明脸色惨白,倪萍一语道破背后真相

晓焎科普
2026-07-27 19:16:48
消息称英伟达首批美国制造GB300 GPU下线,封装仍得运往海外完成

消息称英伟达首批美国制造GB300 GPU下线,封装仍得运往海外完成

像素与芯片
2026-07-28 14:50:12
这次轮到韩国买中国技术了!国产LPDDR6 IP被三星、SK海力士采用:3nm全覆盖

这次轮到韩国买中国技术了!国产LPDDR6 IP被三星、SK海力士采用:3nm全覆盖

快科技
2026-07-29 09:58:06
张子萱首度回应回京住酒店原因:父母买不起北京大户型,离异后各自重组家庭互不打扰

张子萱首度回应回京住酒店原因:父母买不起北京大户型,离异后各自重组家庭互不打扰

小椰的奶奶
2026-07-29 15:20:38
一个人能活多久,多半取决于这七个习惯

一个人能活多久,多半取决于这七个习惯

洞见
2026-07-26 21:34:29
美通缉重犯居然在华东师范大学任教十余年没被发现,就因为长得帅?

美通缉重犯居然在华东师范大学任教十余年没被发现,就因为长得帅?

夏夏回来了
2026-07-27 15:47:59
菲尔兹奖评选委员会主席回应王虹邓煜获奖:评选只看数学成就,希望鼓励年轻人学数学

菲尔兹奖评选委员会主席回应王虹邓煜获奖:评选只看数学成就,希望鼓励年轻人学数学

红星新闻
2026-07-28 17:40:23
中国已经成为全球第一个集体拒接电话的国家

中国已经成为全球第一个集体拒接电话的国家

黯泉
2026-06-26 10:44:35
林平之的爸妈,真的很爱他

林平之的爸妈,真的很爱他

张佳玮写字的地方
2026-07-28 22:09:37
逼装大了!“我家搁辽宁也是地头蛇”,女子高铁上叫嚣全家体制内,官方通报直接打脸

逼装大了!“我家搁辽宁也是地头蛇”,女子高铁上叫嚣全家体制内,官方通报直接打脸

Mr王的饭后茶
2026-07-29 13:54:53
7-0!2-2!中国足球小将同日冲进16强:屠杀式进攻vs救赎式点球

7-0!2-2!中国足球小将同日冲进16强:屠杀式进攻vs救赎式点球

冷桂零落
2026-07-29 10:34:53
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
杜兰特疯狂点赞的土耳其女排巨人,1米97拦网封神,场下笑容甜过初恋

杜兰特疯狂点赞的土耳其女排巨人,1米97拦网封神,场下笑容甜过初恋

大中国
2026-07-29 04:35:37
天气趋势基本敲定!不出意外,今年8月全国天气迎来三大明显变化

天气趋势基本敲定!不出意外,今年8月全国天气迎来三大明显变化

丁丁鲤史纪
2026-07-29 04:12:09
2026-07-29 15:52:49
字节漫游指南
字节漫游指南
有态度网友ytd
360文章数 100关注度
往期回顾 全部

科技要闻

为什么要做增程车?雷军,最新回应

头条要闻

亲历熊本7.1级地震中国留学生:华人互助转运受困同胞

头条要闻

亲历熊本7.1级地震中国留学生:华人互助转运受困同胞

体育要闻

毫无存在感的NBA状元,最先谢谢惠顾?

娱乐要闻

吴镇宇儿子自曝小学时遭同学霸凌

财经要闻

天丝红牛多地检出成分不合格 企业申诉

汽车要闻

24K金LOGO,纯手工打磨腰线,第二代腾势D9暗夜鎏金高定色,一天只能造3台?

态度原创

游戏
本地
时尚
公开课
军事航空

卡普空高管称萝莉神作《识质存在》极大概率有续作

本地新闻

跟着影视去旅行:八仙篇

拿来吧你,“二手知识”就是力量!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美以领导人会晤后 伊朗发射多枚导弹突袭驻中东美军

无障碍浏览 进入关怀版