网易首页 > 网易号 > 正文 申请入驻

为什么AI智能体演示通过,追踪数据却说不行?我构建TraceGate来拦截

0
分享至

多数AI智能体的演示仅止于返回最终答案。 我一开始也不例外。一个能回答退款问题、调用保单工具、并绕开注入攻击路径的支持型智能体,在外部观察下一切正常。

接着我问了一个让自己不太舒服的问题:如果这个智能体在生产中出了问题,我能真正知道发生了什么吗? 那个问题最终变成了TraceGate。


TraceGate是一个为AI智能体设计的发布门控,建立在OpenTelemetry和SigNoz之上。它运行智能体场景,将遥测数据发送到SigNoz,然后检查这次运行是否产生了足够的安全证据,来决定能否安全发布。

AI智能体可以轻松通过演示,却仍然难以调试。一个工具可能要重试3次,最终仍返回成功;一次大模型调用可能在没有任何成本元数据的情况下完成;一个提示注入测试虽然通过了,但根本没留下使用了哪条安全路径的痕迹。这些并非传统意义上的产品缺陷,而是可观测性上的失败。这正是我想让TraceGate捕捉的东西。

核心思路简单:在智能体发布前,它必须满足一份可观测性合约。如果合约检查失败,发布就会被阻断。TraceGate通过一份YAML格式的合约来描述一次安全发布运行应当包含哪些内容。以下是我使用过的合约片段:

合约中定义了服务名称,设置了预算上限:单次运行最大成本0.005美元,P95延迟不超过2000毫秒,工具重试最多1次。然后是一系列检查项:必须有名为agent.run的span(严重级别critical),必须有llm.call的span,在llm.call的span上必须存在gen_ai.request.model这个属性,工具trace.lookup的重试次数不能超过1次。

默认的演示场景故意让其中一个检查失败。trace.lookup工具实际重试了3次,但合约只允许1次重试。这也使演示变得有意义,因为TraceGate并不是假装一切健康,而是直接阻断发布,并解释原因:

TraceGate FAIL
检查通过7/8项
关键失败1项
FAIL retry-budget-trace-lookup — trace.lookup的最差重试次数为3,限制为1。

有了这份输出,团队就能明确知道哪个工具在重试上超过了预算,而不是靠猜测。

技术栈包括Vite、React、TypeScript、Node.js、OpenTelemetry、SigNoz、OpenAI以及YAML合约。整体流程是:场景→智能体执行器→OpenTelemetry→SigNoz→TraceGate合约评估器→通过或阻断。Node执行器运行场景,OpenTelemetry记录span、指标和日志,SigNoz通过OTLP协议接收遥测数据,TraceGate读取运行结果,并与合约进行比对。

对于OpenTelemetry的配置,我使用了OTLP HTTP导出器。关键端点通过环境变量OTEL_EXPORTER_OTLP_ENDPOINT设定,默认为http://localhost:4318。初始化NodeSDK时,分别设置了追踪导出器指向/v1/traces,日志导出器通过BatchLogRecordProcessor和OTLPLogExporter指向/v1/logs,指标读取器则采用周期性导出。

这样一个门控的价值在于,它把“感觉可以发布”变成了“有证据可以发布”。在AI智能体变得越来越自主的今天,单纯靠人的直觉已经不够了。一份可观测性合约就像是代码旁边的那个“防呆”清单——如果你没有记录关键span、没有把模型版本写进属性、或者某个工具频繁重试试图蒙混过关,它就会直接告诉你:现在还不能上线。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突发! 中国名企老板澳洲机场被捕! 刷爆澳媒头条, 做了这事连保释都遭拒! 华人: 真的太丢人...

突发! 中国名企老板澳洲机场被捕! 刷爆澳媒头条, 做了这事连保释都遭拒! 华人: 真的太丢人...

澳洲红领巾
2026-07-28 14:25:27
方媛现身安徽老家,又矮又壮,素颜不如路人,一人吃8个菜引争议

方媛现身安徽老家,又矮又壮,素颜不如路人,一人吃8个菜引争议

洲洲影视娱评
2026-07-28 16:12:08
钝刀割肉啊!38岁女子倾尽150万积蓄开店,日营业额584元,一屋积压货成摆件,女子扛不住崩溃大哭

钝刀割肉啊!38岁女子倾尽150万积蓄开店,日营业额584元,一屋积压货成摆件,女子扛不住崩溃大哭

火山詩话
2026-07-28 06:26:38
阿斯:纳赛尔为报复皇马截胡迪奥曼德,亲自要求签罗德里

阿斯:纳赛尔为报复皇马截胡迪奥曼德,亲自要求签罗德里

懂球帝
2026-07-28 21:25:08
两年巨亏522亿,销量暴跌72%,合资车彻底被中产抛弃

两年巨亏522亿,销量暴跌72%,合资车彻底被中产抛弃

青眼财经
2026-07-26 19:07:07
Tether联合创始人:比特币暴跌就是答案,稳定币已经赢了

Tether联合创始人:比特币暴跌就是答案,稳定币已经赢了

我是一个粉刷匠2
2026-07-27 23:12:17
不幸的消息传来!乌克兰出大事了!

不幸的消息传来!乌克兰出大事了!

故事终将光明磊落
2026-07-28 12:26:31
比亚迪董秘:六年前比亚迪以 198亿投前估值参与了长鑫科技 首轮融资

比亚迪董秘:六年前比亚迪以 198亿投前估值参与了长鑫科技 首轮融资

每日经济新闻
2026-07-28 15:54:37
詹姆斯或住纽约搭乘直升机参赛!被吐槽羞辱费城 张伯伦也曾因此被批

詹姆斯或住纽约搭乘直升机参赛!被吐槽羞辱费城 张伯伦也曾因此被批

罗说NBA
2026-07-28 16:54:14
霍思燕弯腰锄地全网静音,43岁二胎妈妈的体态,打醒摆烂的成年人

霍思燕弯腰锄地全网静音,43岁二胎妈妈的体态,打醒摆烂的成年人

手工制作阿歼
2026-07-27 02:27:12
太焦虑了!一湖北考生录取通知书运输途中,被高校招生办拦截退回,网友安慰:可能印刷错误

太焦虑了!一湖北考生录取通知书运输途中,被高校招生办拦截退回,网友安慰:可能印刷错误

火山詩话
2026-07-28 09:38:43
韩国股市“崩盘式”下挫,再酿百亿杠杆惨案,港股南方两倍做多海力士跌超28%,短短23个交易日,从193.65港元跌至38港元,重挫逾80%

韩国股市“崩盘式”下挫,再酿百亿杠杆惨案,港股南方两倍做多海力士跌超28%,短短23个交易日,从193.65港元跌至38港元,重挫逾80%

金融界
2026-07-28 14:57:21
央企也扛不住了?一张红头文件疯传:全员免职、零赔偿套路曝光

央企也扛不住了?一张红头文件疯传:全员免职、零赔偿套路曝光

陌小尘桑
2026-07-27 14:19:59
十天狂揽47亿,“两个周星驰”都拦不住,今年最强电影诞生了

十天狂揽47亿,“两个周星驰”都拦不住,今年最强电影诞生了

影视高原说
2026-07-27 14:38:50
1500平豪华墓主威胁曝光者删文:让公安来抓你,带人来砍死你!

1500平豪华墓主威胁曝光者删文:让公安来抓你,带人来砍死你!

兵叔评说
2026-07-28 11:26:51
商务部:“中国内需不足导致产能过剩”言论不符合事实

商务部:“中国内需不足导致产能过剩”言论不符合事实

澎湃新闻
2026-07-28 16:26:26
杀疯了!20个交易日暴跌63%,今日再迎10CM跌停,12万股民全线深套!

杀疯了!20个交易日暴跌63%,今日再迎10CM跌停,12万股民全线深套!

趋势清风侠
2026-07-28 14:33:43
为了那一哆嗦,这些人连命都不要了?网友经历一个比一个离谱

为了那一哆嗦,这些人连命都不要了?网友经历一个比一个离谱

另子维爱读史
2026-07-28 20:26:27
韩股“崩了”!KOSPI指数重挫10%,SK海力士跌超13%,三星电子跌逾12%

韩股“崩了”!KOSPI指数重挫10%,SK海力士跌超13%,三星电子跌逾12%

每日经济新闻
2026-07-28 11:02:09
IFAB官方承认恩博洛红牌系误判 瑞士主帅直呼规则不可接受

IFAB官方承认恩博洛红牌系误判 瑞士主帅直呼规则不可接受

坠入温柔晚风
2026-07-29 00:14:55
2026-07-29 01:28:49
我是一个粉刷匠2
我是一个粉刷匠2
有态度网友ytd
399文章数 150关注度
往期回顾 全部

科技要闻

Kimi K3开放权重,想本地部署,200万元起

头条要闻

博主"听泉赏宝"炒股亏光父母积蓄遭拉黑 称"再玩剁手"

头条要闻

博主"听泉赏宝"炒股亏光父母积蓄遭拉黑 称"再玩剁手"

体育要闻

35岁德甲球星,退役半年后成了一名农民

娱乐要闻

43岁演员王凯去世!独居公寓无人知晓

财经要闻

潘老板的算盘全砸了,欠的25亿跑不了了

汽车要闻

宾利托卡尔重塑百年菱形美学,将于9月全球首秀

态度原创

家居
艺术
游戏
时尚
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

俄罗斯当代女画家 Valeria Privalikhin作品

《铁拳》元老携手武术大师:给老外一点中国功夫震撼

夏天衣服买太多也是浪费,准备这几件露肩裙,显瘦优雅又提气质

军事要闻

特朗普:若谈判破裂将强力打击伊朗

无障碍浏览 进入关怀版