网易首页 > 网易号 > 正文 申请入驻

不靠大模型给AI智能体做测试,Weir用可观测性追踪做确定性CI门禁

0
分享至

一个被悄悄劫持的运行过程

智能体日志里写着“成功”,但运行过程可能在第2步就被不可信内容带偏,到第6步才真正影响工具调用。行业里常见的应对方式,是再拿一个大模型去检查前一个大模型。Weir走了另一条路:确定性检查,不引入任何大模型。


它读取你已有的OpenTelemetry追踪数据,只回答两个问题:同样的输入是否产生字节级一致的答案,以及敏感数据是否到达了不该到达的接收端。整个过程没有大模型参与,数据也不离开本机。

把追踪数据变成CI门禁

Weir的定位是AI智能体的CI门禁。它读取智能体已经发出的OpenTelemetry追踪,一旦发现敏感数据流向不应到达的接收端,就让构建失败。安装方式很直接:pip install weir-scan,然后运行 weir gauge --sample

它问的是一个结构性问题:智能体是否把敏感数据传给了不应接收的接收端。智能体在追踪数据里其实已经回答了这个问题。Weir重建会话图,在图中追踪污点传播,并逐节点展示证据。

确定性替代“第二个大模型”

当前默认做法是用第二个大模型去审查第一个大模型,这本身带有不确定性。Weir把检查逻辑固定下来:同样的输入、字节级一致的答案、没有大模型参与、数据不出本机。它不判断意图,只判断结构。

项目采用Apache-2.0许可证。对已经接入OpenTelemetry的团队来说,Weir可以直接复用现有追踪数据,不需要额外埋点或改变智能体代码。

证据链逐节点可见

Weir展示的不是一个笼统的通过或失败,而是从会话图重建出的证据节点。污点从哪里进入、经过哪些步骤、最终到达哪个接收端,都能在追踪数据里对应到具体位置。这让失败原因可以被定位,而不是只看到“构建失败”四个字。

对于把AI智能体接入生产流程的团队,这种确定性检查补上了日志“成功”与实际行为之间的缺口。它不替代可观测性,而是把已有的可观测性数据变成一道可以卡住发布的闸门。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
抬尸堵门大结局!1万9全额返还店家,对施压家属无任何处罚

抬尸堵门大结局!1万9全额返还店家,对施压家属无任何处罚

垛垛糖
2026-08-26 11:19:58
特朗普欲将安大略湖更名为“美国湖” ,加拿大表不满:他(特朗普)应该管好自己的国家,他在干涉其他国家

特朗普欲将安大略湖更名为“美国湖” ,加拿大表不满:他(特朗普)应该管好自己的国家,他在干涉其他国家

都市快报橙柿互动
2026-08-26 13:31:27
她是广东羽毛球界的骄傲,手握6个世界冠军,64岁在广州开训练营

她是广东羽毛球界的骄傲,手握6个世界冠军,64岁在广州开训练营

娱说瑜悦
2026-08-25 14:00:45
六台:亚马尔感觉“受伤了”,他更衣室里最好的朋友都要离开

六台:亚马尔感觉“受伤了”,他更衣室里最好的朋友都要离开

懂球帝
2026-08-26 15:40:13
“牛市旗手”重仓股来了

“牛市旗手”重仓股来了

中国基金报
2026-08-26 23:32:59
我被医生判定无法有自己孩子,妻子却告诉我:我怀孕了!我没多说,等孩子出生做完亲子鉴定我彻底愣了

我被医生判定无法有自己孩子,妻子却告诉我:我怀孕了!我没多说,等孩子出生做完亲子鉴定我彻底愣了

晓艾故事汇
2026-08-04 21:04:27
台湾新党副主席发言点燃全场:让解放军保护台湾

台湾新党副主席发言点燃全场:让解放军保护台湾

看看新闻Knews
2026-08-23 16:38:02
内鬼浮出水面!柬埔寨电诈园区幕后黑手,竟是我们信任的商会会长

内鬼浮出水面!柬埔寨电诈园区幕后黑手,竟是我们信任的商会会长

梦史
2026-06-22 23:45:10
许家印留下2.44万亿巨债,如果世界首富马斯克来还,要还多久?

许家印留下2.44万亿巨债,如果世界首富马斯克来还,要还多久?

许三岁
2026-08-21 17:56:53
老了才明白:人过80,永远别在儿女面前说这几句话,越不说越有福

老了才明白:人过80,永远别在儿女面前说这几句话,越不说越有福

朗威谈星座
2026-07-29 01:40:52
为何毛主席不提“先富带后富”?共同富裕,不同时代的不同答卷

为何毛主席不提“先富带后富”?共同富裕,不同时代的不同答卷

王嚾晓
2026-08-25 17:37:03
特朗普称福特是走狗,福特回敬一句粗口!断电断矿,看谁先崩!

特朗普称福特是走狗,福特回敬一句粗口!断电断矿,看谁先崩!

叶老四
2026-08-26 10:19:41
餐馆老板懵了:三十五度的天,顾客不喝饮料,全喝矿泉水,饮料完全卖不动

餐馆老板懵了:三十五度的天,顾客不喝饮料,全喝矿泉水,饮料完全卖不动

捣蛋窝
2026-08-15 23:02:34
95年我去邻居家还农具,他女儿把门一关:正好,我这块地也该松松

95年我去邻居家还农具,他女儿把门一关:正好,我这块地也该松松

千秋文化
2026-08-25 20:21:35
俄外长警告英“参战”后果,英首相回应:将百分之百支持乌克兰

俄外长警告英“参战”后果,英首相回应:将百分之百支持乌克兰

流史岁月
2026-08-22 11:02:16
妻子瞒着老公跟男闺蜜出游,机场刷到老公视频,他正在办婚礼

妻子瞒着老公跟男闺蜜出游,机场刷到老公视频,他正在办婚礼

温情故事匣
2026-03-24 15:01:54
网红“听泉赏宝”突然退出,荣华富贵一场空

网红“听泉赏宝”突然退出,荣华富贵一场空

广告案例精选
2026-08-02 15:03:29
郑丽文凉凉,台湾新党率先支持台湾和平统一,拥护一国两制

郑丽文凉凉,台湾新党率先支持台湾和平统一,拥护一国两制

咸鱼金脑袋
2026-08-26 08:53:01
捏蛋女已社死:正脸曝光面目狰狞,工作单位被扒,一家都是狠角色

捏蛋女已社死:正脸曝光面目狰狞,工作单位被扒,一家都是狠角色

吃瓜盟主
2025-08-30 15:53:04
扬州328国道路口有腥臭气,真相来了!

扬州328国道路口有腥臭气,真相来了!

新浪财经
2026-08-26 13:52:49
2026-08-27 02:36:49
Ping值焦虑
Ping值焦虑
有态度网友ytd
288文章数 86关注度
往期回顾 全部

科技要闻

DeepSeek被曝前七个月收入4.75亿元

头条要闻

尼泊尔山洪洪峰局地达8到10米 村民靠喝洪水等救援

头条要闻

尼泊尔山洪洪峰局地达8到10米 村民靠喝洪水等救援

体育要闻

兑现五年之约,含梗量最高的世界冠军诞生

娱乐要闻

包文婧当初担心包贝尔出轨,预言成真

财经要闻

洪灏:人民币是全球最被低估的货币

汽车要闻

搭华为ADS 5/增程纯电可选 阿尔法T7预售13.78万起

态度原创

数码
本地
亲子
旅游
军事航空

数码要闻

苹果免费升级部分Mac mini订单至M6芯片新机

本地新闻

无印良品竟是桐乡造?这座小城藏着一个刀具帝国

亲子要闻

预制娃,跑不动了…

旅游要闻

多数游客错过的芒市美景,无商业化喧嚣,私藏西南治愈湖光山色!

军事要闻

特朗普赞赏后 三个美国盟友邀请伊朗加入"中东版北约"

无障碍浏览 进入关怀版