网易首页 > 网易号 > 正文 申请入驻

42次故障、504次评分:免费AI模型定位根因几乎全错

0
分享至

网站出故障时,报错的位置往往不是问题开始的地方。结算页超时,可能是因为支付服务变慢,而支付服务变慢,又可能是因为某条网络链路在丢包。工程师要在指标、追踪和日志里一层层挖,才能找到真正坏掉的那一个点:根因。


有人想验证免费AI模型能不能干这活,以及它们到底依据什么证据下判断。为此他搭了一个叫 Rootline 的开放基准测试,运行成本为 0 美元。

怎么测

测试对象是 OpenTelemetry Demo,一个在稳定负载下运行的真实微服务网店。测试者用 14 种方式故意把它弄坏:支付报错、内存泄漏、锁竞争、发货变慢、网络延迟、丢包、连接重置等。此外还保留了什么都没坏的正常运行,作为对照组。

每次故障,都冻结故障前后 10 分钟的指标、追踪和日志。同一份冻结证据交给三个免费模型:gpt-oss-120b(跑在 Groq 免费额度上)、Qwen3 8B 和 Gemma 3 4B(跑在免费 Kaggle GPU 上)。每一条证据都有编号,每个回答都必须引用它所依赖的证据编号。

评分看四项:服务对不对、故障类型对不对、层级对不对(网络还是应用)、引用的证据是否真实存在。合计 42 次故障 × 4 类证据 × 3 个模型 = 504 次评分运行。

硬件那一环

测试者还想知道,模拟出来的网络故障能不能公平替代真实故障。于是两块 Arduino UNO Q 板被接进这套系统:一块通过 Wi-Fi 承载真实支付流量,另一块可以灌满 Wi-Fi 信道。整夜无人值守,控制器切断无线电 30 秒、挤占信道、调低发射功率,然后拍下快照。

结果偏负面

三个模型平均都声称自己有 84% 到 95% 的把握。如果信了这个置信度数字,就会被带偏。

在完全健康的运行里,每一个模型、每一个回答,都仍然声称有东西坏了。没有一次回答是“没问题”。

Gemma 在全部 42 次故障上都回答“应用问题”,所以它在应用类故障上的好成绩算不上能力,更像习惯。

在网络链路损坏的场景里,表现最好的模型通常点名发起调用的服务(结算),而不是链路另一端的服务(支付),而后者才是测试者事先定下的正确答案。如果把两端都算对,它的得分会从 9.5% 升到 16.7%。一条评分规则就能大幅改写结论。

把指标、追踪和日志一起喂给模型,并没有比只给日志或只给指标更好。在固定提示长度下,覆盖面越宽,深度就越浅。

有些故障几乎不留痕迹。测试者做了一个检查,衡量每种故障是否真的出现在它自己的数据里。真实的 Wi-Fi 中断表现得很清楚;而某些模拟故障,比如在一条保持长连接的链路上做连接重置,几乎看不出来。证据里没有的东西,没有模型能诊断出来。

这是一次试点:42 次故障意味着误差范围很宽,测试者事先提出的两个假设都没有达到显著性。它只是一个起点,不是对AI运维的最终判决。

全部开放

网站可以回放每一次故障,报告、数据集(快照、标签、全部 504 个回答)和代码都已公开,并附有 DOI。克隆仓库后运行 make data && make reproduce,每一张表和每一张图都能从已发布的运行记录重建。

v0.2 的计划包括:加强那些不留痕迹的故障版本、增加健康运行样本、要求模型同时给出症状和原因,以及测试隐藏服务名会不会改变它们的回答。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
该断掉的总要断掉,刻赤大桥垮入海峡

该断掉的总要断掉,刻赤大桥垮入海峡

巴雷文化
2026-11-18 05:04:31
晒晒我从山姆买的11个“厨房好物”,每一件都“夯爆了”,值得买

晒晒我从山姆买的11个“厨房好物”,每一件都“夯爆了”,值得买

三农老历
2026-11-20 07:24:48
抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

不似少年游
2026-11-19 07:21:22
特朗普女婿库什纳:俄罗斯能够接受乌克兰获得安全保障,也表达了不再爆发新冲突的意愿,普京:克里米亚大桥遭袭后,不再讨论海上停火

特朗普女婿库什纳:俄罗斯能够接受乌克兰获得安全保障,也表达了不再爆发新冲突的意愿,普京:克里米亚大桥遭袭后,不再讨论海上停火

政知新媒体
2026-11-20 09:29:43
直线拉升!600360,2分钟涨停,封单超106万手

直线拉升!600360,2分钟涨停,封单超106万手

证券时报
2026-11-20 10:28:05
现货黄金日内跌逾3%

现货黄金日内跌逾3%

证券时报
2026-11-20 13:37:16
为啥住酒店没遇到过警察查房呢?网友:因为警察一看我们在吃炸鸡,果断选择放过!

为啥住酒店没遇到过警察查房呢?网友:因为警察一看我们在吃炸鸡,果断选择放过!

夜深爱杂谈
2026-11-12 22:50:21
黄金,闪崩!跌幅排名历史第四!

黄金,闪崩!跌幅排名历史第四!

星图金融研究院
2026-11-20 07:47:48
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
黄仁勋妻子当年是系花,他17岁追她时不拼颜值不砸钱,只甩一句:你考试我全包,门门保优

黄仁勋妻子当年是系花,他17岁追她时不拼颜值不砸钱,只甩一句:你考试我全包,门门保优

In风尚
2026-11-20 06:04:49
真不怪诺里!杨瀚森2罚不中,担任第2中锋0分1板,亨德森半场21分

真不怪诺里!杨瀚森2罚不中,担任第2中锋0分1板,亨德森半场21分

球场没跑道
2026-11-20 10:28:17
加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

体坛周报
2026-11-20 09:32:18
秘密行程?特朗普起飞前,收走了所有记者手机!

秘密行程?特朗普起飞前,收走了所有记者手机!

胜研集
2026-11-20 01:28:08
中国脑洞大开,突破爆震发动机禁锢,补全六代机最后的一块拼图

中国脑洞大开,突破爆震发动机禁锢,补全六代机最后的一块拼图

干史人
2025-03-04 08:30:03
周海媚去世快3年,突然传来喜讯,原来她是生前悄悄留下了份礼物

周海媚去世快3年,突然传来喜讯,原来她是生前悄悄留下了份礼物

林轻吟
2026-11-20 09:45:55
今晚开播!中央八套黄金档26集好剧来袭!演员阵容雄厚

今晚开播!中央八套黄金档26集好剧来袭!演员阵容雄厚

i书与房
2026-11-20 07:57:59
戏剧性一幕,Anthropic上市当天遭硅谷联合抵制

戏剧性一幕,Anthropic上市当天遭硅谷联合抵制

观察者网
2026-11-20 06:45:30
《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

《伟大的长征》里最败笔的选角,把陈赓大将演成了混混,毫无军人气质!

娱乐故事
2026-11-19 23:25:20
现货黄金直线跳水,跌破760元!深圳水贝金店老板直呼“补早了”:870元至880元时补过一批货,没想到跌得更快

现货黄金直线跳水,跌破760元!深圳水贝金店老板直呼“补早了”:870元至880元时补过一批货,没想到跌得更快

封面新闻
2026-11-20 14:10:14
记者丨皇马要价7000万欧+8000万欧回购

记者丨皇马要价7000万欧+8000万欧回购

米兰圈
2026-11-20 07:31:33
2026-11-20 14:44:49
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
245文章数 105关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
家居
房产
本地
公开课

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

6.6亿!海口卖地!

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版