网易首页 > 网易号 > 正文 申请入驻

一个模型不够用:用cascadeflow做智能路由的实战

0
分享至

凌晨两点,Redis集群报错,你的值班手机响了。这时候打开AI助手,它却调了个最贵的推理模型去解析三行nginx日志——这种事发生过一次,你就知道问题在哪了。

不是AI不行,是"每次盲目调用同一个模型"这个假设本身有问题。贵,而且慢。在实时故障响应场景里,慢就是致命伤。


这是IncidentOS诞生的背景。它是一个面向SRE团队的AI运维记忆系统,核心要解决的不是监控问题,是记忆问题。

Datadog和Grafana擅长告诉你"现在发生了什么"。但它们不会说"这个模式八个月前出现过,原因是这个,当时这么修好的"。这是另一类问题,需要另一类工具。

IncidentOS的系统分两层:

记忆层——由Hindsight驱动。每个经过系统的故障都会被记录:症状、根因、受影响服务、部署版本、修复步骤、修复是否有效。新故障进来时,Hindsight做语义搜索找历史相似案例。不是关键词匹配,是语义相似度——所以"Prisma连接超时"和"数据库连接池耗尽"能被正确归到同一类模式。

运行时智能层——由cascadeflow驱动。每个AI请求被路由到适合该任务的模型:简单日志解析走快而便宜的模型,故障摘要走中端模型,需要综合多个历史案例的复杂根因推理才升级到高级推理模型。路由逻辑是显式的、可审计的、可配置的。

技术栈很务实:后端FastAPI(Python 3.11+),前端React 18 + Vite,向量存储用ChromaDB,整套Docker一键启动。它只做决策支持,不碰基础设施,工程师始终掌握最终决策权。

cascadeflow是这个系统能用起来的关键。它让"该用什么模型"这个判断从隐式变成显式,从固定变成动态。一次请求可能经过多轮模型协作:先快速分类,再按需升级,最后汇总输出。每一轮的输入输出都被记录,方便事后复盘为什么走了这条路径。

这套机制解决了一个真实痛点:推理成本。不是每个故障都需要最强模型,但你需要在需要时能调到它。路由的本质是效率——用对的资源解决对的问题。

IncidentOS目前聚焦在故障记忆的沉淀和复用。它的价值假设是:工程团队反复解决同样的故障,只是不知道之前已经解过。把隐性经验变成可检索的结构化记忆,这是它想验证的命题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
北京传来大消息!天价救命药迎来重大突破,很多家庭有救了

北京传来大消息!天价救命药迎来重大突破,很多家庭有救了

王二哥老搞笑
2026-05-30 15:00:47
1950年,毛岸英在作战会上与彭德怀叫板,他的上级紧张到手心冒汗

1950年,毛岸英在作战会上与彭德怀叫板,他的上级紧张到手心冒汗

南书房
2026-05-29 18:40:06
离开北京陈盈骏道别,发声喊话,官宣决定,妻子陪同,合同已到期

离开北京陈盈骏道别,发声喊话,官宣决定,妻子陪同,合同已到期

阿晞体育
2026-05-29 21:52:16
杭州女子征婚:不要彩礼,能提供5分钟夫妻生活,每月给男人3000

杭州女子征婚:不要彩礼,能提供5分钟夫妻生活,每月给男人3000

谭谈社会
2026-05-28 18:34:27
袁立病中公开与辛柏青真实关系,守护他丧妻体面

袁立病中公开与辛柏青真实关系,守护他丧妻体面

TVB的四小花
2026-05-30 00:42:11
日媒:高市正准备对华发动战争?日专家“重兵部署,战场选好了”

日媒:高市正准备对华发动战争?日专家“重兵部署,战场选好了”

二爷台球解说
2026-05-30 12:54:57
主动发声,1换3交易方案出炉!杰伦布朗加盟马刺,史蒂文斯赢麻了

主动发声,1换3交易方案出炉!杰伦布朗加盟马刺,史蒂文斯赢麻了

体育大朋说
2026-05-30 13:30:03
湖北省召开全省领导干部会议 宣布中央关于省委主要负责同志调整决定

湖北省召开全省领导干部会议 宣布中央关于省委主要负责同志调整决定

澎湃新闻
2026-05-30 12:58:07
窦骁妈妈比何超莲妈妈的气质还要好,窦骁养成如此性格是有原因的

窦骁妈妈比何超莲妈妈的气质还要好,窦骁养成如此性格是有原因的

阿废冷眼观察所
2026-05-30 15:37:57
跨省晋升,袁方履新云南省副省长!最新,上海市人大常委会表决通过人事任免事项!

跨省晋升,袁方履新云南省副省长!最新,上海市人大常委会表决通过人事任免事项!

阿离家居
2026-05-30 15:05:41
“都把儿子养雌化了!”初中男孩出现雌化现象,家长却执迷不悟

“都把儿子养雌化了!”初中男孩出现雌化现象,家长却执迷不悟

妍妍教育日记
2026-05-29 07:55:13
曼城、切尔西、大巴黎算豪门吗?绝对不算!他们只配叫做土豪!

曼城、切尔西、大巴黎算豪门吗?绝对不算!他们只配叫做土豪!

郝小小看体育
2026-05-27 09:44:21
比加息更猛!美联储新主席沃什要退3万亿押金,推翻18年旧规?

比加息更猛!美联储新主席沃什要退3万亿押金,推翻18年旧规?

小陆搞笑日常
2026-05-29 19:02:04
66岁安帅暴怒 感觉被耍得团团转 警告内马尔:14天后还有伤就走人

66岁安帅暴怒 感觉被耍得团团转 警告内马尔:14天后还有伤就走人

风过乡
2026-05-30 08:33:24
心理学:永远不要在儿女面前,随口说出这两句话,会毁掉孩子一生

心理学:永远不要在儿女面前,随口说出这两句话,会毁掉孩子一生

心理观察局
2026-05-30 07:08:20
铁了心要灭掉中国?一股可怕力量来了!

铁了心要灭掉中国?一股可怕力量来了!

回京历史梦
2026-05-29 18:33:48
一路走好!离6月仅剩1天,5位名人接连去世,最小42岁,令人唏嘘

一路走好!离6月仅剩1天,5位名人接连去世,最小42岁,令人唏嘘

八斗小先生
2026-05-30 13:58:35
宏远速递!徐杰签新合同,杜锋出席重要活动,朱芳雨深夜发声

宏远速递!徐杰签新合同,杜锋出席重要活动,朱芳雨深夜发声

多特体育说
2026-05-30 11:48:16
5-0、3-2!中超又1保级队提前上岸,泰山队错失名帅

5-0、3-2!中超又1保级队提前上岸,泰山队错失名帅

何老师呀
2026-05-30 09:25:03
小米生态新爆款!米家手持风扇提前售罄:169元买不到了

小米生态新爆款!米家手持风扇提前售罄:169元买不到了

快科技
2026-05-29 10:02:08
2026-05-30 19:35:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
4143文章数 32关注度
往期回顾 全部

科技要闻

车圈大佬发声:价格战远去,但竞争仍残酷

头条要闻

伊朗浓缩铀材料将被挖出销毁 特朗普就战事最新表态

头条要闻

伊朗浓缩铀材料将被挖出销毁 特朗普就战事最新表态

体育要闻

岁月不饶人!39岁德约鏖战近5小时拼到呕吐

娱乐要闻

张碧晨《歌手》 “活人微死” 自嘲

财经要闻

双汇管不住一头猪

汽车要闻

900V+3.2秒破百 领克10+&领克10上市16.99万元起

态度原创

房产
本地
数码
旅游
公开课

房产要闻

红动五月!全国抢入核心资产,广州盯紧凯旋新世界!

本地新闻

用剪纸的方式,打开江苏扬州

数码要闻

LG 32寸电子纸海报,商用显示新玩法?

旅游要闻

瀚海寻丝路!全媒体记者沉浸式探访魅力哈密新风貌

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版