网易首页 > 网易号 > 正文 申请入驻

谷歌团队用1个指标提前3天预警模型崩溃,F1还没掉它就响了

0
分享至


Window 3时,所有指标都完美。RWSS=1.000,输出概率纹丝不动,标签一个没动。系统显示"一切正常"。

然后警报响了。

Window 3: severity=warning RWSS=1.000 fired=True ← FIDI Z在这里触发

模型预测层还没察觉任何异常,符号层已经拉响警报。这是实验真实发生的一幕,也是每个在生产环境跑欺诈模型的人都该看的场景。

三种漂移,只有一种能让你毫无察觉地翻车

概念漂移检测比听起来难得多。三种常见漂移里,只有一种会真正改变模型学到的关联含义。实验在Kaggle信用卡欺诈数据集(284,807笔交易,欺诈率0.17%)上模拟了三种漂移,每种分8个渐进窗口推进。

协变量漂移。输入特征分布偏移,V14、V4、V12逐步移动最多+3.0个标准差。欺诈模式本身没变,只是世界看起来有点不同。

先验漂移。欺诈率从0.17%爬升到2.0%。特征不变,欺诈变得更常见。

概念漂移。欺诈样本的V14符号被逐步翻转,8个窗口后,模型学会标记为欺诈的交易现在看起来像正常交易。规则"IF V14 < −1.5σ → Fraud"指向了错误方向。

第三种才是生产环境真正的噩梦。协变量和先验漂移都有外部信号——输入分布变了,欺诈率肉眼可见地涨,你可以独立监控。概念漂移不留任何脚印,唯一变化的是模型学到的关联含义。等F1开始掉,你已经晚了。

除非有东西比你先看到。


符号层当"金丝雀":零标签监控是怎么做到的

这个实验用的HybridRuleLearner架构训练两条并行路径:一条MLP做检测,一条规则路径从同样数据中学符号化的IF-THEN条件。规则路径在两个随机种子下都自己找到了V14,没人告诉它要盯这个特征。

学到的规则(IF V14 < −1.5σ → Fraud)现在成了监控对象。问题是:当V14开始行为异常,规则能当金丝雀吗?神经符号概念漂移监控能在推理时跑起来、完全不用标签吗?

答案是FIDI Z-Score,FIDI的Z分数扩展版,专门给符号层做异常检测。5组实验全部用它检测到欺诈模式偏移,有时提前1个窗口,全程零标签。

核心机制很朴素:监控规则触发模式的统计稳定性。不是看模型输出变没变,而是看"什么样的输入会触发这条规则"的分布是否漂移。符号层的规则有明确语义,比黑盒神经网络的隐层状态更容易建立统计基线。

为什么RWSS=1.000时警报还能响

RWSS(Random Walk with Staying State)是常见的漂移检测指标,衡量预测分布的稳定性。Window 3时它完美无瑕,因为模型输出确实没变——神经网络还没反应过来。

但符号层监控的是规则触发条件的输入分布。V14的欺诈样本开始悄悄变号时,规则"IF V14 < −1.5σ → Fraud"的触发率、触发样本的特征协方差都在偏移。这些信号比模型性能衰减早1-2个窗口出现。

换句话说,符号层监控的是"世界怎么变",神经网络监控的是"我现在的判断是什么"。世界变了,判断还没变,这就是危险窗口。

实验代码已开源:https://github.com/Emmimal/neuro-symbolic-drift-detection

不熟悉这个系列的读者,一句话概括:HybridRuleLearner让神经网络自己学会符号规则,然后用这些规则当早期预警系统。前两篇讲架构和规则学习,这篇讲漂移检测。

生产环境的欺诈模型平均多久重训一次?如果答案是"等F1掉了再看",这个实验给你另一个选项。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
里子面子都丢了!这一次,“不偷不抢”的王菲给单依纯上了一课

里子面子都丢了!这一次,“不偷不抢”的王菲给单依纯上了一课

阿淫记录生活日常
2026-03-30 14:18:44
李荣浩跳踢踏舞都带版权意识:这首歌太贵了,别唱,听不起,8年前也曾公开维权

李荣浩跳踢踏舞都带版权意识:这首歌太贵了,别唱,听不起,8年前也曾公开维权

现代快报
2026-03-30 10:41:03
西班牙:这场战争极其非法,禁止通行!

西班牙:这场战争极其非法,禁止通行!

观察者网
2026-03-30 22:12:05
哈里梅根计划携全家回英国,查尔斯国王能否为孙辈特批安保?

哈里梅根计划携全家回英国,查尔斯国王能否为孙辈特批安保?

土澳的故事
2026-03-30 17:07:00
女高中生发明“咯噔字体”,被老师0分警告:别挑战考试的底线

女高中生发明“咯噔字体”,被老师0分警告:别挑战考试的底线

妍妍教育日记
2025-11-10 18:21:35
6月起,网约车司机超8小时高时长工作时代结束

6月起,网约车司机超8小时高时长工作时代结束

第一财经资讯
2026-03-30 19:50:14
体育局正式宣布,陈梦正式上任,新岗位亮相,将与张继科正面竞争

体育局正式宣布,陈梦正式上任,新岗位亮相,将与张继科正面竞争

海棠未眠a
2026-03-30 15:26:24
亲手“谋杀”摇钱树:昔日“小火锅之王”,5年暴亏15亿

亲手“谋杀”摇钱树:昔日“小火锅之王”,5年暴亏15亿

围观商业
2026-03-19 16:31:34
父亲是中国人,母亲是短跑强国的黑人,球员朱正加入男篮成功落户

父亲是中国人,母亲是短跑强国的黑人,球员朱正加入男篮成功落户

以茶带书
2026-02-25 19:48:32
俄军事专家亲口承认:俄罗斯已经陷入注定失败的困境

俄军事专家亲口承认:俄罗斯已经陷入注定失败的困境

老马拉车莫少装
2026-03-30 22:05:32
520亿美元直接蒸发!全球外资疯狂逃离亚洲,日韩印股市已先崩盘

520亿美元直接蒸发!全球外资疯狂逃离亚洲,日韩印股市已先崩盘

素衣读史
2026-03-30 21:42:31
87岁李昌钰去世,留下的巨额遗产分配曝光,两子女的决定让人意外

87岁李昌钰去世,留下的巨额遗产分配曝光,两子女的决定让人意外

天天热点见闻
2026-03-30 06:50:40
广东省将会出现下一个 “深圳”,并不是广州,而是这个城市

广东省将会出现下一个 “深圳”,并不是广州,而是这个城市

娱乐的硬糖吖
2026-03-28 05:37:04
教育部发布20条严禁清单,严禁宣传炒作中高考状元、名校率、升学率,整治阴阳课表违规补课等行为

教育部发布20条严禁清单,严禁宣传炒作中高考状元、名校率、升学率,整治阴阳课表违规补课等行为

每日经济新闻
2026-03-27 11:33:29
留给伊尔汗·奥马尔的时间不多了

留给伊尔汗·奥马尔的时间不多了

南文视界
2026-03-29 17:35:38
特朗普的“史诗之怒”遭遇重大「合法性危机」

特朗普的“史诗之怒”遭遇重大「合法性危机」

琅琊阁梅庄主
2026-03-30 17:35:28
朱孝天撕「卖情怀F4」标签上陆综 曾志伟吓一跳:为什么要来?

朱孝天撕「卖情怀F4」标签上陆综 曾志伟吓一跳:为什么要来?

ETtoday星光云
2026-03-30 09:50:17
排名继续下滑!郑钦文跌至世界第30,下周将丢掉金花一姐之位

排名继续下滑!郑钦文跌至世界第30,下周将丢掉金花一姐之位

全景体育V
2026-03-30 08:17:45
17个草字考倒189人,只有“中国”二字被识别!

17个草字考倒189人,只有“中国”二字被识别!

书画相约
2026-02-17 09:49:14
伊能静秦昊手牵手逛迪士尼!58岁伊能静穿学院风,衣服快撑爆了!

伊能静秦昊手牵手逛迪士尼!58岁伊能静穿学院风,衣服快撑爆了!

小娱乐悠悠
2026-03-30 10:34:32
2026-03-31 01:15:00
码上闲叙
码上闲叙
有态度网友ytd
894文章数 8关注度
往期回顾 全部

科技要闻

一句谎言引发的硅谷血案

头条要闻

媒体:郑丽文受邀访大陆核心原因 从当前局势看不难猜

头条要闻

媒体:郑丽文受邀访大陆核心原因 从当前局势看不难猜

体育要闻

想进世界杯,意大利还要过他这一关

娱乐要闻

全红婵聊到体重哭了,每天只吃一顿饭

财经要闻

本轮地缘冲突,A股凭什么走出独立行情

汽车要闻

限时12.58万起 银河星耀8远航家系列上市

态度原创

亲子
健康
教育
房产
公开课

亲子要闻

杰森抱着吉他给我们唱了几首,有个爱好生活挺丰富,听听唱的咋样

干细胞抗衰4大误区,90%的人都中招

教育要闻

静待花开:一位母亲与青春期儿子的“破冰”之旅——林亭亭家教好故事

房产要闻

重磅!番禺20宗涉宅地亮相,万博CBD宅地将上新!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版