网易首页 > 网易号 > 正文 申请入驻

布隆过滤器为什么会让你的分布式缓存"撒谎"?

0
分享至

你的分布式缓存告诉你"这个key不存在",于是你跳过了数据库查询,直接返回空结果。但用户明明刚写入过这条数据。问题不在缓存本身,而在它背后那个只有几MB的布隆过滤器——它说了谎,而且是设计上允许的谎。

布隆过滤器是一种概率型数据结构,用来判断一个元素"可能在集合中"或"一定不在集合中"。注意这两个表述的不对称性:它可以说"一定不在",但永远只能说"可能在"。这个特性决定了它在缓存、数据库、区块链等场景中的全部价值与全部麻烦。


假阳性是怎么发生的

布隆过滤器内部是一个位数组和多个哈希函数。写入一个元素时,用多个哈希函数算出多个位置,把这些位全部置为1。查询时,如果任何一个对应位是0,说明这个元素一定没被写入过;如果所有位都是1,只能说"可能写入过"。

问题出在哈希碰撞上。不同元素的哈希结果可能落在相同的位上,当位数组被逐渐填满,一个从未写入的元素也可能碰巧所有对应位都是1。这就是假阳性——过滤器误报"这个元素存在"。

假阳性率不是bug,是参数选择的结果。位数组越大、哈希函数数量越合理,假阳性率越低。但内存占用和计算开销也随之上升。这是一个明确的工程权衡,不是可以"修复"的缺陷。

内存与准确率的取舍

布隆过滤器最吸引人的地方在于空间效率。相比存储完整元素集合,它只需要一个位数组,每个元素占用的空间可以压缩到几个bit级别。代价就是假阳性。

在缓存场景中,这个代价通常可以接受。假阳性意味着偶尔多查一次数据库,但不会返回错误数据。真正危险的是假阴性——如果过滤器说"不存在"但实际存在,缓存就会永久性地漏掉这条数据。布隆过滤器的设计恰好杜绝了假阴性,这是它被广泛采用的根本原因。

调参的核心在于:你能容忍多高的假阳性率?如果业务对缓存命中率极其敏感,就需要更大的位数组;如果内存紧张,就得接受更高的误报概率。

安全查询的边界

布隆过滤器在查询时不会暴露集合中的具体元素,只返回"可能"或"一定不"的判断。这个特性让它在隐私相关场景中有独特价值,比如比特币交易中用于轻量级客户端验证交易是否与自己的地址相关,而无需下载完整区块链。

但"安全"是有限度的。假阳性意味着过滤器会泄露"某个元素可能属于这个集合"的信息,虽然不精确,但在某些对抗场景下仍可能被利用。把布隆过滤器当作隐私保护工具时,需要清楚它的信息泄露边界在哪里。

另一个常被忽略的限制是:标准布隆过滤器不支持删除操作。把某个位从1改回0,可能影响其他共享该位的元素。计数布隆过滤器通过把每个位扩展为计数器来解决这个问题,但又引入了新的空间开销。

什么时候该用它

布隆过滤器适合的场景有明确特征:

  • 需要快速判断元素是否可能存在于一个庞大集合中
  • 可以接受一定比例的假阳性
  • 绝对不能接受假阴性
  • 内存或存储空间受限

如果你的场景要求精确判断,或者需要频繁删除元素,布隆过滤器不是正确选择。它的价值恰恰来自它的不精确——用可控的误报率换取数量级的内存节省和查询速度提升。

回到开头那个"撒谎"的缓存。它没有出错,只是在按设计工作。理解假阳性的来源和边界,才能决定这个谎言你是否愿意接受。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
较量的根本不是大鹅!美国真正斗的是东大;可我们斗的并非美国。伊朗已不入流,俄罗斯算不上棋手,牌桌只剩中美对弈

较量的根本不是大鹅!美国真正斗的是东大;可我们斗的并非美国。伊朗已不入流,俄罗斯算不上棋手,牌桌只剩中美对弈

z千年历史老号
2026-10-13 20:02:37
李仁科院士,开会期间辞世,年仅65岁;香港中文大学深圳发讣告:沉痛悼念

李仁科院士,开会期间辞世,年仅65岁;香港中文大学深圳发讣告:沉痛悼念

南方都市报
2026-10-14 12:32:11
郭德纲风波处罚刚落地,41岁岳云鹏卷入官司,麻烦远不止这一桩

郭德纲风波处罚刚落地,41岁岳云鹏卷入官司,麻烦远不止这一桩

老娱记啊
2026-10-13 15:09:51
1987年,何智丽公然违抗教练让其让球的命令,击败队友赢得单打冠军,不料,回国后的何智丽被处分,虽是世界排名第一

1987年,何智丽公然违抗教练让其让球的命令,击败队友赢得单打冠军,不料,回国后的何智丽被处分,虽是世界排名第一

回京历史梦
2026-10-13 09:24:28
李连杰谈小女儿抑郁症:她自己也控制不了!906人研究发现:菌群干预或有助改善症状

李连杰谈小女儿抑郁症:她自己也控制不了!906人研究发现:菌群干预或有助改善症状

肠菌科普
2026-10-14 07:03:13
突发!懂车帝热搜第一,疑是被曝付费邀约黑尊界

突发!懂车帝热搜第一,疑是被曝付费邀约黑尊界

大厂财经社
2026-10-14 12:50:05
突发!吉利李书福,拿下百年福特汽车!

突发!吉利李书福,拿下百年福特汽车!

财经要参
2026-10-14 07:18:55
网传懂车帝5000元邀博主补刀尊界华为

网传懂车帝5000元邀博主补刀尊界华为

三言科技
2026-10-14 11:30:15
电梯里这位小姐姐的打扮,既有少女的清纯靓丽,又有成熟的气质

电梯里这位小姐姐的打扮,既有少女的清纯靓丽,又有成熟的气质

美女穿搭分享
2026-10-14 11:35:30
被举报2个多月,郭德纲首次露面收徒面试现场,网友表示惊讶:德云社没倒闭啊?

被举报2个多月,郭德纲首次露面收徒面试现场,网友表示惊讶:德云社没倒闭啊?

蜜桔娱乐
2026-10-13 16:04:48
这和不穿有啥区别?金卡戴珊现身新加坡,穿粉色透视裙臀部无遮挡

这和不穿有啥区别?金卡戴珊现身新加坡,穿粉色透视裙臀部无遮挡

小武侃风云
2026-10-12 06:37:15
德国爆发大规模游行,扎哈罗娃一句话戳中要害:默茨是乌克兰总理

德国爆发大规模游行,扎哈罗娃一句话戳中要害:默茨是乌克兰总理

观锐器
2026-10-13 18:21:34
终于摊牌了!日本媒体发强硬评论:中俄若拒绝取消宪章敌国条款,日本扬言重演九十三年前军国主义退群路

终于摊牌了!日本媒体发强硬评论:中俄若拒绝取消宪章敌国条款,日本扬言重演九十三年前军国主义退群路

z千年历史老号
2026-10-10 17:16:48
网友质问“男群演手在女群演胸上摸来摸去干什么?”剧组回应:将尽快撤下片段,已联系两位涉事演员开展调查;坚决抵制任何片场不当行为

网友质问“男群演手在女群演胸上摸来摸去干什么?”剧组回应:将尽快撤下片段,已联系两位涉事演员开展调查;坚决抵制任何片场不当行为

南方都市报
2026-10-13 14:45:55
江西省农业厅副厅长曹爱珍:仅5年从教师晋升副县长,耀眼明星终落马

江西省农业厅副厅长曹爱珍:仅5年从教师晋升副县长,耀眼明星终落马

十为先生
2026-09-11 14:18:51
3-3!欧冠超级冷门 拜仁遭挪威黑马绝平 1.8亿巨星用球砸对手染红

3-3!欧冠超级冷门 拜仁遭挪威黑马绝平 1.8亿巨星用球砸对手染红

我爱英超
2026-10-14 05:46:00
母亲买了50斤羊粪误寄到女儿已经毕业的大学,在快递驿站存放了20多天;当事人:没想到快递拦截没成功,不敢想这20多天发生了什么

母亲买了50斤羊粪误寄到女儿已经毕业的大学,在快递驿站存放了20多天;当事人:没想到快递拦截没成功,不敢想这20多天发生了什么

农视网
2026-10-14 14:14:06
65岁后存款别只写名字!赶紧换种写法,子女省心你也安心!

65岁后存款别只写名字!赶紧换种写法,子女省心你也安心!

别人都叫我阿腈
2026-10-11 01:08:15
热议:如何看待近期社保纳入税务处罚?评论区炸锅...

热议:如何看待近期社保纳入税务处罚?评论区炸锅...

慧翔百科
2026-10-13 08:44:25
乌克兰打击俄罗斯Yandex数据中心之后,有意思的事情来了

乌克兰打击俄罗斯Yandex数据中心之后,有意思的事情来了

山河路口
2026-10-12 23:16:30
2026-10-14 15:08:49
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
231文章数 78关注度
往期回顾 全部

科技要闻

两大厂接连挖人,明星AI公司申请破产保护

头条要闻

特朗普前"准儿媳"被要求辞去大使职务 特朗普曾被激怒

头条要闻

特朗普前"准儿媳"被要求辞去大使职务 特朗普曾被激怒

体育要闻

30天30队·太阳:金毛、比特、杜宾和二哈

娱乐要闻

蔡卓妍回应张致恒欠钱不还 不指望还钱

财经要闻

AI短剧正在毁掉中年男人?

汽车要闻

豪华智能全拉满 比亚迪大汉不止旗舰级舒适

态度原创

本地
手机
房产
艺术
公开课

本地新闻

这个十一,林都伊春彻底出圈!

手机要闻

荣耀官宣WIN系列全家桶产品矩阵,全场景电竞布局已然成熟

房产要闻

70万㎡砸出!海口楼市,迎来今年最大一轮供货潮!

艺术要闻

超高清到犯规!奥地利女画家玛丽的印象派抒情风景,美到窒息,看一眼就想住进画里!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版