网易首页 > 网易号 > 正文 申请入驻

每秒5万条写入压垮PostgreSQL后,我读懂了LSM树

0
分享至

一个物联网数据管道让我彻底理解了存储引擎。每秒5万条传感器数据涌入PostgreSQL 15集群,配置不算差:NVMe固态盘、32核CPU、128GB内存。但写到4万条/秒时,写入延迟从2ms飙升到400ms再下不来。pg_stat_bgwriter显示检查点压力爆表,iostat里磁盘利用率死死钉在100%。

问题出在B树索引的随机写。每条插入都要原地更新索引页,高并发下随机I/O直接把磁盘吃光。


切到Cassandra后,写入问题瞬间消失。5万条/秒变成"四舍五入的误差"——提交日志和内存表的设计让写入变成顺序追加,磁盘不再是瓶颈。我得意了一周,直到同事问:为什么SELECT * FROM events WHERE device_id = 'abc' AND ts = 1704067200在只存了10分钟数据的表里要跑80毫秒?


我含糊其辞说了"压缩"两个字。两人其实都不懂。

这个落差——写入飞快、读取却需要解释——逼我去读原始论文。不是博客,是2006年的Bigtable论文和O'Neil 1996年的LSM树论文。我之前以为"Cassandra快因为分布式",这个认知 embarrassingly 残缺。写入性能来自磁盘数据组织的特定结构决策,而同一个决策正是读取更贵、有时会拿到陈旧数据的根源。这三件事绑在一起,懂一个必须懂另外两个。


大多数开发者没建立这个心智模型,是因为抽象层在失效前都够用。ORM帮你插行,生活美好。但写密集型负载——物联网采集、事件溯源、时序数据、审计日志——很快撞上天花板,届时你只能调试症状,而非根因。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
8个一字跌停后,还有467万手封单,近37万股东彻底被闷杀

8个一字跌停后,还有467万手封单,近37万股东彻底被闷杀

财经智多星
2026-05-13 15:24:23
医生呼吁:70岁以上老人,宁可吃热乎馒头喝稀粥,也别碰这些!

医生呼吁:70岁以上老人,宁可吃热乎馒头喝稀粥,也别碰这些!

芹姐说生活
2026-05-13 19:15:32
国际足联主动妥协,五折甩卖世界杯版权,央视为何拒不买单

国际足联主动妥协,五折甩卖世界杯版权,央视为何拒不买单

璀璨幻行者
2026-05-10 22:09:58
我一直纠结刘涛的长相很久了,昨天拿去让老人家帮忙看看面相。

我一直纠结刘涛的长相很久了,昨天拿去让老人家帮忙看看面相。

小光侃娱乐
2026-05-13 11:59:03
弹跳能力历史第二,弗吉尼亚理工大四锋线拥有顶级的运动能力?

弹跳能力历史第二,弗吉尼亚理工大四锋线拥有顶级的运动能力?

稻谷与小麦
2026-05-14 00:12:27
从今天起,中国不再需要日本道歉!这觉醒,来自3500万亡魂的重量

从今天起,中国不再需要日本道歉!这觉醒,来自3500万亡魂的重量

芳芳历史烩
2026-05-13 22:25:25
OPPO再致歉:从严处罚高级副总裁段要辉

OPPO再致歉:从严处罚高级副总裁段要辉

21世纪经济报道
2026-05-11 14:48:08
女子硕士入学清华后参与智力测验,仅得25分,回应:无论是学习、工作、创业,我都没有遇到困难,但我居然智力中下

女子硕士入学清华后参与智力测验,仅得25分,回应:无论是学习、工作、创业,我都没有遇到困难,但我居然智力中下

扬子晚报
2026-05-11 07:48:21
黑衣女子推搡哨兵后续:知情人爆料,官媒发声恐不止坐牢这么简单

黑衣女子推搡哨兵后续:知情人爆料,官媒发声恐不止坐牢这么简单

赵枹是个热血青年
2026-05-12 23:05:47
为什么感觉失业的人在变多,可是却依然很稳定?

为什么感觉失业的人在变多,可是却依然很稳定?

黯泉
2026-05-06 20:44:16
英超前瞻|曼城3-0水晶宫:争冠已失主动,曼城能否全力以赴

英超前瞻|曼城3-0水晶宫:争冠已失主动,曼城能否全力以赴

体育世界
2026-05-13 13:10:50
英超混不下就去意甲!努涅斯遭小因扎吉弃用 被推荐给2意甲球队

英超混不下就去意甲!努涅斯遭小因扎吉弃用 被推荐给2意甲球队

智道足球
2026-05-13 16:11:00
老了才看透:父弱母强的家庭,养出来的孩子,大多是这两种结局

老了才看透:父弱母强的家庭,养出来的孩子,大多是这两种结局

心理观察局
2026-05-11 10:00:27
徐子淇老的不忍直视!和李家诚一起看望杨受成,眼袋重皮肤冒油光

徐子淇老的不忍直视!和李家诚一起看望杨受成,眼袋重皮肤冒油光

小娱乐悠悠
2026-05-13 11:14:18
A股:2.5亿股民,今晚可能要兴奋得睡不着觉了,你知道为什么吗?

A股:2.5亿股民,今晚可能要兴奋得睡不着觉了,你知道为什么吗?

夜深爱杂谈
2026-05-13 21:09:19
新华社消息|外交部:坚决反对所谓“哥本哈根民主峰会”执意邀请“台独”分子大放厥词

新华社消息|外交部:坚决反对所谓“哥本哈根民主峰会”执意邀请“台独”分子大放厥词

新华社
2026-05-13 19:59:39
颠覆认知!鱼油 Omega-3 或加速脑功能衰退,降低脑细胞运行效率

颠覆认知!鱼油 Omega-3 或加速脑功能衰退,降低脑细胞运行效率

思思夜话
2026-05-12 13:01:13
远比高市危险!日本右翼强势联合,介入台海问题,背后布局不简单

远比高市危险!日本右翼强势联合,介入台海问题,背后布局不简单

人工岛分布
2026-05-13 07:49:57
5月13日,人社部2026年养老金调整通知来了吗?几个信号很关键

5月13日,人社部2026年养老金调整通知来了吗?几个信号很关键

云鹏叙事
2026-05-13 21:09:17
5夺欧冠没哭,带贝蒂斯进欧冠却哭成泪人!伊斯科逆袭太动人了!

5夺欧冠没哭,带贝蒂斯进欧冠却哭成泪人!伊斯科逆袭太动人了!

仰卧撑FTUer
2026-05-13 12:42:02
2026-05-14 01:16:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
2686文章数 26关注度
往期回顾 全部

科技要闻

阿里年营收首破万亿,AI终于不再是画大饼

头条要闻

特朗普抵京走红毯舞起熟悉手势 乘"陆军一号"前往酒店

头条要闻

特朗普抵京走红毯舞起熟悉手势 乘"陆军一号"前往酒店

体育要闻

14年半,74万,何冰娇没选那条更安稳的路

娱乐要闻

白鹿掉20万粉,网友为李晨鸣不平

财经要闻

美国总统特朗普抵达北京

汽车要闻

C级纯电轿跑 吉利银河"TT"申报图来了

态度原创

教育
健康
本地
艺术
公开课

教育要闻

中考这件事,许多家长都搞错了方向

干细胞能让人“返老还童”吗

本地新闻

用苏绣的方式,打开江西婺源

艺术要闻

规划中的成都第三高楼,从396米降到250米以下?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版