网易首页 > 网易号 > 正文 申请入驻

吞吐提升超50%,小红书RedDB把宽表底座摊开讲了

0
分享至

小红书的搜索、推荐和广告业务,每天要处理的不只是结构化属性,还有高维向量和实体关系。访问方式也从主键读写、条件过滤,一路延伸到相似检索与关系遍历。宽表、向量、图各有各的数据模型和索引结构,对基础设施提出的需求并不一样。


但分片管理、副本复制、故障恢复、资源管理这些能力,是几种模态共用的。分别建系统,等于把这些基础能力重复投入一遍。多种模态要协作时,还得额外处理数据关联、更新传播与查询衔接。

RedDB 就是小红书存储与数据库团队面向多模方向建设的分布式数据库,目标是用统一底座支撑宽表、向量、图等数据模型与访问需求。它的建设路径是从宽表起步,先验证读写、扩展与稳定性,再通过统一元数据与执行接口连接不同模态。

四层架构,平台运营横向兜底

RedDB 内部自上而下分为四层:数据服务、分布式引擎、存储与索引、数据持久化。平台运营提供横向管理能力,依托统一存储数据库云平台(DMS)做资源与集群管理,以及扩缩容、升级等标准化运维。安全与租户管理、监控与诊断贯穿各层。

数据服务层位于最上层,由数据模型组织数据与接口,查询计算负责查询执行、过滤与扫描,数据迁移衔接导入与同步。当前以宽表为主要落地,后续逐步接入向量与图。

分布式引擎层包含六项能力:分片管理负责路由与分裂,弹性调度负责迁移与扩缩容,一致性复制通过 Raft 管理副本,故障恢复通过快照恢复与日志追赶重建副本状态,流量控制提供限流与反压,资源控制通过配额和并发限制约束资源使用。新模态可以通过统一接口复用这六项能力。

存储与索引层负责物理数据布局、存储访问和索引组织。当前宽表采用基于 RocksDB 的行式引擎,承载行列读写与原子更新;列式引擎作为演进方向,用于适配不同的数据布局与访问模式。

宽表场景的几项硬功夫

宽表要同时应对数据增长、字段稀疏、局部更新和高并发访问。RedDB 把总体架构落实成了几项核心能力:

  • 分片管理:按主键范围组织分片,同一行的数据保存在同一分片内。数据增长后通过分裂调整分片边界,分裂初期父子分片共享底层存储引擎,逻辑分裂与物理迁移分开进行,降低集中搬运数据的开销。
  • 快速扩缩容:扩容时迁入分片副本,缩容时先迁出副本再释放节点。每个迁移任务依次完成新增副本、同步追平、成员变更和旧副本退出,集群与磁盘两级并发配额控制迁移规模。
  • 副本恢复:以 Raft 复制维护副本一致性,通过快照恢复与日志追赶重建数据状态,恢复以分片为单元推进。
  • 流量控制:在分片和节点两个层面限制尚未完成的写请求,根据日志提交与应用的进度差触发反压,节点写并发额度为在线读取保留余量。
  • 行级原子写:同一行的多字段写入由同一分片处理,经过 Raft 复制后原子应用,相关字段共同生效。
  • 稀疏扫描优化:提供“先遍历已有列,再筛选请求字段”的访问路径,减少对缺失列的无效定位,同时保留逐列定位方式供按访问特征选择。

自上线以来,RedDB 已逐步落地搜索、推荐和广告等多个业务场景。性能用例覆盖 100 KB、500 KB 和 1 MB 行宽,以及单行读取、范围扫描和批量读取。在行宽、操作类型和并发档位一致的条件下逐用例计算提升比例再取中位数,RedDB 较对比方案的吞吐提升中位数超过 50%,P99 延迟降幅中位数约为 60%。

成本对比采用 2026 年 9 月报告收录的资源报价,按各自集群配置统一折算为月度费用。按此口径,RedDB 的集群成本较比对方案平均降低 50% 以上。

多模演进要解的四个问题

RedDB 已面向键值和宽表两类数据模型抽象出统一的模态接入接口,多模协作优先验证宽表与向量的组合,重点解决模态接入、数据关联、更新传播和查询协同四件事。

模态接入方面,主键编码、写入校验、日志应用和资源生命周期的差异由统一接口承接,分片、复制与恢复交给公共框架,新模态围绕自身模型、索引和算法实现接口。

统一元数据覆盖逻辑表、表结构、主键和索引,记录数据归属、字段关联与物理映射,也描述路由和引擎状态。同一份逻辑数据可对应多种物理表示,并通过统一主键关联。

索引维护上,主数据持久化并记录可恢复的变更,索引侧消费变更流,衔接存量构建与增量追赶,通过幂等重放支持恢复。主表提交后确认写入,派生索引更新完成后才对检索可见,从而把索引维护与关键写入路径解耦。

查询协调层读取元数据,结合过滤条件、候选规模和引擎能力选择计划,拆分子计划并合并执行结果。过滤、检索和属性回读通过统一主键传递候选,执行时按需选择先过滤或先召回。

后续建设围绕平台运营、数据服务和引擎底座三个方向展开:推进跨服务与跨资源治理;从宽表逐步扩展向量、图等数据模型;存储侧推进存算分离,计算侧增强跨模态计算与不同负载隔离。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
88块钱的山姆包能好到什么程度?化工博士实测后惊呆了...

88块钱的山姆包能好到什么程度?化工博士实测后惊呆了...

毕导
2026-11-17 17:38:25
96分钟绝杀,哈兰德双响导演大逆转!0-2到3-2,挪威奇迹晋级8强

96分钟绝杀,哈兰德双响导演大逆转!0-2到3-2,挪威奇迹晋级8强

我的护球最独特
2026-11-18 05:52:43
网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

潇湘晨报
2026-11-17 11:31:12
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
11月17日俄乌:克宫引以为傲的克里米亚大桥被炸塌了

11月17日俄乌:克宫引以为傲的克里米亚大桥被炸塌了

山河路口
2026-11-17 19:39:00
出租车司机遇害,凶手翻供称“作案时被害人未死亡”,检察官锁定一个细节:死亡勃起

出租车司机遇害,凶手翻供称“作案时被害人未死亡”,检察官锁定一个细节:死亡勃起

方圆
2026-11-09 09:56:31
央视现场调查证实,当地被迫承认问题;观点:如果基层连基本的实事求是都做不到,那互动也就没有意义

央视现场调查证实,当地被迫承认问题;观点:如果基层连基本的实事求是都做不到,那互动也就没有意义

南方都市报
2026-11-17 08:27:50
大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

极目新闻
2026-11-17 17:21:30
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
为了意大利永居权我娶了当地192斤富婆,婚后我们一周10次夫妻生活,谁知一个月后她突然开口:身份给你,8653万欧元也归你

为了意大利永居权我娶了当地192斤富婆,婚后我们一周10次夫妻生活,谁知一个月后她突然开口:身份给你,8653万欧元也归你

温柔记事簿
2026-11-17 19:42:53
功亏一篑!斥巨资护桥终付东流,俄罗斯克里米亚大桥已经被乌军击毁一侧

功亏一篑!斥巨资护桥终付东流,俄罗斯克里米亚大桥已经被乌军击毁一侧

军迷战情室
2026-11-17 19:38:27
美少女“钓鱼”,假动作作秀!鱼钩藏在荷叶裙的裙摆里

美少女“钓鱼”,假动作作秀!鱼钩藏在荷叶裙的裙摆里

史海流年号
2026-11-13 12:37:25
重磅!美国商务部新规落地,围堵中国 AI 远程算力(附中英文下载)

重磅!美国商务部新规落地,围堵中国 AI 远程算力(附中英文下载)

起点财经
2026-11-17 14:28:47
俄罗斯总统普京抵达深圳

俄罗斯总统普京抵达深圳

澎湃新闻
2026-11-18 02:09:03
果然三只松鼠的企业文化还是太超前了,评论区绷不住了家人们

果然三只松鼠的企业文化还是太超前了,评论区绷不住了家人们

夜深爱杂谈
2026-11-16 21:12:38
直接退赛!第5次腿筋拉伤!76人遭遇沉重打击

直接退赛!第5次腿筋拉伤!76人遭遇沉重打击

篮球教学论坛
2026-11-18 00:38:36
克里米亚大桥被炸断了!!!

克里米亚大桥被炸断了!!!

西楼饮月
2026-11-17 16:41:46
希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

希拉里:若有政治家有资格被称为当今自由世界领袖,那应该是卡尼

经纬戎韬
2026-11-18 01:09:10
黄金崩跌30%,高盛又泼冷水!

黄金崩跌30%,高盛又泼冷水!

金投网
2026-11-17 17:34:18
国足连追2球2-2巴林!40年交手不败 王钰栋造2球 张玉宁连场破门

国足连追2球2-2巴林!40年交手不败 王钰栋造2球 张玉宁连场破门

我爱英超
2026-11-17 22:03:10
2026-11-18 07:32:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
187文章数 87关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

亲子
本地
手机
房产
公开课

亲子要闻

宝宝气人但是聪明的4个行为

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

房产要闻

6.6亿!海口卖地!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版