小红书的搜索、推荐和广告业务,每天要处理的不只是结构化属性,还有高维向量和实体关系。访问方式也从主键读写、条件过滤,一路延伸到相似检索与关系遍历。宽表、向量、图各有各的数据模型和索引结构,对基础设施提出的需求并不一样。
![]()
但分片管理、副本复制、故障恢复、资源管理这些能力,是几种模态共用的。分别建系统,等于把这些基础能力重复投入一遍。多种模态要协作时,还得额外处理数据关联、更新传播与查询衔接。
RedDB 就是小红书存储与数据库团队面向多模方向建设的分布式数据库,目标是用统一底座支撑宽表、向量、图等数据模型与访问需求。它的建设路径是从宽表起步,先验证读写、扩展与稳定性,再通过统一元数据与执行接口连接不同模态。
四层架构,平台运营横向兜底
RedDB 内部自上而下分为四层:数据服务、分布式引擎、存储与索引、数据持久化。平台运营提供横向管理能力,依托统一存储数据库云平台(DMS)做资源与集群管理,以及扩缩容、升级等标准化运维。安全与租户管理、监控与诊断贯穿各层。
数据服务层位于最上层,由数据模型组织数据与接口,查询计算负责查询执行、过滤与扫描,数据迁移衔接导入与同步。当前以宽表为主要落地,后续逐步接入向量与图。
分布式引擎层包含六项能力:分片管理负责路由与分裂,弹性调度负责迁移与扩缩容,一致性复制通过 Raft 管理副本,故障恢复通过快照恢复与日志追赶重建副本状态,流量控制提供限流与反压,资源控制通过配额和并发限制约束资源使用。新模态可以通过统一接口复用这六项能力。
存储与索引层负责物理数据布局、存储访问和索引组织。当前宽表采用基于 RocksDB 的行式引擎,承载行列读写与原子更新;列式引擎作为演进方向,用于适配不同的数据布局与访问模式。
宽表场景的几项硬功夫
宽表要同时应对数据增长、字段稀疏、局部更新和高并发访问。RedDB 把总体架构落实成了几项核心能力:
- 分片管理:按主键范围组织分片,同一行的数据保存在同一分片内。数据增长后通过分裂调整分片边界,分裂初期父子分片共享底层存储引擎,逻辑分裂与物理迁移分开进行,降低集中搬运数据的开销。
- 快速扩缩容:扩容时迁入分片副本,缩容时先迁出副本再释放节点。每个迁移任务依次完成新增副本、同步追平、成员变更和旧副本退出,集群与磁盘两级并发配额控制迁移规模。
- 副本恢复:以 Raft 复制维护副本一致性,通过快照恢复与日志追赶重建数据状态,恢复以分片为单元推进。
- 流量控制:在分片和节点两个层面限制尚未完成的写请求,根据日志提交与应用的进度差触发反压,节点写并发额度为在线读取保留余量。
- 行级原子写:同一行的多字段写入由同一分片处理,经过 Raft 复制后原子应用,相关字段共同生效。
- 稀疏扫描优化:提供“先遍历已有列,再筛选请求字段”的访问路径,减少对缺失列的无效定位,同时保留逐列定位方式供按访问特征选择。
自上线以来,RedDB 已逐步落地搜索、推荐和广告等多个业务场景。性能用例覆盖 100 KB、500 KB 和 1 MB 行宽,以及单行读取、范围扫描和批量读取。在行宽、操作类型和并发档位一致的条件下逐用例计算提升比例再取中位数,RedDB 较对比方案的吞吐提升中位数超过 50%,P99 延迟降幅中位数约为 60%。
成本对比采用 2026 年 9 月报告收录的资源报价,按各自集群配置统一折算为月度费用。按此口径,RedDB 的集群成本较比对方案平均降低 50% 以上。
多模演进要解的四个问题
RedDB 已面向键值和宽表两类数据模型抽象出统一的模态接入接口,多模协作优先验证宽表与向量的组合,重点解决模态接入、数据关联、更新传播和查询协同四件事。
模态接入方面,主键编码、写入校验、日志应用和资源生命周期的差异由统一接口承接,分片、复制与恢复交给公共框架,新模态围绕自身模型、索引和算法实现接口。
统一元数据覆盖逻辑表、表结构、主键和索引,记录数据归属、字段关联与物理映射,也描述路由和引擎状态。同一份逻辑数据可对应多种物理表示,并通过统一主键关联。
索引维护上,主数据持久化并记录可恢复的变更,索引侧消费变更流,衔接存量构建与增量追赶,通过幂等重放支持恢复。主表提交后确认写入,派生索引更新完成后才对检索可见,从而把索引维护与关键写入路径解耦。
查询协调层读取元数据,结合过滤条件、候选规模和引擎能力选择计划,拆分子计划并合并执行结果。过滤、检索和属性回读通过统一主键传递候选,执行时按需选择先过滤或先召回。
后续建设围绕平台运营、数据服务和引擎底座三个方向展开:推进跨服务与跨资源治理;从宽表逐步扩展向量、图等数据模型;存储侧推进存算分离,计算侧增强跨模态计算与不同负载隔离。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.