网易首页 > 网易号 > 正文 申请入驻

星云 Redis 容器化资源降一半交付不用等

0
分享至


作者 | 星巴克中国平台工程

星云的 Redis 容器化从立项到上线,用了两个月;但从“能部署”到“敢上生产”,又花了将近一年的时间做专项优化。
这一年里我们做的事情,说穿了就一件:把过去靠供应商、靠熟练度、靠人盯着的运维能力,一条一条搬进平台里。哨兵高可用、持久化分离、猝死保护、数据与元数据分离、参数自动计算、自助化交付——每一个专项背后都是真实的故障场景或者真实被折磨过的伙伴。到今天,业务的 Redis 从申请到拿到连接信息只要几分钟,故障切换基本都是自动收敛,排障也不再需要先登机器执行一串命令。

背景:为什么要
让 Redis“走进容器”

在那之前,我们的 Redis 一直跑在虚拟机上,由第三方云管平台 UMP 统一管理。业务想用一个 Redis,要先提资源申请,等 infra 批机器、装环境,再由中间件团队建实例,整个链路走下来,交付以天计。更麻烦的是后面三件事:一是排障。云管平台是个黑盒,出现性能问题、数据问题,我们只能配合供应商一起看,问题定位的主动权不在自己手里。二是成本。虚拟机上跑 Redis,资源都是按峰值预留的,实际利用率经常连一半都不到,但机器已经占住了。三是保障。这类平台是跟着合同走的,合同一到期,版本升级、漏洞修复这些后续支持直接断档——等于把生产数据库的长期可靠性押在了一份采购协议上。

方向定下来之前,我们也反复问过自己:Redis 到底该不该跑在容器里。快手公开过他们大规模 Redis 上 K8s 的实践,同样是把 Redis 从虚拟机搬到容器,规模比我们现在大得多,正面回答过这个疑问。他们给的口径是性能差距通常在 10% 以内,很多场景基本持平。这是别人公开分享的数字,不能直接套到我们身上,但它至少说明这条路有人走通过、也量过,不是硬闯。

项目立项之后,我们没有从零造一个 Operator。数据库的生命周期管理是一个非常专业的领域,自己写一套 Operator 的维护成本会很高,所以最终选了 KubeBlocks 作为底座。它是一个通用的数据库 Operator,API 设计上跟具体引擎解耦,常见的数据库都能接,对我们后面扩展其他中间件也友好。上层我们自研了星云数据服务管理平台,负责面向业务的交付、运维和治理。简单说就是:底层用开源把数据库生命周期管起来,上层自己做,把内部体系集成和定制需求快速落地。


图 1 星云 Redis 容器化整体部署架构

项目推进得很快,两个月时间容器化 Redis 就基本达到上线要求:主从复制和分片集群两种拓扑都支持,扩缩容、配置热更新、备份恢复、监控看板这些功能都开发完了。做演示的时候一切都很顺利。

但真正的考验是从测试环境接入第一批业务开始的。上线前我们自己压测加业务试用,暴露出不少问题,现在回头看,这些问题的暴露是好事,因为如果直接上生产,代价会大得多。

问题大概有这么几类:

哨兵是高可用的核心,当时为了节省资源,所有主从集群都注册到同一套公共哨兵上。这套哨兵一旦不可用,受影响的不是一个业务,而是一批业务。而且业务改造哨兵地址的成本很高——我们自己盘了一下,一次切换要同时改好几个地方的配置,故障时根本快不起来。测试环境还出现过哨兵记录和主从记录对不上的情况,排查了半天才发现两边记录的实例信息一个用 pod IP 一个用 DNS。

持久化对写入的影响比预期大。主节点既要扛业务读写,又要承担 RDB 快照和 AOF 追加的写盘开销,磁盘 IO 一抖动,写请求就被拖慢,集群健康检查的告警随之就来了。

存储这条线当时也想得不够细。为了让盘能跟着 Pod 走,把持久化文件放到共享存储上,结果 Redis 最重的写盘行为全压到了存储系统;而实例一旦换个节点启动,连“自己是主是从”都要靠人工恢复。性能和高可用两头都没落下。

开源 Operator 的默认参数是通用值,不是为我们这种规格和负载调的。容器里跑 Redis,CPU 核数、内存配额都是受限的,不做针对性调整,性能和稳定性都到不了生产的标准。

缺可观测。日志要登机器去看,没有告警体系,出问题基本靠人肉救火。

这几件事让我们意识到:容器化最难的不是“把 Redis 跑在容器里”,而是“让业务敢把生产数据放进来”。后面这一年多的专项优化,就是围绕这个目标展开的。

优化方法论:把“救火”
变成“产品能力”

我们的优化工作有一条主线:每一次故障处理结束,除了修复当场的问题,还要问一句——这类问题能不能在平台层面彻底消掉?

比如早期主从切换要靠伙伴写脚本手工执行,步骤多、依赖熟练度、还有操作风险。后来这块能力做成了标准化的运维操作接入平台,节点维护的时候可以批量执行,一次操作就能把节点上所有主节点全部切换走。再比如拨测误告警,根因是“没有地方表达集群当前处于什么状态”,于是给集群加上了生命周期标签,初始化、维护中、待回收这些状态显式声明出来,拨测和告警按状态区别对待,噪音一下就降下去了。

这就是我们总结的“专项”模式:一个专项对应一类真实问题,解决方式要么是平台功能,要么是运维能力的产品化,要么是参数和脚本的标准化。最终沉淀下来八个方向:

① 高可用与哨兵方案

② 持久化策略与 IO 治理

③ 业务数据与集群元数据分离(让 Pod 能漂)

④ 参数治理与性能调优

⑤ 数据安全

⑥ 可观测与稳定性

⑦ 交付与运维提效

⑧ 业务自助服务(SKU 规格体系)

时间上大致分三段:2025 年下半年平台起步,年底到 2026 年初是集中建设期,绝大部分基础能力和优化都在这个阶段完成;之后进入持续打磨期,随着接入业务变多、生产流量上来,又陆续暴露出新的边缘场景,一个一个补齐。

专项优化

前面列的那些方向,这一年多落地成了七个专项。下面逐个展开,先说当时卡在哪,再说最后变成了什么能力。

专项一:高可用与哨兵方案

问题

基于前面说的情况,我们把问题拆成了三条:

公共哨兵集群故障会影响多个业务,影响面必须收窄;业务修改哨兵地址的成本太高,故障恢复链路必须缩短;哨兵与主从之间记录的实例信息不一致,隐患必须消除。

方案

最终定的方案是:给业务提供固定的服务地址,底层搭建多套哨兵集群。服务地址通过标签选择器绑定到其中一套哨兵上,当前这套出问题,就把选择器换到另一套,业务侧完全无感。同时我们做了一套迁移操作,把 Redis 集群换绑到新的哨兵集群上,整个过程从以前“改一堆配置”变成后台几分钟完成。


图 2 固定服务地址与多套哨兵的换绑关系

配套还做了两件事:

一是统一哨兵的宣告地址。让哨兵在集群里宣告时直接使用自身 Pod IP 并固定下来,从根上杜绝“记录与实际不符”这类问题。这个问题排查非常痛苦,因为它平时不发作,只在故障切换时才变成坑。

二是把哨兵的运维能力产品化,包括从哨兵端发起主从切换、卸载指定 master 的注册信息、哨兵实例的指标暴露等。

还有一个问题绕不开:Redis 搬进容器之后,外面那些没跟着搬的业务怎么连进来。我们的做法是两条链路并存。集群内的应用走服务和集群 DNS,这层最干净。集群外还有一批跑在虚拟机和物理机上的应用,短期不可能一起迁过来,就给它们留节点端口这条路:先问哨兵拿到主库地址,再直连。查询和运维访问另走一条只读入口,不占业务链路。这条路上踩过坑——节点端口场景下分片集群扩容,扩出来的实例在集群内可达、从集群外连不上,最后是靠把暴露方式统一收敛成服务地址解决的,细节在 3.7。

深水区攻坚

高可用这个专项其实持续了很久,因为大量问题只在边缘场景出现,测试怎么都测不出来,接入业务越多才越暴露。我们前前后后修掉的问题包括:

  • 分片集群在极端情况下分片成员之间的 meet 异常——集群拓扑会错乱,修的时候要重新 meet 节点,我们也把它做成了标准操作;

  • 分片成员因角色残留导致的启动死锁——节点重启后卡在启动阶段,需要先修复角色元数据;

  • 一批 Redis 容器多次异常重启、恢复后部分数据丢失的故障。复盘下来根子在存储和调度而不是 Redis 本身,由此定下两条硬性约束——主从节点强制反亲和、虚拟机不落在同一台物理机上,也推动了持久化策略的调整(调度打散这部分在 3.3 展开);

  • 哨兵整体宕机后恢复,不能自动完成切主——这条最危险,因为哨兵“看起来活着”,但实际上已经不再主从切换了。修复后哨兵全挂恢复也能自动收敛;

  • 远程存储异常导致主从都异常之后,哨兵不做自动切主——也是同类问题;

  • 停止集群后哨兵侧的注册信息残留,需要人工清理。

这块后来改成了停服自动清理,清理操作本身也做了增强,支持按状态批量执行。

这些问题,有的来自我们自己的使用方式,有的来自开源组件的边缘逻辑,每一个的修复过程都在提醒我们:高可用不是“部署时配置对”就完了,它是一个需要持续验证和持续修复的能力。

专项二:持久化策略与 IO 治理

这是整个优化历程里最亮眼的专项。

问题

Redis 的持久化(RDB 快照、AOF 追加)是数据安全的根本,但写盘产生的磁盘 IO 会跟业务读写争资源。主节点上这个问题尤其突出:一边处理业务请求,一边做后台落盘,磁盘一抖动,请求延迟就上去了,集群健康检查的告警也跟着响。

第一版方案:主关从开

思路很直接:主节点关闭持久化,专心服务业务读写;从节点开启 AOF,承担持久化职责。这样 IO 压力从主节点卸载到从节点,写入性能稳定了,数据安全也保住了——毕竟数据在从节点上有 AOF。我们把它做成了可配置的能力,通过环境变量开关控制。

这个方案上线后效果很好,IO 相关的告警明显少了。但它有一个隐患,我们当时就意识到了,并且在设计上做了防备。

隐患与猝死保护

隐患是这样的:主节点如果发生闪断——比如容器被 OOM Kill、节点瞬时故障——Kubernetes 会很快把 Pod 拉起来。这个“快”反而带来了风险:哨兵可能还没来得及感知主节点掉线,主从切换还没发生,主节点就已经复活了。而这个复活的主节点,因为在“主关从开”配置下不落盘,内存里是空的。

空的从节点不可怕,同步一下就恢复了。空的主节点是灾难:客户端连上去,写进去的数据全在内存里,一旦这个节点再挂一次,数据全丢。而且这个问题不一定会立刻暴露,可能埋很久才炸。

我们的解法叫“猝死保护”,核心是三条原则:数据安全优先、自动恢复优先、人工兜底。

具体机制是这样:

主节点在成为主的时候,往数据目录里写一个角色标记文件。节点启动时先做检查:

└─ 无数据 + 有标记文件? → 进入阻塞恢复循环

只有“无数据 + 有标记”这一种情况会进入阻塞——它意味着“这个节点之前当过主,但现在数据没了”,是最危险的组合。进入阻塞后,节点不对外服务,而是进入一个恢复循环:每轮先看三件事,数据是否恢复了、标记文件是否被人工删除、是否已经选出了新的主节点;等待超过阈值后再去探一次从节点的数据量,从节点有数据就触发强制接管(TAKEOVER)等新主选出,从节点也没有数据,说明这个分片本来就是空的,正常启动。

超时之后自动尝试接管,是尽可能让系统自愈;如果自愈也失败,就停在阻塞状态等人工处理。


图 3 猝死保护的完整判断链:只有“当过主 + 数据没了”这一种组合会被拦住

这个机制的含义是:宁可让这个实例阻塞几十分钟等人来处理,也绝不允许它拿着空数据对外服务。对数据库类产品来说,“暂时不可用”和“数据丢失”是完全不同量级的后果,前者业务能接受,后者不可原谅。

后来我们把同一套机制也应用到了分片集群,还补了一些工程上的细节。比如主节点重新打开 AOF 时要清理历史遗留的 AOF 目录,我们选择先重命名备份而不是直接删除,留一个后悔的机会;再比如加了总开关,在特殊情况下可以完全关闭“主关从开”的控制逻辑,让 Redis 回到原生行为。

“主关从开”配合猝死保护,现在是所有生产主从和分片集群的标配。

专项三:业务数据与集群元数据分离

这个专项解决一个很具体的问题:Pod 到底能不能挪。

问题:跟一块盘绑死的 Pod

容器化最有吸引力的地方,是 Pod 可以被随时驱逐、重新调度到别的节点——节点要维护、负载要均衡、机器要下线,这些都是常规操作。但数据库的 Pod 一旦跟某一块盘绑死,它实际上就动不了了。

早期 Redis 的持久化文件和集群元数据放在同一个数据目录里,一起挂一块盘。这个目录里既有业务数据(AOF、RDB),也有角色标记、配置快照、集群成员和分片拓扑记录、哨兵注册信息这些小文件。混在一起的代价体现在两件事上。

一是漂移动作变成了有损操作。Pod 漂到新节点,原来那块盘跟不过去,实例重新起来的时候“不知道自己是谁”:原来当的是主还是从、属于哪个分片、哨兵那边注册的地址是哪个。这些信息全在元数据里,元数据一丢,就得人工恢复元数据、重新注册主从关系,一次普通的重新调度要人守很久。

二是共享存储被写穿。为了让盘能跟着 Pod 走,我们试过把持久化文件放到远程分布式存储上。Redis 的写盘行为在这条路上暴露得很充分:AOF 是持续追加,RDB 快照是把整个内存刷下去,实例内存越大、快照那一下的吞吐越吓人。几套大内存集群的快照时间一撞,共享存储的 IO 直接被打满——而被拖慢之后,受影响的是挂在它上面的所有实例,不只是发起快照的那一个。

方案:按“谁在读”把挂载拆开

后来我们不再纠结存储规格够不够用,而是先把“什么东西放在了共享存储上”这件事想清楚,按读写方把挂载拆成三类。

业务数据走本地数据盘。AOF、RDB 这些引擎自己要频繁读写的文件放本地盘,IO 延迟稳定,快照突发不会去挤共享存储的带宽。配套的改动还包括把本地存储的数据目录从系统盘挪到独立数据盘,日志和临时文件写满系统盘这类事情从机制上断掉。

集群元数据单独一块小卷。3.2 里提到的那个角色标记文件、配置快照、集群成员与分片拓扑记录、哨兵注册信息,全都归到这一类。它们的共同特点是:读的人是平台而不是引擎,体量只有 KB 到 MB 级,对 IO 几乎没有要求,但对一致性要求很高。把元数据从数据目录里拎出来独立存放之后,实例恢复身份这件事就不再依赖原来那块数据盘了。

备份走对象存储。全量备份压缩之后落对象存储,属于离线链路,完全不占在线存储的资源。

拆开之后,漂移的链路就顺了:调度器把 Pod 挪到别的节点 → 平台按集群身份找回元数据,实例先搞清楚“我是哪套集群的哪个分片、原来什么角色” → 本地数据盘重新分配 → 以从节点身份加入,通过 Redis 原生复制把数据同步回来 → 需要的时候再做一次主从切换。

这里有个关键点:数据不是从旧盘上“搬”过来的,而是重新复制出来的。也正因如此,这个专项必须和“主关从开”配套用——主节点不落盘省掉 IO 压力,从节点落盘保证数据始终在盘上有一份,实例重建时才有东西可同步。快速摘除异常节点、重新注册主从关系、重置哨兵的 master 信息这几个动作,也都做成了平台上的标准运维操作,不再是靠人手改配置。

本地盘不是白拿的,代价得摊开说。腾讯云有篇讲有状态服务上 K8s 的文章把本地盘分两句讲:好处是避开网络 IO 开销,换来更高的读写性能;坏处是节点故障之后数据访问不到、可能丢失,也没法垂直扩容。前一句就是我们选它的全部理由,后一句得自己补上。共享存储被写穿那一下,挂在它上面的实例一起被拖住,形态上就是“数据访问不到”,只是当时出问题的是存储侧,换成本地盘之后出问题的是节点侧。所以反亲和要做成强制的、备份要能随时拖起来、漂移的时候数据靠复制重建而不是等盘回来,这三件事少一件,本地盘就从性能方案变成风险放大器。


图 4 分离之后:元数据找回身份,本地盘承接写压力,数据靠复制重建

共享存储的 IO 压力降下来了

分离之后,共享存储上基本只剩元数据这一类小 IO,Redis 的写放大和快照突发全部落在本地盘。远程存储不再站在在线读写路径上,之前那种“几套大实例同时做快照把存储打满”的场景就消失了。同期我们把数据节点从提供存储的机器上迁了出去,存储机器只做存储——数据的性能和存储的服务能力从此互不拖累。

漂移的前提:别把鸡蛋放在一个篮子里

Pod 能挪,还得保证挪出去的位置不制造新的风险。两条约束固化进了集群创建流程。Pod 这一层,同一套集群的主从节点强制反亲和,不允许调度到同一个节点上;虚拟机这一层,节点所在虚拟机的宿主机也要打散——Pod 反亲和只能保证“不在同一个节点”,但两个不同节点完全可能是同一台物理机上的两台虚拟机,物理机一挂,两个“不同节点”同时下线,Pod 反亲和就白做。

物理机、虚拟机、Pod 三层故障域都打散,一次漂移才真的是换了一个故障域,而不是换个位置继续挤在一起。


图 5 少一层反亲和,故障域就没打散

边界再说清楚一点

这套机制覆盖的是“实例能重建、身份能恢复、数据能重复制”。极端场景下本地盘的整块故障自动转移、元数据的定期备份回滚,目前还在治理中,也一并列进了文末的未来规划。把边界说明白,是因为这两块恰恰是分离架构新引入的关注点:数据可以靠复制重建,元数据不行。

专项四:参数治理与性能调优

Redis 的参数有两百多个,跟规格、负载场景强相关。这个专项我们分四层做了系统性治理。

第一层:分版本默认参数基线

Redis 6、7、8 三个大版本的参数体系有差异,同样的参数在版本间的行为也可能不同。我们基于兼容性测试和性能测试,整理并落地了三个版本各自的默认参数集,目标是开箱即用、保证稳定性。所有新集群创建都从基线出发,这是后面一切优化的地基。

第二层:配置热更新产品化

参数总归是要改的。以前改参数要么进容器改配置文件重启,要么让平台侧执行命令,都不安全也不方便。

我们做的方式是让平台从引擎的参数元数据里自动读取全部可调参数,在页面上以下拉框的形式提供配置入口。关键设计是区分动态和静态:动态参数在线修改、立即生效,适合应付流量突增或者限流调整;静态参数则走滚动重启流程,但不是简单重启——先生效从节点,再触发一次主从切换,最后重启原主节点。这样滚动重启的风险被控制在单节点范围内,参数生效的同时业务几乎无感。


图 6 静态参数的滚动重启顺序:从 → 切 → 主

第三层:参数自动计算

Redis 不少参数需要跟规格匹配,手工填很容易出错,比如内存上限填得比容器配额还大,实际运行时会出各种奇怪问题。

我们把这类参数从“手工填写”改成“按规格自动推导”。举几个原则性的例子:

  • 内存上限按规格的 80% 左右计算,留出客户端缓冲区和系统开销的空间;

  • 客户端缓冲区上限再取内存上限的一个小比例(5% 左右);

  • 复制积压缓冲区按规格大小自适应,设了下限和上限,小规格不至于占太多内存,大规格不至于不够用;

  • 客户端输出缓冲区的软硬限制跟积压缓冲区联动,避免慢客户端把内存吃光。

这些公式都不复杂,但它们跟着规格走,同一套模板在不同规格上都能得到合理的配置,这一点比任何一份“最佳实践文档”都可靠。

第四层:性能细节

三个具体的点:

IO 线程数(io-threads)之前是固定值,在小规格上出了问题。CPU 核数不够的时候开多线程 IO,线程之间频繁上下文切换,延迟反而变大。后来改成按核数动态设置:小规格不开启或者用 1,核数够了再开到接近核心数,把 IO 线程和主线程的 CPU 争用避免掉。

自动碎片整理之前没有开启,长时间运行的实例内存碎片率会上来。我们把碎片整理的参数补进默认配置:启用碎片整理,调整触发阈值的下限,同时控制好整理的天花板,避免碎片整理本身消耗太多 CPU。

大 Key 治理,包括热 Key 扫描和大 Key 分析的展示优化,把“哪些 Key 有问题、问题有多大”直观地摆在业务面前。

专项五:数据安全

高可用解决的是“故障时服务还在”,数据安全解决的是“不管发生什么,数据都在”。这个专项做了三件事。

备份体系。 支持全量备份,可以定时也可以手动触发,备份数据自动持久化到对象存储。运维人员可以随时从备份恢复数据、回滚。后来我们还做了两个升级:一是从备份创建新集群——用生产备份直接拉起一个隔离的新环境,问题复现、功能验证、变更演练这三个场景都特别有用,以前要么在生产上冒险操作,要么手动导数费半天劲;二是恢复不必回到原来那套集群——同一个备份既能原地拉回来,也能恢复到另一套集群上,我们在测试环境完整验证过恢复流程,确保备份真的能恢复,而不是“备份任务成功但恢复失败”这种最尴尬的情况。


图 7 数据安全三件事:备份的三条出口、Key 治理、凭据初始化

数据治理工具。 热 Key 扫描在线分析实例里访问频率最高的 Key,帮助定位热点;大 Key 过滤在备份和分析过程中识别过大的 Key,避免单个大 Key 拖垮内存和性能。快照分析这一块也做了增强:业务以前拿到快照数据后要自己想办法分析,现在平台支持按前缀过滤和导出具体 Key,想让业务看什么就能给什么。这几项在原来那套托管平台上是提不出来的需求——它只做虚拟机部署,热 Key 分析、备份统一管理这类事不在它的路线图里。业务报了问题,我们也只能陪着一起等。

账号安全。 早期 Redis 用的是固定密码,现在改成随机密码初始化,降低凭据管理体系里的风险面。

专项六:可观测与稳定性

日志。 运行日志和慢日志都接入了日志平台,慢日志还单独做了 exporter。容器里的日志有堆栈场景,我们配置了多行合并规则,保证错误堆栈在日志平台上是一条完整的记录而不是散着的几十行。现在排查异常不需要登机器了,这是运维体验改善最直观的一项。

告警。 从零建立了告警配置,配合告警专群做触达。告警规则本身也做了治理——比如集群刚创建还没交付时不告警,避免干扰值班。

拨测。 我们用拨测做业务视角的可用性验证,参考了 blackbox 的思路。这里有个挺有意思的设计:以前拨测和告警最烦的场景是“初始化时误告警”“维护时误告警”——变更窗口内的实例状态跟业务预期不一致,拨测结果就没法用。

根因是集群没有一个地方表达“我现在处于什么状态”。所以我们给模板加了生命周期标签,集群在整个生命周期里有明确的状态:初始化、已交付、维护中、待回收、已回收。拨测和告警根据状态区别处理——维护中的集群不告警不拨测,已交付的集群正常告警正常拨测。变更窗口的噪音一下就消掉了,值班同学再也不用在维护时手动屏蔽告警。


图 8 生命周期标签:每个状态对应一套拨测与告警策略

业务关联。 这个能力我们觉得是最实用的:平台可以拿到连接 Redis 的客户端 IP,然后关联到对应的业务 Pod 并展示出来。以前排查一个连接数暴涨或者大 Key 是谁的,要在库里查半天客户端信息再去对业务;现在打开页面就能看到“是哪个业务的哪个 Pod 在连这个实例”,排查时间从几十分钟缩短到一眼。

监控看板。 指标导出接入统一的监控平台,集群级的监控看板、全局仪表盘都建起来了,多集群的健康状态集中展示。

专项七:交付与运维提效

业务自助:modio 工单 + SKU 规格

容器化中期,Redis 的开通入口接到了内部工单系统 modio。业务直接在工单里选规格、提交申请,平台收到工单后自动完成集群创建,再把连接信息回填到工单里。业务从“提申请、等排期、等运维操作”变成了“选规格、等几分钟、拿地址”——规格选择、组件版本、资源配额、监控开关,全在工单里选完,不再需要来回沟通确认。

规格这一块(我们内部叫 SKU)开放了多个标准化档位,从入门规格到大内存规格都有,用户按需选。背后是一套规格体系:每种规格对应一套固定的资源配额和参数基线,跟内部原来的托管平台规格对齐,业务迁移过来不用重新理解一套规格定义。


图 9 一次自助开通:业务只提交一次申请,剩下的都在平台里

交付质量兜底。 自助化之后,交付质量的要求反而更高了,因为流程里没有人工兜底。所以几个交付动作被固化进了流程。

其中一个是交付后的自动化钩子。平台在“集群创建完毕”这个节点上挂了 hook,可以接着自动执行一批集群级的 ops 操作,第一个用起来的就是主动主从切换。

这一步看着有点多余——集群刚建好,主从本来就有了,为什么还要再切一次?因为它要保证的是编号 -1 的实例落在 primary 上,而后面那套自愈逻辑正是按这个假设写的。平时看不出差别,可一旦遇到极端故障、一整套集群同时失联再恢复,恢复顺序和角色判定就会跟这个假设对不上,最后还是得靠人工去指定谁是主。让 -1 在交付时就位,等于把自愈的前提提前铺好:真出事的时候,集群自己就能收敛,不需要人半夜上手。

另一个是返回给业务的连接地址按交付规范生成——sentinel 主从返回固定的服务地址,集群内和集群外访问分别提供对应的方式;期间发现过返回地址错误的问题,也一并修复了。

变更审批与追溯。 自助化把开通的门槛降下来了,但生产环境的变更不能靠自觉。关键操作一律走审批:谁申请、谁批的、改了什么参数、什么时候生效,链路上全程留痕,事后能一条一条倒回去看。这一层首先是合规要求,对我们自己更有用的地方在于——只有变更可追溯,复盘时才分得清是代码写错了还是某个人在某个时间点手改了一下。分不清这件事,问题清单就永远消不干净。

双向集成。 星云侧提供了跳回 modio 的入口,两边业务信息关联展示,排查问题时能快速找到工单信息。

modio 侧的管理能力。 我们还把一批运维操作通过 ops 暴露出来,支持 modio 侧的泳道开发:Kafka 的 topic 管理,RabbitMQ 的用户、vhost、交换机、队列、权限的增删查,以及 exchange 的 bind/unbind,都可以通过 ops 自助完成一部分。

通用提效。 集群模板、模板克隆、连接信息一键拷贝这些功能把日常交付和复制环境的时间从“按步操作”压缩到“点几下”。节点维护模式支持批量把节点上所有主节点切换成从节点,维护前跑一次,业务无感。主动、被动主从切换、指定实例提升这些都产品化了,让切换从“写脚本执行”变成“页面点选”。

扩容缩容与网络。 扩缩容期间修掉了一批问题:水平扩容启动脚本失败、副本缩容异常、扩容从节点时出现多个主、nodeport 场景下副本扩容异常。网络暴露方式也做了一次演进——之前主从模式给业务暴露的是 pod IP,现在改成服务地址。服务地址的好处是 Pod 重建、调度变化对业务透明,连接不会因为一次重建产生一次故障。分片集群的 IP 宣告也做了优化,让它跟服务地址一致。外部访问的兼容性问题也一并处理了。

成果与收益

稳定性。 现在前面提到的那些故障场景基本都能自动收敛:哨兵切换不需要人工介入、主节点空数据不会对外服务、哨兵全挂恢复后自动切主、维护窗口不再误告警。值班同学从“随时准备登机器救火”变成“处理平台推送的告警”。这些结论不是推演出来的,是一场一场演练打出来的:节点整机宕机、节点计划维护与网络隔离、节点 CPU Soft Lock、实例内存 OOM、分片集群主从切换、哨兵注册信息迁移与快速切换、CoreDNS 出问题时的哨兵行为、用备份拉起一套新集群。演练报告是发布准入材料之一,一个场景没演练过,就不能说它“能自动收敛”。

交付效率。 交付从天级缩短到分钟级;自助开通后,业务从工单流出到拿到连接信息只要几分钟。规格、版本、资源配额、监控开关都在一张工单里选完,平台按模板把整套集群拉起来,一套三主三从的分片集群三分钟起。链路短了,中间的人工确认和排队都省掉了。

成本。 资源池化管理,按实际用量分配,专用节点池保障性能——生产环境的 Redis 有独立的专用节点,不会跟其他业务争资源;测试环境按需分配。省了多少,测试环境有一组前后对比:同一批 Redis 集群容器化之后,CPU、内存、存储三项都降到原来的三分之一左右,降幅在 63% 到 69% 之间。这组数字不能直接推到生产——测试环境的负载形状比生产规整,也没有真实的峰值流量,生产上不会降得这么整齐。但省下来的东西是同一类:过去按峰值留给每台虚拟机的余量,现在被资源池吸收了。还有一块是看不见的成本:不再为第三方托管平台的许可付费,长期成本从跟着合同走变成自己算得清。行业里也有量级参照,B 站把 Elasticsearch、ClickHouse 这些有状态服务搬上 K8s,存储选本地盘加 LVM、靠反亲和防单点,公开的数字是资源利用率从 5% 提到 15%、省下上百台物理机。


测试环境容器化前后资源对比

基础设施解耦。 业务数据、集群元数据、备份各走各的存储,共享存储不再承接在线写压力;节点维护和实例重调度从“要提前几天准备的人工工程”,变成了平台上的常规动作。

体验。 业务侧基本无感:故障时不用改配置,开通时不用等排期,排障时有人帮他定位是哪个 Pod 在连。

经验与感悟

容器化真正难的部分,是让“人”的经验不再被需要。 容器化本身不复杂,把 Redis 跑在容器里几天就能做到。难的是把过去靠供应商、靠熟练度、靠流程保证的东西,变成代码和产品能力。我们做的每一个专项,本质都是把一条“只有某个人知道怎么处理”的经验,变成“平台自动处理”。这件事没有尽头,但每做一条,系统就强一分。

数据库产品的底线思维和业务系统不一样。 业务系统出故障,降级、限流、fallback,有很多手段。数据库不行,数据没了就是没了。所以“猝死保护”我们选择了最保守的设计——宁可阻塞等待人工介入,也绝不以空数据启动。这类原则要写进代码里,不能只写在文档里,因为真正出事的时候,没有人会记得文档上写过什么。

先分清数据流,再选存储。 共享存储扛不住的时候,我们一度以为那是规格问题,加盘、扩容都试过。真正的转折点是换个问法:这份数据是谁在读、读得有多频繁。想清楚这个,业务数据落本地盘、元数据走独立小卷、备份进对象存储就是自然的结果,而不是权衡出来的妥协。存储架构的账,最后都是数据流的账。

开源 Operator 和自研平台的边界要清楚。 KubeBlocks 帮我们省掉了大量底层工作,但通用产品到生产产品之间有一段距离——哨兵高可用方案、持久化策略这些,都要结合实际场景自己做。选开源组件的时候想清楚“我用它的什么、哪些自己做”,比单纯比较功能列表重要得多。

快手公开的那份大规模 Redis 上 K8s 的实践是同一条路:也用 Operator 管生命周期,也靠细粒度打散调度把故障域切开,也用 Admission Webhook 挡非预期的变更。这类分享对我们最有用的地方不是抄方案,而是确认了边界在哪:开源组件替你把实例的生命周期管了,但它不会替你把 SLA 兜住。

这一年做的专项,几乎都能在别人的问题清单里找到对应项。 B 站把 Elasticsearch、ClickHouse 这些有状态服务搬上 K8s,腾讯云那篇讲有状态服务上 K8s 的文章,包括前面提到的快手,踩坑的位置高度重合。这说明容器化中间件要补的能力是共性的,不是我们特殊;也说明没有谁能替谁走一遍。

团队的坚持才是最关键的。 这一年的优化里,相当一部分工作是在夜里、在业务低峰期完成的——迁移、切换演练、参数调整,很多动作必须放在业务量最低的窗口。也是这一年的坚持,让平台从“能演示”变成了“业务敢用”。回头看,问题清单是一步一步消掉的,没有捷径。

未来规划

存量迁移。 新建集群已经不再走虚拟机的交付方式,接下来的重心是把存量一套一套搬过来:按业务等级分批,先做内部业务系统和等级高的集群,每一批都带着演练报告和回滚方案走。

多数据库矩阵。 Redis 的这套能力还在往外扩:MySQL、PostgreSQL、MongoDB、消息队列(RabbitMQ、Kafka、RocketMQ)、搜索引擎都在推进中,部分已经上线。数据服务管理平台的目标是成为内部所有有状态服务的统一交付入口。

可用性继续往上走。 有几个方向在进行中:本地盘数据漂移治理——极端故障场景下实现本地存储数据的自动故障转移;远程存储元数据定期备份到本地——控制远程存储整体故障时的爆炸半径;主从状态实时感知集成——让平台对 Redis 主从状态的变化更实时;实例整体宕机后的自动恢复能力。

自助能力深化。 批量配置变更、和 CMDB 的联动、SKU 体系的持续演进都在排期里。方向只有一个:中间件的交付和运维尽量不再需要人工介入。

参考资料

《是否应在 Kubernetes 上运行 Redis?快手这样做》

《谁说数据库不应放在容器中?B 站 Kubernetes 有状态服务实践》

《揭秘有状态服务上 Kubernetes 的核心技术》

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
没人买了吗?苹果宣布 iPhone Duo 大幅提前发货

没人买了吗?苹果宣布 iPhone Duo 大幅提前发货

XCiOS俱乐部
2026-11-17 16:26:04
出差去一趟长沙,我发现长沙人跟国内其他地方的人有很大差别

出差去一趟长沙,我发现长沙人跟国内其他地方的人有很大差别

据说说娱乐
2026-11-18 00:18:32
会一起停下来吗?苏亚雷斯透露梅西推迟退役的秘密

会一起停下来吗?苏亚雷斯透露梅西推迟退役的秘密

本泽体育
2026-11-18 06:12:15
72%安卓机被一张照片骗过,苹果在iPhone Duo上换了打法

72%安卓机被一张照片骗过,苹果在iPhone Duo上换了打法

Ping值焦虑
2026-11-17 06:03:20
男子花3500找了一个小姐,又觉得不过瘾,让小姐再喊个闺蜜过来“一起玩”

男子花3500找了一个小姐,又觉得不过瘾,让小姐再喊个闺蜜过来“一起玩”

张晓磊
2026-10-18 11:58:47
美股存储芯片、光通信深夜直线跳水,闪迪、美光科技跌超3%,黄金白银短线拉升

美股存储芯片、光通信深夜直线跳水,闪迪、美光科技跌超3%,黄金白银短线拉升

21世纪经济报道
2026-11-17 23:45:04
1985年,李讷携丈夫前往探监,江青端详了半晌说出一句话,令女婿当场愣在原地

1985年,李讷携丈夫前往探监,江青端详了半晌说出一句话,令女婿当场愣在原地

磊子讲史
2026-11-06 15:14:45
巨大争议!国乒小将中断比赛11分钟据理力争 裁判改判究竟对不对?

巨大争议!国乒小将中断比赛11分钟据理力争 裁判改判究竟对不对?

念洲
2026-11-17 08:08:37
李家超抵达深圳

李家超抵达深圳

政知新媒体
2026-11-17 17:08:37
《GTA6》再现偷盘哥!换了不承认 用各种理由仅退款

《GTA6》再现偷盘哥!换了不承认 用各种理由仅退款

游民星空
2026-11-17 21:07:22
正式签约!38岁老将!历史助攻王回来了

正式签约!38岁老将!历史助攻王回来了

篮球教学论坛
2026-11-17 17:34:32
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
从7.1.4到11.3.4,汽车音响声道卷到头了?

从7.1.4到11.3.4,汽车音响声道卷到头了?

Autolab
2026-11-17 22:09:43
30岁河南外援渴望进国足:若被归化很荣幸!在中国3年像活在电影里

30岁河南外援渴望进国足:若被归化很荣幸!在中国3年像活在电影里

我爱英超
2026-11-18 00:01:01
004航母进度太猛!10天三处大合拢,年底外飘甲板可能全闭合

004航母进度太猛!10天三处大合拢,年底外飘甲板可能全闭合

张斌说
2026-11-17 17:54:12
张佳宁被曝怀胎仅两月,张晓龙三胎首度曝光,两人关系早已难掩

张佳宁被曝怀胎仅两月,张晓龙三胎首度曝光,两人关系早已难掩

钟厨娘
2026-11-16 23:57:40
星途尽毁!《请回答1988》男星酒驾撞人:宣布无限期停工

星途尽毁!《请回答1988》男星酒驾撞人:宣布无限期停工

陈意小可爱
2026-11-18 05:47:57
韩国发布高考防AI作弊措施:所有考生衣服纽扣必须用贴纸密封,只要将智能设备带入考场,都将被视为作弊

韩国发布高考防AI作弊措施:所有考生衣服纽扣必须用贴纸密封,只要将智能设备带入考场,都将被视为作弊

极目新闻
2026-11-17 23:45:26
星链被替换,乌克兰使用HiSKY终端打击俄罗斯,马斯克或失去更多

星链被替换,乌克兰使用HiSKY终端打击俄罗斯,马斯克或失去更多

山河路口
2026-11-16 14:24:17
侯耀华发文:认贼作父!郭德纲认马志明为义父,怎么惹了侯耀华?

侯耀华发文:认贼作父!郭德纲认马志明为义父,怎么惹了侯耀华?

蜜桔娱乐
2026-11-16 08:56:04
2026-11-18 07:40:49
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
13221文章数 52170关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

数码
手机
艺术
家居
军事航空

数码要闻

NVIDIA发布全新GPU猛兽!CUDA核心数量创纪录:首次超过5万个

手机要闻

iPhone Duo屏幕开裂事件再起波澜 苹果被指施压折叠屏供应商撤回声明

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版