把约1000个Pod、约1000TiB数据从旧集群搬到新集群,客户零感知、数据零丢失——Yelp 站点可靠性团队给出的做法是:数据根本不搬,只把指针换个地方指。
![]()
Yelp 已经把无状态负载通过 PaaSTA 部署层迁到了 Amazon EKS,Cassandra 却一直留在旧的自管理 Kubernetes 集群里。原因很直接:Kubernetes 没有内建办法把 StatefulSet 及其持久卷跨集群迁移。常规思路是在新集群加节点、再关掉旧节点,代价是算力临时翻倍,还要付数据传输费用;对最大的几个集群来说,光是把数据流过去就可能要几周。团队也评估过区域故障转移重建、以及在 EKS 里新建一个 Cassandra 数据中心,但都判定为对客户不够透明。
他们最终采用的办法叫「滚动 PV 移植」(Rolling PV Transplant),成立的前提有两条:EBS 卷绑定的是可用区,不是 Kubernetes 集群;PersistentVolume 本质上只是指向某个卷 ID 的指针。
具体操作是:先在 EKS 里预建引用现有卷 ID 的 PV 和 PVC,再建一个完全相同的 StatefulSet,其 Pod 停在 ContainerCreating 状态等待。自动化随后在旧集群上逐个删除 Pod,等卷卸载,让 EKS 侧的 Pod 接管。Pod 带着同样的数据和 token 范围重新加入环,然后处理下一个。Cassandra 的副本机制足以容忍每个节点离线的那几分钟。
迁移期间,两个集群里的自定义资源都设了 skipReconciliation: true 标志。因为有两个 operator 同时管理同一个逻辑环,这个标志用来防止它们对 Pod 状态产生冲突,EKS 侧在结束时清除。
整个过程没有节点从环里被正式下线,所以回滚就是把同样的操作反向做一遍。团队实际用了几次回滚,原因分别是一个缺失的子网定义和一处证书不匹配,都在几分钟内恢复了 Pod。经过一周手动开发验证加一周自动化,一名工程师用约三周跑完生产上线,典型一天迁三到六个集群。最大的集群是一个 54 个 Pod 的用户数据存储,端到端约 12 小时;全部约 90 个生产集群,客户零停机、无数据丢失。
编排脚本约 800 行 bash,是让 Claude 基于已验证的手动操作手册生成的,而不是让它设计流程,测试两天后做了小幅调整。这套方法依赖计算基础设施团队此前一次容器存储接口迁移的经验,数据基础设施团队因此对卷的卸载与挂载流程有信心。同样的技术也用在了 Kafka 集群上,团队称它适用于 Kubernetes 上任何绑定可用区的有状态负载。旧集群现已退役。
这套机制特有的一个故障是:Pod 删除后,AWS CSI 控制器留下了一个过期的 VolumeAttachment 对象,EKS 侧 Pod 卡在 Pending 且不报错,在旧集群上删掉该对象即解决。团队建议在任何自动化里为卡住的卸载和挂载操作设置明确的超时。
另外两个发现与机制本身无关:新加的 -eks 角色还没被定时任务代入,备份因 IAM AccessDenied 失败了 48 小时,而告警只开了工单没有呼叫值班;迁移期间暂停修复,还暴露了一个修复功能已被静默关闭三个月的集群,积累了数据不一致。计划类似迁移的团队,应在开始前审计修复状态、备份 IAM 角色和告警级别。
这不是在 EKS 集群间搬 Cassandra 的唯一路径。Monday.com 工程团队描述的是另一种:为 K8ssandra 管理的集群新建 Cassandra 数据中心,通过网络把数据安全传过去,再移除旧的——正是 Yelp 评估后放弃的流式方案。两者取舍不同:Yelp 的磁盘移植省掉了数据传输和额外算力,靠换指针实现回滚,但依赖 EBS 卷绑定可用区这一属性;Monday.com 不依赖该属性,旧环境保留到最后,代价是迁移更长、需要同时跑两边。尽管机制不同,迁移后的教训却相似:Monday.com 也专门写了迁移后验证备份、监控、仪表盘和告警,而 Yelp 的备份在首批生产集群落地 EKS 后 48 小时内就因 IAM 角色不匹配而失败。这些检查应当写进迁移计划,而不是留作事后清理。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.