网易首页 > 网易号 > 正文 申请入驻

团队 30 人,CI/CD 流水线从 Jenkins 迁到 Argo CD,我们踩了 7 个坑

0
分享至

部署变慢,团队崩溃,迁移ArgoCD的七个坑与真相。

我们团队三十个人,管着二十多个微服务,之前一直用Jenkins。Jenkins用了三年,越来越吃力,部署一次要等十五分钟,有时候点错了还得找人手动回滚。大家觉得不能再这么凑合下去了,就决定迁移到ArgoCD,搞GitOps。

本来以为换个工具就能省心,结果踩了七个大坑,差点把团队搞散。今天把这些坑写出来,算是给想迁移的人提个醒。这些教训不是从书上看来的,是实打实熬了几个通宵换来的。

第一个坑是授权配错了。我们一开始按照Jenkins的那套思路,想着给不同人设不同角色,结果ArgoCD的RBAC跟Jenkins完全不一样。搞了两天,权限还是乱的,该看到的看不到,不该看到的反倒能改。后来想通了,别一开始就设计完美模型,先跑通核心流程,让团队看到效果再慢慢细化。

第二个坑是Helm Chart版本管理搞得一团糟。GitOps要求所有配置放Git里,我们就把Chart也塞进去了,但没管版本依赖。自动同步一开,测试环境升级了Chart,结果依赖的服务全挂了。后来强制生产环境锁死Chart版本,测试环境放开但要走PR审批,这才稳住。

第三个坑是密钥怎么放。GitOps讲究一切皆代码,但密码明文放Git里谁敢啊。我们试了Sealed Secrets,折腾半天才把加密解密流程跑通。关键是让团队接受一个观念:密钥也是基础设施的一部分,Git里只存密文,密钥由集群内部管。



第四个坑是自动同步太猛了。我们开了Self Heal,想着一出问题自动修复。结果运维手动改个配置排查问题,刚改完就被ArgoCD恢复成Git里的样子,改半天白改了。后来学会了,生产环境关掉Self Heal,用Manual策略;测试环境开Auto Sync,但明确告诉所有人手动修改只用于临时调试,不会保存。

第五个坑是多集群管理。我们想着一个ArgoCD管所有集群,省事。结果配置复杂得要命,而且安全风险大,一个集群出问题可能影响其他集群。后来每个集群独立部署ArgoCD,用ApplicationSet统一管理多环境配置,虽然管理成本高了,但安全多了。

第六个坑是健康检查的坑。部署完服务一直显示“Progressing”,半天不变成健康的。查了半天才发现是readinessProbe配置不对,超时时间太短,初始延迟不够。ArgoCD的健康检查依赖K8s的探针,探针没配好,它就觉得服务永远没就绪。后来我们重新审视了每个微服务的探针配置,把超时和延迟调合适了。

第七个坑是回滚的坑。Jenkins回滚是重新跑一次构建,ArgoCD回滚是回退Git commit。一开始不习惯,觉得回滚就是修复Bug,但ArgoCD的回滚本质是还原状态。这就要求Git历史必须干净,每次发布都要打标签,commit message写清楚。后来我们养成了习惯,每次发布打Tag,回滚就指向上一个成功的Tag,再同步,再也没出过新Bug。

这些坑踩完后,我们总结了一些经验。迁移其实不是换工具,而是换一种治理方式。以前Jenkins是任务驱动,运维要盯着构建任务;现在ArgoCD是状态驱动,所有人都盯着Git仓库。Git仓库成了唯一真相源,谁改了什么东西,什么时候改的,为什么改,全都有记录。



效果也很明显。部署时间从十五分钟降到了三分钟,但更重要的不是快,而是稳。以前部署靠运气,经常出问题还得半夜拉起来重启;现在只要Git没问题,部署就不会出岔子。新人上手也快了,不用学复杂的Jenkinsfile,只要会改Git仓库、提PR、同步就行。

现在团队里大家不再讨论“怎么部署”,而是讨论“怎么改代码”。运维的工作也从“救火”变成了“体检”,日常就是审查Git历史、优化健康检查配置。回滚也不再心惊胆战,一键还原搞定。

如果你们团队也在考虑迁移,建议先别急着搞复杂的权限和自动化,先从最简单的流程跑通,让团队看到GitOps的好处。然后慢慢踩坑,踩完一个解决一个。记住,GitOps不是万能药,但它能帮你把混乱变成有序,前提是你们愿意改变习惯。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
强台风“沙德尔”逼近:9省区将迎5天风雨,浙闽直面最猛烈暴雨

强台风“沙德尔”逼近:9省区将迎5天风雨,浙闽直面最猛烈暴雨

上游新闻
2026-08-26 19:11:31
藏得太深!上海向南,正在悄悄造一个“新中心”

藏得太深!上海向南,正在悄悄造一个“新中心”

起喜电影
2026-08-26 13:38:29
被韩沛颖公开喊话后,“一言不发”的王晓晨,印证了俞灏明的评价

被韩沛颖公开喊话后,“一言不发”的王晓晨,印证了俞灏明的评价

孤芳自赏的小李
2026-08-26 00:29:22
赶尽杀绝!赢了18亿还不收手,杜建英杀回杭州,宗馥莉噩梦刚开始

赶尽杀绝!赢了18亿还不收手,杜建英杀回杭州,宗馥莉噩梦刚开始

奇思妙想生活家
2026-08-13 07:32:40
苏州竟然有3个堪称“巨无霸”的商场!到底谁是苏州商场真正的顶级王者?

苏州竟然有3个堪称“巨无霸”的商场!到底谁是苏州商场真正的顶级王者?

童童聊娱乐啊
2026-08-27 01:42:53
“我对他没有一点母爱了!”妈妈直言厌恶3岁儿子,网友一反常态

“我对他没有一点母爱了!”妈妈直言厌恶3岁儿子,网友一反常态

妍妍教育日记
2026-07-10 08:45:08
67岁许家印正式入狱服刑!没有特殊照顾只有从严监管:基本不会减刑

67岁许家印正式入狱服刑!没有特殊照顾只有从严监管:基本不会减刑

小蜜情感说
2026-08-21 10:56:51
刘翔公开卖惨:网传挂编享优待多年,如今让你上班有错?糊涂一时

刘翔公开卖惨:网传挂编享优待多年,如今让你上班有错?糊涂一时

大稻网络科技
2026-08-26 23:20:11
发出"灭国"警告,金正恩做出一个重大表态!

发出"灭国"警告,金正恩做出一个重大表态!

扶苏聊历史
2026-08-24 15:03:57
成都环轨道交通即将开工,2028年将迎来全新出行模式

成都环轨道交通即将开工,2028年将迎来全新出行模式

据说说娱乐
2026-08-27 02:41:24
“神药”阿托伐他汀:进口与国产,一场理智与情感的抉择

“神药”阿托伐他汀:进口与国产,一场理智与情感的抉择

重症医生张伟
2026-08-24 05:40:57
美国这回真坐不住了,大连造320米航母,目标真不是台海?

美国这回真坐不住了,大连造320米航母,目标真不是台海?

关系新篇章
2026-08-26 07:06:43
寿命长不长,看体重就知?过了71岁以后,体重最好保持在这个范围

寿命长不长,看体重就知?过了71岁以后,体重最好保持在这个范围

医学科普汇
2026-08-25 16:54:51
国米不会复制马竞巴萨闹剧,小蜘蛛风波为劳塔罗、巴斯托尼正名

国米不会复制马竞巴萨闹剧,小蜘蛛风波为劳塔罗、巴斯托尼正名

国际足球冷雪
2026-08-27 08:50:28
中国“首父”翻车?亿万富豪丑闻曝出,生上百个孩子只是冰山一角

中国“首父”翻车?亿万富豪丑闻曝出,生上百个孩子只是冰山一角

凡知
2026-07-08 09:53:33
血洗俄军!乌克兰8000架无人机蜂群扑向俄罗斯,改写现代战争规则

血洗俄军!乌克兰8000架无人机蜂群扑向俄罗斯,改写现代战争规则

民间胡扯老哥
2026-08-24 07:05:44
林依轮儿子林子濠官宣恋情,林依轮:这么大事儿,你爸妈知道不

林依轮儿子林子濠官宣恋情,林依轮:这么大事儿,你爸妈知道不

韩小娱
2026-08-25 15:58:10
工信部:将有序推动电信领域扩大自主开放

工信部:将有序推动电信领域扩大自主开放

界面新闻
2026-08-26 10:38:22
人伦大乱正在毁掉无数中国家庭:3种乱象就在日常,拖垮一家人

人伦大乱正在毁掉无数中国家庭:3种乱象就在日常,拖垮一家人

阿凯销售场
2026-07-04 15:35:28
中国空军突然亮剑!超200架战机升空,8大基地联动,释放强烈信号

中国空军突然亮剑!超200架战机升空,8大基地联动,释放强烈信号

林子说事
2026-08-26 11:28:47
2026-08-27 09:43:00
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
797文章数 9371关注度
往期回顾 全部

科技要闻

苹果邀请函:新CEO、折叠屏iPhone都要来了

头条要闻

"扶老人被索赔1.9万"死者亲属:外面热还继续"拖"老人

头条要闻

"扶老人被索赔1.9万"死者亲属:外面热还继续"拖"老人

体育要闻

兑现五年之约,含梗量最高的世界冠军诞生

娱乐要闻

包贝尔承认将柳岩推下水片段引爆热搜

财经要闻

英伟达,营收翻倍大增,指引碾压预期

汽车要闻

搭华为ADS 5/增程纯电可选 阿尔法T7预售13.78万起

态度原创

本地
艺术
手机
时尚
公开课

本地新闻

无印良品竟是桐乡造?这座小城藏着一个刀具帝国

艺术要闻

被艺术史雪藏的"线条魔术师"!梵高好友兼对手,画中女子一个比一个销魂

手机要闻

苹果秋季发布会邀请函暗藏玄机:iPhone 18 Pro Max两大卖点提前剧透

夏天上衣可以多穿黑色,不显花哨、不显胖,百搭经典又耐看

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版