网易首页 > 网易号 > 正文 申请入驻

克隆代码库从15分钟缩到500毫秒,Uber怎么做到的

0
分享至

Uber 的工程师们最近干了一件挺狠的事:把自家大规模单体代码库的 Git 操作,整个搬到了一个叫 GitFarm 的共享服务上。效果立竿见影——客户端资源占用直接砍掉了 80% 以上。

以前,Uber 的自动化系统每天要在支持 Go、Java、Python、Web、Android 和 iOS 的单体代码库上调用数百万次 Git 操作。每个服务都得维护一份完整的代码库检出副本,读文件、验证变更、计算合并基础,全得自己来。克隆一次 Uber 的 Go 语言单体代码库,大约需要 15 分钟,还得搭上 6 个 CPU 核心、32 GB 内存和超过 40 GB 的磁盘空间。这套本地克隆加反复同步的老流程,成了实打实的基础设施瓶颈。


GitFarm 的思路很简单:别让每个服务都自己扛代码库,把 Git 操作集中起来做成服务。它不是一个新的源代码管理系统,而是一个中心化的 Git 客户端,替其他服务执行标准的 Git 命令。客户端不再需要本地克隆,通过高性能的 gRPC API 就能发起请求,网关负责认证和授权,然后把请求路由到后端集群,命令在隔离的、临时的沙箱里运行。

这套架构的关键在于“池化”。后端维护着裸代码库克隆,用推送式更新和定期抓取跟上游保持同步,同时维护着一批代码库检出和沙箱容器池。请求来了,GitFarm 直接把一个预热的检出挂载到空闲沙箱上,而不是从头创建克隆和执行环境。Uber 工程团队在 LinkedIn 上表示,完整的 Git 检出现在 500 毫秒内就能完成,以前 10 到 15 分钟的主机级冷启动时间直接归零。

多命令工作流也做了优化。GitFarm 通过双向 gRPC 流会话,支持在同一个检出上顺序执行多个命令。比如获取分支、计算合并基础、推送派生引用这一串操作,不用反复初始化代码库状态。客户端需要最新上游状态时可以显式执行 git fetch,能接受数据滞后的工作负载,直接用后端同步好的状态就行。

实际效果怎么样?Uber 透露了一个具体案例:某代码所有权服务迁移到 GitFarm 后,移除了跨六台主机的本地检出,CPU 消耗从 70 多个核心降到 16 个,内存从 400 GB 降到 32 GB,启动时间从 15 到 20 分钟缩短到不到一分钟。另一个合规审计服务,每小时处理 10000 到 20000 个事件,跨越 9000 个代码库,中位延迟从用 Buildkite 时的 110 到 160 秒,降到了用 GitFarm 时的 20 到 30 秒。

这套架构对编码智能体(AI coding agent)的工作负载也友好。Uber 的 Ashish Verma 在 LinkedIn 上指出,智能体会反复搜索、分支、差异比较、实验、重试和验证变更,而且是并发进行的,对 Git 基础设施的压力不小。GitFarm 这种即取即用的模式,正好接得住这种高频、并发的操作模式。

GitFarm 自 2025 年初投入生产环境适应以来,路线图上还有不少东西:流式 Git 输出、稀疏检出、裸工作空间、更长时间的会话、代码库镜像,以及 SubmitQueue 集成。对于代码库大到克隆一次都要等一顿饭时间的团队来说,这套思路确实值得盯着看。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
67岁男子在飞机头等舱醉酒闹事,被3名乘客合力制服绑成“木乃伊”;美国航空公司发布最新声明

67岁男子在飞机头等舱醉酒闹事,被3名乘客合力制服绑成“木乃伊”;美国航空公司发布最新声明

扬子晚报
2026-09-05 14:42:18
精准炸断1000公里外跑道,伊朗“堡垒破坏者”让美军头疼

精准炸断1000公里外跑道,伊朗“堡垒破坏者”让美军头疼

上观新闻
2026-09-05 13:05:24
4-1!39岁法布雷加斯太神了,率队登顶意甲,皇马8000万弃将破门

4-1!39岁法布雷加斯太神了,率队登顶意甲,皇马8000万弃将破门

球场没跑道
2026-09-05 13:37:48
高校思政专职教师数量越多,我们离诺贝尔奖越远

高校思政专职教师数量越多,我们离诺贝尔奖越远

细雨中的呼喊
2026-09-05 07:04:43
9月4日俄乌最新:南线溃败

9月4日俄乌最新:南线溃败

西楼饮月
2026-09-04 23:12:19
国产手机失算了,集体涨价几百上千,原以为门庭若市,结果门可罗雀

国产手机失算了,集体涨价几百上千,原以为门庭若市,结果门可罗雀

王新喜
2026-09-04 11:21:22
美总统特使抵达莫斯科,将向俄方提供结束俄乌冲突的方案

美总统特使抵达莫斯科,将向俄方提供结束俄乌冲突的方案

界面新闻
2026-09-05 17:10:25
2026相亲市场:大部分有房有车有存款的男人,正逐渐失去竞争力

2026相亲市场:大部分有房有车有存款的男人,正逐渐失去竞争力

舒山有鹿
2026-09-05 13:04:51
问界汽车报案!

问界汽车报案!

鞭牛士
2026-09-05 08:50:36
“许昌不大,我非找到你不可”!顾客团购小龙虾苦等20多分钟,写差评遭商家威胁

“许昌不大,我非找到你不可”!顾客团购小龙虾苦等20多分钟,写差评遭商家威胁

火山詩话
2026-09-05 08:01:47
第一批戴运动手环的“受害者”出现了……

第一批戴运动手环的“受害者”出现了……

都市快报橙柿互动
2026-09-05 01:13:55
破船永久不走了!国防部这次不再忍,没等菲方闯岛直接给了下马威

破船永久不走了!国防部这次不再忍,没等菲方闯岛直接给了下马威

吕醿极限手工
2026-09-04 17:54:15
全场看呆!美军连夜狂射130枚导弹,中国预警机全程在线围观

全场看呆!美军连夜狂射130枚导弹,中国预警机全程在线围观

共工之锚
2026-09-05 00:20:38
景甜被除名,震惊全网!

景甜被除名,震惊全网!

财经三分钟pro
2026-09-03 16:39:54
袁腾飞移民美国的几个细节问题

袁腾飞移民美国的几个细节问题

十柱
2026-09-05 10:15:57
周末利空!43个百亿创新药龙中报暴雷,龙头暴降983%,别踩雷

周末利空!43个百亿创新药龙中报暴雷,龙头暴降983%,别踩雷

鹏哥投研
2026-09-05 13:00:44
闹大了!49岁高管在上海长海医院试药后当天昏迷,50天后离世,家属讨说法被骂“滚开”

闹大了!49岁高管在上海长海医院试药后当天昏迷,50天后离世,家属讨说法被骂“滚开”

子非鱼人
2026-09-05 00:14:07
王晶爆张国荣跳楼内幕!抑郁症只是一方面,受内地金主影响最大

王晶爆张国荣跳楼内幕!抑郁症只是一方面,受内地金主影响最大

可乐谈情感
2026-08-30 07:27:10
大模型蒸馏时代结束!Fable 5.1改写API,彻底切断蒸馏后路

大模型蒸馏时代结束!Fable 5.1改写API,彻底切断蒸馏后路

新智元
2026-09-05 08:01:01
花40W租房2年,退租时房东要求扣除押金、更换新家具;租户:花了2千多清理房子,房东依然不满意;房东:她不是修复,只是掩盖

花40W租房2年,退租时房东要求扣除押金、更换新家具;租户:花了2千多清理房子,房东依然不满意;房东:她不是修复,只是掩盖

大风新闻
2026-09-05 17:05:09
2026-09-05 18:04:49
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
240文章数 80关注度
往期回顾 全部

科技要闻

华为何庭波,再次更新韬定律论文

头条要闻

吉隆泥石流至今未发现幸存者 专家:具有"毁灭性特质"

头条要闻

吉隆泥石流至今未发现幸存者 专家:具有"毁灭性特质"

体育要闻

小卡来去10首轮,快船7年彩礼一场空

娱乐要闻

她曾被名导抛弃,凭《生逢其时》翻红

财经要闻

被曝试药后死亡,药企董事竟怒怼记者

汽车要闻

全新第四代博越Li‑HEV系列 怎么开都省

态度原创

教育
房产
家居
亲子
数码

教育要闻

这就是双胞胎的神奇之处吗?兄弟俩高中在不同学校,高考成绩仅差1分 共同考上郑大#双胞胎 #郑州大学 #河南dou知道 #神奇

房产要闻

嘉禾郡|全新样板间盛大开放|三重豪礼解锁,至高可省20万!

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

“阿姨,你该长大了”,宝妈撒娇痛哭,不愿走1.5公里送娃上学,看力竭了

数码要闻

DLSS5增加显卡功耗:显卡越强功耗越高RTX 5090最明显

无障碍浏览 进入关怀版