网易首页 > 网易号 > 正文 申请入驻

Cursor工程师拆解Git托管20年难题:S3当WAL,磁盘Git降级为缓存

0
分享至

Cursor 工程师 Vicent Martí 最近发了一篇技术长文《Git at any scale》,把 20 年 Git 托管为什么这么难,讲成了一条干净到可怕的问题链。这位老哥在 GitHub 干了十年 Git 存储,是 libgit2 那拨人,对 Git 底层的理解属于第一梯队。

先说清楚,这篇文章跟 Origin 上线的软文没关系。Origin 现在还是 early beta,压测数字不是 SLA,镜像仓的 source of truth 仍是 GitHub。但文章本身,把 Git 托管的核心矛盾拆得极其透彻。


Git 的分布式,在服务端是原罪

Linus 当年给内核设计的是去中心化工作流,客户端每台电脑一份完整仓库,这在协作上是优点。但今天所有公司都跑在中心化托管上,问题就来了:服务器上的仓库必须和你笔记本上的长得一模一样。

文件系统语义、随机 IO、DAG 指针追逐,全是按这个假设长出来的。托管 Git 难,根源在数据模型就别扭。客户端分布式是特性,服务端分布式是枷锁。

对象扔进 S3 就完事?会被往返延迟打死

你不能把 Git 对象直接扔进 S3 或者 KV 存储就完事。Git 是 DAG,读一个 commit 得先拿到它才知道下一个 tree 的 key,读了 tree 才知道 blob。对象级分布式会被往返延迟打死。

有人试过 DHT,普通操作还行,但 git clone 因为协议必须吐 packfile,直接崩了。这条路走不通。

GitHub 的 Spokes 成了行业标准,但死穴很硬

GitHub 2013 年做的 Spokes 后来成了行业标准:本地 NVMe 放完整仓库,packfile 复制,引用更新走三阶段提交,强一致,任意副本可读。

但死穴很硬:

  • 副本越多 push 越慢,被最慢那台拖死
  • 每个仓库要 3 个副本,闲着也占着
  • 仓库必须精确路由,checksum 坏了赶紧修

官方原话叫 repos as pets not cattle。2013 年 3 副本是最优解,今天巨型 monorepo 不够用,agent 海量短命小仓更不够用。

最值钱的翻转:S3 当 WAL,磁盘 Git 只是缓存

整篇最值钱的翻转在这里:Cursor 的 Continuity 把 S3 当 WAL,磁盘上的 Git 只是缓存。

Push 先写成 S3 上的 WAL,没持久化绝不 ack。本地 NVMe 是标准 Git 仓库,继续用原版 Git 工具,少发明新 bug。

没有 Paxos,没有 Raft,没有路由表,没有外部数据库。用 S3 的原子 CAS 选 primary,复制通知甚至走不可靠的 UDP gossip,丢包无所谓。replica 对 S3 做 conditional GET,304 说明已是最新,200 就追上。

有人压成一句话:S3 是块魔法软件,你肯让它当真相源,就能消掉 90% 的 Git 托管难题。不完全夸张。

伸缩形状终于对上了 Agent 世界

闲置仓库可以 0 副本,下次访问再从 WAL 物化。热 monorepo 可以拉到 100+ 读副本,读吞吐线性涨,push 不回退。

压测数据:S3 Standard 约 120 push/s,S3 Express One Zone 300+,瓶颈变成 Git 自己的 compaction。

人一天几次 clone push,agent 是几十上百个同时 clone、开分支、rebase、修 CI。旧架构两头难受:小仓浪费 3 副本,大仓加不了副本。这才是 Origin 存在的真正理由。

金句也是设计原则:降级时永远正确,健康时永远快

系统降级时永远正确,健康时永远快。降级从 S3 重建,正确性不丢;健康走本地 NVMe,快。

WAL 里有完整 provenance,每个 push 每次 repack 都能回放。Git 出 bug 时能精确倒带。

对不搞底层的人,记住三件事

第一,Cursor 做的事情跟 GitHub 皮肤完全无关。它在给成千上万 agent 同时撞同一个仓库修地基。上一轮 Cloud Agent 自动跟 PR 修 CI,底层要的就是这种存储。

第二,别因为这篇文章立刻搬家。Origin 早期功能不全,定价和安全细节还少,镜像仓 push 仍回 GitHub。

第三,可带走的心智只有一句:别把缓存当真相,日志才是真相。

AI 写代码的瓶颈,正在从模型会不会写,变成仓库能不能被一百个 agent 同时撞而不炸。这篇博客真正厉害的地方,是它把这句话写成了一个可运行的存储系统。

但设计厉害和产品打赢是两回事。应该是先敬畏技术,再等产品落地。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
郭德纲曾经在《欢乐喜剧人》对沈腾说:“赐名沈云腾”沈腾没接话

郭德纲曾经在《欢乐喜剧人》对沈腾说:“赐名沈云腾”沈腾没接话

西楼知趣杂谈
2026-08-19 21:16:19
前国脚:足协接受性贿赂不算啥事!就是运气差被查到了 都怪韩国

前国脚:足协接受性贿赂不算啥事!就是运气差被查到了 都怪韩国

念洲
2026-08-21 07:16:08
七旬阿婆往草莓熊的肚肚里藏进80克黄金!竟是为了……

七旬阿婆往草莓熊的肚肚里藏进80克黄金!竟是为了……

环球网资讯
2026-08-19 16:45:09
她18岁为人母,25岁四登春晚,跟逃犯睡了4年但不知对方身份?

她18岁为人母,25岁四登春晚,跟逃犯睡了4年但不知对方身份?

生命之泉的奥秘
2026-08-21 14:59:47
狂轰27分24板!女篮又冒出一天才中锋:15岁女孩有望联手张子宇?

狂轰27分24板!女篮又冒出一天才中锋:15岁女孩有望联手张子宇?

篮球快餐车
2026-08-21 04:05:01
美政坛爆大瓜,美女助理贴身报恩,特朗普不装了,地下五层惊全美

美政坛爆大瓜,美女助理贴身报恩,特朗普不装了,地下五层惊全美

琴音缭绕回
2026-08-20 19:07:02
这种身材在普通人家都嫁不出去!人大附中女孩引争议,走路都费劲

这种身材在普通人家都嫁不出去!人大附中女孩引争议,走路都费劲

世界圈
2026-08-20 09:29:58
当54岁宁静和67岁杨丽萍同框,一个臃肿一个干瘪,才懂啥叫大美女

当54岁宁静和67岁杨丽萍同框,一个臃肿一个干瘪,才懂啥叫大美女

青橘罐头
2026-08-21 10:10:37
巴基斯坦对美方提出强烈抗议

巴基斯坦对美方提出强烈抗议

参考消息
2026-08-20 18:56:06
风光散尽!前首富黄光裕近况曝光,隐居广州豪宅静养

风光散尽!前首富黄光裕近况曝光,隐居广州豪宅静养

静若梨花
2026-08-16 10:37:49
她是体坛冠军的大败类,为捞钱共侍二夫,坑害国民44亿后逃往美国

她是体坛冠军的大败类,为捞钱共侍二夫,坑害国民44亿后逃往美国

皮皮电影
2026-08-20 16:40:11
奔驰全新长轴距GLE SUV全球首秀:轴距3115mm,9月正式上市

奔驰全新长轴距GLE SUV全球首秀:轴距3115mm,9月正式上市

IT之家
2026-08-21 10:51:23
好好一张脸,打成蜂窝煤

好好一张脸,打成蜂窝煤

布衣乱弹
2026-08-19 17:57:12
600万新房首付仅90万!上海中介:购房者对新政感到惊讶

600万新房首付仅90万!上海中介:购房者对新政感到惊讶

第一财经资讯
2026-08-20 23:51:37
《重器》高能逆袭!张丽慧重返最高检,狠狠击碎余高远的野心!

《重器》高能逆袭!张丽慧重返最高检,狠狠击碎余高远的野心!

东方不败然多多
2026-08-21 12:19:01
被抓近三年后,许家印一审被无期!没收个人全部财产,前妻丁玉梅仍不见踪影,二人拿走恒大近500亿元分红,在许家印被抓之前,二人卡点...

被抓近三年后,许家印一审被无期!没收个人全部财产,前妻丁玉梅仍不见踪影,二人拿走恒大近500亿元分红,在许家印被抓之前,二人卡点...

金融界
2026-08-20 14:54:42
《重器》结局 张丽慧为爱高升南陆检察院 陈一众为爱放弃北京回滨江

《重器》结局 张丽慧为爱高升南陆检察院 陈一众为爱放弃北京回滨江

户外阿崭
2026-08-21 12:38:14
现年63岁的吉利创始人李书福,近日正式完成权力交接,辞任前,吉利账上仍有96.8亿元净利润,他为何偏偏选择这个时间点放手?

现年63岁的吉利创始人李书福,近日正式完成权力交接,辞任前,吉利账上仍有96.8亿元净利润,他为何偏偏选择这个时间点放手?

人生录
2026-08-21 00:05:11
不再雪藏败将!国乒亚运名单大调整,王励勤用人引全网两极争议

不再雪藏败将!国乒亚运名单大调整,王励勤用人引全网两极争议

林子说事
2026-08-21 11:00:09
1940-1965年出生的退休人,得到一个“特殊评价”!

1940-1965年出生的退休人,得到一个“特殊评价”!

人间颂
2026-08-21 11:22:11
2026-08-21 15:31:00
算力游侠
算力游侠
游走在API与报错之间,用魔法(AI)打败魔法的非硬核玩家。
156文章数 85关注度
往期回顾 全部

科技要闻

阿里AI的两面:云赚56亿,千问烧掉138亿

头条要闻

特朗普称今年要见金正恩 罕见指出朝鲜有57枚核武器

头条要闻

特朗普称今年要见金正恩 罕见指出朝鲜有57枚核武器

体育要闻

46岁小罗抵达意大利 将为拉文纳征战意丙

娱乐要闻

迪丽热巴与陈飞宇的恋情罗生门

财经要闻

三部门发布多条促内需优化政策

汽车要闻

全新长轴距GLE SUV全球首秀 奔驰全品牌矩阵集结蓉城

态度原创

健康
家居
时尚
房产
艺术

脊柱侧弯到什么程度,需要戴支具?

家居要闻

2026建博会(广州) 公装联探展交流活动

白西装,很大气!

房产要闻

两大热盘即将入市!三亚又一批安居房狠货要炸场了!

艺术要闻

24 岁一幅画震惊巴黎,他被骂 "对绘画的屠杀"︱欧仁・德拉克洛瓦

无障碍浏览 进入关怀版