网易首页 > 网易号 > 正文 申请入驻

每秒300次Push:Cursor把Git存储搬上了S3

0
分享至

每秒超过300次Push。这是Cursor在合成测试中跑出的数字,用的是S3 Express One Zone。同一套系统换成S3 Standard,这个数字掉到120次。差距来自存储层,不是代码层。

Cursor给这套Git存储架构起了个名字:Continuity。它的核心思路只有一句话——把S3上的预写日志(Write-Ahead Log,WAL)当作数据的最终依据,不再靠副本之间的协调来保证一致性。


副本越多,协调越贵

要理解Continuity在改什么,得先看传统方案怎么做。GitHub的Spokes架构维护多个NVMe副本提供存储能力,用三阶段提交更新Git引用。副本之间保持同步,读取请求可以交给任意一个副本处理。

问题出在扩展性上。副本越多,协调操作带来的开销就越大。这套逻辑在副本数量可控时运转良好,但副本规模一旦上去,同步成本会吃掉大部分收益。

Continuity换了一条路。Push上传的数据写入S3,相应的引用更新记录到WAL中。只有所需数据完成持久化,系统才会确认Push成功。这意味着请求得到确认时,数据已经可靠存储。

Cursor工程师Vicent Martí的说法是,本地NVMe上的Git仓库只是温缓存,并非权威副本。系统通过Rendezvous Hashing(会合哈希)选择优先处理请求的节点,同时利用S3上的原子比较并交换(Compare-and-Swap)操作,让任意服务器都能接受Push请求。如果本地没有相应的仓库副本,系统也可以根据WAL重新生成仓库。

Gossip丢了也不影响正确性

WAL更新通过UDP Gossip协议在节点间传播,系统通过带条件的S3读取来校验副本状态。Cursor称这类读取的平均耗时不到10毫秒。


关键在于,即使Gossip消息丢失,也不会影响数据正确性,因为S3始终是事实来源。传播机制只负责加速收敛,不负责保证正确。这个分工把一致性保障的核心从副本层转移到了持久化对象存储。

在合成测试中,Cursor在最多使用100个副本时,读取能力能够随副本数量线性增长。单体仓库可以为CI工作负载扩展到数百个副本;对于暂时没有活动的仓库,则可以等到需要时再生成本地副本。

Git压缩的处理方式也变了。压缩只由主副本执行,其他副本直接从S3下载压缩后生成的packfile。这样做减少了重复的CPU开销,但会增加带宽消耗。当吞吐量进一步提高时,Git压缩成为新的性能瓶颈。

把Git存储当数据库设计

这套设计引发了与数据库架构的比较。高级软件工程师Maksim Al Dandan在相关讨论中指出,Continuity相当于把Git存储当作数据库来设计。在这一思路下,Push的一致性保证、Force Push涉及的事务,以及时间点恢复(Point-in-Time Recovery)等问题,都值得进一步关注。

Casey Lee是Liatrio的CTO,曾在AWS工作。他在相关评论中强调了这一架构转变:S3中的WAL才是事实来源,本地NVMe只负责缓存。Lee同时指出,Cursor公布的性能数据尚未经过独立验证。

Cursor表示,测试中的Push操作满足线性一致性要求,且数据在请求得到确认前就已持久化到外部存储;Clone操作也始终保持一致性。这套架构既能应对CI负载繁重的大型代码仓库,也能支持Coding Agent创建的大量小型仓库。

代价是明确的:系统需要依靠存储校验和异步传播来保证副本状态,并付出额外的带宽成本,以减少副本之间的协调开销。用带宽换协调,用对象存储换副本同步——这笔账在Git托管规模持续膨胀的当下,值得算一算。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
《功夫女足》开始票房分红,周星驰到手2.4亿,着手开发续集

《功夫女足》开始票房分红,周星驰到手2.4亿,着手开发续集

光影新天地
2026-10-13 13:37:31
新婚丈夫牺牲后,她为家庭嫁给大伯哥,30年后在坟前痛哭:我命好苦!

新婚丈夫牺牲后,她为家庭嫁给大伯哥,30年后在坟前痛哭:我命好苦!

历史龙元阁
2026-10-12 06:45:32
方便面巨头倒了!三年把公司从年销20亿干倒闭,凭着野心搞垮自己

方便面巨头倒了!三年把公司从年销20亿干倒闭,凭着野心搞垮自己

阿晪美食
2026-10-12 15:08:44
陈小纭近照被指"完全认不出",自曝整骨近十次,网友直呼可惜

陈小纭近照被指"完全认不出",自曝整骨近十次,网友直呼可惜

娱乐追光侠
2026-10-13 13:05:01
大模型终于露出了最原始的獠牙:它们开始吃纸了!

大模型终于露出了最原始的獠牙:它们开始吃纸了!

蜉蝣说
2026-09-27 22:57:54
39人涉案、副部长被捕!越南三号人物亲自 赴京求情,中方回应

39人涉案、副部长被捕!越南三号人物亲自 赴京求情,中方回应

知法而形
2026-10-14 05:54:05
沈伯洋之父以新公司从大陆谋利,国台办:实施惩戒

沈伯洋之父以新公司从大陆谋利,国台办:实施惩戒

澎湃新闻
2026-10-14 11:16:29
特斯拉首款两轮新车上架!颜值真的绝

特斯拉首款两轮新车上架!颜值真的绝

花果科技
2026-10-13 19:48:20
河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

河北富商相亲发现小23岁对象酷似亡妻,DNA检测后傻眼:怎么可能

罪案洞察者
2025-07-09 11:51:52
知名演员宣布:生娃!

知名演员宣布:生娃!

动物奇奇怪怪
2026-10-14 10:01:05
青岛周杰伦演唱会点歌变“家长会”,宝妈拿着话筒狂聊5分钟不点歌,周董一句“听妈妈的话”化解尴尬

青岛周杰伦演唱会点歌变“家长会”,宝妈拿着话筒狂聊5分钟不点歌,周董一句“听妈妈的话”化解尴尬

情感大头说说
2026-10-12 12:52:08
特朗普:美国正在向乌克兰提供援助并共享情报

特朗普:美国正在向乌克兰提供援助并共享情报

极目新闻
2026-10-14 01:06:16
11号线,今早突发故障!车站全是人!上海地铁刚刚致歉!

11号线,今早突发故障!车站全是人!上海地铁刚刚致歉!

尚虹桥
2026-10-14 08:39:47
3天一圈:爱好者用AI在NASA数据里找到疑似行星

3天一圈:爱好者用AI在NASA数据里找到疑似行星

野生运营
2026-10-13 12:47:52
莘庄站站厅出现“钢铁森林”?上海地铁:正在改造施工,完工后将拆除

莘庄站站厅出现“钢铁森林”?上海地铁:正在改造施工,完工后将拆除

澎湃新闻
2026-10-14 11:44:31
女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

女教师带出5届状元班,优秀教师却落选,转身去私立,全年级挽留

第四思维
2025-09-03 09:30:25
尊界还在嘴硬

尊界还在嘴硬

凤眼论
2026-10-13 12:26:45
林徽因:如果你已婚,你身边又出现了一个让你念念不忘,朝思暮想的人,那不一定是爱情,或许是你自己出了问题。

林徽因:如果你已婚,你身边又出现了一个让你念念不忘,朝思暮想的人,那不一定是爱情,或许是你自己出了问题。

LULU生活家
2026-10-12 08:38:49
刘宏伟律师:大范围失业的律师行业令人心痛

刘宏伟律师:大范围失业的律师行业令人心痛

网际风行
2025-10-30 07:18:43
去一家只有25人的小公司面试,老板说我们从不加班。入职第二周我发现,全公司最贵的不是工资单,是每天六点准时熄灯的办公室

去一家只有25人的小公司面试,老板说我们从不加班。入职第二周我发现,全公司最贵的不是工资单,是每天六点准时熄灯的办公室

纯洁的微笑
2026-10-10 09:16:55
2026-10-14 14:27:00
薛定谔的BUG
薛定谔的BUG
有态度网友ytd
213文章数 107关注度
往期回顾 全部

科技要闻

两大厂接连挖人,明星AI公司申请破产保护

头条要闻

牛弹琴:美国果然釜底抽薪了 特朗普180度大转弯

头条要闻

牛弹琴:美国果然釜底抽薪了 特朗普180度大转弯

体育要闻

30天30队·太阳:金毛、比特、杜宾和二哈

娱乐要闻

蔡卓妍回应张致恒欠钱不还 不指望还钱

财经要闻

AI短剧正在毁掉中年男人?

汽车要闻

豪华智能全拉满 比亚迪大汉不止旗舰级舒适

态度原创

时尚
数码
旅游
家居
本地

战鹰:一个天才少女的「滑落」

数码要闻

索尼在国内发布ECM-AX10空间音频麦克风 售价1499元

旅游要闻

两天一夜住进剧本里,沉浸式剧宿出圈:是新业态还是新包装?| 封面头条

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

这个十一,林都伊春彻底出圈!

无障碍浏览 进入关怀版