网易首页 > 网易号 > 正文 申请入驻

内存砍掉90%,Uber翻译缓存延迟仍压在1毫秒内

0
分享至

Uber把自家基于Go语言的翻译缓存重新做了一遍,初始内存占用减少超过90%,同时把缓存未命中的p99延迟压在1毫秒以下。这套系统每秒要处理数百万次翻译请求,缓存命中率维持在99.9%以上。


这次优化针对的是内存剖析中暴露的两个问题。垃圾回收(GC)在部分Go服务里吃掉了超过20%的CPU利用率,而翻译相关的对象占了已分配对象的约70%。Uber工程团队的说法是,在Uber这样的规模下,内存管理里再小的低效也会累积成大数目。

第一步改动是把Go的sync.Map换成普通的map[string]string,外面套一把RWMutex。原因在于这类工作负载以读为主,更新不频繁,也没有单条删除。旧实现为每个翻译条目创建多个对象和指针,抬高了GC开销;换成值语义的map后,对象分配减少,受影响服务的CPU利用率提升超过30%。

但减少对象分配并没有解决整体内存消耗。翻译数据集可能包含两到三百万个键,而单个服务通常只访问其中一小部分。缓存刷新又带来另一个麻烦:服务先在后台构建一份替换缓存,再与现有缓存做原子交换,两份副本同时占内存,导致部分服务在刷新期间内存耗尽。

外部缓存和按服务生成翻译子集都被考虑过,但都会增加运维或维护成本。团队最终采用混合存储设计,保留原有的Get()和Put()接口:所有键留在内存里保证快速查找,翻译值则存到磁盘支撑的文件中。

具体实现用了256个分片,每个分片有自己的读写锁、内存条目和磁盘文件。六字节的哈希键降低元数据开销,遇到哈希冲突时回退到原始键格式。内存条目由一套基于时间的全局LRU策略管理。缓存刷新时,系统依据访问历史预加载前15分钟内被访问过的翻译,避免交换后出现冷缓存。

效果可以用一组数字看:一个原本在内存中占用约800 MB的翻译数据集,重新设计后元数据只需约40 MB。在内存条目上限配置为5万条的情况下,实际内存消耗通常在80 MB到120 MB之间。另一份工作负载中,超过400万条目里只有约3万条被加载进内存,缓存命中率仍在99.9%以上,磁盘缓存未命中的p99延迟保持在100微秒以下。

Uber给出的经验是:尽量减少对象引用以降低GC开销,并测量缓存值被访问的频率。当只有一小部分缓存数据被真正使用时,混合方案可以把高频值留在内存,其余下沉到磁盘。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宏远速递!CBA最强状元打成大腿,或被陈老板重金挖走?

宏远速递!CBA最强状元打成大腿,或被陈老板重金挖走?

绯雨儿
2026-11-21 14:28:51
林诗栋躺赢!6大苛刻条件已全部达成,国乒11人参加WTT香港总决赛

林诗栋躺赢!6大苛刻条件已全部达成,国乒11人参加WTT香港总决赛

老皢尾声体育解说
2026-11-21 18:13:13
荷兰和深圳都是1800万人口,荷兰上半年GDP4.66万亿,深圳呢?

荷兰和深圳都是1800万人口,荷兰上半年GDP4.66万亿,深圳呢?

贸易夜航
2026-11-02 10:42:25
1974年属虎人注意,木虎命格一生三劫是命中注定,离乡别亲都熬过来了,2026下半年最后一关来了,心态平和才能逢凶化吉

1974年属虎人注意,木虎命格一生三劫是命中注定,离乡别亲都熬过来了,2026下半年最后一关来了,心态平和才能逢凶化吉

古怪奇谈录
2026-11-20 17:36:18
带妻儿逛庙会看马戏,儿子突然大哭:爸爸,那个侏儒小丑是姐姐

带妻儿逛庙会看马戏,儿子突然大哭:爸爸,那个侏儒小丑是姐姐

罪案洞察者
2025-10-21 10:50:39
养老金巨大争议!足额缴费指数不到1,没缴费工龄指数却达到1.8

养老金巨大争议!足额缴费指数不到1,没缴费工龄指数却达到1.8

白米饭怎么吃
2026-07-29 09:54:39
韩旭创历史!澳大利亚狂轰38+9+1+1+1,带队击败王思雨,WNBL第一中锋!

韩旭创历史!澳大利亚狂轰38+9+1+1+1,带队击败王思雨,WNBL第一中锋!

体坛卡卡说
2026-11-21 18:49:52
65年彭德怀出发三线,几次求见周总理未果,总理:君子之交淡如水

65年彭德怀出发三线,几次求见周总理未果,总理:君子之交淡如水

幻梦人生
2024-12-01 09:45:06
奥尼尔:詹姆斯加盟76人只为再感受夺冠滋味,他的历史地位早已奠定

奥尼尔:詹姆斯加盟76人只为再感受夺冠滋味,他的历史地位早已奠定

懂球帝
2026-11-20 15:12:35
孕妈频繁饮酒,预产期临近下肚半斤白酒,致酮症酸紧急送医,医生边治疗边剖宫产,发现羊水浑浊发臭,孩子幸得抢救顺利出生

孕妈频繁饮酒,预产期临近下肚半斤白酒,致酮症酸紧急送医,医生边治疗边剖宫产,发现羊水浑浊发臭,孩子幸得抢救顺利出生

极目新闻
2026-11-21 00:57:44
2022年虚增净利1288万,拟合计被罚800万!000892,下周二起“ST”

2022年虚增净利1288万,拟合计被罚800万!000892,下周二起“ST”

大众证券报
2026-11-21 12:58:15
WTT球星赛:11月21日收官赛程发布!林诗栋去港总只差最后一关!

WTT球星赛:11月21日收官赛程发布!林诗栋去港总只差最后一关!

五姑娘台球
2026-11-21 08:19:22
NBA最新消息!哈登轰51+6+6!登顶历史首位,阿特金森赛后说:这就是我们交易得到他的原因

NBA最新消息!哈登轰51+6+6!登顶历史首位,阿特金森赛后说:这就是我们交易得到他的原因

体育闲话说
2026-11-21 18:44:36
太心酸!23 岁姑娘豪掷 40 万开舞蹈室,苦苦撑大半年,竟一名学员都没招来

太心酸!23 岁姑娘豪掷 40 万开舞蹈室,苦苦撑大半年,竟一名学员都没招来

川渝视觉
2026-11-19 15:46:15
全新一代本田冠道曝光,设计大变样,7座布局,配第五代混动系统

全新一代本田冠道曝光,设计大变样,7座布局,配第五代混动系统

红涛说車
2026-11-21 14:22:13
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
51岁港姐季军离世!3个月前她给自己办追思会,笑着开香槟

51岁港姐季军离世!3个月前她给自己办追思会,笑着开香槟

可乐谈情感
2026-11-21 12:46:04
1270万毕业生挤破头:家里没背景的孩子,我劝你早点看清这3条路

1270万毕业生挤破头:家里没背景的孩子,我劝你早点看清这3条路

乌克兰小静
2026-11-21 11:28:16
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

中国首富张一鸣建议公司员工,不要住在城乡结合部,应该全部住在北京市区,哪怕房子小点,省下的时间可以健身读书看电影!

财经要参
2026-11-09 12:00:05
2026-11-21 20:00:49
字节漫游指南
字节漫游指南
有态度网友ytd
242文章数 135关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

头条要闻

李亚鹏谈嫣然天使基金募款:大家每个月捐1块就可以了

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
健康
数码
公开课
军事航空

手机要闻

摩托罗拉Razr Flex更多渲染图曝光 或成品牌首款横向大折叠手机

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

Blackview推出Zeno 3平板电脑:120Hz 800P面板、展锐T7250

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版