网易首页 > 网易号 > 正文 申请入驻

指标量每代涨10倍,Datadog把状态搬出了计算层

0
分享至

指标聚合系统要做的,是在保留标签维度的前提下对 metrics 做降维聚合,同时保证百分位数准确。数据可能迟到、可能重复、处理也可能中断,系统必须记住自己已经处理过什么,于是它天然是一个有状态服务。


Datadog 的这套系统每一代要承载的指标量大约是上一代的 10 倍。随着规模逐代翻倍,状态管理逐渐成了最大的扩展瓶颈,而瓶颈的具体位置不在计算,在恢复。

第一代方案是静态分区加本地 RocksDB。状态落在计算节点本地,代价是启动前需要完整预热,恢复过程慢且重。

第二代换成 Kafka 加增量快照。快照让恢复不必从零开始,但恢复速度仍然是瓶颈——只要持久状态需要在 worker 之间搬运,扩展能力就会被持续制约。

第三代改了思路:流处理层只做尽力而为的聚合,迟到数据和回填数据交给存储层统一去重合并。流处理层因此可以快速回到实时位置,不需要恢复历史状态。

这套演进的结论很直接:恢复成为瓶颈时,把状态在 worker 之间搬来搬去并不够,更好的办法是把持久状态放进专门用于保存和协调它的层里。状态不再跟着计算节点走,恢复复杂度随之下降,系统的弹性与扩展空间也就打开了。

对正在做流式聚合的团队来说,这个判断可以当作一条设计原则来用:先问状态该放在哪一层,再问计算该怎么并行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
约中年女人出来玩,大胆一点,女人不论多大,这3招都可以搞定

约中年女人出来玩,大胆一点,女人不论多大,这3招都可以搞定

千秋文化
2026-11-21 21:19:47
毛尖|李沧东对工人阶级是有什么误解吗

毛尖|李沧东对工人阶级是有什么误解吗

澎湃新闻
2026-11-21 07:35:09
反华总统国家迎来亡国,妄想向中国请求援助,最终结果是啥?

反华总统国家迎来亡国,妄想向中国请求援助,最终结果是啥?

铁锤侃侃而谈
2026-11-11 12:09:23
收官你请回金晨,属实恶心到我了

收官你请回金晨,属实恶心到我了

喜欢历史的阿繁
2026-11-21 15:01:01
0-2半场爆冷!巴萨遭遇“天崩开局”,3分钟丢2球,亚马尔失点球

0-2半场爆冷!巴萨遭遇“天崩开局”,3分钟丢2球,亚马尔失点球

汪星人哟
2026-11-22 21:56:58
账上躺着7013亿, 够发100年! 澳门不是没钱, 是钱多到不敢停

账上躺着7013亿, 够发100年! 澳门不是没钱, 是钱多到不敢停

乌克兰小静
2026-11-20 08:57:45
U17世界杯疯狂一夜!国足惨败却等来出线希望

U17世界杯疯狂一夜!国足惨败却等来出线希望

林子说事
2026-11-22 15:25:36
突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

大厂财经社
2026-11-22 11:23:39
张家齐妈妈向张家齐道歉:这么优秀的闺女在身边我却没发现,让你受了很多委屈,也让我们亲子关系越来越远

张家齐妈妈向张家齐道歉:这么优秀的闺女在身边我却没发现,让你受了很多委屈,也让我们亲子关系越来越远

极目新闻
2026-11-22 19:44:38
外媒:意大利前国家警察总长被发现在住所死亡,梅洛尼发声

外媒:意大利前国家警察总长被发现在住所死亡,梅洛尼发声

环球网资讯
2026-11-22 10:11:40
4比0大胜后斯帕莱蒂仍喊话:我需要另一个中锋

4比0大胜后斯帕莱蒂仍喊话:我需要另一个中锋

日常碎碎念啊
2026-11-23 00:14:37
八马茶业被暂停军采资格,吴小宁到底是谁?

八马茶业被暂停军采资格,吴小宁到底是谁?

凤凰网财经
2026-11-22 22:30:04
乌克兰攻击俄海外飞地加里宁格勒!突袭波罗的海舰队驻地

乌克兰攻击俄海外飞地加里宁格勒!突袭波罗的海舰队驻地

项鹏飞
2026-11-22 22:33:41
28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

28岁女子戴假牙套相亲走红!本想逼退相亲男,谁料父母提前把原装照片给发了过去

王老师你还好吗
2026-11-11 21:45:48
国安再遇黑哨:外裁也不公平!输得冤!京媒怒斥:为啥不回溯犯规

国安再遇黑哨:外裁也不公平!输得冤!京媒怒斥:为啥不回溯犯规

建哥说体育
2026-11-22 09:59:54
佛山富婆覆灭史:她的奢靡与荒唐,只有你想不到没有她做不到

佛山富婆覆灭史:她的奢靡与荒唐,只有你想不到没有她做不到

锅锅爱历史
2026-11-22 05:13:05
莫言:告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

莫言:告诉你一个永远都不会得罪人的方法,那就是当别人找你帮忙时,你一定要痛痛快快地拒绝,犹犹豫豫地同意

品读时刻
2026-11-22 09:06:06
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
女神的R级新片,太生猛了

女神的R级新片,太生猛了

来看美剧
2026-11-22 23:59:35
法国总统候选人放话:如果我赢得大选,将没收冻结的俄罗斯资产

法国总统候选人放话:如果我赢得大选,将没收冻结的俄罗斯资产

金戈远望
2026-11-22 08:05:03
2026-11-23 00:36:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
250文章数 92关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

旅游
本地
艺术
时尚
公开课

旅游要闻

喀什旅游的游客因清廷中唯一的维吾尔族妃子的故事而奔赴这里参观

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

艺术要闻

世界十大著名宫殿盘点:中国独占两席

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版