网易首页 > 网易号 > 正文 申请入驻

谷歌工程师:200毫秒到2秒的崩溃,我经历了3次才懂

0
分享至


一个仪表盘从绿色变红需要多久?对大多数工程师来说,答案是「比产品经理在Slack上打出'怎么回事'更快」。谷歌云工程师在内部复盘会上分享过一组数据:系统响应时间从200毫秒爬升到2秒,平均只需要47秒——刚好够你冲一杯咖啡,回来就发现服务已经「正在经历问题」。

这不是服务器着火的戏剧性场面。是更安静的羞辱:监控页面一片猩红,而某个产品经理的消息正在闪烁,那种「我绝对知道发生了什么而且很生气」的语气。

伸缩性不是钱能买的

工程师们试过所有捷径。加服务器、堆工程师、凌晨三点改配置——谷歌工程师把这叫「用胶带纸糊出来的架构」。2019年内部技术债审计显示,72%的伸缩故障源于早期设计妥协,而非后期资源不足。

钱能买带宽,买机器,买人。但买不来一个从第一天就为增长设计的系统。这就像给自行车不断换更粗的轮胎,指望它最终能跑高速——结构不对,材料只是更贵的错误

「设计时偷懒,运行时还债」

谷歌SRE团队有个内部指标:「3点忙线指数」——衡量工程师凌晨被叫起的频率。2017年某核心服务上线时,该指数是月均1.2次;两年后涨到11次。根因分析指向同一处:最初的数据库分片方案留了「后期再优化」的口子。

那个「后期」从未到来。直到流量暴涨300%,团队才发现分片键选错了字段。重构花了14个月,期间每次大促都是全员战备。

工程师后来复盘:「我们不是在修bug,是在为两年前的'差不多就行'付利息。复利的那种。」

增长友好型架构的三个暗线

谷歌工程师提炼出一组反直觉原则。第一,接受局部失效——设计时假设任何组件都可能挂掉,而不是祈祷它别挂。第二,延迟是特征不是bug——明确区分「必须同步」和「可以异步」的数据流,比盲目优化毫秒更有价值。

第三最扎心:伸缩性测试要撒谎。不是模拟真实流量,而是模拟「真实流量+某个你没想到的蠢事」。比如某个下游服务突然慢了10倍,或者某个缓存层集体失忆。

2018年YouTube一次全球卡顿,起因是一个边缘节点的配置漂移——测试环境没覆盖到,因为「谁会在测试里故意配错一个节点呢」。现在他们会。

那位经历过三次崩溃的工程师,工位上贴着一张便利贴:「3am不是工作时段,是设计失败的收据。」

你的系统最近一次「收据」是什么时候开的?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
山姆会员店,正成为新的零售样板

山姆会员店,正成为新的零售样板

产业深观
2026-04-14 09:08:09
家里若是有这7种“老物件”,好好保存,越放越值钱,能当传家宝

家里若是有这7种“老物件”,好好保存,越放越值钱,能当传家宝

Home范
2026-04-11 10:16:28
特朗普在伊朗战争中犯下的7个致命错误

特朗普在伊朗战争中犯下的7个致命错误

史政先锋
2026-04-12 18:27:18
怕遭中方报复?巴拿马抢在赔款前,主动放低姿态,李嘉诚全面清仓

怕遭中方报复?巴拿马抢在赔款前,主动放低姿态,李嘉诚全面清仓

史襉的生活科普
2026-04-13 19:46:18
985大学原校长逝世!系该校改革开放后唯一的女性校长

985大学原校长逝世!系该校改革开放后唯一的女性校长

双一流高校
2026-04-15 00:10:02
81岁的杜特尔特,在狱中终于等来好消息,儿子正式接任党总裁

81岁的杜特尔特,在狱中终于等来好消息,儿子正式接任党总裁

爱下厨的阿酾
2026-04-14 17:07:17
“你真美,是不是嫌我老?”:手机被没收后,女子用手表录16分钟

“你真美,是不是嫌我老?”:手机被没收后,女子用手表录16分钟

江山挥笔
2026-04-14 10:48:18
张雪峰对当年把他踢出尖子班的教导主任,记了大半辈子,耿耿于怀

张雪峰对当年把他踢出尖子班的教导主任,记了大半辈子,耿耿于怀

情感艺术家
2026-04-13 11:43:48
万科创始人王石启动法律追责程序

万科创始人王石启动法律追责程序

地产微资讯
2026-04-14 19:42:12
回京第2天,马筱梅凌晨3点哭红双眼,道出为何汪宝儿不能住奶奶家

回京第2天,马筱梅凌晨3点哭红双眼,道出为何汪宝儿不能住奶奶家

人间烟火记事本
2026-04-15 02:13:35
4月13日国务院放大招,乡镇卫生院终于不用再当“摆设”了

4月13日国务院放大招,乡镇卫生院终于不用再当“摆设”了

李博世财经
2026-04-14 10:02:08
演员文章开店卖陕西菜:32元一碗面,凌晨五点就有人排队,黄牛代排炒至500元

演员文章开店卖陕西菜:32元一碗面,凌晨五点就有人排队,黄牛代排炒至500元

蓝鲸新闻
2026-04-14 18:48:26
曼联1-2负利兹联,英超积分榜大乱,争冠争五形势激烈

曼联1-2负利兹联,英超积分榜大乱,争冠争五形势激烈

李汪手工制作
2026-04-14 07:34:28
历史首次!单赛季8队至少输55场!难怪总裁不满,改革在所难免

历史首次!单赛季8队至少输55场!难怪总裁不满,改革在所难免

体坛小李
2026-04-14 23:18:23
黄奇帆预言未来房产走势:80万的房子,15年后大概还值多少钱?

黄奇帆预言未来房产走势:80万的房子,15年后大概还值多少钱?

专业聊房君
2026-04-13 15:28:29
这跟不穿有啥区别?内裤外露、开叉开到腰,有钱人的时尚真看不懂

这跟不穿有啥区别?内裤外露、开叉开到腰,有钱人的时尚真看不懂

潮鹿逐梦
2026-03-02 17:19:02
人民日报锐评全红婵遭受网暴,只字不提陈芋汐,却句句不离陈芋汐

人民日报锐评全红婵遭受网暴,只字不提陈芋汐,却句句不离陈芋汐

哄动一时啊
2026-04-13 19:37:27
“狗不理”跌落神坛,从一天卖6万个到无人问津,它为何不火了?

“狗不理”跌落神坛,从一天卖6万个到无人问津,它为何不火了?

房产衫哥
2026-04-14 12:50:59
恒大集团退薪

恒大集团退薪

新浪财经
2026-04-12 10:31:26
无牌摩托闯江苏无锡惠山禁摩区飙车,回应:因山体无围挡,不少骑手从山北缺口或野山路私自闯入,已安排专人常态化巡逻

无牌摩托闯江苏无锡惠山禁摩区飙车,回应:因山体无围挡,不少骑手从山北缺口或野山路私自闯入,已安排专人常态化巡逻

极目新闻
2026-04-14 19:57:24
2026-04-15 03:48:49
硅屿手记
硅屿手记
有态度网友ytd
1977文章数 9关注度
往期回顾 全部

科技要闻

离职同事"炼化"成AI?这届公司不需要活人了

头条要闻

以色列开出与伊朗停战先决条件

头条要闻

以色列开出与伊朗停战先决条件

体育要闻

带出中超最大黑马!他让球迷们“排队道歉”

娱乐要闻

网曝钟丽缇代孕要了个男孩 备孕近10年

财经要闻

许家印认罪,他和恒大还有多少欠债?

汽车要闻

售12.99万起/续航2000km 风云T9L上市

态度原创

健康
房产
家居
教育
艺术

干细胞抗衰4大误区,90%的人都中招

房产要闻

改善标杆,1.5w+起横扫国兴!海口楼市,打出最猛一张牌!

家居要闻

现代融合 自然灵动

教育要闻

他们眼里的光被点燃!中华中学首届南大班学习成果汇报

艺术要闻

她的水彩画竟让亿万男人倾倒,你绝对想不到!

无障碍浏览 进入关怀版