网易首页 > 网易号 > 正文 申请入驻

微软复盘全球宕机:一个七月埋下的缺陷,为何拖垮八成服务器

0
分享至

一个在七月就埋进系统的软件缺陷,为什么直到十一月才发作,还让超过八成的网关服务器失去响应?微软在十一月十五日发布的初步事故复盘报告里,给出了自己的拆解。

按照微软的说法,问题的源头是一次专门为 Microsoft 365 网关服务器准备的更新。这次更新通过了测试,并在全球范围内部署,当时没有报告任何问题。缺陷就这样在系统里潜伏了三个多月,直到流量上升、容量下降两个条件同时出现,才被触发成一场连锁故障。

这里有个容易被忽略的细节:微软的负载测试没有覆盖服务器硬件的差异。微软高管查尔斯·拉曼纳(Charles Lamanna)在概述调查结果的 X 帖文中说,测试聚焦的是"核心数更少的较弱硬件型号"。而缺陷在核心数更多的新机器上反而更严重。问题具体出在一个内部 Windows 进程里的锁争用,争用耗尽了服务器的 CPU 和内存,机器随之失去响应。

那么,是什么把潜伏的缺陷推到了台前?微软列出了三个因素:

  • Teams 从备用网关切换到主网关,而主网关同时承载 Exchange Online,这次故障转移抬高了负载;
  • 由于前一天一个无关问题,近 14% 的网关服务器容量处于停用状态。微软表示这部分容量正通过例行维护恢复,且"服务有足够的容量余量",也就是说单凭容量减少并不预期会出问题;
  • 两者叠加,条件凑齐,缺陷被触发,请求开始堆积。

故障随后在微软的网络里扩散开来。一台服务器失去连接,流量管理系统就把请求重定向到健康的端点;可那些服务器在额外负载下撞上了同一个缺陷,于是继续失败。不到两小时,问题蔓延到整个网关集群,最严重时超过 80% 的服务器失去响应。容量分区之间正常的隔离机制,也没能拦住这场扩散。

恢复的难点在于,服务器一旦重新上线,就会被等待中的流量瞬间压垮。微软的自动化恢复系统并不是为这种规模的故障设计的。简单的回滚同样走不通:缺陷已经存在数月,公司惯用的回滚机制、分阶段部署控制和功能开关都无法快速撤销这次变更。工程师最终另做了一个更新,把受影响代码恢复到此前可用的状态,再分组应用到服务器上,重启后再逐步放回服务。

时间线是这样的:十一月十二日 16:03 UTC,连接监控发现网络问题增多;三十分钟后出现第一个客户支持工单;到十一月十三日 00:30 UTC,工程师确认连接协商是访问失败的主要来源;07:20 UTC 实施了缓解措施。Teams、OneDrive、SharePoint 和 Office 应用能够绕开出问题的网关基础设施,Exchange Online 不能,Outlook 的中断因此被拉长。微软称,到十一月十四日,所有受影响客户的服务均已恢复。

拉曼纳为此致歉,称公司"对给所有客户造成的影响深表歉意"。最终复盘报告尚待发布。值得留意的是这套系统的脆弱之处:一个通过测试、部署后毫无异常的改动,可以在三个月里不被发现,再借由一次故障转移和一部分容量停用,演变成大范围的连锁失效——而现有的回滚与隔离手段,恰恰是为更小规模的故障准备的。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

覃仕勇说史
2026-11-13 11:01:08
小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小柱解说游戏
2026-11-17 02:50:42
三个强光手电实测偷《GTA6》码!能看清吗?

三个强光手电实测偷《GTA6》码!能看清吗?

游民星空
2026-11-16 23:04:28
天安门悬挂第四版毛主席像,市民质疑:主席为何只露出一只耳朵?

天安门悬挂第四版毛主席像,市民质疑:主席为何只露出一只耳朵?

微野谈写作
2026-11-13 08:50:07
8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

扶苏聊历史
2026-10-22 14:37:54
神回复:这可能这不是你喜欢的,但一定是你爸喜欢的

神回复:这可能这不是你喜欢的,但一定是你爸喜欢的

另子维爱读史
2026-11-10 23:27:04
下一个凯恩!波切蒂诺锁定曼联新核!6600 万水货有望逆袭

下一个凯恩!波切蒂诺锁定曼联新核!6600 万水货有望逆袭

澜归序
2026-11-16 10:29:40
风向都变了!以美国为首的多国认为:中国已在换电等关键领域崛起

风向都变了!以美国为首的多国认为:中国已在换电等关键领域崛起

离离言几许
2026-11-17 03:25:54
美媒说了句大实话:如果没有中国,全世界可能已经跪了

美媒说了句大实话:如果没有中国,全世界可能已经跪了

麓谷隐士
2026-11-17 00:05:04
警方曝光新骗局!男子装卸共八千斤水仅赚140元,辞职反赔2.5万

警方曝光新骗局!男子装卸共八千斤水仅赚140元,辞职反赔2.5万

白面书誏
2026-11-16 15:11:46
是虚荣还是爱自己?25岁女生为了见客户有面子,放弃买房,凑齐花呗信用卡分期13万买下人生第一只爱马仕

是虚荣还是爱自己?25岁女生为了见客户有面子,放弃买房,凑齐花呗信用卡分期13万买下人生第一只爱马仕

捣蛋窝
2026-11-14 17:11:11
“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

“你们吃哪家的饭,端哪家的碗?”全程5小时播放外国视频,小伙质问乘务长

蝴蝶花雨话教育
2026-11-14 00:05:16
10月经济数据,消费、投资增速再放缓

10月经济数据,消费、投资增速再放缓

格隆汇图解天下
2026-11-16 13:46:46
公平聚人心,特权毁根基:比腐败更伤国运的,是全民编制崇拜

公平聚人心,特权毁根基:比腐败更伤国运的,是全民编制崇拜

华庭讲美食
2026-11-17 01:14:53
纽约重磅改革!市长宣布解散全体精英警队,今后街头示威由平民团队先处理,不得携带武器!

纽约重磅改革!市长宣布解散全体精英警队,今后街头示威由平民团队先处理,不得携带武器!

华人生活网
2026-11-17 03:21:44
官媒发文,曝全红婵近照,退出国家队、与陈芋汐不和传闻早有真相

官媒发文,曝全红婵近照,退出国家队、与陈芋汐不和传闻早有真相

手工制作阿歼
2026-11-17 06:23:49
"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

"让人心酸又感动!"外卖小哥接单被要求扛50斤大米爬5楼,本想发火,推开门那一刻他沉默了

一丝不苟的法律人
2026-11-04 15:22:28
图片报:卖沃尔特马德的巨款花光,斯图加特多笔前锋引援收效不一

图片报:卖沃尔特马德的巨款花光,斯图加特多笔前锋引援收效不一

懂球帝
2026-11-16 23:39:44
对比利时锋线三人:德凯特拉雷1球2助攻,谁最有望接棒卢卡库?

对比利时锋线三人:德凯特拉雷1球2助攻,谁最有望接棒卢卡库?

激情与荣耀并存
2026-11-17 07:11:04
斯卡洛尼:梅西会踢到2030年之后,他想加入教练组随时欢迎

斯卡洛尼:梅西会踢到2030年之后,他想加入教练组随时欢迎

懂球帝
2026-11-17 04:26:07
2026-11-17 07:27:00
硬核实验室哦
硬核实验室哦
有态度网友ytd
18文章数 18关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
艺术
手机
健康
公开课

自骂“烂人”的黄仁勋,冤不冤?

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

情绪真能让健康人"伤心至死"?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版