一个在七月就埋进系统的软件缺陷,为什么直到十一月才发作,还让超过八成的网关服务器失去响应?微软在十一月十五日发布的初步事故复盘报告里,给出了自己的拆解。
按照微软的说法,问题的源头是一次专门为 Microsoft 365 网关服务器准备的更新。这次更新通过了测试,并在全球范围内部署,当时没有报告任何问题。缺陷就这样在系统里潜伏了三个多月,直到流量上升、容量下降两个条件同时出现,才被触发成一场连锁故障。
这里有个容易被忽略的细节:微软的负载测试没有覆盖服务器硬件的差异。微软高管查尔斯·拉曼纳(Charles Lamanna)在概述调查结果的 X 帖文中说,测试聚焦的是"核心数更少的较弱硬件型号"。而缺陷在核心数更多的新机器上反而更严重。问题具体出在一个内部 Windows 进程里的锁争用,争用耗尽了服务器的 CPU 和内存,机器随之失去响应。
那么,是什么把潜伏的缺陷推到了台前?微软列出了三个因素:
- Teams 从备用网关切换到主网关,而主网关同时承载 Exchange Online,这次故障转移抬高了负载;
- 由于前一天一个无关问题,近 14% 的网关服务器容量处于停用状态。微软表示这部分容量正通过例行维护恢复,且"服务有足够的容量余量",也就是说单凭容量减少并不预期会出问题;
- 两者叠加,条件凑齐,缺陷被触发,请求开始堆积。
故障随后在微软的网络里扩散开来。一台服务器失去连接,流量管理系统就把请求重定向到健康的端点;可那些服务器在额外负载下撞上了同一个缺陷,于是继续失败。不到两小时,问题蔓延到整个网关集群,最严重时超过 80% 的服务器失去响应。容量分区之间正常的隔离机制,也没能拦住这场扩散。
恢复的难点在于,服务器一旦重新上线,就会被等待中的流量瞬间压垮。微软的自动化恢复系统并不是为这种规模的故障设计的。简单的回滚同样走不通:缺陷已经存在数月,公司惯用的回滚机制、分阶段部署控制和功能开关都无法快速撤销这次变更。工程师最终另做了一个更新,把受影响代码恢复到此前可用的状态,再分组应用到服务器上,重启后再逐步放回服务。
时间线是这样的:十一月十二日 16:03 UTC,连接监控发现网络问题增多;三十分钟后出现第一个客户支持工单;到十一月十三日 00:30 UTC,工程师确认连接协商是访问失败的主要来源;07:20 UTC 实施了缓解措施。Teams、OneDrive、SharePoint 和 Office 应用能够绕开出问题的网关基础设施,Exchange Online 不能,Outlook 的中断因此被拉长。微软称,到十一月十四日,所有受影响客户的服务均已恢复。
拉曼纳为此致歉,称公司"对给所有客户造成的影响深表歉意"。最终复盘报告尚待发布。值得留意的是这套系统的脆弱之处:一个通过测试、部署后毫无异常的改动,可以在三个月里不被发现,再借由一次故障转移和一部分容量停用,演变成大范围的连锁失效——而现有的回滚与隔离手段,恰恰是为更小规模的故障准备的。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.