网易首页 > 网易号 > 正文 申请入驻

三重故障叠加致微软365大规模宕机

0
分享至


微软云网关中一个自7月以来潜伏的隐藏缺陷,是导致该公司历史上最严重的一次服务中断事件的罪魁祸首。微软发布的事件初步报告(PIR)详细说明了这个潜伏漏洞、流量变化以及服务器容量不足三者如何共同作用,导致大部分微软365和Exchange基础设施在上周末瘫痪。微软在报告中将此次事件的最终定性为“与网络安全或AI/智能体无关的技术问题”。

根据微软的初步报告,此次中断发生在11月12日16点20分(UTC时间)至11月13日16点10分(UTC时间)之间,持续时间接近24小时,并在11月14日之前对受影响系统进行了额外监控。

此次中断始于11月12日,迅速波及到依赖微软云服务和电子邮件交换基础设施的企业和公共机构。该事件被记录在微软的事件编号EX1550543和MO1550821中。查看微软状态页面上的完整报告需要管理员权限,不过Office Watch网站已转载了该初步报告,宾夕法尼亚大学也保存了微软服务健康状态更新的存档。

多重因素叠加酿成事故

微软将此次中断归因于三个因素。首先,自7月起部署在云网关上的一项变更引入了一个漏洞:在特定条件下,CPU和内存资源可能被耗尽并陷入无响应状态。微软表示,由于测试时使用的硬件性能低于部分已部署到生产环境中的系统,这一缺陷在发布前测试中未被发现,而新机器上更高的CPU核心数显然加剧了锁死问题。

第二个因素是服务器负载。微软表示:“常规网络维护和升级期间的流量转移,暴露出了这一潜藏漏洞。”该公司部署了两套独立的网关系统来访问微软365,以确保冗余可靠性。如果一套系统出现问题导致用户无法正常访问,另一套系统便会启用以维持流量畅通。报告显示,在此次中断发生约15小时前,Teams的流量从备用网关转移到了主网关,而该主网关同时负责维持Exchange Online的访问。这次切换属于标准的故障保护措施,但这也使得主网关需要处理比以往更多、且请求类型组合不同的流量。随着请求不断堆积,受影响的服务器耗尽了容量,开始拒绝新的连接请求。

流量转移暴露出了第三个因素:基础设施容量不足。此前存在的一个故障导致微软网关服务器集群的运行容量比最佳状态低了14%。这部分缺失的冗余空间原本足以应对此次需求激增,但当它与变化的流量模式及底层缺陷叠加在一起时,便导致网关在请求持续堆积的过程中出现了锁争用问题。

当美国企业的业务运营开始进入每日高峰期时,网关服务器开始陆续陷入冻结状态。负责将请求从无响应服务器转移出去的备份系统虽然正常发挥了作用,但转移后的请求在本应健康的备用网关上同样遭遇了锁死问题。这形成了滚雪球效应,最终导致超过80%受影响的微软网关服务器陷入瘫痪。原本用于按区域隔离受影响系统的机制似乎也未能生效。微软目前的报告并未说明这些隔离机制失效的具体原因。

修复过程并不轻松

此次恢复耗时较长,因为修复方案需要微软工程师进行针对性的系统更新。尝试重启网关服务器的做法并未奏效——当服务器重新上线后,大量此前积压的请求队列仍在等待访问,这立即再次触发了导致此次中断的资源耗尽问题。微软表示,Teams、OneDrive及其他Office应用程序的流量可以被转移到未受影响的基础设施上,但由于扩展性限制,Exchange Online无法进行类似的流量转移。

由于7月份引入的漏洞当时尚未被发现,系统回滚操作同样无效。简单地恢复到此前“正常运行”的状态并不可行,因为问题的根源早已潜藏在系统之中。服务器经过修补后被逐步恢复上线,微软表示已增加了额外容量,并部署了流量分配防护机制,以尽量避免类似事件再次发生。此外,微软还延长了受影响邮件的投递超时时间,以防止延迟邮件因超时而被退回为无法送达。

微软预计将于11月20日发布完整的最终事件报告。该最终报告可能会进一步说明区域隔离系统失效的具体原因,以及将采取哪些纠正措施来确保今后能够避免此类中断事件再次发生。截至周一上午,微软的所有云服务均已恢复在线并正常运行。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
开发商讲实话:30多层高层住宅,未来想“拆掉重建”几乎不大可能

开发商讲实话:30多层高层住宅,未来想“拆掉重建”几乎不大可能

云霄纪史观
2026-11-17 04:27:57
詹姆斯·马拉佩乘机抵达深圳

詹姆斯·马拉佩乘机抵达深圳

政知新媒体
2026-11-16 23:23:33
活久见!人类历史上,电脑内存首次“开倒车”了

活久见!人类历史上,电脑内存首次“开倒车”了

互联网.乱侃秀
2026-11-08 14:23:53
美专家意见罕见统一:中国两岸统一后,美国唯一可行选择曝光

美专家意见罕见统一:中国两岸统一后,美国唯一可行选择曝光

铁锤侃侃而谈
2026-11-13 09:38:13
两场比赛!北京国安塞鸟跟海港蒋光太都没进名单 3天后足协杯四强能否出战?

两场比赛!北京国安塞鸟跟海港蒋光太都没进名单 3天后足协杯四强能否出战?

80后体育大蜀黍
2026-11-17 23:35:24
东部第一主场爆冷!塔图姆24+12乔治高开低走,魔术掀翻绿军

东部第一主场爆冷!塔图姆24+12乔治高开低走,魔术掀翻绿军

钉钉陌上花开
2026-11-17 10:35:16
“孝子,如同用自己的命填老人的命”!多名网友分享照护遭遇,子女兼顾工作长期透支,不幸猝死

“孝子,如同用自己的命填老人的命”!多名网友分享照护遭遇,子女兼顾工作长期透支,不幸猝死

火山詩话
2026-11-17 06:20:28
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

唠叨说历史
2026-11-09 15:37:04
14天不让进!解放军六个字锁定1440平方公里,这片海要搞大动作?

14天不让进!解放军六个字锁定1440平方公里,这片海要搞大动作?

静儿家
2026-11-16 22:06:00
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

领略非凡
2026-11-15 15:48:00
A股最便宜的股票!43个跌停从106元跌到0.07元,韭菜直接连根拔起

A股最便宜的股票!43个跌停从106元跌到0.07元,韭菜直接连根拔起

财经市界
2026-08-07 08:40:42
TVB视帝被下病危通知书,妻子当场吓到无表情,望着仪器一动不动

TVB视帝被下病危通知书,妻子当场吓到无表情,望着仪器一动不动

小椰的奶奶
2026-11-17 14:44:32
开赛一个月,被摆上货架的四位全明星!

开赛一个月,被摆上货架的四位全明星!

球毛鬼胎
2026-11-17 12:35:06
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
马来西亚媒体人:APEC各国都能从中国学到很多

马来西亚媒体人:APEC各国都能从中国学到很多

环球网资讯
2026-11-17 20:37:52
终于知道为啥家人得了大病要隐瞒!评论区分享一针见血,太真实了

终于知道为啥家人得了大病要隐瞒!评论区分享一针见血,太真实了

夜深爱杂谈
2026-11-15 22:50:00
别信“小渔村”神话!深圳的真相:全是违规操作逼出来的奇迹

别信“小渔村”神话!深圳的真相:全是违规操作逼出来的奇迹

何氽简史
2026-11-15 21:16:28
2026-11-18 00:28:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23478文章数 49740关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

亲子
教育
本地
健康
时尚

亲子要闻

宝宝气人但是聪明的4个行为

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

情绪真能让健康人"伤心至死"?

自骂“烂人”的黄仁勋,冤不冤?

无障碍浏览 进入关怀版