网易首页 > 网易号 > 正文 申请入驻

微软大规模服务中断:由一个潜伏漏洞引发的级联故障

0
分享至


初始原因是7月份的一次更新,但该问题直到上周才被触发。

上周微软多项服务出现了长达近一天的全球性中断,微软于周一发布了一份事件初步报告,指出了导致此次故障的多重因素,其中包括承认用于测试相关问题软件更新的环境与实际运行的基础设施并不匹配。

微软执行副总裁查尔斯·拉曼纳(Charles Lamanna)在社交媒体上发布了该报告摘要,其中列出了导致此次故障级联发生的部分因素。

报告称:"一个潜伏缺陷导致服务器在特定负载条件下变得不堪重负并失去响应。"报告补充说,"这一缺陷是一项专为微软365网络网关服务器准备的修复方案所导致的。"该修复方案于7月开始部署,报告称,"三个多月来,该变更在全球范围内部署,未造成任何影响。"

微软承认,尽管在部署前对该变更进行了测试,但其测试环境与实际情况并不相符。

"我们常规的负载测试未能发现这一潜伏问题,原因在于测试实验室中使用的流量和配置组合与实际情况不同,"微软表示,"在核心数量更多、硬件更新的机器上,这一资源争用问题会进一步恶化;而我们的负载测试往往更侧重于核心数较少的较弱硬件配置。"

公司解释称,一次由无关问题引发的流量激增也加剧了此次故障,并延误了问题的修复。

微软表示:"在微软365内部,我们维护着两套独立且异构的网络网关系统,用于实现隔离和高可用性。这使得许多微软365服务能够在网关之间进行故障转移,以应对中断或故障。在此次故障发生前约15小时,Teams从备用网络网关故障转移到了同时支持Exchange Online的主网关。这增加了该网络网关的负载,并改变了其流量模式。"

报告称,情况进一步恶化的是,"由于前一天发生的另一起无关问题,该网络网关近14%的服务器容量处于离线状态。"微软未提供有关该无关问题的详细信息。

上述多重因素的叠加最终导致了此次服务中断。

级联故障

微软表示:"负载增加和服务器容量减少,共同导致网络网关触发了7月份遗留的潜伏漏洞。这使得请求不断堆积,最终导致服务器完全停止响应。"虽然当服务器失去连接时,流量管理系统通常会自动将用户请求重新路由至其他正常节点,但被重定向的流量却使得该漏洞在剩余正常节点上更容易被触发。

报告称:"这导致了从一台服务器到另一台服务器的级联故障,因为同样的负载被分摊到了数量更少的服务器上。不到两小时内,此前未知的缺陷就波及了我们的整个服务器集群,使其全部失去响应。在最严重时,超过80%的服务器处于无响应状态。"

这一系列级联问题也给微软的修复工作带来了困难,因为当服务器被重新上线后,大量积压的流量会再次触发该漏洞,导致它们再度失去响应。

微软表示:"我们通常采用的自动化恢复流程,并非为应对这种大范围无响应状态而设计。此外,由于该核心代码缺陷是几个月前就已存在的潜伏问题,我们常规的回滚、灰度发布和功能开关机制都无法迅速撤销这一变更。"

仍需进一步解释

多位顾问表示,微软在尝试恢复系统服务方面整体表现值得肯定,但同时指出,该公司仍需进一步解释为何其测试环境与实际情况不符。

Beauceron Security首席执行官戴维·希普利(David Shipley)表示:"我认为这是该业务模式中固有的一种风险,无法通过某种巧妙的变通方案加以规避。"

他说:"微软几乎做到了我能想到的所有应对措施,但最终却以一种极其罕见的边缘情况全面失败。老实说,'微软被自身SKU复杂性反噬'这种情况,我此前完全没有预料到,但细想之下又带着一种因果循环般的必然性。"他强调,报告中最令人担忧的部分在于,它并未给客户提供任何切实理由,让人相信类似的级联故障不会在下周再次发生在微软身上。

希普利说:"这件事最令人不安的地方在于,类似的情况完全有可能再次发生。令人惊讶的是,这种边缘情况居然拖了这么久才发生。这是我印象中第一次出现'更好、更强的服务器'反而成为此类漏洞根源的情况。"

"潜伏缺陷演变为系统性故障"

Aikido Security企业首席信息安全官迈克·威尔克斯(Mike Wilkes)对此表示认同。

他说:"颇具讽刺意味的是,更新、更强大的硬件反而放大了此次故障,这提醒人们,可扩展性与系统韧性并非同一回事。此次服务中断堪称一个典型案例,展示了当工程假设与生产环境的实际情况发生冲突时,潜伏缺陷是如何演变为系统性故障的。微软实际上已经承认,其测试环境未能真实反映自身生产基础设施的硬件特性、并发特性以及流量特征。"

威尔克斯表示,报告中有一部分内容颇具讽刺意味。他指出:"最令人尴尬的一点是,微软自己的状态页面也在此次故障中受到了影响。当用于告知用户基础设施出现故障的系统,竟然依赖于同一套出问题的基础设施才能正常运作时,这说明对故障模式的理解已经薄弱到何种程度?这不仅仅是一次技术疏漏,更是一种想象力层面的架构性失败,也未能吸取本应在30多年前就已积累的经验教训。"

独立技术顾问史蒂文·埃里克·费舍尔(Steven Eric Fisher)表示,他同样认为测试环境与生产环境不一致是此次事件中最大的危险信号。

费舍尔说:"如果你的测试无法充分复现生产环境的硬件特性、并发情况、流量模式以及运行条件,那就意味着你已经在事实上接受了重大缺陷可能被漏检的风险。这里尤其令人担忧的一点是,微软的生产环境硬件性能本应优于测试环境,但恰恰是这种更强的性能,反而加剧了该缺陷的影响。"

Dickson Research首席分析师弗兰克·迪克森(Frank Dickson)补充说,此次修复工作中还存在另一个问题,即自动化系统在很长一段时间里悄无声息地处理了大量孤立的服务器故障,实际上这掩盖了问题的严重性,从而延误了全面响应。

他指出:"在故障真正爆发之前,其实早已有迹可循。Teams的流量在协调世界时1:07转移到了共享网关上,此后15小时内,部分地区陆续出现孤立的服务器故障。自动化系统悄无声息地逐一处理了这些故障。直到协调世界时16:20,高优先级警报才被触发。这种不断悄悄扑灭小火苗的自动化机制,反而可能掩盖了整栋大楼正在逐渐升温的事实。"

本文最初发表于Computerworld。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
开发商讲实话:30多层高层住宅,未来想“拆掉重建”几乎不大可能

开发商讲实话:30多层高层住宅,未来想“拆掉重建”几乎不大可能

云霄纪史观
2026-11-17 04:27:57
詹姆斯·马拉佩乘机抵达深圳

詹姆斯·马拉佩乘机抵达深圳

政知新媒体
2026-11-16 23:23:33
活久见!人类历史上,电脑内存首次“开倒车”了

活久见!人类历史上,电脑内存首次“开倒车”了

互联网.乱侃秀
2026-11-08 14:23:53
美专家意见罕见统一:中国两岸统一后,美国唯一可行选择曝光

美专家意见罕见统一:中国两岸统一后,美国唯一可行选择曝光

铁锤侃侃而谈
2026-11-13 09:38:13
两场比赛!北京国安塞鸟跟海港蒋光太都没进名单 3天后足协杯四强能否出战?

两场比赛!北京国安塞鸟跟海港蒋光太都没进名单 3天后足协杯四强能否出战?

80后体育大蜀黍
2026-11-17 23:35:24
东部第一主场爆冷!塔图姆24+12乔治高开低走,魔术掀翻绿军

东部第一主场爆冷!塔图姆24+12乔治高开低走,魔术掀翻绿军

钉钉陌上花开
2026-11-17 10:35:16
“孝子,如同用自己的命填老人的命”!多名网友分享照护遭遇,子女兼顾工作长期透支,不幸猝死

“孝子,如同用自己的命填老人的命”!多名网友分享照护遭遇,子女兼顾工作长期透支,不幸猝死

火山詩话
2026-11-17 06:20:28
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

唠叨说历史
2026-11-09 15:37:04
14天不让进!解放军六个字锁定1440平方公里,这片海要搞大动作?

14天不让进!解放军六个字锁定1440平方公里,这片海要搞大动作?

静儿家
2026-11-16 22:06:00
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

领略非凡
2026-11-15 15:48:00
A股最便宜的股票!43个跌停从106元跌到0.07元,韭菜直接连根拔起

A股最便宜的股票!43个跌停从106元跌到0.07元,韭菜直接连根拔起

财经市界
2026-08-07 08:40:42
TVB视帝被下病危通知书,妻子当场吓到无表情,望着仪器一动不动

TVB视帝被下病危通知书,妻子当场吓到无表情,望着仪器一动不动

小椰的奶奶
2026-11-17 14:44:32
开赛一个月,被摆上货架的四位全明星!

开赛一个月,被摆上货架的四位全明星!

球毛鬼胎
2026-11-17 12:35:06
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
马来西亚媒体人:APEC各国都能从中国学到很多

马来西亚媒体人:APEC各国都能从中国学到很多

环球网资讯
2026-11-17 20:37:52
终于知道为啥家人得了大病要隐瞒!评论区分享一针见血,太真实了

终于知道为啥家人得了大病要隐瞒!评论区分享一针见血,太真实了

夜深爱杂谈
2026-11-15 22:50:00
别信“小渔村”神话!深圳的真相:全是违规操作逼出来的奇迹

别信“小渔村”神话!深圳的真相:全是违规操作逼出来的奇迹

何氽简史
2026-11-15 21:16:28
2026-11-18 00:28:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
23478文章数 49740关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

健康
艺术
数码
家居
公开课

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

数码要闻

商汤发布SenseNova Loop-9B模型:部署显存需求低至10 GB内

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版