网易首页 > 网易号 > 正文 申请入驻

13.8万条故障上报背后:微软网关被一个潜伏三个月的Bug拖垮

0
分享至

Outlook故障上报量一度达到13.8万条,累计收到全球74个国家和地区超740万条故障反馈,峰值上报速度接近每分钟2万条,达到日常水平的1500多倍。


11月12日,微软Microsoft 365发生大规模服务中断,Outlook、Teams、OneDrive、Copilot等一众应用同步受影响。这场故障横跨北美、欧洲、亚太、澳洲,一直持续到13日。

全球无数打工人盯着不停转圈的Outlook、发不出消息的Teams,猝不及防体验了一场史诗级的“赛博停工”。

宕机击穿了哪些链路

根据Downdetector监测数据,故障高峰时Outlook故障上报量一度达到13.8万条。这次宕机击穿了现代办公的多个核心链路:

  • 核心消息与存储服务:Exchange Online(全平台Outlook客户端)、OneDrive、SharePoint Online无法访问;
  • 协作与AI:Teams的日历、会议排期、新建聊天功能失效(已有聊天、会议尚能正常使用),Microsoft 365 Copilot不可用;
  • 安全平台:Defender XDR控制台与后端连接中断;
  • 第三方集成:OpenAI、Anthropic对接365数据的AI连接器同步故障;
  • 公共部门业务:澳大利亚外交贸易部(DFAT)、农业、渔业和林业部等政府机构发布公开预警,部门邮件系统无法收发外部邮件,只能改用电话作为应急沟通手段。

大量跨国贸易企业出现业务延误,部分上市公司财报发布被迫推迟,航空公司也向客户预警沟通延迟。相对而言,本地部署版本的Office受冲击很小。

事件爆发初期,不少人猜测是黑客攻击、AI失控。微软Copilot、智能体与平台执行副总裁Charles Lamanna很快出面确认,没有迹象表明故障由恶意活动或网络攻击导致。

随后,微软官方也正式表态:“这是一起技术问题,与网络攻击或AI/智能体无关。故障由更早一次网络扩容升级中遗留的问题引入,并在近期一次网络变更后显现。”同时,微软承诺将在审查完成后提供完整的事后报告。

微软的澄清并没有平息大家的焦虑,但在漫长的等待中,网友们很快在评论区玩起了梗。在微软致歉帖下方,有网友发了一张被手工涂改的图片,既然365天里有一整天掉线,“请改名Microsoft 364,这是规矩。”

三重条件叠加,引爆潜伏锁竞争Bug

11月16日,Microsoft 365管理中心发布了初步的事后复盘报告。随后,Charles Lamanna转发该帖子,揭开了事故的完整链条:它并非单一失误,而是三个条件恰好叠加,最终引爆了潜藏已久的锁竞争Bug。

第一个条件,是一个埋了三个月的潜伏Bug。有一个专门给M365网络网关服务器做的补丁,里面藏了隐性问题,只影响这一批网关服务器,普通Windows不受影响。这个Bug的本质是进程锁竞争,一旦遇上特定负载,CPU、内存就会被吃光,服务器直接卡死。

这个补丁早在7月就开始灰度推送,按微软标准的安全发布节奏,几周内慢慢全量铺开。上线之后连续三个多月,一切看起来都很正常,没有爆出任何故障。

之所以测试阶段没查出问题,是因为测试环境和真实线上环境不一样:锁竞争在多核新服务器上更容易爆发。但当时压测用的都是核心更少、配置更低的机器,流量模型也和真实业务有差别,没能触发这个隐患。

第二个条件,是一次常规切流抬升了网关负载。Microsoft 365内部部署了两套相互独立、异构的网络网关系统,用于故障隔离与高可用设计,保障多数365服务在故障时可以在两套网关之间切换。在宕机发生前约15小时,Teams从备用网关切流至同时承载Exchange Online流量的主网关。这一动作抬高了主网关负载,同时改变了流量特征。这类切流属于常规运维动作,也是微软标准容灾体系的一部分。

第三个条件,是一部分服务器提前离线,余量变薄。有一批服务器因前一起无关故障处于下线状态,这批服务器原本计划通过常规维护与健康巡检流程恢复上线。单独来看,服务本身留有充足容量余量,这部分容量缩减本身并不会造成故障。

但三者叠加:负载上涨、可用服务器变少,网络网关终于触发了7月上线的这个潜伏Bug。请求不断堆积,最终服务器停止响应。

服务器失联后,流量调度系统会自动将用户导流至其他健康节点。这套机制是常态,也是抵御软硬件故障、保障服务韧性的核心手段。但这一次,被导流过来的流量,让剩余健康节点也更容易触发同一个缺陷。同样的负载分摊到更少的服务器上,故障在服务器之间形成连锁传导。不到两小时,整个集群大量节点触发该未知缺陷,全部失去响应。故障最严重阶段,超过80%的服务器无法对外提供服务。

通常情况下,网关由数千个按地域划分的容量单元组成,分区之间设有隔离屏障。但本次事故中,隔离机制没能拦住连锁失效,故障最终扩散至全球。Teams、OneDrive、SharePoint等服务支持路由切换,因此恢复更早;故障期间多数用户的Teams聊天、会议功能可用。而Exchange Online无法脱离这套网关,受影响更久。

本次恢复耗时远超常规:服务器一旦恢复上线,会立刻被积压流量打垮,再次无响应;原有自动化恢复流程,没有针对这种大规模集群集体卡死的场景做设计;核心代码缺陷是数月前就埋下的潜伏Bug,常规的回滚、灰度发布、功能开关机制,都无法快速撤销变更。

工程师定位根因之后,开发了修复包,将Windows内这条代码路径回退到之前验证稳定的版本。为稳妥上线修复、逐步恢复服务,团队分批将服务器下线、打补丁、重启,再重新接入流量;该操作按区域批量执行(例如单次处理一个区域50%以上的节点)。Charles表示,完整的事后复盘报告将于本周发布更多细节。

年内二度宕机,单一供应商风险再被审视

这场事故其实是微软今年的第二次宕机。今年1月,Microsoft 365就曾因配置更改错误发生过一次服务中断,导致SharePoint Online、Exchange Online及管理员中心等无法正常访问;同月上旬,Azure美东区域的网络故障也曾短暂波及多项云服务。

eToro市场分析师Josh Gilbert对此提出警示:“这已经不是微软今年第一次出故障。如果可靠性问题反复出现,各家IT部门在把更多业务托付给单一厂商之前,都需要慎重权衡。”

但也有分析师持不同看法:这类宕机未必会直接推动客户转向竞品。Teams、Exchange这类工具已经深度嵌入企业日常流程,迁移替换的切换成本极高。

这次宕机事件非常糟糕,不少人开始重新审视上云的取舍。当然,本地部署的Exchange Server同样会出重大故障,二者核心差别在于影响规模。本地出问题,受影响的往往只是单家企业;而云平台一旦发生严重故障,成千上万的机构会同步停摆,事件迅速扩散、全网可见。

当企业把核心业务高度依赖同一家云厂商,也就是“鸡蛋放在同一个篮子”时,该如何搭建自己的风险预案?不同地域、不同业务的企业在本次故障里遭遇的影响各不相同,这次事件也倒逼不少团队重新复盘、修订灾备方案。

值得一提的是,Exchange Online本身的邮箱数据库具备成熟的弹性能力,依托DAG(数据库可用性组)架构,租户数据分散部署在多组集群之中。本次暴露出短板的,并不是邮箱存储层,而是负责消息接收、流量转发的底层网关基础设施。

如果架构、隔离机制不做优化,一旦未来微软大量Agent智能体落地,流量和调用复杂度进一步暴涨,那将会发生什么?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
开发商讲实话:30多层高层住宅,未来想“拆掉重建”几乎不大可能

开发商讲实话:30多层高层住宅,未来想“拆掉重建”几乎不大可能

云霄纪史观
2026-11-17 04:27:57
詹姆斯·马拉佩乘机抵达深圳

詹姆斯·马拉佩乘机抵达深圳

政知新媒体
2026-11-16 23:23:33
活久见!人类历史上,电脑内存首次“开倒车”了

活久见!人类历史上,电脑内存首次“开倒车”了

互联网.乱侃秀
2026-11-08 14:23:53
美专家意见罕见统一:中国两岸统一后,美国唯一可行选择曝光

美专家意见罕见统一:中国两岸统一后,美国唯一可行选择曝光

铁锤侃侃而谈
2026-11-13 09:38:13
两场比赛!北京国安塞鸟跟海港蒋光太都没进名单 3天后足协杯四强能否出战?

两场比赛!北京国安塞鸟跟海港蒋光太都没进名单 3天后足协杯四强能否出战?

80后体育大蜀黍
2026-11-17 23:35:24
东部第一主场爆冷!塔图姆24+12乔治高开低走,魔术掀翻绿军

东部第一主场爆冷!塔图姆24+12乔治高开低走,魔术掀翻绿军

钉钉陌上花开
2026-11-17 10:35:16
“孝子,如同用自己的命填老人的命”!多名网友分享照护遭遇,子女兼顾工作长期透支,不幸猝死

“孝子,如同用自己的命填老人的命”!多名网友分享照护遭遇,子女兼顾工作长期透支,不幸猝死

火山詩话
2026-11-17 06:20:28
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

张国焘晚年写回忆录时骂遍了近代大批风云人物,但唯独对这两人始终保持着高度崇敬

唠叨说历史
2026-11-09 15:37:04
14天不让进!解放军六个字锁定1440平方公里,这片海要搞大动作?

14天不让进!解放军六个字锁定1440平方公里,这片海要搞大动作?

静儿家
2026-11-16 22:06:00
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

39岁刘亦菲近照曝光,气质面相大变,和彭冠英恋情传闻早水落石出

领略非凡
2026-11-15 15:48:00
A股最便宜的股票!43个跌停从106元跌到0.07元,韭菜直接连根拔起

A股最便宜的股票!43个跌停从106元跌到0.07元,韭菜直接连根拔起

财经市界
2026-08-07 08:40:42
TVB视帝被下病危通知书,妻子当场吓到无表情,望着仪器一动不动

TVB视帝被下病危通知书,妻子当场吓到无表情,望着仪器一动不动

小椰的奶奶
2026-11-17 14:44:32
开赛一个月,被摆上货架的四位全明星!

开赛一个月,被摆上货架的四位全明星!

球毛鬼胎
2026-11-17 12:35:06
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

旭日旗事件越闹越大!陈宇昕三代都是亲日分子,母亲身份已澄清

平老师666
2026-10-27 20:56:19
马来西亚媒体人:APEC各国都能从中国学到很多

马来西亚媒体人:APEC各国都能从中国学到很多

环球网资讯
2026-11-17 20:37:52
终于知道为啥家人得了大病要隐瞒!评论区分享一针见血,太真实了

终于知道为啥家人得了大病要隐瞒!评论区分享一针见血,太真实了

夜深爱杂谈
2026-11-15 22:50:00
别信“小渔村”神话!深圳的真相:全是违规操作逼出来的奇迹

别信“小渔村”神话!深圳的真相:全是违规操作逼出来的奇迹

何氽简史
2026-11-15 21:16:28
2026-11-18 00:28:49
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
225文章数 91关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
旅游
本地
健康
公开课

自骂“烂人”的黄仁勋,冤不冤?

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

本地新闻

乌兰察布:以前种土豆,现在种Token

情绪真能让健康人"伤心至死"?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版