22个航路区管中心17个严重网络不稳定,全美航班停摆超过4个小时超级故障已经解决,但其后遗症却在不断发酵,交通部长肖恩·达菲已经明确表示他不会为别人的烂摊子道歉!特朗普称这是拜登政府挥霍资金却无人维护基建,而民主则认为特朗普有钱搞宴会厅却不去搞航空安全!
![]()
故障的原因搞清楚了,就一根光纤升级造成了一次路由震荡!到底谁应该负责却演化成了一场超级甩锅大会!美国空管通信基建长期“各自为政”,无法统一升级,2003年的大一统计划最终因为无法协调而下马!美国不缺技术、不缺资金、更不缺规划,缺的是一个能统一协调的政府!
一次普通的光纤改造,为什么让美国天空停摆近五小时?
11月13日15点36分,芝加哥航路区管中心突然出现语音通信不稳定,飞机的雷达航迹断续等严重故障状态,这个故障迅速蔓延到了全美22个航路区管中心中的17个!全美空管中心失去了美国上空飞机实时动态的掌握,出于安全考虑,FAA与美国交通部同步发布了全美地面停飞的指令。
![]()
禁令发布后芝加哥、丹佛、达拉斯、华盛顿等航空枢纽陷入一片混乱,至少有600架次的航班被迫改降或者返航,超过150万人受到影响!这个禁飞指令一直到当天晚上20点15分才初步解除,分批放行积压的航班,但混乱一直持续到16日航班才恢复到基准状态!
原因竟然是老旧铜缆升级的一根光缆:究竟是怎么造成的?
11月14日,美国交通部长肖恩·达菲与FAA局长贝德福德在联合发布会,首次官方公布:故障根源是L3Harris(FTI的网络运营商)在偏远站点做铜缆替换光纤、部署新路由器的升级割接作业时引发了这次故障!
源头是阿肯色埃尔多拉多El Dorado站点,当时L3 Harris正在这个站点做铜缆改光纤后上新路由器的操作,新装的路由器可能是配置或者固件,也有可能是协议参数的异常,结果在接入FTI骨干网之后持续高频的路由更新请求,速率大概在200~250次/秒!
![]()
这大大超出了正常的FTI路由报文更新请求,随后几个星期前更换了同型号路由器的德州阿马里洛Amarillo站点也一起带崩了,也出现了高频发送更新路由请求的状况!紧接着这些异常路由更新报文沿着FTI骨干全网泛洪,所有区域管制中心的路由器都在接收、校验、处理、更新路由表、重新选路、再转发更新给邻居。
路由器的资源完全被这些额外的垃圾路由泛洪给淹没了,因为在思科等路由器的默认策略中,BGP和OSPF这类路由表更新是高优先级任务,所以完全没有足够的资源来处理业务层面的数据,其结果就是响应延迟甚至掉包等情况,业务层面来看就是数据断续,语音无法联络。
最终导致的就是全美22个航路区管中心17个因为“路由震荡”造成了通信不稳定,飞机状态信息无法移交造成信息孤岛!因为历史原因,全美航路管被划分成了22个区域,每个区域内有大量机场与航管网络设备组成的网络,这些网络数据汇总后通过FTI骨干网相连。
![]()
FTI骨干网由OSPF(站点本地 IGP) + IBGP(骨干跨域) + 路由重分发组成的混合架构!从本地的三层交换机汇聚到骨干路由器,接入FTI主干网,通过IBGP跨域链接,组成一个全美航路区管中心的庞大网络。
从技术层面来考虑这个故障完全不应该出现,因为现代ISP级的骨干网中的域隔离、边界限流、路由抑制(dampening)、自动熔断与隔离机制都是完美具备的,现代运营商骨干默认开启route flap dampening,能自动抑制不稳定前缀扩散!
然而在这次故障中FTI骨干网设备却没有抑制住这些异常路由转发!原因是这批FTI路由设备都是1990~2000年代初期定型的老架构,已经具备dampening能力,但架构设计、运维基线里没有启用、没有配套控制面限速、没有隔离域。
![]()
当然我们不能就此断定FTI的设备都是已经工作二十甚至三十年的老爷货,但有一点可以确认的是这个架构已经二三十年没有更新,因为新设备要塞进这个网络并兼容,那么也要关闭控制面限速、取消隔离域等现代主干网的常规操作,这就是这次问题的根源!
解决这个问题也不难,通过路由器BGP邻居日志与路由更新计数等很快就能确认大量向外发送BGP路由更新的节点,先将两个站点隔离出去,先让其他站点恢复正常!然后再同步更新同类路由器的路由发布策略,避免第三第四个故障站点出现,然后等待BGP路由老化后网络收敛,逐步恢复正常,差不多要十几分钟左右才能恢复。
至于隔离出来的两个站点,抓包分析到底是配置还是者固件又或者协议参数配置问题,然后再针对性解决即可!所以这也是这次FAA发布的全美地面停飞指令在短短4个多小时后就解决的关键原因,不过问题是解决了,但能根治吗?
比路由器更可怕的是美国空管系统背后的长期失修和现代化困局
隐患并没有解决,并且还多了一个问题!首先这个2000年代初期设计并由运营商L3Harris维护的网络本来就不建议开启dampening,因为dampening会误判路径探索、人为拉长收敛时间,造成隐性断流!现在为了隔离阿肯色与德州的故障站点而临时开启了这个限制,那么下一次爆发是不是会变成这个“隐性断流”的风险?如果再次关闭,那么未来是否会形成第二次“路由震荡”?
![]()
路由器与主干网更新不难:2028年前基本能搞定
FAA与美国交通部早就知道了这个套系统的问题在哪里,FTI主主干网络是1990年代末期定型的,域模型是单一大一体化骨干域,各航路管制区域本地使用OSPF作为IGP,骨干跨区域采用IBGP 交换路由,依靠路由重分发打通本地IGP与骨干BGP;
当时的设计思路是空管业务优先保证路由变更实时同步,主动弱化隔离、抑制、熔断机制,不部署边界flap dampening以及临近Update速率限制与全局CoPP,当年假设是链路局部故障不会全网传染,但是显然有点预估错误!
另一个是主干链路早期设计是铜缆T1(2对双绞线)、DS3(一对同轴电缆)为主,光缆属于极少数。2000年代初期国内也是大量铜缆建设,不过早在2010年前后中国就SDH建设全面铺开,那会有个专业名词叫做“光进铜退”,2013年后全面铺开,不过存量退网大概是在2017年后!
![]()
也就是说中国大约在八九年前基本就完成了全面光纤化,除了楼宇终端用4对双绞线这类铜缆外,其他主干以及骨干交换网络中早就见不到铜缆了。是不是按理光纤通信的发源地美国应该更早实现了光纤对铜缆的更替,外加大量2000年代的老设备升级?
答案恰恰相反,FTI这些老旧的线路与设备是在2014~2016年开始升级的,当然也不是全更换,只是“保留大量老思科设备和T1/DS3铜缆,只是一部分高流量站点新增光纤IP链路”。,原计划在2023年前升级结束,但是显然时间节点没赶上,目前新的计划改成了全面替换老旧线路与设备,时间节点是在2028年前升级完成,这次全美停飞的故障就是这次升级造成的。
设备升级容易:但NAS架构升级就难了,2040年前否完成也不知道
中国已经绝迹的主干铜缆在美国用量其实也不算多,但很难替换,特别是偏远机场、无人值守导航站、远端雷达/ADS-B地面站、阿拉斯加站点,原因是光缆铺设成本是在太高。不过相对于这类硬件设备升级来说还是比较容易的,因为美国航路区管架构NAS系统升级的难度就大多了!
![]()
美国目前的22个航路区管中心的架构继承于1958年确立的NAS(国家空域系统)系统,这个系统包括空域规则、设施、人员、通信、自动化整体集合,其中涉及空域到航空软硬件部分包括:
- 全局调度:全国空管指挥中心ATCSCC和流量管理系统TFMS;
- 三层空域管制:高于10000英尺的22个ARTCC 航路区管、TRACON(塔康)终端进近,主管中低空与机场周边、管理机场的ATCT塔台以及跨洋管制的大洋独立系统。
- 通信/数据支撑:FAA专用骨干传输网FTI(L3Harris运营),主要承载雷达与语音以及AIDC(管制中心之间飞机移交协议),AIDC网关、态势共享总线SWIM和老式航空报文的NADIN
这套系统架构设计在当年也非常合理,毕竟60多年前航班容量不大,分割区块处理,边界移交,即使有影响也是区域性。但随着美国航班航路爆炸性增长,这套系统已经明显无法胜任,半个多世纪以来历经多次升级,但始终无法解决几个根源性问题:
- 其一是航路计算都在区域内进行,相邻航区移交时包括飞机跨区移交、AIDC 报文、飞行计划同步等数据;
- 其二是这个网络因为持续多年升级,每个时期都有不同的承包商,所以相互之间都是专用接口,比如ATOP、NOTAM、TFMS、语音交换系统等都是不同年代、不同承包商;
结果是每次打补丁、版本变更,都要做大量跨厂商联调,非常容易出错。FAA和美国交通部也知道这套系统问题很多隐患很大,所以在2003年就开始启动了NextGen计划,最初规划是要将22个航路管制区设计成一套系统,分布式部署,彻底解决不同接口不同厂商不同协议的老大难问题。
![]()
但是从开始启动以来发现这简直是一个无解难题,因为整个NextGen计划涉及上百亿美元的合同,如此大一块大肥肉引发了各方利益争夺,最终还因为国会预算以及为了照顾各方利益,原架构不同,只是在原来的架构上打补丁。
2023年跳票的“老旧设备&铜缆升级”就是这个NextGen计划中很小的一部分,即使如此这个目前已经延迟到2028年!另外NextGen计划也已经在去年寿终正寝了,推进办公室也已经去取消,那个“老旧设备&铜缆升级”已经纳入到了新的BNATCS(统一 CAP自动化平台)计划中。
这个就是一套代码同时替换ERAM+STARS,原生内置航迹迁移,去掉AIDC网关;同步换掉老旧FTI骨干、老雷达、语音交换机;其模式就是一套系统分布式部署,不做成单中心,消除 “骨干网关故障导致全美停飞” 这类单点风险,你也可以理解成这是一套大一统网络。
![]()
但是这套大一统网络初步要在2035年后才能上线,全美完成统一替换预计至少在2040年后,如果考虑意外延迟的情况,搞不好2045年甚至遥遥无期也是有可能的!有意思的是我们国内也有类似的大一统网络建设,目前7个区管中心已经有4个完成切换,2个主副备用,还有一个在上线中。
我们差不多领先美国至少15年以上!铜缆/光缆更新领先美国在10年以上!是不是令人惊讶?这个是有据可查的,有兴趣的朋友可以自己去翻翻资料。
特朗普与民主党互相甩锅背后,美国究竟缺了什么?
看了全美航班禁令的缘由后,各位估计也能理解11月15日美国交通部长肖恩·达菲在NBC的访谈中明确拒绝道歉的态度了。的确这个问题是美国NAS建设的历史原因造成的,并且还是运营商L3Harris的锅,达菲明确表示不能只责怪共和党或者民主党,因为两党全都有责任!
![]()
特朗普指责民主党挥霍资金,没有把钱用在刀刃上!而民主党则指责共和党乱花钱!参议员员塔米·达克沃思更是嘲讽道:“为何政府总是不缺钱搞那些华而不实的项目,却拿不出钱来修复我们的航空交通管制系统?或许特朗普应该把航空安全放在首位,而不是忙着搞他那个可笑的凯旋门。”
美国不缺技术、不缺资金、更不缺规划!但是最后却闹成了主管部门不道歉,两党相互指责的名场面。为什么会这样?原因有如下几个:
第一是美国民主、共和两党轮流执政,重大基础设施工程很难长期保证政策的稳定性!一届政府制定方案,下一届政府可能重新评估;一届国会批准拨款,下一届又可能改变预算优先级。空管现代化这种升级可能需要延续几十年,但是两党轮流执政每隔四年就轮换一次,即使连任也只有8年,对于一个长期可持续的政策时间完全不够!
![]()
第二是美国相关管理机构也不是臃肿,但垂直切割后几乎难以执行!FAA只管航空安全、空管运行;频谱、电信设备合规归FCC;采购预算、合同审查归OMB和国会;线路施工、机房改造要走NEPA环评;人员变更、运维排班、管制系统界面改动,要和空管工会谈判。
这就造成了一个问题,掌握运行权、预算权、采购权和工程执行权的主体并不统一,各方相互制约,当利益冲突时就难以为继了,2025年新一轮现代化工程启动时,FAA为了加速项目进度,甚至放宽了大部分原有采购管理程序。但GAO立即警告,这样操作会让成本估算失真、工程协调不足和项目问责困难的风险,这就形成了一个新的悖论:
以前流程太复杂,导致项目拖延几十年;现在为了赶工期,又不得不简化程序,但缺少充分的成本和进度统筹,可能带来新的风险。
美国的政策执行是不是陷入死胡同了?这是一个无解的难题!当然中国也是垂直切割的,与美国大差不差,但问题是为什么中国没有陷入死胡同?答案很简单,中国有一个长期统一的规划、强力组织和有效的执行体系!
![]()
中国从建国后不久就有开始了五年计划,几乎不间断执行至今!还有前瞻性的863计划与973计划,也有国家科技支撑计划与重大专项计划,还有2015年后的中国制造2025计划等等。民航领域的则是从1990年代的864工程开始到2000年代初期的京沪深三大区域管制中心工程!
然后是2005年提出的NGATM 新一代空中交通管理系统和后续的CAAMS 民航空管现代化战略,还有“10+3” 空中骨干大通道工程。还有更早规划的北斗定位系统,还有工信部规划的全国主干网络建设工程等,一切都在一个统一的协调规划下进行,连续数十年持续建设。
![]()
美国政府要是有这个统一规划与协调和最终执行力,美国的国家空域系统会搞成这幅德行?说到底还是中美两国的体制差异造成的,美国不可能抄这个作业,中国也不可能搞成这种有规划但反复翻烧饼最终一个很好的规划被拖黄被拖死的结果!
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.