北京
Meta 在俄亥俄 New Albany 的 Prometheus 超算集群，一期已经完成，规划扩展到约 100 万 GPU。这个量级的集群，任何一块卡出问题都不稀奇，稀奇的是它怎么还能跑得下去。
硬件上 Prometheus 走的是双平台 NVL72 方案，涵盖 GB200 NVL72、GB300 NVL72 等。NVL72 把安全域放大了九倍，Meta 的做法是在机内准备备件，故障发生时可以快速换卡，官方给出的量级是 1 秒级故障换卡。
容错这块，Meta 用 PAFT 方案实现单数据并行副本的故障隔离，再叠加 delta checkpoint 加内存 staging 的异步落盘。两套机制配合下来，预训练 goodput 超过 85%，RL 超过 90%。MTBI 从 47K 提升到 54K+ GPU 小时。
网络分两层看。楼内 fabric 从 DSF 演进到 51.2T 深缓存交换机；楼间靠 BAG 聚合网，覆盖范围从 2km 到 100km+。两层的协议栈全部是自研的 FBOSS。
这套组合里最值得盯的是那个 1 秒级换卡。百万 GPU 的集群，故障不是概率问题而是频率问题，把恢复动作压进机柜内部、压到秒级，才谈得上后面那些 goodput 数字。备件前置这件事，比堆卡本身更考验工程取舍。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
