网易首页 > 网易号 > 正文 申请入驻

豆包是如何炼成的?字节放出自研万卡训练系统ByteRobust论文

0
分享至

机器之心报道

编辑:Panda

大型语言模型(LLM)训练的核心基础设施是 GPU。现如今,其训练规模已达到数万块 GPU,并且仍在持续扩大。同时,训练大模型的时间也越来越长。例如,一个 405B 参数模型 LLaMA 3 的预训练,动用了 16,384 块 NVIDIA H100 GPU,耗时 54 天。字节跳动曾使用 12,288 块 GPU 训练了一个 175B 参数的模型。最近,xAI 建立了一个拥有 100,000 块 GPU 的集群以进一步扩大训练规模。

资源规模的扩张也带来了故障的普遍发生(例如 CUDA 错误、NaN 值、任务挂起等),这对训练的稳定性构成了巨大挑战。Meta 曾报告称,在 16,000 块 GPU 上训练大模型时,硬件故障大约每 2.78 小时发生一次。

对于 LLM 训练,当前的故障诊断和处理实践通常依赖于在发生「故障即停止」 (fail-stop) 事件后进行日志分析和退出码评估,或者独占整个集群进行压力测试。一旦确定了根本原因,训练任务会通过重新调度的资源和并行配置来恢复,并从远程文件系统重新加载通常由 TB 级数据组成的检查点 (checkpoints)。这种「故障 - 停止-诊断-恢复」的流程会产生不可忽视的开销,耗时从几小时到几天不等。随着模型和资源规模的扩大,故障频率增加,这极大地限制了有效训练时间比率ETTR,即有效训练时间与任务总运行时长的比值)。

因此,任何大规模 LLM 训练基础设施都应致力于实现最小化的训练中断、高效的故障诊断和有效的容错能力,以支持高效率的连续训练。

近日,字节跳动一篇论文介绍了他们 LLM 训练基础设施ByteRobust,引发广泛关注。现在,在训练基础设施层面上,我们终于知道字节跳动会如何稳健地训练豆包了。

  • 论文标题:Robust LLM Training Infrastructure at ByteDance
  • 论文地址:https://arxiv.org/abs/2509.16293

值得注意的是,这项研究共有六位共一作者:Borui Wan、 Gaohong Liu、Zuquan Song、Jun Wang、Yun Zhang、Guangming Sheng。

ByteRobust,一个稳健的 LLM 训练基础设施

ByteRobust 是字节跳动基于生产环境中的观察和经验构建的,力求稳健。

其关键目标是:以最小的非生产时间实现高效的事件诊断和处理,即在大规模 LLM 训练中获得高 ETTR。ByteRobust 经过精心设计,用于监控和管理 LLM 训练的全生命周期,以便大规模地自动高效处理训练事件。

ByteRobust 由两个核心组件构成:控制平面 (control plane) 和数据平面 (data plane)。

ByteRobust 的架构

控制平面在训练任务外部运行,负责协调稳健的事件处理策略,包括检测异常、定位故障并触发适当的恢复操作。

其中,Robust Controller负责协调一个自动化的故障缓解框架,利用实时监控和「停止 - 诊断」来处理大多数事件。为了实现可控的快速恢复,当没有机器被驱逐时,它使用一种「原地热更新」机制来重启训练。当决定驱逐某些机器时,它会请求经过自检预验证的「温备用」机器来恢复任务。

Runtime Analyzer则通过聚合来自训练 Pod 的堆栈跟踪来隔离和(过度)驱逐可疑机器,以解决任务挂起和性能下降问题。

数据平面驻留在每个训练 Pod 内部,集成了监控、诊断、检查点管理和堆栈跟踪捕获等模块,提供实时可观测性、中断时的即时诊断、快速的检查点回滚以及按需的聚合分析。

Robust Agent守护进程在每个训练 Pod 中运行,处理来自稳健控制器的控制信号,并管理以下四个子模块:

  • 监控器 (Monitor)收集多方面数据以检测异常值,支持实时检查并在出现异常时触发聚合分析。
  • 诊断器 (Diagnoser)在任务暂停后运行特定领域的基准测试和测试套件,从而能够对复杂故障进行深入诊断。
  • 按需追踪器 (On-Demand Tracer)从训练进程中捕获堆栈跟踪(当调用聚合分析时)并将其上传到运行时分析器。
  • 检查点管理器 (CKPT manager)执行异步检查点设置,并将备份跨并行组存储到 CPU 内存和本地磁盘,以最小化恢复成本)。

与传统的 GPU 管理和容错系统(通常在 Kubernetes Pod 级别运行)不同,ByteRobust 是将 LLM 训练任务的清单扩展到包含细粒度的进程管理,能够利用运行时信息进行故障检测并实现快速恢复。ByteRobust 通过一套全面的技术实现了这一目标,其新颖的系统设计理念总结如下。

优先快速隔离,而非精确定位

ByteRobust 倾向于快速的故障隔离,而不是详尽的定位。在超大规模的 LLM 训练中(通常涉及数千块 GPU),精确定位故障可能会导致大量 GPU 闲置。

为了最大化 ETTR,字节跳动的做法是将轻量级的实时检测与分层的「停止-诊断」相结合,以最小的开销快速甄别出故障机器。

当这些方法不足以解决问题时,ByteRobust 会应用一种数据驱动的方法,对运行时的堆栈跟踪进行聚类分析,以在定义的故障域(即并行组)内隔离可疑机器,宁可「过度驱逐」它们,也不去追查确切的根本原因。

将人为错误纳入设计考量

与标准的深度学习训练任务不同,长达数月的 LLM 训练涉及数据、算法和工程代码的持续更新,这加剧了系统的脆弱性。

认识到人为错误是不可避免的故障来源,字节跳动提出了一个自动化容错框架。

ByteRobust 的自动化容错机制

该框架结合了用于即时检测常见错误的实时检查、用于深入分析复杂故障的「停止-诊断」、用于从瞬时故障中恢复的原地重试、用于从有缺陷的用户代码中恢复的代码回滚,以及用于解决如 SDC 等极端情况的回放测试。

此外,通过一种「延迟更新」的方法,用户代码的变更可以与确定性故障的恢复过程合并,从而利用了故障的必然性和高频率。

在快速恢复期间控制可变性

故障源于硬件缺陷和软件错误,并且机器在长时间运行的任务中可能会性能退化。因此,在代码升级和恢复过程中确保稳定性至关重要。

对于不改变机器分配的变更,字节跳动使用一种「原地热更新」机制来保留运行时环境并简化诊断。

为确保可控且快速的恢复,ByteRobust 利用预先配置的「温备用」 (warm standbys) 机器,这些机器在交付前会执行自检,以避免整个任务的重新调度。

最后,字节跳动的检查点模块通过将备份分布在不同的并行组中(位于任何单个故障域之外),与故障域紧密结合,消除了对远程文件系统的依赖,从而实现快速重启。

ByteRobust 已被实际部署

字节跳动表示,ByteRobust 已经实现并已实际部署超过一年时间,用于支持字节跳动在高性能生产 GPU 集群中的内部 LLM 训练。字节跳动表示,ByteRobust 可以有效减少事件检测时间,并通过自动容错框架和聚合分析解决事件。

在为期三个月的时间里,ByteRobust 通过其自动化容错训练框架识别了 38,236 次显式故障和 5,948 次隐式故障。

字节跳动在三个月期间收集的训练事故统计数据,涵盖了 778,135 个 LLM 训练任务。

字节跳动在 16,384 块 GPU 上的微基准测试实验表明,温备用和热更新机制在恢复速度上分别实现了高达 10.87 倍和 11.04 倍的提升。

ByteRobust 中高效的检查点机制实现了「每步检查点」(every-step checkpointing),其开销低于 0.9%,从而加速了故障切换。

部署实验表明,在一个为期三个月、使用 9,600 块 GPU 的密集模型(类似 Llama,70B+)训练任务中,ByteRobust 实现了高达97%的 ETTR。

Cumulative ETTR 和 sliding-window ETTR 是字节跳动引入的新指标,其中前者是累积的有效训练时间与任务运行的累积总时长的比率,而后者在一个小时的窗口内计算的 ETTR,能更准确地反映间歇性故障的影响。

另外,他们也进行了一个为期一个月的 MoE 模型(Doubao-1.5-pro,200B+)训练任务,ByteRobust 的表现同样非常不错。

同时,随着训练的进行,两个任务的相对 MFU(Model FLOPs Utilization)持续增长。在训练期间,字节跳动最初在集群上部署了一个朴素版本的预训练代码,然后不断地调整和优化其学习过程和计算效率。

在上图中,MFU 曲线的每一次跃升都表明,一个更高效的训练代码版本通过 ByteRobust 的热更新机制部署了,而这对 ETTR 造成的降低微不足道。与初始运行时相比,字节跳动在密集模型和 MoE 任务中分别实现了 1.25 倍和 1.58 倍的 MFU 提升。

字节跳动还观察到,与密集模型相比,MoE 训练的 ETTR 相对较低。

密集模型的训练性能通常已由社区充分优化,而 MoE 训练则不同,它通常涉及大量自定义优化,如 GPU 内核调优、计算与通信重叠以及负载均衡策略。虽然这些优化对于提高训练效率是必要的,并表现出更高的 MFU,但它们也引入了额外的复杂性,增加了代码回滚和手动重启的可能性。

更多详情请参阅原论文。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
篮网托马斯加盟山东男篮!这种小外来CBA得拿多少分?

篮网托马斯加盟山东男篮!这种小外来CBA得拿多少分?

篮球大图
2026-11-18 15:07:37
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

城事堂
2026-11-18 17:22:57
A股开盘:三大指数集体高开

A股开盘:三大指数集体高开

界面新闻
2026-11-18 09:27:02
李嘉诚家训中有一条从不公开的生存铁律:人没钱时,靠勤奋是耗,靠借钱是毒,唯一的活路是死磕三个“时间杠杆”!

李嘉诚家训中有一条从不公开的生存铁律:人没钱时,靠勤奋是耗,靠借钱是毒,唯一的活路是死磕三个“时间杠杆”!

唠叨说历史
2026-11-05 16:51:48
全国供销合作总社:过去大家印象里,供销合作社主要是回收“废铜废铁”,如今积极开展废旧家电回收拆解,拓展“新三样”固废回收等新业务

全国供销合作总社:过去大家印象里,供销合作社主要是回收“废铜废铁”,如今积极开展废旧家电回收拆解,拓展“新三样”固废回收等新业务

政知新媒体
2026-11-17 17:46:28
1925年韩淑秀被处决后留下的照片,不远处是他的丈夫郭松龄的遗体

1925年韩淑秀被处决后留下的照片,不远处是他的丈夫郭松龄的遗体

小豫讲故事
2026-11-18 06:00:13
CBA杯-北控30分大胜江西 邹雨宸16+9引领6人得分上双

CBA杯-北控30分大胜江西 邹雨宸16+9引领6人得分上双

醉卧浮生
2026-11-18 17:14:56
赵本山的徒弟程野在直播间说了大实话:拍新戏《走马上任》那会儿,师父不仅下了极大功夫,私下里更是把他们这帮人敲打得冷汗直流

赵本山的徒弟程野在直播间说了大实话:拍新戏《走马上任》那会儿,师父不仅下了极大功夫,私下里更是把他们这帮人敲打得冷汗直流

一盅情怀
2026-11-13 12:44:00
克宫发言人回应克里米亚大桥遭袭:俄将继续特别军事行动

克宫发言人回应克里米亚大桥遭袭:俄将继续特别军事行动

参考消息
2026-11-18 18:21:54
销量大增73%,到底是谁,在狂买中国造的“落后芯片”?

销量大增73%,到底是谁,在狂买中国造的“落后芯片”?

户外钓鱼哥阿旱
2026-11-18 05:42:12
很多人好奇,黄仁勋作为英伟达创始人,为什么只有3.58%的股份?

很多人好奇,黄仁勋作为英伟达创始人,为什么只有3.58%的股份?

猫叔东山再起
2026-11-18 12:35:05
外交部:中俄美三国元首将就事关全球和平的重要问题深入交换意见

外交部:中俄美三国元首将就事关全球和平的重要问题深入交换意见

澎湃新闻
2026-11-18 15:39:07
英伟达停止向中国供应H200芯片,外交部回应

英伟达停止向中国供应H200芯片,外交部回应

支点财经
2026-11-18 18:28:44
比亚迪王传福:外界有一些误会,中国制造不是抢饭碗

比亚迪王传福:外界有一些误会,中国制造不是抢饭碗

极目新闻
2026-11-17 18:03:37
人到中年一定要舍得吃!推荐3样食物,低脂肪高蛋白,常吃身体棒

人到中年一定要舍得吃!推荐3样食物,低脂肪高蛋白,常吃身体棒

花小厨
2026-11-18 13:25:15
离开央视11年,前员工曝张泉灵猛料,更多细节被扒,被压榨仅开胃菜

离开央视11年,前员工曝张泉灵猛料,更多细节被扒,被压榨仅开胃菜

梦想总会变成真
2026-11-18 17:29:38
吃降压药的最佳时间公布!医生忠告:吃错了时间,效果相差很大

吃降压药的最佳时间公布!医生忠告:吃错了时间,效果相差很大

荷兰豆爱健康
2026-11-18 15:46:31
查理·芒格:如何确保自己过上痛苦的一生?

查理·芒格:如何确保自己过上痛苦的一生?

洞见
2026-11-18 10:50:12
女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万回购,一审判了

女子30万元买下网剧3%收益权,上线5个月仅能分得17元 诉请出品方付30万回购,一审判了

红星新闻
2026-11-18 11:19:59
2026-11-18 18:48:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳 中国军人在“空军一号”边上岿然不动

头条要闻

特朗普抵达深圳 中国军人在“空军一号”边上岿然不动

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
家居
艺术
公开课
军事航空

PS5不更新不能玩《GTA6》!玩家很愤怒:后悔入坑索尼

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版