DeepSpeed v0.18.8 发布：稳定性、Evoformer、多架构构建与ZeRO优化全面升级详解

DeepSpeed v0.18.8 于2026 年 3 月 13 日正式发布，这是一次以“修复问题 + 提升稳定性 + 改善开发与构建体验”为核心目标的补丁版本。
该版本共包含9 次提交、16 个文件变更、260 行新增代码、84 行删除代码，覆盖训练稳定性、日志控制、Evoformer 多架构支持、ZeRO Stage1/2/3、FP16 精度配置、NPU 构建、Async IO、测试与文档等多个关键模块。

本文将完全基于官方更新内容，对 DeepSpeed v0.18.8 的所有变更进行逐条拆解与系统化解读，帮助你快速理解本次版本升级带来的实际价值。

一、版本概览与更新重点 1. 基本信息

• •版本号：v0.18.8

• •发布时间：2026 年 3 月 13 日

• •版本类型：Patch Release（补丁版本）

本次 v0.18.8 主要聚焦以下几个方面：

• •日志与内存监控优化：减少无意义的日志噪音

• •Evoformer Attention 多架构构建修复：解决编译与调度根因

• •FP16 loss_scale 校验增强：避免隐性训练错误

• •ZeRO Stage1/2/3 稳定性改进：CUDA stream 与日志行为修复

• •Bloom 模型推理测试修复

• •华为 Ascend NPU Async IO 构建问题修复

• •AI 编码代理项目规范新增

• •测试覆盖增强

• •版本号更新

多个 ZeRO 相关模块中，see_memory_usage的日志调用被统一优化：

• • 同一位置同时调用force=True与force=False

• • 在 rank0 或非必要场景下避免重复打印

涉及模块包括：

• • ZeRO Offload

• • ZeRO Stage3

• • ZeRO Stage1 & Stage2

• • 参数分区与卸载流程

• •显著减少控制台日志噪音

• •在大规模分布式训练中提升可读性

• • 不影响原有内存调试能力

Bloom 推理容器在特定 Transformers 版本检测逻辑中存在异常行为。

修复点

• • 原逻辑在检测到 Transformers 版本超过 4.43.4 时，使用了sys.exit

• • 修复为直接抛出 RuntimeError

• • 测试环境不再直接退出 Python 进程

• • 错误提示更加友好、可捕获

• • CI 与自动化测试稳定性提升

在DeepSpeedFP16Config中，新增了对loss_scale的严格校验逻辑。

新增校验规则

• • 不允许为bool

• • 必须可转换为数值

• • 必须是有限值（禁止 inf / -inf / nan）

• • 必须≥ 0

• • •0表示启用动态 loss scaling

• • 覆盖非法值：-1、inf、nan、True

• • 覆盖合法值：0、1、2.0、字符串数值

• • 错误类型时，错误信息清晰明确

• • 避免训练过程中出现难以排查的数值异常

• • 在配置阶段即阻断错误输入

• • 提升 FP16 训练的安全性与可维护性

这是v0.18.8 中技术含量最高、影响最深远的更新之一。

1. 多架构 dispatch 根因修复 核心变化

• • 移除CheckArch中对__CUDA_ARCH__的依赖

• • 修复多架构构建时的逻辑冲突

• • 明确不同架构对 fp16 / bf16 的支持范围

架构

fp16

bf16

Sm70

支持

不支持

Sm75

支持

不支持

Sm80+

支持

支持

2. DISPATCH_ARCHTAG 宏逻辑重构

• • 不再依赖编译期 GPU_ARCH 条件嵌套

• • 运行期根据 CC 直接选择 Sm70 / Sm75 / Sm80

• • 不满足 Tensor Core 条件直接报错

• • 多架构 CUDA slice 行为更一致

• • 解决 Evoformer 在混合 GPU 环境下的异常构建问题

• • 构建逻辑中不再读取该环境变量

• • 设置该变量时仅发出警告

• •真正生效的构建控制方式为TORCH_CUDA_ARCH_LIST

TORCH_CUDA_ARCH_LIST='7.0;8.0'

文档明确说明：

• • Evoformer 仅支持 SM ≥ 70

• • Tensor Core 为必要条件

• • 多架构构建完全依赖TORCH_CUDA_ARCH_LIST

• • 低于 SM70 的目标会被自动裁剪

新增单元测试覆盖：

• • 低于 7.0 的 CC 被过滤

• • +PTX 后缀正确保留

• • 不再生成-DGPU_ARCH编译参数

• •CheckArch中不再包含__CUDA_ARCH__

• • 修正源文件列表中缺失的逗号

• • 修复 CPU op 中对 NPU 判断逻辑

• • 避免 torch_npu 未声明导致的构建失败

• • Ascend NPU 环境下 Async IO 可正常编译

• • 提升 DeepSpeed 在非 CUDA 平台的可用性

• • 使用current_stream()替代default_stream()

• • 避免梯度归约时的数据依赖问题

• • CUDA Stream 同步更安全

• • 减少潜在死锁与性能异常

• • 多处print_rank_0重复 force 参数修复

• • see_memory_usage 行为统一

• • 提升多卡训练日志一致性

• • 优化 optimizer state 初始化前后的内存日志

• • 保持与 Stage3 行为一致

两份文件内容完全一致，作为DeepSpeed 工作区级 AI 编码规范。

核心规则包括：

• • 提交必须带 Signed-off-by

• • 强制 yapf + flake8

• • 禁止无意义格式化提交

• • 新文件必须包含 Apache-2.0 License Header

• • 不允许直接 import torch.distributed

• • 删除无运行时价值的死代码

• • 注释强调“为什么”，而非“做什么”

• • 明确 AI 编码参与项目的行为边界

• • 降低 Review 成本

• • 提升长期代码质量与一致性

• •version.txt从0.18.7 → 0.18.8

• • 正式标志该补丁版本发布完成

代码地址：github.com/deepspeedai/DeepSpeed

DeepSpeed v0.18.8 虽然是一个 Patch 级别更新，但从实际改动内容来看，v0.18.8 已经远远超出了“简单修 Bug”的范畴，而是一次针对稳定性、可维护性与未来演进方向的系统性修正版本

我们相信人工智能为普通人提供了一种“增强工具”，并致力于分享全方位的AI知识。在这里，您可以找到最新的AI科普文章、工具评测、提升效率的秘籍以及行业洞察。 欢迎关注“福大大架构师每日一题”，发消息可获得面试资料，让AI助力您的未来发展。