DeepSpeed v0.19.9发布：Triton算子、AutoEP、AutoTP、ZeRO与CPU优化迎来集中修复与增强

DeepSpeed v0.19.9 已于 2026 年 10 月 30 日发布。本次版本是在 v0.19.8 之后的补丁更新，覆盖训练、推理、并行、专家模型、通信、优化器、CPU 后端、CI 测试以及文档维护等多个方向。

从发布记录看，本次更新共有 19 位贡献者参与，包含 28 次提交，涉及 105 个文件变更。虽然这是一个补丁版本，但改动范围并不局限于单点问题修复，而是对 Triton 内核、词表并行计算、AutoTP、AutoEP、ZeRO、AffineIR、HybridEngine、通信日志、CPU Adam、测试体系和文档链接进行了集中完善。

对于关注大规模训练、混合并行、专家模型训练、CPU 加速器适配，以及训练稳定性的用户来说，v0.19.9 值得重点关注。

一、版本与发布流程调整

本次更新首先完成了 v0.19.8 发布后的版本号更新，确保项目版本状态进入新的补丁版本周期。

同时，PR 门禁流程新增了对version.txt的过滤处理。该调整意味着版本文件不会再对相关 PR 门禁产生不必要影响，使发布后的版本维护流程更加清晰。

与版本管理相关的改动虽然不直接影响模型训练结果，但对于持续集成、自动化验证和发布稳定性具有基础意义。尤其是在频繁迭代的项目中，版本文件变化往往会带来无关的验证触发，本次处理正是对此类流程问题的针对性修复。

二、Triton 计算内核更新：词表并行与数值稳定性同步推进

v0.19.9 中一个重要方向是 Triton 内核能力的扩展与稳定性修复。

本次新增了用于词表并行场景的 Triton 内核，覆盖以下计算：

• • Logprobs

• • Entropy

• • KL

词表并行是大词表模型训练与推理中的关键能力。对于大规模语言模型而言，输出词表往往会带来显著的计算和存储开销。此次针对词表并行的 logprobs、熵和 KL 计算新增 Triton 内核，意味着相关计算路径获得了专门的内核支持。

其中，logprobs 常用于输出概率计算与结果评估；熵用于描述概率分布的不确定性；KL 则用于衡量两个概率分布之间的差异。这些计算在训练、强化学习、蒸馏、策略优化和概率分布约束等场景中都具有重要位置。

除了新增内核外，本次还修复了 Triton 掩码 Softmax 的数值稳定性问题。

掩码 Softmax 是注意力计算和序列建模中的基础操作。在实际模型运行中，掩码位置往往涉及极小值、无效位置或特殊填充值。数值稳定性问题一旦出现，可能影响后续概率分布计算。v0.19.9 对 Triton masked softmax 的数值稳定性进行了修复，使该路径在处理掩码场景时更加可靠。

从这两项改动可以看到，本版本对 Triton 的维护同时覆盖了“新增高价值计算能力”和“修复基础算子稳定性”两个方面。

三、AutoTP 更新：输出头绑定与分片写入校验

AutoTP 是本次更新的重要区域之一，相关改动涉及模型结构兼容性与分片数据写入检查。

首先，v0.19.9 调整了 AutoTP 对行并行输出头与嵌入层绑定关系的预期。

具体来说，当一个行并行的输出头与嵌入层保持权重绑定时，AutoTP 需要维持这一关系。本次更新明确了这一预期，确保 AutoTP 在相关模型结构下能够正确处理输出头与嵌入层之间的绑定关系。

权重绑定通常意味着输入嵌入与输出投影使用相同或关联的参数。对于并行化框架而言，这类关系需要在模型切分、参数布局和运行时计算过程中保持一致。此次更新聚焦于行并行输出头与嵌入绑定的兼容处理。

其次，本次还新增了对列切分片段写入位置的检查。

当参数或张量按列方向进行切分时，各个切分片段需要写入正确的分片位置。v0.19.9 增加了对列切分片段在 shard 中写入位置的验证，进一步加强了分片布局正确性的检查能力。

此外，针对某个模型结构中的输出投影偏置，本版本要求该偏置在每一个 rank 上保持完整，并将其描述为复制状态。

也就是说，该输出投影偏置不再按照局部切分方式处理，而是在各个 rank 上完整保留。这一变化对应的是模型参数布局与并行策略之间的兼容性处理，特别是涉及输出投影层偏置时，需要确保各个 rank 上的参数状态与并行语义一致。

四、AutoEP 更新：融合内核、分组顺序与竞态修复

AutoEP 在 v0.19.9 中获得了多项更新，覆盖专家激活、ZeRO-3 场景下的通信顺序，以及测试中的竞态问题。

首先，本次为被钳制的专家激活新增了融合 Triton 内核。

专家模型场景中，激活值可能需要执行钳制操作。此次新增的融合 Triton 内核面向这一计算过程，使被钳制的专家激活具备专用的融合实现。

其次，v0.19.9 修复了 AutoEP 在 ZeRO-3 条件下进行 all-gather 时，分区组顺序可能不一致的问题。

在分布式训练中，all-gather 是常见通信操作。当不同参与方对于分区组的顺序理解不一致时，可能影响数据聚合过程。本次更新确保在 ZeRO-3 场景下，AutoEP 的 all-gather 能够使用一致的分区组顺序。

这项改动同时涉及 AutoEP 与 ZeRO-3 两个关键机制，重点在于保持通信分组的确定性和一致性。

此外，本次还修复了 AutoEP 与 AutoTP 联合测试中的竞态问题。

该问题出现在折叠式检查点加载与元数据删除之间。当检查点加载与元数据清理操作发生时序竞争时，测试过程可能出现不稳定。本次修复处理了折叠检查点加载和元数据删除之间的竞态关系，使 AutoEP 与 AutoTP 的联合测试更加可靠。

五、AffineIR 更新：基于运行时布局规划专家传输

AffineIR 在本次版本中包含两项核心更新，均与参数、优化器状态和专家传输的运行时布局有关。

第一项更新是：根据实时运行时放置状态规划专家传输。

这意味着，专家传输不再仅依赖静态信息，而是基于当前运行时的实际放置状态进行规划。该变更面向专家模型的数据传输和布局管理过程，重点是让传输规划与当前运行时 placement 保持对应。

第二项更新是：为存活的 ZeRO 参数和优化器状态提供仿射存储映射。

本次增加的仿射存储映射，面向运行中的 ZeRO 参数及其优化器状态。这里的重点在于，参数和优化器状态的存储布局能够使用 AffineIR 的映射方式进行表达和管理。

两项 AffineIR 更新共同指向一个方向：让运行时参数、优化器状态、专家位置与传输规划之间的关系更加明确，并能够基于实时状态进行处理。

六、ZeRO 优化器与恢复训练行为修复

ZeRO 相关更新主要覆盖 fp16 优化器行为以及恢复训练时的主参数处理。

首先，v0.19.9 修复了 ZeRO Stage 0 的 fp16 优化器未正确遵循 hysteresis 配置的问题。

在 fp16 优化器中，hysteresis 是相关的配置行为之一。本次更新确保 ZeRO Stage 0 的 fp16 优化器能够遵循该设置。

其次，本次更新改进了 ZeRO-1 和 ZeRO-2 在恢复训练过程中的 fp32 master 参数保留逻辑。

具体而言，当恢复训练跳过优化器状态时，ZeRO-1 和 ZeRO-2 需要继续保留 fp32 master 参数。本次修复确保在这种恢复路径下，fp32 master 不会因跳过优化器状态而被错误处理。

这一改动直接面向恢复训练场景。当恢复流程不加载或跳过优化器状态时，模型参数、主参数和优化器数据之间的关系需要得到正确维护。v0.19.9 对这一情形进行了针对性处理。

七、HybridEngine 与 rollout prefill 调整

在 HybridEngine 的 rollout prefill 路径中，本次更新改为仅请求最后一个位置的 logits。

该调整发生在 rollout prefill 阶段，核心变化是 logits 请求范围缩小为最后位置，而不是请求更多位置的 logits。

发布记录中明确指出，这项更新属于相关 rollout prefill 路径的调整。对于使用 HybridEngine 进行 rollout 流程的场景，该变化是 v0.19.9 的一项明确行为更新。

八、通信操作与通信日志修复

通信相关功能在本版本中也获得了多项修复。

首先，对于未被性能分析的通信操作，v0.19.9 会跳过 accelerator 同步。

这一改动针对通信操作与性能分析状态之间的关系：如果某个通信操作不在性能分析范围内，则不再进行对应的 accelerator 同步。

其次，本次修复了通信日志带来的性能回退问题，同时修复了comms_logger.enabled的问题。

通信日志通常用于记录和观察通信行为，但日志机制本身也需要避免对运行造成额外影响。本次更新同时处理了通信日志导致的性能回退，以及启用状态判断相关的问题。

此外，v0.19.9 改为使用 NVTX 的模块级 API，以支持旧版本 NVTX 中的 domain range。

这项变更面向 NVTX 兼容性问题。通过采用模块级 API，NVTX domain range 可以在较旧的 NVTX 版本上正常工作。

从通信与分析工具链角度看，本次更新覆盖了同步行为、日志机制和 NVTX 兼容性三个层面。

九、CPU 后端更新：CPU Adam 增加 RVV 向量化 FP32 内核

CPU 优化器方面，v0.19.9 为 CPU Adam 新增了 RVV 向量化 FP32 内核。

该改动明确针对 CPU Adam 的 FP32 计算路径，并引入 RVV 向量化实现。

与此同时，本次还调整了 CPU accelerator 上的测试策略：跳过仅适用于 accelerator 的 CPU 优化器测试。

这里的调整重点在于测试适配。对于 CPU accelerator 环境，某些仅面向 accelerator 的 CPU 优化器测试将不再执行。

此外，v0.19.9 新增了一套 v1 多 rank CPU 测试套件，并且初始阶段采用手动分发方式。

该测试套件面向多 rank CPU 场景，发布记录特别说明其首先采用 manual dispatch 的方式。这意味着 CPU 多 rank 测试覆盖在本次版本中得到了扩展。

综合来看，CPU 方向的更新包括：

• • CPU Adam 增加 RVV 向量化 FP32 内核

• • CPU accelerator 跳过特定优化器测试

• • 新增 v1 多 rank CPU 测试套件

• • 初始采用手动分发测试方式

十、标量参数广播修复

本次更新修复了标量参数的 byte-view 广播问题。

该问题与标量参数以 byte-view 形式进行广播有关。v0.19.9 对这一广播路径进行了修正，确保标量参数在对应广播场景下得到正确处理。

虽然该项修改在发布记录中描述较为简洁，但它属于参数通信和数据视图处理链路中的明确修复内容。

十一、文档更新：修复英文与中文资料中的失效链接

文档方面，v0.19.9 完成了多处失效链接修复。

首先，README、文档页面、教程和文章中的 30 个失效链接已被修复。

这批修复覆盖范围包括：

• • README

• • 文档页面

• • 教程

• • 文章内容

其次，中文 README、中文教程和中文博客中的其余失效链接也已修复。

这意味着本次文档维护不仅覆盖英文资料，也同步处理了中文资料中的链接问题。对于查阅中文 README、教程和博客内容的用户来说，相关访问路径得到了整理。

十二、CI 环境与测试稳定性调整

v0.19.9 还包含多项 CI 和测试基础设施改动。

首先，modal-torch-latest CI 的 Python 版本从 3.10 升级至 3.12。

其次，AWS capacity-fallback 环境中的 Python 版本从 3.10.13 升级至 3.12.14。

这两项变更均是 CI 环境中的 Python 版本更新，分别覆盖 modal-torch-latest 与 AWS capacity-fallback 路径。

此外，为了避免 modal CI 沙箱中出现 300 秒测试超时，本次设置了：

TORCHINDUCTOR_COMPILE_THREADS=1

发布记录明确指出，这一设置用于停止 modal CI sandbox 中出现的 300 秒测试超时问题。通过将 TorchInductor 编译线程设置为 1，相关测试超时问题得到针对性处理。

在 CPU 多测试失败信息解析方面，本次还增加了对 ANSI 颜色代码的清理。

具体来说，在解析失败行之前，会先移除 ANSI 颜色代码。这样可以避免终端颜色控制字符影响失败信息的解析过程。

这些 CI 与测试改动分别涉及：

• • Python 版本升级

• • TorchInductor 编译线程设置

• • 测试超时处理

• • 失败日志解析

• • CPU 多 rank 测试覆盖

• • CPU accelerator 测试适配

十三、按提交时间梳理 v0.19.9 更新节奏

从提交时间看，本次版本的工作在 2026 年 10 月下旬持续推进。

10 月 21 日

当天完成了 v0.19.8 发布后的版本更新，以及对version.txt的 PR 门禁过滤。

同日还包括 CPU accelerator 跳过特定 CPU 优化器测试、输出投影偏置在各 rank 保持完整、AutoTP 处理行并行输出头与嵌入层绑定关系，以及词表并行 logprobs、entropy、KL Triton 内核的加入。

10 月 22 日

当天更新包括 Triton masked softmax 数值稳定性修复、CPU Adam 的 RVV 向量化 FP32 内核，以及 HybridEngine rollout prefill 中仅请求最后位置 logits 的调整。

10 月 23 日

当天主要聚焦文档链接维护，修复 README、文档页面、教程和文章中的 30 个失效链接，同时处理中文 README、中文教程和中文博客中的其余失效链接。

10 月 25 日

当天完成 modal-torch-latest CI 的 Python 版本升级，从 3.10 更新至 3.12。

10 月 26 日

当天增加了基于实时运行时 placement 规划专家传输的 AffineIR 能力。

10 月 27 日

当天完成多项稳定性与环境调整，包括：

• • 设置TORCHINDUCTOR_COMPILE_THREADS=1处理 modal CI 沙箱测试超时

• • 修复标量参数 byte-view 广播

• • 修复 ZeRO Stage 0 fp16 优化器 hysteresis 行为

• • 清理 ANSI 颜色代码后再解析 CPU 多测试失败行

• • 升级 AWS capacity-fallback 的 Python 版本

• • 为被钳制专家激活增加融合 Triton 内核

• • 修复恢复训练跳过优化器状态时的 ZeRO-1、ZeRO-2 fp32 master 参数保留问题

• • 未分析通信操作跳过 accelerator 同步

10 月 28 日

当天主要集中于通信与存储映射能力，包括通信日志性能回退修复、comms_logger.enabled修复、NVTX 模块级 API 适配旧版本 NVTX domain range，以及为运行中的 ZeRO 参数和优化器状态增加 AffineIR 仿射存储映射。

10 月 29 日

当天增加 v1 多 rank CPU 测试套件，并采用手动分发方式起步。同时修复 AutoEP 在 ZeRO-3 all-gather 中分区组顺序不一致的问题，修复 AutoEP 与 AutoTP 测试中折叠检查点加载和元数据删除之间的竞态问题，并增加对列切分片段写入 shard 位置的检查。

十四、v0.19.9 更新内容完整汇总

为了便于快速查看，以下汇总本次版本全部变更方向：

• • 完成 v0.19.8 发布后的版本更新

• • PR 门禁过滤version.txt

• • CPU accelerator 跳过仅适用于 accelerator 的 CPU 优化器测试

• • 输出投影偏置在每个 rank 上保持完整，并作为复制状态处理

• • AutoTP 保持行并行输出头与嵌入层之间的绑定关系

• • 新增词表并行 logprobs、entropy、KL 的 Triton 内核

• • 修复 Triton masked softmax 数值稳定性问题

• • CPU Adam 新增 RVV 向量化 FP32 内核

• • HybridEngine rollout prefill 仅请求最后位置 logits

• • 修复 README、文档页面、教程、文章中的 30 个失效链接

• • 修复中文 README、教程、博客中的其余失效链接

• • modal-torch-latest CI 的 Python 从 3.10 升级至 3.12

• • AffineIR 根据实时运行时 placement 规划专家传输

• • 设置TORCHINDUCTOR_COMPILE_THREADS=1处理 modal CI 沙箱 300 秒测试超时

• • 修复标量参数 byte-view 广播

• • ZeRO Stage 0 fp16 优化器正确遵循 hysteresis

• • 解析 CPU 多测试失败行前移除 ANSI 颜色代码

• • AWS capacity-fallback 的 Python 从 3.10.13 升级至 3.12.14

• • AutoEP 为被钳制专家激活增加融合 Triton 内核

• • ZeRO-1、ZeRO-2 在恢复跳过优化器状态时保留 fp32 master 参数

• • 未被性能分析的通信操作跳过 accelerator 同步

• • 修复通信日志性能回退和comms_logger.enabled问题

• • 使用 NVTX 模块级 API 支持旧版本 NVTX domain range

• • AffineIR 为运行中的 ZeRO 参数与优化器状态增加仿射存储映射

• • 新增 v1 多 rank CPU 测试套件，初始采用手动分发

• • AutoEP 在 ZeRO-3 all-gather 中保持一致的分区组顺序

• • 修复 AutoEP 与 AutoTP 测试中的折叠检查点加载和元数据删除竞态

• • 检查列切分片段在 shard 中的写入位置

十五、结语

代码地址：github.com/deepspeedai/DeepSpeed

DeepSpeed v0.19.9 是一次覆盖面较广的补丁更新。

本次版本一方面补齐了词表并行 logprobs、entropy 和 KL 的 Triton 内核，并修复 masked softmax 数值稳定性问题；另一方面持续完善 AutoTP、AutoEP、ZeRO、AffineIR 等并行训练与专家模型相关能力。

同时，CPU Adam 的 RVV 向量化 FP32 内核、多 rank CPU 测试套件、通信日志修复、NVTX 兼容性处理、恢复训练主参数保留逻辑，以及 CI Python 版本升级和测试超时处理，也使 v0.19.9 的更新不止于单一功能点。

对于正在使用 AutoTP、AutoEP、ZeRO、HybridEngine、Triton、CPU Adam 或多 rank CPU 测试环境的用户，v0.19.9 中的对应改动尤其值得关注。

我们相信人工智能为普通人提供了一种“增强工具”，并致力于分享全方位的AI知识。在这里，您可以找到最新的AI科普文章、工具评测、提升效率的秘籍以及行业洞察。 欢迎关注“福大大架构师每日一题”，发消息可获得面试资料，让AI助力您的未来发展。