![]()
![]()
![]()
近日,DeepSpeed正式发布了v0.18.6版本(2026年2月13日),这一版本以稳定性优化为核心,同时兼顾性能与兼容性,为深度学习分布式训练带来更高可靠性与灵活度。下面我们来详细解析此次更新内容。
✅ 版本号更新
版本文件已同步到0.18.6,确保用户可以准确获取最新版本信息,版本管理更加规范。
⚙️ 并发与模块优化
本次更新修复了leaf 模块的竞态条件问题,进一步提升了模型在高并发环境下的稳定性。同时,这意味着在分布式训练过程中,模块之间的同步与数据安全性得到了更好保障。
推理阶段优化
在模型评估(eval)阶段,系统将跳过序列并行操作,显著减少无效计算,进一步优化了推理效率。这一改动对大模型推理特别友好,尤其是资源有限的推理部署场景。
AutoTP智能分区增强
此次版本还新增了AutoTP的自定义分区模式支持,并修复了AutoTP自定义模式中未正确遵循use_default_specs参数的问题。
这让用户能够更加灵活地定义Tensor分区策略,从而在不同硬件架构下获得最优性能表现。
训练稳定性改进
修复了Gradient is ready with z2 的梯度计算问题,并修正了在ZeRO stage 0配置下,bf16梯度范数发散的问题,显著提升了混合精度训练的收敛稳定性。
这对使用ZeRO优化的超大模型训练尤为关键。
Python 3.14兼容性更新
DeepSpeed v0.18.6全面支持Python 3.14的新注解处理机制,为未来Python版本的适配铺平道路,开发者可放心升级Python环境。
函数库更新
用math.gcd替代了已弃用的fractions.gcd,保持代码兼容性与标准化,确保长远维护更轻松。
⚡ 性能改进:JIT替换为编译模式
本次更新将torch.jit.script替换为torch.compile,充分利用PyTorch新一代的编译优化能力,提升执行效率的同时简化模型编译部署流程。
总结
代码地址:github.com/deepspeedai/DeepSpeed
DeepSpeed v0.18.6 是一个以“稳定与兼容”为关键词的精进版本。
• 解决了训练中的竞态与梯度稳定性问题;
• 提升了AutoTP与ZeRO阶段的灵活性;
• 完善了对最新Python版本与PyTorch编译机制的支持。
我们相信人工智能为普通人提供了一种“增强工具”,并致力于分享全方位的AI知识。在这里,您可以找到最新的AI科普文章、工具评测、提升效率的秘籍以及行业洞察。 欢迎关注“福大大架构师每日一题”,发消息可获得面试资料,让AI助力您的未来发展。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.