新京报贝壳财经讯(记者罗亦丹)北京时间2月25日,DeepSeek发布了其“开源周”第二天的成果:DeepEP,第一个用于MoE模型(混合专家模型)训练和推理的开源EP通信库。
据了解,EP为Expert Parallelism(专家并行),是一种在大规模分布式AI模型训练中使用的技术,能用于提升模型并行处理能力和训练效率。
DeepSeek介绍,DeepEP的特点包括:高效且优化的全对全(all-to-all)通信,节点内和节点间支持NVLink和RDMA,用于训练和推理预填充的高吞吐量内核,用于推理解码的低延迟内核,原生FP8调度支持,灵活的GPU资源控制,实现计算与通信重叠。
DeepSeek发布公告截图
编辑 陈莉 校对 柳宝庆
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.