陕西
DeepSeek新消息
2月25日，DeepSeek在“开源周”的第二日开源了DeepEP通信库。DeepSeek表示，这是第一个用于MoE（专家）模型训练和推理的开源EP通信库。
DeepSeek表示，DeepEP具有以下特点：高效、优化的全员沟通；节点内和节点间均支持NVLink和RDMA；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生FP8调度支持；灵活的GPU资源控制，实现计算与通信重叠。
文档显示，DeepEP是一款针对专家混合模型（Mixture-of-Experts，MoE）和专家并行（ExpertParallelism，EP）定制的通信库。它提供了高吞吐量、低延迟的全到全（all-to-all）GPU内核，这些内核也称为MoE调度和合并。该通信库还支持低精度操作，包括FP8。
为了与DeepSeek-V3论文中提出的群体限制门控算法（group-limited gating algorithm）对接，DeepEP提供了一组针对不对称域带宽转发优化的内核，例如从NVLink域转发数据到RDMA域。这些内核提供高吞吐量，适用于训练和推理预填充任务。此外，它们还支持SM（流式多处理器）数量控制。
对于延迟敏感的推理解码任务，DeepEP包括一组低延迟内核，采用纯RDMA技术以最小化延迟。该库还引入了一种基于钩子的通信与计算重叠方法，能够避免占用任何SM资源。
分析称，MoE是一种特殊的模型架构，它将神经网络分成多个“专家”子网络，但在每个计算步骤中，模型只会激活其中的几个专家。这样可以提高模型的效率，因为它避免了每个专家都参与每次计算。
假设你有一个MoE模型，在每次训练过程中，你的模型需要激活其中的4个专家，每个专家位于不同的GPU上。你要通过DeepEP来协调数据的调度和合并。当你有一批输入数据时，DeepEP会决定将这些数据分配到哪些专家上。如果数据量大，DeepEP通过NVLink在本地GPU之间传输数据，或者通过RDMA在不同的机器之间传输数据。一旦每个专家完成计算，DeepEP会合并来自不同专家的结果。如果你的模型有多个计算节点，DeepEP会确保它们之间的合并过程是高效的，并且不会引发带宽瓶颈。在推理时，DeepEP会使用专门优化的低延迟内核进行数据传输，确保你在运行预测时可以尽可能快地获取结果。
另外，DeepSeek已重新开放API充值。DeepSeek-Chat模型优惠期结束，调用价格已变更为每百万输入tokens2元，每百万输出tokens8元。此前因资源紧张，DeepSeek曾一度停止充值。
来源：中国基金报
编辑：昱璇
责编：李杉
审核：若文
终审：赖婷
扩散转发
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
