北京
10月23日消息，近日，LMSYS 官方博客发布开源推理引擎 SGLang 弹性 EP（专家并行）扩容方案，面向 MoE 大模型在线推理场景，解决传统扩容方式资源浪费或者必须停机重启的痛点。
传统 MoE 推理扩容主要有两种方案：整副本水平扩容，资源开销高；或者停机重启、重新加载权重切换更大 EP 拓扑，中断业务。而这套弹性 EP 方案可以在服务持续对外提供推理的同时，后台新增 GPU 计算节点，平滑扩大专家并行规模，例如从 EP4 在线扩容至 EP6、EP8，不需要关停原有推理实例。
整套能力复用 SGLang 已有的故障恢复体系，三层组件协同：SGLang 控制平面管理扩容状态、切换生效时机；Mooncake PG 负责动态进程组、全局同步；NIXL 作为 MoE 全对全（A2A）通信层，承担 token 路由分发，扩容时仅新增通信连接，保留原有已经建立好的链路。
服务启动时通过`max_ep_size`预先预留元数据与 RDMA 通信缓冲区，新的 GPU rank 按需激活，不会在初始阶段就全部占用显存。
在 H100、DeepSeek-V3-Lite FP8 模型上实测：从下发扩容指令到新拓扑处理完第一条请求，弹性扩容速度是停机重启重建方案的 5.3–8.2 倍。方案已经支持扩容后专家负载均衡 EPLB、解码阶段 CUDA 图重新捕获、DP-Attention 分片并行，开启 CUDA 图后吞吐相比 Eager 即时模式提升 3 倍以上。
当前功能限制与路线：扩容能力已经合入主干；缩容能力还在 PR 评审；空闲状态扩缩容、扩容后的故障恢复属于后续规划。扩容 API 只负责接入进程，GPU 资源分配需要外部编排系统配合。
该方案适合流量波动明显的 MoE 线上推理服务，实现细粒度、按需增加算力，大幅降低弹性调度成本。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
