网易首页 > 网易号 > 正文 申请入驻

单用户解码快44%,批量64时只剩15%

0
分享至

SGLang 0.5.23 于 2026 年 11 月 2 日发布,包含来自 257 位贡献者的 1007 个 PR。这一版最受关注的内容,是一个需要手动开启的「低延迟模式」:NVIDIA megakernel 插件和 AMD monokernel 插件,把解码过程作为融合的持久化内核来运行。


发布说明给出的数字是:在 GB300 上,DeepSeek-V4.1-Flash 的单用户解码最高快 44%;在 MI350X 上最高快 75%。这两个数字需要换算一下才好理解——44% 的加速意味着单步时间减少了 30.6%,75% 的加速意味着减少了 42.9%。被抹掉的这部分,正是启动间隙和集合通信等待。

它到底替换了什么

两个插件都通过 SGLang 的通用插件入口 sglang.srt.plugins 加载,不是对核心代码的重写。不传 flag 时,SGLang 按原样运行;0.5.23 的 CUDA 镜像里,插件处于「未激活」状态,除非设置 --enable-nvidia-megakernel。

开启后,SGLang 在参数解析阶段、权重加载之前就检查配置。模型 runner 准备好受支持的模型后,构建 megakernel 并替换该模型实例的 forward。替换后的路径只接管被覆盖的步骤,其余步骤仍走模型自己的 forward。对 DeepSeek-V4.1-Flash 来说,更大的 verify 步骤、prefill 和 extend 都走标准路径。

覆盖面是刻意收窄的。NVIDIA 的表格列出 DeepSeek-V4.1-Flash 在 GB300 和 B300 上、张量并行度为 4、投机验证步为 1 到 384 行(每请求 6 行,即 batch 1 到 64)。B300 上的速度只测了单请求。表格其他行覆盖 Qwen3.5、Kimi K3、Kimi K3.1、GLM-5.3 和 GLM-5.2,各有自己的限制。两个 README 都挂着「实验性」横幅,说明内核、支持的配置和开关本身都可能变化。

为什么一个小批次能快这么多

AMD 的 README 把机制说得很直白:monokernel 是一个持久化内核,把解码层的大部分工作——包括注意力、专家混合块和两次张量并行 all-reduce——放进一到两次启动里完成。它要消除的,是「主导小批量解码的启动间隙和集合通信延迟」。

batch 1 时,解码一步每层搬运的数据量很小。GPU 很快算完一个小内核,然后等下一次启动,或者等 all-reduce 完成才能开始下一个算子。NVIDIA 的 README 从另一侧描述了这个修法:内核之间通过 mailbox 和程序化依赖启动传递输出,不再跨越逐个算子的边界。

张量并行度为 4 时,每一层都要付若干次集合通信的代价。每一次都是一个同步点,四块 GPU 一起等最慢的那块。把 all-reduce 融进同一个持久化内核,下一阶段可以在数据到达时立刻开始,而不必等一次独立启动。

44% 在单步时间里是什么概念

加速比很容易读错。每秒 token 数提升 44%,意味着每个 token 只花原来时间的 1/1.44。换算下来,GB300 上约 30.6% 的单步时间被移除,MI350X 上约 42.9%。

也就是说,在最好的单用户场景下,GB300 单步里大约三分之一是间隙与同步开销,MI350X 上大约五分之二。这本身就是个有用的诊断指标:如果你自己的 batch 1 解码 trace 里,内核之间的空闲时间也占类似比例,那这类优化就有戏;如果 trace 显示 GPU 从头忙到尾,你拿不到这样的数字。

批量一大,收益为什么缩水

被移除的开销基本是按步计的,不是按请求计的。而有效工作——专家矩阵乘、对更多 KV 条目的注意力——会随批量增长。同样一份绝对节省,放在更大的步里,占比就小了。

一个刻意简化的示意模型(不是实测):假设 batch 1 时一步耗时 100 个时间单位,其中 30.6 是可移除的间隙,与 44% 的说法对应;假设剩余工作每多一个请求增长 3%。按这个模型,batch 1 增益约 44.1%,batch 2 约 42.8%,batch 4 约 40.5%,batch 8 约 36.4%,batch 16 约 30.4%,batch 32 约 22.9%,batch 64 约 15.3%。

3% 这个增长率是为示意而设的。要点在方向:固定的节省除以增长的分母。真实曲线取决于专家路由、KV 长度,以及标准路径在大批量下本来就把自己的间隙重叠得有多好。README 也说明 B300 上只测了单请求,更大批量依赖内核测试——这与收益最强的位置是一致的。

还有一层:开启投机解码后,verify 步里的「行」是批量乘以草稿 token 数。NVIDIA 表格里每请求 6 行、1 到 384 行,对应 batch 1 到 64。固定的间隙节省因此被摊到每步更多的行上,在给定批量下,相对增益会进一步变软。

该给谁用:延迟层,不是吞吐层

很多集群跑两类流量。交互式流量——等工具循环的 agent、编辑器里的开发者——在意低并发下的每用户 token 间延迟。批量和后台流量在意高并发下每美元能换多少聚合 token 数。

这两个插件瞄准的是第一类。batch 1 的单用户能拿到全部收益;跑在 batch 32 或 64 的自动扩缩吞吐池拿到的更少,而插件的测试覆盖恰恰在那里最薄。把每个插件配到它被测量过的池子里,比到处打开更划算。

同一版本里还有一项默认变更需要分开看:在 SM100 和 SM103 上做 prefill/decode 分离时,DeepSeek-V4.1-Flash 的两个角色现在都解析到 MegaAttention 后端,握手会检查 KV 布局,因此 prefill 和 decode 必须使用同一个注意力后端。发布说明建议两个角色一起升级,或者在两边都传 --dsv4-attn-backend flashmla 以保留 FlashMLA。这是与 megakernel 插件不同的另一套机制,只是同一次升级里一起到来,归因延迟变化时要分开算。

怎么安全地灰度

插件默认不激活、由单个 flag 控制,所以上线简单且可回滚。在受支持的 GB300 配置、张量并行度 4 下:

  • 确认它真的生效了。README 说每个 rank 都会打印 NVIDIA megakernel: active (...)。如果所有 rank 上都没看到这行,你测的是标准路径,任何差异都是噪声。参数解析阶段的检查在权重加载前运行,配置不被接受会快速失败,而不是悄悄放过。
  • 对齐受支持的配置。模型、GPU 代际、张量并行度和批量范围都写在表格里。超出范围,步骤会退回标准路径。
  • 在你自己的并发下测,而不是只测一个点。同样的 prompt,在并发 1、4、16、64 下分别开关 flag 各跑一遍,记录 p50 和 p99 的 token 间延迟以及聚合 token 数。决定池子边界的是曲线,不是 batch 1 那个点。
  • 用足够多的样本比质量。NVIDIA README 报告,GLM-5.2 NVFP4(8 块 B300)上 GSM8K-200 严格匹配得分,开 megakernel 是 0.975,不开是 0.960。200 题里差 3 题,落在采样噪声范围内,应读作「未观察到退化」,而不是「有提升」。用自己的更大评测集和固定随机种子再跑一遍。
  • 让回滚保持简单。去掉 flag 就恢复原路径。在至少跑完一个完整发布周期之前,别把它写进镜像入口,因为 README 警告开关本身可能变化。

和 CUDA graphs 有什么不同

CUDA graphs 已经通过重放录制好的序列,消除了每次启动的 CPU 开销。这两个插件走得更远:它们改变序列内部运行的东西,把算子和通信合并进持久化内核,让数据在不跨逐算子边界的情况下交换。AMD 的 README 还提到,每一步仅由其 CUDA graph key 路由,因此每个 rank 做出相同决定,捕获的 graph 重放的是捕获时做出的决定。插件是坐在 graph 机制内部,而不是替换它。如果你为了调试关掉过 graph,行为会不一样。

几个常见疑问

44% 是生产环境能看到的数字吗?默认不是。那是发布说明里 GB300 配 DeepSeek-V4.1-Flash 单用户解码的上限。你的批量构成、prompt 长度和投机设置都会改变它。用单步时间的视角去估算你有多少间隙可以移除。

任何模型都能用吗?不能。每个插件都列出了覆盖的模型、GPU 和张量并行度,其余走标准路径。NVIDIA 表格覆盖 DeepSeek-V4.1-Flash、Qwen3.5-397B-A17B、Kimi K3 和 K3.1、GLM-5.3 和 GLM-5.2;AMD 表格模型更广,但限于特定的 Instinct 型号。

能加速 prefill 吗?对 DeepSeek-V4.1-Flash,prefill 和 extend 走标准路径。插件针对的是小批量解码和投机验证步。开启的 flag 是 NVIDIA 的 --enable-nvidia-megakernel 和 AMD 的 --enable-amd-monokernel,两者都被标注为实验性。

看不到变化先查什么?先看每个 rank 上有没有 NVIDIA megakernel: active 这行日志,再确认模型、GPU 和张量并行度在支持表格里。

持久化内核打的是一笔真实成本:batch 1 时,解码步里很大一部分是间隙和集合通信,而不是数学计算。SGLang 0.5.23 把这个思路打包成一个可回滚、由 flag 控制的插件。把头条加速比换算成被移除的单步时间,预期收益随批量增长而缩水,把它放在用户能感知 token 间延迟的池子上,剩下的交给自己的并发曲线去判断。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
省下 1.25亿!波切蒂诺挖到曼联瑰宝!天赋比肩帕斯

省下 1.25亿!波切蒂诺挖到曼联瑰宝!天赋比肩帕斯

澜归序
2026-11-20 10:27:31
湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

湖北95后小伙开饭店优先招35岁以上员工,缴五险一金,周休2天,一年亏了100多万

黄河新闻网吕梁
2026-11-19 17:55:11
3-1横扫!男单爆大冷!就在刚刚,WTT星球赛:世界第228名掀翻世界第14!国乒18岁削球手强势崛起:连赢5场闪耀全场,黄友政一输再输

3-1横扫!男单爆大冷!就在刚刚,WTT星球赛:世界第228名掀翻世界第14!国乒18岁削球手强势崛起:连赢5场闪耀全场,黄友政一输再输

锐评利物浦
2026-11-20 10:45:52
“格力电器被列为被执行人,执行标的150元”,格力电器回应:此事源于格力起诉义乌商家在网上违规售卖格力售后工作服的商标侵权案件

“格力电器被列为被执行人,执行标的150元”,格力电器回应:此事源于格力起诉义乌商家在网上违规售卖格力售后工作服的商标侵权案件

政知新媒体
2026-11-20 10:08:40
76,岁盛海琳现状:16,岁双胞胎女儿接近,1,米,7,很漂亮,粉丝将破百万

76,岁盛海琳现状:16,岁双胞胎女儿接近,1,米,7,很漂亮,粉丝将破百万

春之寞陌
2026-11-19 18:42:02
兹维列夫脚踝出现伤情!ATP总决赛四强已出3席,阿卡轻伤不下火线

兹维列夫脚踝出现伤情!ATP总决赛四强已出3席,阿卡轻伤不下火线

排球黄金眼
2026-11-20 08:58:27
如果人民公社活到今天,农村早就不用振兴了?

如果人民公社活到今天,农村早就不用振兴了?

爱下厨的阿酾
2026-11-20 13:51:40
泽连斯基放话:不向乌提供武器的欧洲国家,将面临审查

泽连斯基放话:不向乌提供武器的欧洲国家,将面临审查

金戈远望
2026-11-19 12:31:19
车祸痛失两战友,徐国夫懊悔:不开这个会就好了

车祸痛失两战友,徐国夫懊悔:不开这个会就好了

漫步史书
2026-11-19 17:43:43
加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

加内特怒批现役球员:他们不是硬汉,永远别拿我和这帮软蛋相比

体坛周报
2026-11-20 09:32:18
刚投产就凉了?合肥15亿大厂被申请破产,股东名单全是“国资”

刚投产就凉了?合肥15亿大厂被申请破产,股东名单全是“国资”

趣味萌宠的日常
2026-11-20 06:50:53
盛世脆断之前,无人感到安全

盛世脆断之前,无人感到安全

海涛评论
2026-11-20 00:44:37
450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

浯江孤舟
2026-11-20 15:21:39
演员童瑶发文告别

演员童瑶发文告别

背包旅行
2026-10-16 11:55:16
APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

APEC晚宴酒单曝光后 同款荔枝冰酒从限购卖到断货 网店营业额暴增93393%

快科技
2026-11-20 09:51:06
男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

温情邮局
2025-08-22 11:56:14
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
不出意外,2027年1月1日开始,或将迎来5大涨价潮,应提前了解

不出意外,2027年1月1日开始,或将迎来5大涨价潮,应提前了解

壹切的壹切
2026-11-19 04:56:44
黄仁勋妻子当年是系花,他17岁追她时不拼颜值不砸钱,只甩一句:你考试我全包,门门保优

黄仁勋妻子当年是系花,他17岁追她时不拼颜值不砸钱,只甩一句:你考试我全包,门门保优

In风尚
2026-11-20 06:04:49
成都一批老破小启动拆迁,补偿方案曝光,这是真让人羡慕

成都一批老破小启动拆迁,补偿方案曝光,这是真让人羡慕

靓仔情感
2026-11-20 14:15:26
2026-11-20 20:00:49
摸鱼算法
摸鱼算法
致力于用最前沿的AI技术,换取更多发呆时间的三十岁青年。
247文章数 79关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
教育
时尚
亲子
军事航空

房产要闻

6.6亿!海口卖地!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

亲子要闻

宝宝气人但是聪明的4个行为

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版