网易首页 > 网易号 > 正文 申请入驻

Cursor为Blackwell构建MXFP8内核,MoE层提速3.5倍,端到端1.5倍

0
分享至

机器之心报道

编辑:+0

在构建更强大的 AI 模型的这场竞赛中,传统路径很简单:升级到最新最强大的硬件。但 Cursor 发现释放下一代 GPU 的真正潜力远非即插即用那么简单。

在从 NVIDIA 的 Hopper H100s 升级到新旗舰 Blackwell B200s 后,该团队遇到了一个「升级陷阱」:硬件性能翻倍,但实际训练速度却被 MoE 层的效率拖慢,新架构的设计反而放大了数据搬运和量化的开销。

这就像给一辆赛车换上了动力翻倍的新引擎,却发现原有的轮胎完全无法承载这股力量,导致速度反而下降。

他们的解决方案是回归基础,自己定制「赛车胎」:在 GPU 内核级别从零开始重写整个混合专家(MoE)训练层。

Cursor 不仅解决了瓶颈问题,还彻底释放了 Blackwell 架构的潜能。通过抛弃对现有 CUDA 库的依赖,他们能够:

  • 直接针对TMEM 的新特性设计数据流管线,避免无谓的寄存器搬运开销;
  • 量化与反量化逻辑融入内核计算流程,大幅压缩了内存带宽占用;
  • 优化MXFP8 的 microscaling 实现,在保证训练收敛质量的同时,把性能推到极限。

最终效果是:MoE 层在前向和反向传播中都实现了3.5倍提速,端到端训练速度在 Blackwell 上快了1.5倍,相比最初的 Hopper GPU 方案实现了2倍的加速。

与 BF16 相比,MXFP8 MoE 的相对加速(归一化为 1.0)。

Cursor 团队在博客中详细介绍了相关技术细节,并分享了他们的工程经验和性能数据。

  • 博客地址:https://cursor.com/en/blog/kernels

为什么现有 MoE 内核在 Blackwell 上失效?

为了降低计算成本,模型训练普遍采用低精度数据格式(如 FP8)。但简单地将高精度数字(如 0.0001)转换为 FP8 会导致其被四舍五入为零,丢失信息。

微缩放(MX)通过将张量(Tensor)分割成许多小数据块(例如每 32 个元素一块),并为每个块计算一个独立的缩放因子(scale factor)来解决这个问题。

MXFP8 量化示例:每个 1x32 块共享一个缩放因子。

这样,每个块内的数据都能被有效缩放到 FP8 的可表示范围内,从而在保留精度的同时享受低精度计算带来的性能优势。Cursor 使用的MXFP8就是这样一种格式。

张量内存(TMEM)瓶颈

在 Hopper (H100) 架构上,张量核心的计算结果直接累积在寄存器中,后续的「反量化」等操作可以流畅地进行。

然而,Blackwell (B200) 引入了新的张量内存(TMEM)来存储累加结果。这意味着任何自定义的算术操作都必须经历一次低效的数据往返:TMEM → 寄存器 → CUDA 核心处理 → TMEM。

这种异步数据传输会在张量核心的计算管线中产生「气泡」,大幅降低执行效率。更关键的是,尽管 Blackwell 的 FP8 张量核心吞吐量翻倍,其 CUDA 核心性能仅提升了约 33%,导致反量化速度严重滞后于计算速度。

该甘特图截取自我们定制的 Blackwell 注意力核。第一行显示了张量核心(QKT)的活动情况;第二行显示了 CUDA 核心的活动情况(数据从 TMEM 加载至寄存器,然后执行 softmax)。从 TMEM 到寄存器的加载延迟,导致了张量核心出现流水线气泡。

数据显示,在特定配置下,Blackwell 上的反量化耗时是矩阵乘法本身的 1.76 倍,远高于 Hopper 上的 1.03 倍。

Hopper 与 Blackwell 上的相对反量化成本。

被忽视的「量化税」

除了 TMEM 瓶颈,数据「量化」过程本身也成了性能杀手。

以一个典型的 MoE 矩阵乘法为例,计算本身可能仅需 1.16 毫秒,但将输入矩阵量化为 MXFP8 格式并写回内存就需要搬运近 2.9 GB 的数据,耗时约 0.44 毫秒,占到计算时间的近 40%。

在反向传播中,这个开销因需要转置-量化而翻倍,达到 0.88 毫秒,占比高达76%。这意味着,如果优化不当,MXFP8 带来的性能提升可能被完全抵消

此外,现有的开源量化内核不仅带宽利用率低,其生成的缩放因子(scale factor)布局还与 Blackwell 的硬件指令不兼容,需要额外的、拖慢性能的重塑操作。

Cursor 如何从零重写MoE 层?

面对这些挑战,并发现现有的开源库(如 NVIDIA 的 TransformerEngine)并非最佳选择,Cursor 团队选择放弃高层依赖,使用纯 CUDA 和 PTX 汇编语言亲自编写 MoE 层的 GPU 代码。

优化策略

  • 拥抱原生硬件指令

他们没有与 TMEM 架构对抗,而是围绕原生的 tcgen05.mma 指令构建内核。这使得 GPU 硬件自身能够处理 MXFP8 所需的缩放,完全消除了 TMEM 和 CUDA 核心之间低效的数据移动。

  • 设计高效的数据流水线

他们实现了一个复杂的流水线,采用了诸如「Warp 专精」(将特定任务分配给不同的线程组)和 2-CTA(协同线程阵列)模式等技术。

Warp 专精将特定的任务分配给不同的线程组(Warp)。例如,Warp 0 负责从主内存加载数据到共享内存,Warp 1 负责加载缩放因子,Warp 2 负责将缩放因子从共享内存移至 TMEM,而 Warp 3 则专门负责启动矩阵乘法计算。这使得各个环节可以高度并行。

2-CTA 模式允许两个 GPU 流式多处理器(SM)协同完成单个矩阵乘法,通过共享 B 矩阵来减少内存流量,带来了 15-20% 的性能提升。

  • 针对 MoE 工作负载进行优化

对于 MoE 训练中特有的分组矩阵乘法,他们应用了一种名为「专家级超分组」的 L2 缓存优化启发式算法。这确保了内存访问模式保持高效,将标准矩阵乘法与分组矩阵乘法之间的性能下降限制在仅 4%。

「秘密武器」:量化内核与低精度配方

该团队开发了一个自定义的 MXFP8 量化内核,他们称这是目前用于 MoE 训练的最快内核。微基准测试显示,其内核持续的内存带宽超过 6.2 TB/s,相比他们从现有开源工具测得的约 4.5 TB/s 有了显著提升。

至关重要的是,他们的内核输出的数据内存布局与 tcgen05.mma 指令所要求的完全一致,避免了其他工具所必需的、耗时的额外「重塑」步骤。

基于内存带宽利用率的 MXFP8 量化内核比较(E4M3,32 块大小的缩放)。

团队还确定了一种特定的低精度「配方」,能够在不影响训练质量的情况下提供最高速度。通过使用元素类型为 FP8E4M3、块大小为 32 的 MXFP8 格式,他们能够使训练损失的收敛情况与速度慢得多的 BF16 格式几乎完全匹配。

团队公布的训练损失曲线显示,两种方法几乎没有区别,证明了性能的提升并未以牺牲准确性为代价。

BF16 与 MXFP8 训练损失超过 10k 步:几乎无法区分。

更多技术细节请阅读原博客。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
看完U17国足0-5西班牙,球迷看清四个事实:差距太大+裁判太黑了

看完U17国足0-5西班牙,球迷看清四个事实:差距太大+裁判太黑了

球场新视角1号
2026-11-21 00:01:21
11号秀17分钟仅3次出手,勇士0胜5负客场之旅暴露他的犹豫

11号秀17分钟仅3次出手,勇士0胜5负客场之旅暴露他的犹豫

温柔且自由
2026-11-21 01:13:19
孙俪家狗“芒果”拿下“最丑第一名”,本尊发文:我是该笑,还是哭?

孙俪家狗“芒果”拿下“最丑第一名”,本尊发文:我是该笑,还是哭?

韩小娱
2026-11-19 19:33:26
北京国安0-2上海海港,赛后评分:不是武磊第1,上海海港10号第1

北京国安0-2上海海港,赛后评分:不是武磊第1,上海海港10号第1

侧身凌空斩
2026-11-20 21:31:56
黄金,闪崩!跌幅排名历史第四!

黄金,闪崩!跌幅排名历史第四!

星图金融研究院
2026-11-20 07:47:48
姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

八怪娱
2026-11-18 09:29:26
U17国足半场2球落后!媒体人热议:邝兆镭习惯不好,通卡拉挡不住

U17国足半场2球落后!媒体人热议:邝兆镭习惯不好,通卡拉挡不住

奥拜尔
2026-11-20 22:58:01
北京国安球迷意难平!不止因为0-2上海海港,更多在于以下五点!

北京国安球迷意难平!不止因为0-2上海海港,更多在于以下五点!

球场新视角1号
2026-11-20 21:32:10
文班亚马上演跳投式扣篮,多角度还原“史上距离最短跳投”

文班亚马上演跳投式扣篮,多角度还原“史上距离最短跳投”

极目新闻
2026-11-20 16:54:29
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
市场监管总局赴河南、重庆、陕西等地开展“清风铁纪”教育整顿“回头看”

市场监管总局赴河南、重庆、陕西等地开展“清风铁纪”教育整顿“回头看”

界面新闻
2026-11-20 17:14:14
比亚迪发布折叠方向盘,10秒钟可边泊车边折叠

比亚迪发布折叠方向盘,10秒钟可边泊车边折叠

新京报
2026-11-19 22:46:06
-9℃!江苏气温再创新低

-9℃!江苏气温再创新低

中吴网
2026-11-20 21:20:01
U17国足出线形势:下轮输摩洛哥仍不会出局!剩2场拿4分基本晋级

U17国足出线形势:下轮输摩洛哥仍不会出局!剩2场拿4分基本晋级

我爱英超
2026-11-21 00:00:40
“花坛藏尸案”其中一名被告人提起上诉,此前被判处死刑

“花坛藏尸案”其中一名被告人提起上诉,此前被判处死刑

新京报
2026-11-20 22:15:23
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

人生录
2026-10-22 00:20:08
金饰克价,直线跳水!

金饰克价,直线跳水!

环球网资讯
2026-11-20 16:02:39
果然中国人的底层代码都是一样的,评论区绷不住了哈哈哈哈

果然中国人的底层代码都是一样的,评论区绷不住了哈哈哈哈

兰妮搞笑分享
2026-11-20 06:37:51
2026-11-21 01:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14524文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
数码
本地
公开课
军事航空

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版