网易首页 > 网易号 > 正文 申请入驻

Sand.ai重磅更新MagiAttention,定义分布式Attention性能新标杆

0
分享至

机器之心编辑部

2025 年 4 月,Sand.ai 开源了 MagiAttention v1.0.0,定义了下一代分布式 Attention 的全新设计和系统框架。历经一年的深耕,今天Sand.ai正式发布:MagiAttention v1.1.0,以更成熟的原生算子组件,重新定义 Hopper 与 Blackwell 两代架构分布式 Attention 的性能上限

  • 代码仓库:https://github.com/SandAI-org/MagiAttention
  • 使用文档:https://sandai-org.github.io/MagiAttention/docs
  • 技术博客:https://sandai-org.github.io/MagiAttention/docs/main/blog/magi_attn

Blackwell 新架构适配:释放下一代算力红利

为了在下一代硬件上延续 Flex-Flash-Attention (FFA) 的灵活性,研发团队引入了基于 Flash-Attention 4 的 FFA_FA4 后端,完成了对 Blackwell 架构的初步适配:

  • 灵活掩码支持:引入 HSTU Function 表达,在无需大幅改动 FA4 内核主体逻辑的前提下,实现了对任意掩码的无缝兼容,且性能损耗 < 5%。
  • 高效分块稀疏生成:开发了高效分块掩码生成算子,大大降低了 FlexAttention 实例化完整掩码的性能开销和显存风险。
  • R2P 指令级加速:我们利用 Register-to-Predicate 技巧,将复杂的边界检查映射为单条硬件指令,大幅降低了指令周期。
  • 极致显存和延迟:针对超长序列,对掩码元数据进行 CSR 压缩,对内核启动进行 FFI 加速,确保显存与延迟的双重极致。

原生 Group Collective 原语:突破 RDMA 带宽瓶颈

跨机通信效率决定了分布式扩展上限,受 DeepEP 启发,Sand.ai 构建了原生 Group Collective 通信内核,彻底重塑了分布式 Attention 在节点内外的数据交换范式:

  • 算子级融合:研发团队将数据重排直接融合进通信算子,显著降低了访存和额外拷贝开销。
  • RDMA 传输去重:以 "NVLink 替代冗余 RDMA" 传输,实现节点间单次物理交换与节点内高效转发和规约,跨机通信量降低数倍,性能远超传统 AlltoAll-v 方案。

系统级协同优化:负载均衡与多阶段重叠

MagiAttention 的卓越性能不仅源于算子端的极致打磨,更得益于系统级的全栈协同调度和全场景通用的启发式算法:

  • Dispatch Solver: 基于最小堆贪心算法,实现序列的细粒度分配,保证任意掩码下设备的计算负载均衡,避免 “短板效应” 拖垮分布式整体性能。
  • Adaptive Multi-Stage Overlap: 突破静态流水线限制,自适应调整流水线阶段,通过最小化调度开销实现极致重叠,为超长序列训练提供线性扩展保障。

实测表现与应用

目前,MagiAttention v1.1.0 已在 Magi-1 等大规模视频生成模型训练中得到实证,也在各大厂中被 “悄悄” 应用于多模态大模型训练。为了验证 MagiAttention 在真实长文训练中的表现,Sand.ai 也给出了细致的 Benchmark 结果:

  • 算子层面:支持灵活掩码并维持 SOTA 性能

H100/B200 Varlen Causal 掩码下前反向的内核算子性能对比

  • 分布式层面:重塑超长序列的扩展性曲线

H100/B200 Varlen Causal 掩码下前反向的分布式性能对比

结语与未来展望

自去年 v1.0 发布以来,Sand.ai 收到的社区反馈让研发团队更加坚定:只有将底层算力压榨到极限,才能开启人工智能处理复杂多模态任务的新篇章。MagiAttention v1.1.0,是 Sand.ai 向这一愿景迈进的关键一步。Sand.ai 相信,强大的模型能力必须建立在普惠且极致的技术基石之上。

了解更多信息,欢迎访问 Sand.ai 官网:https://sand.ai

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
突然,集体拉升!两则好消息传来

突然,集体拉升!两则好消息传来

券商中国
2026-11-21 14:00:36
“荔枝冰酒”冲上热搜!一天4000瓶一抢而空,网店营业额暴增900多倍;一瓶果酒凭什么成了APEC的“顶流”?

“荔枝冰酒”冲上热搜!一天4000瓶一抢而空,网店营业额暴增900多倍;一瓶果酒凭什么成了APEC的“顶流”?

农民日报
2026-11-21 15:35:25
国内基础金价创年内最大单周跌幅,中国黄金总部旗舰店客流激增、启动分流措施

国内基础金价创年内最大单周跌幅,中国黄金总部旗舰店客流激增、启动分流措施

极目新闻
2026-11-21 10:43:09
深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

深圳这次APEC,有个细节太提气了。各国嘉宾一下飞机、进会场,坐的啥车?是红旗,是腾势

扶苏聊历史
2026-11-19 15:27:26
英伟达单日暴跌14%,但斌回应“清盘线”:部分基金只能被动减仓

英伟达单日暴跌14%,但斌回应“清盘线”:部分基金只能被动减仓

每日经济新闻
2026-11-21 15:14:06
演员孙芮宣布结婚怀孕成“军嫂”,晒丈夫帅气背影:他身处纪律岗位坚守责任

演员孙芮宣布结婚怀孕成“军嫂”,晒丈夫帅气背影:他身处纪律岗位坚守责任

开开森森
2026-11-21 09:39:26
英超豪门主场翻车:4轮不胜太耻辱,哈兰德又哑火:连续3轮0进球

英超豪门主场翻车:4轮不胜太耻辱,哈兰德又哑火:连续3轮0进球

足球狗说
2026-11-21 22:21:35
起床人还好好的,突然就倒下了……浙江有医院近半个月收治超百起脑梗

起床人还好好的,突然就倒下了……浙江有医院近半个月收治超百起脑梗

都市快报橙柿互动
2026-11-21 17:58:15
复星18.9亿出售上海地标商厦

复星18.9亿出售上海地标商厦

新浪财经
2026-11-21 18:58:09
俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

俄怒射117枚导弹以牙还牙!欧称:乌克兰严冬再冷,也吓不退欧洲

军机Nova
2026-11-21 00:55:32
蒋介石曾说:亡于日本,能为亡国奴;亡于共党,为奴亦不能

蒋介石曾说:亡于日本,能为亡国奴;亡于共党,为奴亦不能

墨策史
2026-11-04 15:27:40
这就是赤裸裸的现实!中石化、中海油全员并入中国石油?真可行?

这就是赤裸裸的现实!中石化、中海油全员并入中国石油?真可行?

风流女汉
2026-11-21 01:51:17
拿到60次40+5+5有多难?历史仅6人,詹姆斯仅第5,东契奇62次比肩乔丹

拿到60次40+5+5有多难?历史仅6人,詹姆斯仅第5,东契奇62次比肩乔丹

兵哥篮球故事
2026-11-21 19:28:57
彻底变天了?英伟达临时CEO克雷斯发表讲话:英伟达员工不会流失

彻底变天了?英伟达临时CEO克雷斯发表讲话:英伟达员工不会流失

锅锅爱历史
2026-11-21 16:43:40
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
“新型啃老”全国开始蔓延,孩子不上班、不要钱,只是把门关上,父母却更难受了

“新型啃老”全国开始蔓延,孩子不上班、不要钱,只是把门关上,父母却更难受了

可读
2026-11-20 22:34:37
丰田新车突然公布:11月21日即将上市,第六代混动

丰田新车突然公布:11月21日即将上市,第六代混动

手机讲坛
2026-11-21 15:20:29
海关总署署长孙梅君到广东深圳、江门海关调研

海关总署署长孙梅君到广东深圳、江门海关调研

证券时报
2026-11-21 15:52:04
武汉一区规模最大超市,正式开业

武汉一区规模最大超市,正式开业

越乔
2026-11-21 21:39:59
西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

凡人学电脑
2026-11-20 23:39:35
2026-11-21 22:36:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

于东来:胖东来保洁工资6千元 保安每天只需工作8小时

头条要闻

于东来:胖东来保洁工资6千元 保安每天只需工作8小时

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
亲子
艺术
教育
健康

提升冬日幸福感的8件小事,太治愈了

亲子要闻

萍萍六个月做四维,哥哥不开心原因竟是…

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

教育要闻

Nature 问了 107 个国家的 3785 名博士生:如果能重来,你想对刚读博的自己说什么?

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版