网易首页 > 网易号 > 正文 申请入驻

Kimi K3.1 Pro来了:基于CANN的Day0推理支持与性能优化

0
分享至


10月24日,Moonshot AI发布Kimi K3.1 Pro,并于11月4日正式开源。CANN完成Kimi K3.1 Pro的Day0支持与优化,助力开发者在昇腾平台上快速部署与体验。


承接Kimi K3积累,快速适配新架构

Kimi K3.1 Pro交错使用KDA与DSA:KDA通过状态递推处理序列;DSA在MLA基础上引入索引选择,由LI(Lightning Indexer)筛选Top-K历史位置,再由SFA(Sparse Flash Attention)读取对应KV完成稀疏注意力计算。模型继续通过Attention Residuals聚合跨层表示。


依托K3阶段的优化积累,K3.1 Pro复用FlashKDA/MegaKDA、AttnRes两阶段融合及MegaMoE/MC2等算子优化,结合混合并行、通信优化与多流编排,以及SuperKernel、图模式、编译缓存和NZ权重布局,并沿用DSpark投机推理与ReplaySSM状态回放机制,从计算、通信、调度和存储多个环节提升推理效率,支撑新架构的快速适配。


DSA融合与多流,减少解码等待

LI将相关性打分、头权重加权和Top-K选择融合执行,直接读取分页K缓存,减少中间结果写回与算子启动;SFA根据选出的索引读取主注意力KV,完成稀疏注意力计算。Prefill与Decode均支持LI的BF16和量化路径。

Indexer Prolog进一步通过三流协同,使Q投影与K归一化、Q量化与头权重投影并行执行,减少输入准备阶段的串行等待。



分层量化,降低缓存与搬运开销

DSA保留BF16投影计算。LI全量化采用MXFP8,按per-group方式对索引Q/K进行动态量化,group size为32,即每32个元素共享一个缩放因子。SFA的KVCache采用FP8,量化粒度为per-token-head-tile,tile size为128,即每个Token、每个Head内按128个元素分块量化。该策略降低索引数据与 KV缓存的存储、访存开销。



Prefill CP,兼顾长序列切分与负载均衡

本次支持CPxTP组合部署,沿序列维度切分长输入,并结合TP组内序列并行,降低单卡激活与中间张量占用。


针对DSA因果索引计算中"序列越靠后、历史越长"的负载差异,采用Zigzag布局,将首尾配对的两段序列分配到同一卡,平衡跨卡索引计算量,完成计算后恢复原有顺序。



基于CANNBot-DSL,支持FlashKDA CP

超长序列场景下,KDA的Prefill计算耗时随序列长度增长,影响首Token响应时延(TTFT)。仅采用TP按注意力头切分时,每张卡仍需处理完整序列。FlashKDA CP进一步沿序列维度切分输入,将长序列计算分摊到多张卡,旨在降低超长序列下的TTFT,同时减少单卡激活与中间张量占用。

本次基于CANNBot-DSL实现FlashKDA CP,各卡先并行预计算并通过AllGather交换状态摘要,再按序合成前序分片的状态贡献,得到各自分片的起始状态,随后并行完成本段计算。



性能表现:100K长序列场景下,解码时延低于10ms

得益于DSA稀疏Attention结构,并结合DSpark投机推理等优化,在昇腾950DT平台32卡部署、100K输入长度、Global Batch 32的场景下,模型平均Decode计算时延低于 10 ms/Token(仅统计模型耗时,DSpark接受长度=4)。

CANN推理实践 · cann-recipes-infer

https://gitcode.com/cann/cann-recipes-infer

CANNBot-DSL · 融合算子开发

https://gitcode.com/cann/cannbot-dsl

ops-transformer · Transformer算子库

https://gitcode.com/cann/ops-transformer

欢迎开发者体验Kimi K3.1 Pro在昇腾平台上的推理实践,基于CANNBot-DSL探索融合算子开发,并通过Issue、PR分享部署反馈、优化建议与代码贡献。期待与社区伙伴共同推进模型适配和性能优化,让更多开源创新在昇腾平台落地。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

都市快报橙柿互动
2026-11-21 17:58:25
露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

平老师666
2026-11-21 08:49:53
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

台州交通广播
2026-11-21 10:23:13
网易号平台每日辟谣公告(十一月二十一日)

网易号平台每日辟谣公告(十一月二十一日)

网易号官方平台
2026-11-21 18:21:29
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
俄方称克里米亚大桥铁路运输已全面恢复

俄方称克里米亚大桥铁路运输已全面恢复

每日经济新闻
2026-11-21 19:12:52
突发!惨烈!美国,股灾了!

突发!惨烈!美国,股灾了!

财经要参
2026-11-21 15:52:09
彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

林杰论事
2026-11-21 18:01:18
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

军情观察家
2026-11-21 13:10:14
78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

念洲
2026-11-21 13:12:32
就在今天!哈登创造了80年NBA纪录

就在今天!哈登创造了80年NBA纪录

篮球大视野
2026-11-21 12:00:04
火箭主帅怒批球员:打得这么烂,你一场球都赢不了

火箭主帅怒批球员:打得这么烂,你一场球都赢不了

体坛周报
2026-11-21 17:34:09
在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

快科技
2026-11-21 18:44:08
普京向乌克兰军人“喊话”

普京向乌克兰军人“喊话”

参考消息
2026-11-21 15:58:07
确定了,是亲姐妹!女生刷视频刷到“另一个自己”,竟是失散20年的双胞胎姐妹,DNA鉴定显示二人确有血缘关系

确定了,是亲姐妹!女生刷视频刷到“另一个自己”,竟是失散20年的双胞胎姐妹,DNA鉴定显示二人确有血缘关系

极目新闻
2026-11-21 19:38:23
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

政知新媒体
2026-11-21 10:17:31
深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

贵重物品爱美食
2026-11-19 22:17:48
2026-11-21 23:31:00
CSDN incentive-icons
CSDN
成就一亿技术人
27180文章数 242347关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

于东来:胖东来保洁工资6千元 保安每天只需工作8小时

头条要闻

于东来:胖东来保洁工资6千元 保安每天只需工作8小时

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
健康
数码
公开课
军事航空

手机要闻

华为星芒品牌总经理回应定价争议:先把产品做好一点

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

荣耀林林展示超级快充双口充电器GaN Max 120W,11月23日发布

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版