网易首页 > 网易号 > 正文 申请入驻

华为中国:昇腾芯片完成Kimi K3.1 Pro零日推理适配

0
分享至

  【CNMO科技消息】11月4日,月之暗面正式公布Kimi K3.1 Pro的完整模型权重。11月5日,华为中国宣布,昇腾基于vLLM Ascend与SGLang完成0Day推理适配,支持昇腾Atlas 800 A3、Atlas 900 A3 SuperPod超节点以及昇腾950超节点系列产品部署该模型。围绕Kimi K3.1 Pro新增的稀疏注意力、百万级上下文与推理服务需求,昇腾在算子与框架层面做了协同优化,让用户在模型发布首日就能开展部署与应用验证。


华为Logo

  Kimi K3.1 Pro是K3.1系列的首个模型,拥有2.8万亿参数,原生支持视觉理解,上下文窗口达到100万token,并在K3基础上扩大了后训练规模,能力提升集中在代码开发、3D创作、金融研究、事实准确性与长程智能体任务。它在计算架构上采用混合线性注意力,把KDA线性注意力层与DSA稀疏注意力层组合使用——要真正吃下这套架构的算力优势,算子执行、缓存管理与跨卡通信必须一起调,这也是适配工作的难点所在。

  昇腾推理团队此前已有Kimi K3的适配积累,这次提前做了模型分析,在既有KDA与MoE支持的基础上,补上了K3.1 Pro新增的稀疏注意力路径与多模态推理。落到算子层面有几处具体改动:QLI量化索引器负责从历史token中筛选候选,昇腾把因果边界判断下沉到索引算子,直接确定当前查询可访问的历史范围,减少框架侧的辅助操作,并让多个DSA层共用的元数据按组生成、跨层复用;QSFA量化稀疏注意力按模型实际使用的注意力头数与输入布局优化,减少填充、拆分与拼接,对没有有效候选的查询直接跳过计算;注意力预处理则接入MLAPO融合算子,把投影、归一化与量化合并执行,有效KV直接写入分页缓存,省掉独立算子启动与二次写入。


月之暗面Kimi

  长上下文的显存问题是另一道坎。随着序列变长,历史缓存占用持续上升,昇腾通过解码上下文并行(DCP)把主注意力的KV缓存与索引器的K缓存按token分片存到多张卡上,各卡先基于本地K缓存筛选候选,再交换信息确定全局Top-K,无需为筛选汇集完整历史缓存,从而支撑1M超长序列部署。框架侧,前缀缓存、分块预填充、PD分离与内存池化等能力继续可用,并叠加MRV2、异步调度与DSpark投机推理。量化部署上,Attention线性层与MoE共享专家采用W8A8(MXFP)动态量化、MoE路由专家采用W4A8(MXFP)动态量化,配合动态C8注意力缓存量化,进一步压低存储与显存开销。相关部署指导已在vLLM Ascend与SGLang文档中公开。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
正式加盟,林书豪,开工了!……

正式加盟,林书豪,开工了!……

体育新角度
2026-11-16 16:27:11
重庆扩容已箭在弦上!两地激烈比拼,谁能率先撤县设区?

重庆扩容已箭在弦上!两地激烈比拼,谁能率先撤县设区?

水泥土的搞笑
2026-11-16 14:51:37
热搜霸榜三天了!日本希望安排“中日会谈”,被中方拒绝

热搜霸榜三天了!日本希望安排“中日会谈”,被中方拒绝

这里是东京
2026-11-15 17:18:08
打起来了,5年来最大规模!乌克兰不宣而战,出动1200架无人机

打起来了,5年来最大规模!乌克兰不宣而战,出动1200架无人机

巷北楠猫本尊
2026-11-16 15:15:06
ICE加州逮捕亚裔人数一年暴增10倍!“华人第一站”丁胖子广场不再热闹,南加华人区究竟藏着多少无证移民?

ICE加州逮捕亚裔人数一年暴增10倍!“华人第一站”丁胖子广场不再热闹,南加华人区究竟藏着多少无证移民?

纽约时间
2026-11-16 05:01:56
房价大局已定?大家注意了,不出意外,房价可能迎来大行情?网友兴奋道:坐等房子再翻番,退休生活全靠它了

房价大局已定?大家注意了,不出意外,房价可能迎来大行情?网友兴奋道:坐等房子再翻番,退休生活全靠它了

专业聊房君
2026-11-15 16:44:42
《谷雨》七大美女各有风情:李小冉气场足,王鸥港风美人,张雪迎我见犹怜

《谷雨》七大美女各有风情:李小冉气场足,王鸥港风美人,张雪迎我见犹怜

露珠聊影视
2026-11-14 21:14:32
关起门来的聚众淫乱,是怎么案发的?

关起门来的聚众淫乱,是怎么案发的?

北京郑律师
2026-11-14 16:02:15
家里兔子怀孕,一口气生了27只!!妹子天塌了:别再生了我害怕

家里兔子怀孕,一口气生了27只!!妹子天塌了:别再生了我害怕

铲屎官阿伟
2026-11-10 18:40:10
钻石姐索要体检报告!

钻石姐索要体检报告!

八卦疯叔
2026-11-11 10:28:18
黑龙江省17-19日东部中到大雪、局地暴雪

黑龙江省17-19日东部中到大雪、局地暴雪

环球网资讯
2026-11-16 14:07:05
新中国成立后,我国至今未破的大案、要案有哪些?

新中国成立后,我国至今未破的大案、要案有哪些?

文史达观
2026-11-13 09:21:34
火箭147-119大胜奇才 球员评价:4人满分,6人及格,2人低迷

火箭147-119大胜奇才 球员评价:4人满分,6人及格,2人低迷

篮球资讯达人
2026-11-16 10:43:21
“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

“这颜值,放艺术生里也是顶级了!”家长晒素颜大一女儿哭鼻子,院校揭晓网友都慕了

妍妍教育日记
2026-09-14 20:51:56
今日重要赛事!11月16日,央视CCTV5、CCTV5+节目表

今日重要赛事!11月16日,央视CCTV5、CCTV5+节目表

薇说体育
2026-11-16 10:49:49
“蛋白吃得多,病就生得少”,4种高蛋白食物,男女老少都该常吃

“蛋白吃得多,病就生得少”,4种高蛋白食物,男女老少都该常吃

花小厨
2026-11-16 10:05:10
睡眠藏着肺癌信号?夜里 5 种反常表现,尽早查肺

睡眠藏着肺癌信号?夜里 5 种反常表现,尽早查肺

猫大夫医学科普
2026-11-16 06:48:23
6天5个涨停板!股民:妖王不讲武德!

6天5个涨停板!股民:妖王不讲武德!

数据挖掘分析
2026-11-16 15:18:33
最容易和异性发生关系的女人,大多有这两个特征,很准

最容易和异性发生关系的女人,大多有这两个特征,很准

皓皓情感说
2026-11-16 07:52:58
“已经确定女儿考不上高中了”,家长在线求助,网友:存个18w给她吧

“已经确定女儿考不上高中了”,家长在线求助,网友:存个18w给她吧

熙熙说教
2026-11-05 14:45:22
2026-11-16 17:20:49
CNMO科技 incentive-icons
CNMO科技
专业、有态度的手机门户
128259文章数 316445关注度
往期回顾 全部

数码要闻

苹果HomeView与第四代Apple TV 4K开售 299美元起

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

游戏
本地
手机
时尚
公开课

传《GTA6》主线约50个小时 全成就大约200个小时

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

“小棕裙”今年冬天爆火,这样穿时髦又松弛!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版