网易首页 > 网易号 > 正文 申请入驻

Kimi开源新线性注意力架构,首次超越全注意力模型,推理加速6倍

0
分享至

闻乐 发自 凹非寺
量子位 | 公众号 QbitAI

Transformer的时代,正在被改写。

月之暗面最新发布的开源Kimi Linear架构,用一种全新的注意力机制,在相同训练条件下首次超越了全注意力模型

在长上下文任务中,它不仅减少了75%的KV缓存需求,还实现了高达6倍的推理加速。

有网友表示期待:这个架构下的Kimi K2.5何时来??

不过,咱还是先来看一下Kimi Linear是如何挑战传统Transformer的。

让注意力真正线性化

Transformer确实聪明,但聪明得有点太烧钱。

它的注意力机制是全连接的,每个token都要和其他所有token打交道。

计算量也随着输入长度呈平方增长(O(N²)),而且每生成一个新词,还要查一遍之前的所有缓存。

这就导致推理阶段的KV Cache占显存极大,尤其是在128K以上的上下文中,显卡直接崩溃警告。

模型越强,显卡越崩,钱包越痛。

所以,过去几年无数团队都在研究线性注意力,希望把计算从 O(N²) 降到 O(N),让模型能又快又省。

但问题是,以前的线性注意力都记不住东西,快是快了,but智商打折。

现在,Kimi Linear以既要又要还要的姿态登场了。

Kimi Linear的核心创新是Kimi Delta Attention(KDA)

它在原有线性注意力的基础上,引入了细粒度遗忘门控,不再像传统线性注意力那样一刀切地遗忘,而是让模型可以在每个通道维度上独立地控制记忆保留,把重要信息留下,把冗余信息扔掉。

更关键的是,KDA的状态更新机制是基于一种改进的Delta Rule(增量学习规则)。

它在数学上保证了稳定性,即使是在百万级token序列中,梯度也不会爆炸或消失。

这也让Kimi Linear能在超长上下文中跑得稳。

整个模型采用3:1的混合层设计,每3层线性注意力(KDA)后加1层全注意力。这样既保留全局语义的建模能力,又能在多数层用线性计算节省资源。

团队还干脆把传统的RoPE(旋转位置编码)砍掉,让KDA自己通过时间衰减核函数学习序列位置信息。

结果,没有RoPE,模型反而更稳、更泛化。

在KDA的状态更新过程中,Kimi Linear用了一种叫Diagonal-Plus-Low-Rank(DPLR)的结构。

核心思路是把注意力矩阵拆成「对角块+低秩补丁」,这样GPU在并行计算时能一次性处理更多内容,吞吐率直接翻倍。

此外,团队还引入了分块并行计算和kernel fusion优化(内核融合),极大地减少了显存I/O开销。

在工程部署上,它还能无缝对接vLLM推理框架,不需要改模型结构,也不需要改缓存管理,直接替换即可。

这意味着,任何基于Transformer的系统在理论上都能一键升级为Kimi Linear。

实验结果显示,在相同训练规模下,比如1.4T tokens,Kimi Linear在MMLU、BBH、RULER、GPQA-Diamond等多个基准测试上全面超越Transformer。

长上下文推理中,解码速度提升最高达6倍,KV缓存减少75%。

不仅没丢精度,还在数学推理、代码生成等任务上更稳定、更高分。

One More Thing

不得不说,Transformer的地位正在被重新审视。

Mamba的作者曾用长文论述Transformer并非最终解法,状态空间模型(SSM)在长序列建模和高效计算上展现出强大的替代潜力,这也让人们重新思考注意力是否真的是唯一答案。

之前谷歌推出的MoR架构,探索用递归结构取代部分注意力,通过动态计算深度来减少冗余推理,进一步提升效率。

苹果公司也在多项研究中倾向采用Mamba,而非传统Transformer,理由很现实——SSM架构更节能、延迟更低、适合在终端设备上部署。

现在,Kimi Linear则从另一条路线突围,在线性注意力方向上取得突破。

或许这也预示着,AI架构正在告别对传统Transformer的路径依赖,迈向多元创新时代。

但值得一提的是,刚刚坐上开源模型王座的MiniMax M2,却重新用回了全注意力机制。

技术报告:https://huggingface.co/moonshotai/Kimi-Linear-48B-A3B-Instruct

— 完 —

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
开拓者怕了,杨瀚森受重用,终于不在垃圾时间登场

开拓者怕了,杨瀚森受重用,终于不在垃圾时间登场

宗介说体育
2026-11-20 15:14:38
五名法国游客到西安嫌肉夹馍小,吃完两个,五人又排了一次队

五名法国游客到西安嫌肉夹馍小,吃完两个,五人又排了一次队

华庭讲美食
2026-11-21 03:04:34
1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

1300公里的前线,10公里外的和平:乌克兰父亲最刺骨的战争真相

老马拉车莫少装
2026-10-16 17:34:01
11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

11月27日开始正式落地!有线电视迎来新规,每家每户都要了解清楚

浩渺青史
2026-11-20 01:07:29
以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

以前的卧铺大巴有多乱?网友:坐一趟不知道孩子是谁的!

另子维爱读史
2026-11-12 22:35:51
输0-5仍赢得尊重?西班牙队主帅:U17国足是亚洲亚军 他们很有威胁

输0-5仍赢得尊重?西班牙队主帅:U17国足是亚洲亚军 他们很有威胁

风过乡
2026-11-21 07:32:47
普京重磅宣布!俄罗斯,要下狠手了!

普京重磅宣布!俄罗斯,要下狠手了!

大嘴说天下
2026-11-20 21:35:04
蓝盈莹称明日(21日)做扁桃体切除手术:反复发炎才下定决心,分享住院清单:清洗液、婴儿纸巾、软毛刷、低敏牙膏;专家:这些情况扁桃体不能留

蓝盈莹称明日(21日)做扁桃体切除手术:反复发炎才下定决心,分享住院清单:清洗液、婴儿纸巾、软毛刷、低敏牙膏;专家:这些情况扁桃体不能留

极目新闻
2026-11-20 22:36:56
日本外务省确认了:高市早苗重申日本将持续援助乌克兰,追加越冬援助,推进对俄罗斯制裁,日本政企携手共同参与乌克兰重建工作

日本外务省确认了:高市早苗重申日本将持续援助乌克兰,追加越冬援助,推进对俄罗斯制裁,日本政企携手共同参与乌克兰重建工作

吉刻新闻
2026-11-21 12:43:06
男子在山姆花3970元买国航机票次卡,激活后没查到合适航班,申请退款发现订单“已核销”,已向12315举报;国航、山姆客服回应

男子在山姆花3970元买国航机票次卡,激活后没查到合适航班,申请退款发现订单“已核销”,已向12315举报;国航、山姆客服回应

都市快报橙柿互动
2026-11-21 01:13:02
还在跌!黄金失守3600美元,现货黄金一周内连破四大关口,大摩:黄金仍是2027年首选大宗商品

还在跌!黄金失守3600美元,现货黄金一周内连破四大关口,大摩:黄金仍是2027年首选大宗商品

每日经济新闻
2026-11-20 16:57:26
黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

纸鸢奇谭
2025-02-06 14:31:24
投资近100亿!合肥又一重大项目,即将建成

投资近100亿!合肥又一重大项目,即将建成

新站楼市
2026-11-21 09:16:58
北京舍不得它们倒闭!10家藏在街巷里的平价老店,味道扎实又便宜

北京舍不得它们倒闭!10家藏在街巷里的平价老店,味道扎实又便宜

华庭讲美食
2026-11-21 08:34:12
她一生“风流成性、老少通吃”,撩汉无数,现如今56岁却依旧单身

她一生“风流成性、老少通吃”,撩汉无数,现如今56岁却依旧单身

秋姐居
2026-11-19 12:10:42
曾经被炒到天价,现在却跌落神坛遭嫌弃,为何?消费者:全是坑!

曾经被炒到天价,现在却跌落神坛遭嫌弃,为何?消费者:全是坑!

兴趣知识
2026-11-21 04:09:29
李子柒当选四川省文联副主席

李子柒当选四川省文联副主席

大风新闻
2026-11-20 17:42:03
潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

潘长江做梦都没想到,躲过了女儿,却没躲过外孙。他自己1米6,老婆1米65,生出的女儿潘阳1米62,谁知道,基因这东西,还会隔代报复。

背包旅行
2026-11-19 01:22:04
曼联老板内讧了!格雷泽家族就卖不卖球队吵成一团

曼联老板内讧了!格雷泽家族就卖不卖球队吵成一团

夜白侃球
2026-11-21 11:24:44
又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

又瘦了!张子宇17分钟14+7率队二连胜 国青队友:她的进步太大了

颜小白的篮球梦
2026-11-21 07:32:25
2026-11-21 13:40:49
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

45岁男子奸淫幼女辩称不知其不满14岁 二审改判七年

头条要闻

45岁男子奸淫幼女辩称不知其不满14岁 二审改判七年

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
教育
艺术
公开课
军事航空

今年冬天流行“大+小”穿法,时髦又显瘦!

教育要闻

夯爆了!京南首个民办校“钱学森班”亮相,凭啥落地这所学校?

艺术要闻

2026第七届民族美术作品展 油画选二

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版