江苏
LLM领域，线性注意力机制正在回归，工程实践主要还是国产模型在推进，主要原因大家都清楚，我们算力有限，当然也有长期的目标，Agent要真正落地干货，注意力机制必须要改变，目前国外主要模型都是闭源的，技术细节我们不了解，看起来都是仗着有卡，暴力解算，以下是这场技术路线之争的简要梳理
早期：效率与精度的两难
线性注意力并非新技术。早在2020年代，相关论文就已大量涌现。
其核心目标是将注意力机制的时间和内存复杂度从O(n²)降低到O(n)，从而在处理长序列时实现更高的效率。
然而，这些早期的尝试从未真正获得主流认可。根本原因在于，它们以牺牲模型精度为代价，因此从未被应用在任何一个开源的、达到业界顶尖水平（SOTA）的大语言模型中。
新的浪潮：国产模型引领
转折点发生在今年下半年，线性注意力变体迎来了一轮复兴
6月，MiniMax-M1：拥有4560亿总参数、460亿激活参数的MoE模型，采用了“闪电注意力”（lightning attention）
8月，Qwen3-Next：由Qwen3团队推出，采用了线性注意力变体
9月，DeepSeek V3.2：由DeepSeek团队发布，采用了稀疏注意力（sparse attention），虽然并非严格的线性，但仍是亚二次方复杂度
这三个模型的共同点是，在大部分或所有层中，都用高效的线性或亚二次方注意力变体取代了传统的二次方注意力
剧情反转：MiniMax悄然“倒戈”
就在线性注意力看似前景大好之时，剧情出现了反转。
MiniMax团队发布了其新的2300亿参数模型M2，但出人意料地放弃了线性注意力，回归了常规注意力机制
团队给出的解释是，线性注意力在生产环境的LLM中非常棘手。虽然它在处理常规提示时表现尚可，但在推理和多轮对话任务中存在明显的精度问题——而这两项能力对于聊天会话和智能体应用至关重要
这一举动一度让外界认为，线性注意力的探索或许不值得再继续下去
Kimi入局：混合策略带来新解法
然而，上周，Kimi团队发布了其全新的Kimi Linear模型，再次将线性注意力拉回舞台中央。
官方数据显示，与常规的全注意力（full attention）相比，Kimi Linear实现了：
75%的KV缓存缩减
最高达6倍的解码吞吐量
在架构上，Kimi Linear与Qwen3-Next有诸多相似之处，两者都依赖于一种混合注意力策略。
具体来说，它们都将轻量级的线性注意力与重量级的全注意力层结合使用。两者的比例均为3:1，即每三个采用线性注意力（Gated DeltaNet变体）的Transformer块，就搭配一个使用全注意力的块
但Kimi Linear在此基础上进行了改进：
1.线性部分：采用了Kimi Delta Attention (KDA)机制，这是对Gated DeltaNet的精炼，关于KDA解读可以看我之前的文章
2.全注意力部分：用多头潜在注意力（multi-head latent attention, MLA）取代了标准的全注意力模块
虽然Kimi Linear的论文中没有与Qwen3-Next的直接比较，但与Gated DeltaNet论文中的Gated DeltaNet-H1模型（本质上是Gated DeltaNet与滑动窗口注意力的结合）相比，Kimi Linear在保持相同token生成速度的同时，实现了更高的建模精度
需要的注意的目前Kimi Linear中的多头潜在注意力（MLA）尚未整合输出门（sigmoid bypass），但团队计划在未来加入这一特性
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
