对话USC马学喆：注意力机制研究了十年怎么读，现在该重新思考怎么写

大模型架构下的注意力（attention）机制本质上是一套记忆系统：每个词把自己写进上下文，后面的词再从中读取。过去十年，几乎所有的改进都在讨论“读”：该从哪里读、按什么权重读；却很少有人追问“写”：一个词写进记忆时，应该原样存进去，还是只存下它相对于过去的增量？

对于写入端的改进，马学喆和他的合作团队给出了自己的答案：SoftDelta。团队让模型在写入记忆时只存储相对于已有信息的增量，且绕开了这套方法此前无法落地的计算难题（一个巨型矩阵求逆），让 SoftDelta 训练更稳定，最终效果反超标准 Transformer。

马学喆目前是南加州大学计算机系研究型助理教授，也是南加大信息科学研究所（USC-ISI）研究负责人。他本硕毕业于上海交通大学，博士毕业于卡内基梅隆大学语言技术研究所，师从国际知名计算语言学家、自然语言处理领域先驱 Eduard Hovy，曾获 ACL 2016、EMNLP 2023 杰出论文奖。他本人长期研究高效神经架构与长上下文建模，是 Mega、Megalodon、Luna 等一系列高效注意力架构的主要作者。SoftDelta 是他与穆罕默德·本·扎耶德人工智能大学基础模型研究员（ MBZUAI-IFM ）合作的最新成果。

围绕注意力机制的“读与写”这条线，以及 SoftDelta 的未来应用，DeepTech 和马学喆展开了一场对话。整场对话里，马学喆始终保持着冷静的思考，比如，他觉得 SoftDelta 的更大舞台在音视频而非文本；唯独谈到未来架构的时候，他说，应该“越极端越好”。

注意力机制，为什么之前没考虑“写什么”？

DeepTech：来聊聊你一开始为什么会想做 SoftDelta 吧。

马学喆：这个想法受益于 Delta Rule（增量法则，一种只存储或更新相对于已有信息变化量（delta），而非重复保存全部信息的方法。）现实中一个很好的例子是音频、视频信号的存储：比如视频，我们不会每一帧都保存全部信息，而是保存它和前一帧的差，因为相邻两帧之间变化很少。语言里这个现象没那么明显，毕竟一个词和上一个词是比较分开的，但道理一样。没有必要把这一步的所有信息都存下来，只需要存和之前相比的增量。

而原始的注意力机制，只是把当前这一步和前面的信息加权求和，它没有显式地模拟“剔除已有信息”这个过程。虽然从数学上说，注意力理论上也能学出类似的模式，但如果不显式地引导，很难让模型自己学出来。

DeepTech：这个直觉听起来并不复杂。那为什么注意力的改进大多集中在“读”这一侧，写入端的工作一直这么少？

马学喆：我觉得主要有两个原因。第一是代价：Delta Rule 这个想法已经很久了，在线性注意力（linear attention）上也应用得很成功，DeltaNet、最近很火的 Gated DeltaNet 都是类似的思想。但要把它严格写进标准的 softmax 注意力，算式里需要对一个由注意力权重构成的巨大三角矩阵求逆，现实中几乎不可行。去年字节的一篇论文，包括最近的一些工作，讨论过能不能用 GPU 上的快速算法去求这个逆，但速度依然很慢，而且求逆对精度要求也很高。所以之前大家可能尝试过、发现太慢，就没有再多试，所以一直没有一个现实中可用的方案。

第二是动力：在文本上，它可能并不能完全发挥出潜力，而标准注意力的效果本来也还不错，大家就没有那么大的动力去改造它。

SoftDelta 的三条约束性质

DeepTech：所以你们的切入点是绕开求逆？

马学喆：对。我们的想法是，我们是不是真的要追求这个逆、追求那个精确的形式？可不可以先分析这个逆矩阵有哪些好的性质，然后只需要构造一个近似满足这些性质的东西？

分析下来，最主要的就是三条性质。第一，对角线上必须是正的。当前词对自己的贡献，得是一个 0 到 1 之间的正数。第二，每一行所有位置的贡献加起来，得落在 0 到 1 之间。第三，每一个位置的贡献落在 -1 到 1 之间，因为它要做减法去抹掉之前已有的冗余信息，所以可以是负数，但必须是有控制的负数。为了满足这三条性质，我们推导出了 SoftDelta Attention 这个形式：只用两次标准的注意力读取，加一个门控。

DeepTech：这三条性质，是研究做到一半慢慢推出来的，还是心里先有大致的要求，再去印证？

马学喆：应该说是经验加上一些直觉，是这么多年大家在使用注意力的过程中总结出来的。前两条都很容易理解：每个位置的贡献必须可控，否则某个位置权重特别大，训练中很容易把梯度弄崩；一行加起来要在 0 到 1 之间，否则输出的规模变大，后面的层就不稳定了。

真正是这次新发现的，是对角线。以前的注意力机制满足这一点，当前位置的贡献天然是正的，所以大家从来没有把它当成一个问题。这次我们发现，像 Differential Attention 那样的模式，最主要的隐患恰恰是对角线上不一定是正数，可能是负的。我们发现这是导致它训练容易崩溃的主要原因。

DeepTech：这就解释了那次对照实验，Differential Attention V2 训练到六分之一处损失突然跳升且不再恢复，而 SoftDelta 稳定训练到底。这可以看作三条约束最直接的证据吗？

马学喆：对。从形式上看，SoftDelta 和 Differential Attention V2 非常像，都是两个注意力图做减法。唯一的区别是，我们的构造让它满足了这三个条件，而 Differential Attention V2 不满足其中的一些。对比实验里，一开始两者效果差不多，但训练到一定位置，它就崩了，我们可以一直稳定训练下去。

图 | 训练损失对比曲线（来源：Notion）

Delta Rule 的主场在文本之外

DeepTech：为什么说文本上发挥不出它的全部潜力？

马学喆：因为文本的冗余没那么大，而视频信号、语音信号里有大量前后冗余的信息,这正是 Delta Rule 最对口的场景。之前直接套用标准注意力，是没有考虑这个问题的。我听说现在计算机视觉和语音那边的做法，是在处理数据时先做预处理，让前后帧尽量分开。但那只是在输入层做一步处理，我们当然希望模型自己具备这个辨别能力。如果引入 delta rule，我相信在视频、音频上效果会更明显。

DeepTech：视频往下走一步就是世界模型。你之前对扩散模型（diffusion）能否学到真实世界规律持谨慎态度，认为逐像素预测（next-pixel prediction）更合理但难度极高。现在看法有变化吗？

马学喆：没有太大变化。我还是觉得这种方式直观上比扩散模型更有可能学出真正理解物理世界的效果。它的问题是信号密度太低、学习困难，需要更好的基座架构来支持。这也正是我说 SoftDelta 这类尝试值得一试的原因，它做的恰好是处理冗余、提取增量这件事。

除了信号密度，世界模型还有一个大挑战是数据。如果真去现实世界里直接采样，无用数据太多；要筛出真正信息丰富的数据，成本又很高，比文本高太多。所以它需要的投入，可能要比现在的大模型再高一个级别。

DeepTech：听起来你对世界模型是冷静观望的态度？

马学喆：我觉得它像大模型爆发之前的阶段。ChatGPT 是 2022 年底出来的，往前倒五年、十年，那时候已经有人用深度学习做语言模型了，大家觉得这条路可以走，但没人觉得它能做出多惊人的效果。等到算力、算法都迭代上去，才迎来爆发点。世界模型现在就处在这样的阶段：很多东西可以尝试，而且越早开始越好。

注意力机制的未来架构

DeepTech：你之前提过一个设想：未来可能只保留大约四分之一的层做全注意力（full attention）、专门负责检索，其余交给 DeltaNet 这类模块。SoftDelta 还在这条路线上吗？

马学喆：混合架构肯定是未来的方向。至于是不是四分之一，我个人希望能推得越极端越好，最好只需要一两层全注意力。这样可以把全注意力放到便宜一点的低层级存储上，让它只负责检索。当然现在不能一下子那么激进，但可以开始尝试：全注意力到底能压缩到多小，还能满足要求。

DeepTech：别人可能求稳，你为什么想推这么猛？

马学喆：首先，成本肯定是最大的因素。第二，现在很多功能其实是全注意力层包办的，那些局部注意力、稀疏注意力、线性注意力层可能根本没有发挥出真正的能力——要最大化其他层的能力，就值得压缩全注意力。第三是长序列：全注意力对更长序列的外推能力，总归是有限的。

DeepTech：总体上看，我们离 Transformer 的上限是更近了，还是还有很大空间？

马学喆：看你怎么定义 Transformer。大的架构一直还是 Transformer，大家改的是里面的部分。我觉得整个架构短时间内不会变，但每一个算子、包括它的具体实现，都是可以动的。现在几乎没有大模型还在直接用最标准的 Transformer，基本都在上面做了一定的改动。至于会不会出现一次彻底的替换，我觉得暂时还不太会。

谁还在做底层架构研究？

DeepTech：你之前判断，国内模型在架构改进上走了一些比较新的方向和尝试；美国更多在走 scaling law，堆数据和算力换性能。半年过去，这个看法有变化吗？

马学喆：大的格局没变：这半年美国这边更多还是数据、算力方面的优化，包括围绕 agent 的工程链路优化；国内看到了更多架构上的改进。但国内也出现了一些摇摆。比如 MiniMax 是最早用线性注意力的，最新版本却把它去掉了。不过我觉得摇摆是好事，说明大家在认真对比不同方法的真实性能，看哪个是真正更优的。它同时也说明，新路线确实不那么好走：scaling law 就摆在那里，花更多算力换更好效果，但总归要封顶；新东西理论上限高很多，代价是周期长、风险大。

DeepTech：美国那边完全没有这样的尝试吗？

马学喆：有，但形态不一样。学术界、实验室和各家的非旗舰模型都在试：Google 除了 Gemini 还有 Gemma 在尝试不同的东西，Nvidia 的 Nemotron 一直在做 Mamba 和注意力的混合。他们资源多，可以两条路并行。但这些尝试更多是展示方向，没有像国内那样，放进一个要冲击绝对性能、要产生收益的旗舰模型里。

DeepTech：SoftDelta 是 USC-ISI 和 MBZUAI-IFM 合作的成果。MBZUAI 这种“第三方”的位置，是否恰好为底层架构研究提供了某种空间？

马学喆：倒不一定非要跨地缘，但它确实点出了一个结构性的问题。基座架构研究需要长期、大量的投入，短期看不到明显效果。而中美的头部公司已经进入拼收益、拼模型效果的阶段，估值非常高——两三个月没有新模型、效果被别人拉开一代，都会直接影响估值。所以它们必须把资源投在最前线，长期的底层研究就会被挤压；你也不可能在那个环境下勉强它们。另外，在中美做长期研究还容易被淹没，模型太多，大家都在做。

而像 MBZUAI 所在的中东地区，AI 还处于起步阶段，完全没有到考虑投入产出的时候，反而更愿意在这种事情上花时间。这就是这种合作的好处。

DeepTech：最后回到你们自己的研究。下一步的计划是什么？

马学喆：我们最近做了不少架构上的研究，但这些新方法还没有整合起来，也没有一个完整的模型在大规模上验证过。下一步，我们希望把这些被验证有效的方法整合到一个统一的新架构里，在一定规模的模型和数据量上，做一次真正从头到尾的训练，然后和以 Transformer 为基准的模型做公平比较，证明它最后的效果到底怎么样。这是我们接下来半年的重点。

参考资料：

https://maxlab.notion.site/softdelta-attention

运营/排版：何晨龙

注：封面由 AI 辅助生成