激活峰度降95.90%，注意力学会"弃权"后长上下文更稳了

注意力机制也能"弃权"了。来自西北大学、伊利诺伊理工学院、罗格斯大学等机构的研究团队提出OASIS，为token层与depth层的双层信息路由加入显式的null选项，让模型可以主动选择"这次不选"。该研究已被NeurIPS 2026接收。

这项工作的起点是Attention Residuals（AttnResidual）。普通Transformer的self-attention决定一个token该读取哪些token，AttnResidual则增加了一次沿深度的选择：同一个token在当前子层，应该使用哪些历史子层产生的表示。普通残差连接中，初始embedding和此前子层的输出以固定权重累加；AttnResidual把这种累加改成可学习的加权混合，再把混合结果送入当前attention或MLP子层。

问题出在归一化上。两种选择都由softmax归一化，而普通softmax要求候选权重总和等于1。如果一次读取只需要很小的贡献，模型仍要把全部概率分给真实token；如果一些历史分支没有提供多少有效信息，depth层仍要在真实分支之间分配全部质量。两处归一化都缺少显式的"这次不选"选项。

新增的选择能力还带来副作用。在研究团队评估的AttnResidual设置中，模型对初始token的注意力集中更加明显，激活异常值也显著增大。这些变化在低比特量化和长上下文评测中，进一步表现为性能退化。

论文中的注意力图显示，在所研究的AttnResidual模型中，序列起始token上的集中条带比原始Transformer更强，并随网络深度持续出现。这就是attention sink：某些位置长期吸收大量注意力，即使这些位置本身承载的信息有限。异常激活则会扩大数值范围，使有限的量化刻度更难兼顾大多数普通数值。

OASIS的做法分两步。首先沿用Softmax₁，为真实候选增加一个零值null选项：分母中的1对应一个固定logit为0的null候选，真实候选的权重可以合计小于1，剩余质量进入null，从而减小真实内容的总贡献。token和depth两处都使用Softmax₁的版本被称为AoS。

但两层各自拥有null选项，仍未解决两层如何协调的问题——一个分支的attention heads已经较多地选择null，depth路由却可能继续为这个分支分配较高权重。OASIS因此进一步引入token-to-depth null coupling：在每个token位置，对一个源分支内各attention head的null概率取平均，得到分支统计量，再与候选变换分支的平均值比较，用差值调整depth logit。null概率高于分支平均水平，depth logit就降低；低于平均水平，则相应提高。初始embedding分支没有token attention的null统计，其logit保持不变。

效果数据上，相对于Vanilla AttnResidual，OASIS在LLaMA-3.2-1B、Qwen3-0.6B和Phi-4上平均降低激活峰度95.90%、最大激活幅度81.75%，降低W8A8困惑度82.00%，并将W4A4 GSM8K Pass@1平均相对提升42.11%。以LLaMA-3.2-1B为例，Vanilla AttnResidual的平均激活峰度为91.71，最大激活幅度为84.43；OASIS将两者降至3.02和12.25。

组件消融直接检验了coupling的贡献。在Qwen3-0.6B的W4A4 GSM8K消融中，只加入token null、只加入depth null、同时加入两处独立null，以及加入coupling，分别得到不同结果：两处独立null已经改善性能，而coupling在此基础上再提高4.67个百分点；完整OASIS相对Vanilla AttnResidual提高13.21个百分点。

低比特下的能力保留差异明显。以Qwen3-0.6B为例，OASIS的FP16 GSM8K为62.68%，量化至W4A4后保留58.88%；Vanilla AttnResidual则从FP16的62.58%降至45.67%。两者全精度表现接近，但低比特下的能力保留明显不同。其他任务上，Qwen3-0.6B的ThePile W8A8 PPL从44.52降至11.58；W4A4 MMLU、TriviaQA和MATH500准确率分别从33.21%、12.09%、15.41%提升到41.00%、16.14%、21.51%。

长上下文实验比较了训练最大序列长度为12K的模型。在RULER和LongBench上，Vanilla AttnResidual明显低于原始backbone，OASIS缓解了这部分退化，并明显优于只有独立null路由的AoS。相对于Vanilla AttnResidual与原始backbone的差距，OASIS在两模型上分别恢复了77.3%和80.3%的RULER性能损失，以及89.1%和91.8%的LongBench性能损失。

全局attention统计也支持sink的缓解。这些统计覆盖所有层、attention heads、query位置及评测样本：Qwen3-0.6B分配给BOS的平均质量从0.4990降到0.0013，LLaMA-3.2-1B则从0.5630降到0.0099，说明变化并不限于少数可视化样例。

OASIS保留原有训练目标，修改的是路由机制。token层的null对应零值贡献，depth层的null则衰减真实源分支的混合贡献；depth null本身并不意味着直接保留上一层hidden state。实验通过继续训练适配这些改动，随后再进行量化评测，使用BookCorpus和Wiki40B/en进行继续训练，并与标准AttnResidual、OutEffHop、裁剪及门控等方案比较，采用三个独立随机种子。

模型拥有更灵活的选择接口之后，还需要表达候选内容应当贡献多少，以及不同选择层级之间如何协调。显式null路由提供了可衰减真实内容贡献的接口，token-to-depth coupling则让跨层选择能够利用token层的null信号。组件消融、量化评测和长上下文实验共同表明，这种协调有助于所研究模型更稳定地发挥新增的路由能力。