ICML 2026 巡礼：注意力效率革命的九个切面

从注意力加速到基因组可解释，一次梳理。

作者丨陆 毅

编辑丨岑 峰

7月7日，机器学习领域最具影响力的顶级学术会议ICML 2026进入正会第一天。本次大会共接收6352篇论文，其中Spotlight论文536篇（占投稿总数的 2.2%），Oral 论文168篇 （仅占投稿总数的 0.7%）。今年的论文再次汇聚了从生成模型到隐私保护、从智能体评估到模型压缩、从脉冲神经网络到视觉分词器的多元前沿探索，在投稿量较去年翻倍、评审标准经历深刻“重新校准”的背景下，这些脱颖而出的论文无疑是本届会议最值得关注的学术精华。

雷峰网已派出报道小组赴首尔COEX会展中心参会。在会议现场，我们从Poster展区的数千张学术海报中精选出最具代表性的研究成果，以“一张图 + 一段解读”的方式呈现给未能亲临现场的读者。

这份汇总不仅是一次视觉巡礼，更试图为你勾勒出本届ICML的学术重心——从大模型可解释性到AI for Science，从具身智能到理论硬度的回归，我们希望这些现场捕捉的瞬间，能帮助你快速感知机器学习前沿正在发生什么。

以下精选首日上午Poster Session 1九篇论文，一文看尽AI研究最值得关注的方向。（如果你也想让你的研究成果出现在这里，请与我们联系）：

01

MePo：让预训练模型学会"持续学习"

MePo: Meta Post-Refinement for Rehearsal-Free General Continual Learning

智能系统需要从不断变化的复杂环境中持续学习，这种能力被称为通用持续学习（GCL）。尽管预训练模型（PTM）极大推动了传统持续学习的发展，但在面对单次数据流中多样且时序混合的信息时，现有方法仍难以有效协调，导致GCL性能欠佳。

研究团队从神经科学中的元可塑性和重构记忆机制获得灵感，提出了MePo（Meta Post-Refinement）。该方法首先从预训练数据中构建伪任务序列，通过双层元学习范式对预训练骨干网络进行"后微调"，相当于一次延长的预训练过程，使模型具备对下游GCL任务的快速适配能力。此外，MePo还初始化了一个元协方差矩阵作为预训练表示空间的参考几何，利用二阶统计量实现鲁棒的输出对齐。

作为一种即插即用的策略，MePo在无需重放数据的条件下，在CIFAR-100、ImageNet-R和CUB-200等基准上分别取得了15.10%、13.36%和12.56%的显著提升，展现出跨多种预训练检查点的强大泛化能力。

论文链接：https://arxiv.org/abs/2602.07940

02

Hamiltonian Asymmetric Fusion：

模态不平衡下的"单向安全"融合

Hamiltonian Asymmetric Fusion: One-Way Safe Directed Refinement under Modality Imbalance

多模态融合通常采用对称的token交互方式，隐式地允许信息双向流动。然而，当辅助模态的噪声远大于主模态时（即"模态不平衡"场景），这种对称性会创造一条"回流通道"，将辅助噪声反向注入主表示，并在迭代精炼阶段不断放大误差。

研究团队将这一场景下的融合问题形式化为"具有单向安全性的定向精炼"：主模态定义引导场，仅对辅助表示进行迭代净化，同时严格限制辅助流对主模态的扰动。基于这一思路，他们提出了哈密顿非对称融合（HAF）——一种轻量级的展开式精炼模块。HAF通过动量正则化和门控驱动更新辅助token，精炼力由基于FFT的频谱全局相关性实例化，并以可学习的频谱响应选择性强调可靠频率分量；泄漏动量门和稳定积分器则保障了多步精炼的稳定性。

在理论层面，HAF提供了辅助误差收缩和主模态扰动有界的数学保证，而对称融合算子在模态不平衡条件下无法满足这些性质。在六个RGB-D显著目标检测基准上，HAF在受控辅助损坏条件下展现出持续的性能提升和显著更优的退化表现。

论文链接：https://icml.cc/virtual/2026/poster/64876

03

FlashBlock：让块扩散模型的注意力"学会复用"

FlashBlock: Attention Caching for Efficient Long-Context Block Diffusion

生成分钟级视频和长文本等长篇内容，对现代生成模型越来越重要。块扩散（Block Diffusion）通过KV缓存和逐块因果推断提升推理效率，已被广泛应用于扩散语言模型和视频生成。但在长上下文场景下，反复计算对不断增长的KV缓存的注意力仍带来大量开销。

研究团队发现了一个此前未被充分探索的块扩散特性：跨步骤注意力冗余。分析表明，当前块外部token的注意力输出在扩散步骤间高度稳定，而块内注意力则变化显著。基于这一观察，他们提出了FlashBlock——一种缓存块外部注意力机制，通过复用稳定的注意力输出，大幅减少注意力计算和KV缓存访问，且不修改扩散过程本身。

值得注意的是，FlashBlock与稀疏注意力方法正交，可作为互补的残差复用策略组合使用，在激进稀疏化下显著提升模型准确率。实验显示，该方法在扩散语言模型和视频生成中实现了最高1.44倍的token吞吐量提升和1.6倍的注意力时间减少，且对生成质量几乎没有影响。

论文链接：https://openreview.net/forum?id=4jfuNNghPS

04

Stem：从信息流视角重新审视

因果稀疏注意力

Stem: Rethinking Causal Information Flow in Sparse Attention

自注意力机制的平方复杂度仍是将大语言模型扩展到长上下文的根本瓶颈，尤其在预填充阶段。现有稀疏方法通常在每层中对所有token位置应用统一的top-k选择，但这一策略忽略了因果架构中固有的token信息累积依赖性——由于因果约束，初始位置的token参与了每个后续token的聚合，它们的信息重要性是逐步累积的。

基于这一分析，研究团队提出了Stem，一种与信息流对齐的即插即用稀疏注意力模块。Stem包含两个核心设计：Token Position-Decay策略在每层中应用位置相关的top-k选择，为初始token保留更多注意力预算以维持递归依赖；Output-Aware Metric则基于近似输出量级优先选择高影响力token，确保信息丰富的token不被遗漏。

大量评估表明，Stem在减少计算量和预填充延迟的同时实现了更优的准确率，为长上下文场景下的高效注意力提供了新思路。

论文链接：https://arxiv.org/abs/2603.06274

05

PBS-Attn：通过Token置换

实现更稀疏的块稀疏注意力

Sparser Block-Sparse Attention via Token Permutation

扩展大语言模型的上下文长度带来显著收益，但自注意力的O(N²)复杂度对内存和延迟都是重大瓶颈。块稀疏注意力将序列分块并跳过部分块的计算，是一种有前景的解决方案。然而，其有效性高度依赖底层的注意力模式——当单个块内查询所需的重要key token分散在众多其他块中时，块级稀疏效果大打折扣，产生大量计算冗余。

研究团队注意到注意力机制具有置换不变性，据此提出了置换块稀疏注意力（PBS-Attn）。该方法首先按"全局重要性"对段内的key进行重排，将散落各处的重要token聚拢成连续的高密度块，再进行块稀疏计算，从而大幅提升块级稀疏率。配合自研的置换FlashAttention内核，PBS-Attn在保持精度近乎追平全注意力基线的同时，实现了端到端最高2.75倍的长上下文预填充加速。

该方法即插即用，在多个真实长上下文数据集上持续优于现有块稀疏注意力方法，证明了置换策略在注意力效率优化中的实用价值。

论文链接：https://arxiv.org/abs/2510.21270

06

TabSwift：轻量级表格基础模型的效率之道

TabSwift: An Efficient Tabular Foundation Modelwith Row-Wise Attention

表格基础模型（如TabPFN）通过上下文学习实现预测——直接从标注训练样本推断测试标签，在中小规模数据集上表现出色。然而，近期的表格基础模型为提升精度不断堆叠复杂架构，推理成本随之攀升，限制了实际部署。

研究团队重新审视了TabPFN的原始设计，发现仅靠轻量级的行级注意力骨干网络，配合两项简单增强，就能保持高度竞争力。第一项是门控注意力稳定机制，用于稳定训练过程；第二项是少量可学习的注册token，提供全局上下文信息并提升预训练质量。最终模型TabSwift同时支持分类和回归任务，在精度上与TabPFN v2、TabICL等更强的表格基础模型相当，但推理效率更高。

此外，针对延迟敏感的部署场景，TabSwift还引入了自适应逐层早退机制，根据样本难度动态调整推理深度，实现高效的"随时"表格上下文学习。

论文链接：https://arxiv.org/abs/2606.07345

07

基因组模型的可解释性：不能只看"成功案例"

Position: Genomic Model Research Must Move Beyond Evaluation of Interpretability Methods

机器学习已充分释放了人类基因组的预测潜力，但生物学家现在要求模型不仅能预测，还要能揭示背后的生物学机制。尽管可解释机器学习（IML）技术被越来越多地用于弥合这一鸿沟，但研究界普遍存在对"轶事式验证"的依赖——绝大多数研究仅使用单一IML方法，且只报告孤立的成功案例。

通过对转录因子结合的基准测试，研究团队揭示了现有实践的三大风险：不同IML方法常对同一预测给出矛盾解释；无法准确定位已知的调控motif；且不能忠实反映模型的内部决策过程。作者主张建立一个类似临床试验的严格验证框架——正如临床试验需要严谨的设计和不良事件报告，基因组可解释性也必须超越"挑选性合理"的验证方式，走向对一致性、忠实度和生物学有效性的系统评估。

为此，该论文提出了一个分层框架，用于指导基因组IML方法的严格评估与报告，呼吁整个研究社区从个案式验证转向系统化评估。

论文链接：https://arxiv.org/abs/2606.07607

08

EchoAttention：让长视频生成的注意力"学会回声"

EchoAttention: Exploiting Token-Pair Redundancy and Frame-Block Similarity for Efficient Video Generation

基于扩散Transformer（DiT）的视频生成模型发展迅猛，但长视频推理的计算瓶颈始终制约其实用化——3D全注意力的二次方复杂度可占据整体推理算力的60%至82%。现有稀疏注意力方法通过剪枝query-key对来缓解瓶颈，但其效果受限于大量"非稀疏注意力头"——这些头无法被有效稀疏化，导致纯稀疏方法存在难以逾越的速度-质量天花板。

研究团队发现了视频DiT中一个此前被忽视的规律——帧块相似性：注意力权重矩阵中同一块行（或块列）内的各帧块分布高度相似，差异可由轻量对角线性标定精确刻画。基于此，他们提出了EchoAttention双算子框架：Sparse算子利用token对冗余处理高稀疏头，Echo算子利用帧块相似性处理非稀疏头，计算复杂度从O(n²ℓ²)降至O(nℓ²)。通过三阶段蒸馏学习的细粒度路由策略，模型在去噪时间步、层和头三个维度自动选择最优算子。

在公开视频DiT上，EchoAttention相较于SOTA稀疏注意力基线持续改善速度-质量前沿，端到端延迟最多降低2.42倍，且生成质量与全注意力持平。

论文链接：https://openreview.net/forum?id=vZZUCDcjSx

09

混合注意力的表达力层级：

首次给出理论证明

A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention

为缓解标准全注意力的二次复杂度，线性注意力、混合注意力等多种高效注意力机制被相继提出。然而，一个基本问题始终悬而未决：这些高效注意力相对于全注意力的表达力差异，缺乏严格的理论刻画。

研究团队从理论上回答了这一问题。他们聚焦于"序列函数复合"这一必须在模型前向传播中完成的多步推理任务，建立了一个表达力层级：L+1层全注意力网络即可求解该任务，而任何交替使用L-1层全注意力与远更多（2^(3L²)层）线性注意力层的混合网络都无法求解。这一结论适用于所有可表述为递归的线性注意力变体，包括Mamba、DeltaNet等。

这是混合注意力与标准全注意力之间首次被证明的表达力分离，为理解不同注意力机制的根本能力与局限提供了理论视角。

论文链接：https://arxiv.org/abs/2602.01763

10

结语

以上9篇论文涵盖了注意力效率优化、持续学习、多模态融合、表格建模和基因组可解释性等多个方向，从不同维度折射出当前AI研究的前沿趋势。如有遗漏或感兴趣的论文，欢迎联系我们进一步交流。

一个人读论文太孤单，一群人刷顶会才好玩。

ICML 2026召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。

进群传送门：扫码进群或添加微信Vin_Vivid，备注：论文群 + 关注的 AI 方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。