ICML 2026｜十篇 Spotlight 论文，效率、智能与边界的十次突围

从硬件底层到认知顶层，AI的边界正在被改写。

作者丨陈淑瑜

编辑丨岑 峰

7月8日，机器学习领域最具影响力的顶级学术会议ICML 2026进入正会第二天。本次大会共接收6352篇论文，其中Spotlight论文536篇（占投稿总数的 2.2%），Oral 论文168篇 （仅占投稿总数的 0.7 %）。

在投稿量较去年翻倍、评审标准经历深刻“重新校准”的背景下，这些脱颖而出的论文无疑是本届会议最值得关注的学术精华。

雷峰网已派出报道小组赴首尔COEX会展中心参会。在会议现场，我们从Poster展区的数千张学术海报中精选出最具代表性的研究成果，以“一张图+一段解读”的方式呈现给未能亲临现场的读者。

本期精选Poster Session 4 的十篇Spotlight论文，覆盖高效卷积算子、离散扩散模型、低精度训练、偏好优化理论、MoE路由、大模型鲁棒性、黑盒优化、3D点云补全、脑机接口和机器人记忆评估等多方面。

如果你也想让你的研究成果出现在这里，请与我们联系：

01

大核卷积的“反常识”突破——窗口越大，速度越快

WBMM: Windowed Batch Matrix Multiplication for Efficient Large Receptive Field Convolution

大核深度卷积在计算机视觉任务中表现优异，但一直面临一个效率困局：核尺寸越大，基于gather操作的不规则内存访问就越是拖累计算速度。现有的Large Kernel Acceleration（LKA）技术虽然在小特征图上能帮上忙，到了大特征图上反而适得其反，比不加速还慢。这就造成了一个尴尬的矛盾：模型需要更大的感受野来提升精度，但现有算子根本无法高效支持。

WBMM（Windowed Batch Matrix Multiplication）从根本上改变了游戏规则。它将输入划分为连续窗口，通过索引一个紧凑的相对位置偏置表来构建权重矩阵，再用批量矩阵乘法实现规则化的内存访问。这一转变带来一个反直觉的特性：WBMM的吞吐量随窗口增大而提升。这与深度卷积“窗口越大越慢”的退化规律截然相反。

算子级基准测试给出了硬核数据：使用14×14窗口的WBMM，在速度上超越5×5深度卷积基线，同时提供了7.8倍的单层感受野。配合跨窗口通信和分层窗口重参数化，WBMM在ImageNet-1K、COCO和ADE20K上以1.31-1.88倍训练加速实现了相当或更高的精度，且在GPU、CPU和边缘设备上均表现出跨硬件的一致性优势，无需任何专用加速内核。

论文链接：https://arxiv.org/abs/2607.02097

02

离散扩散模型的“左右互搏”——理解与生成兼得

Balancing Understanding and Generation in Discrete Diffusion Models

离散生成建模领域长期被两种范式割据：Masked Diffusion Language Models（MDLM）擅长语义理解和零样本泛化，但在少步生成质量上捉襟见肘；Uniform-noise Diffusion Language Models（UDLM）恰好相反，少步生成强劲，理解能力却差强人意。鱼与熊掌，从未兼得。

XDLM通过一个巧妙的静态噪声核（stationary noise kernel）架起了两座孤岛之间的桥梁。作者首先从理论层面证明，MDLM和UDLM均可视为该框架的特例，这是一种原则性的统一，而非简单的工程缝合。在此基础上，通过对后验概率的代数简化，XDLM有效缓解了离散扩散模型的内存瓶颈。

实验结果是全方位的：零样本文本基准上比UDLM高出5.4分；少步图像生成FID从MDLM的80.8降至54.1；在8B参数大语言模型上仅用32步即达到15.0 MBPP，将基线性能翻倍。更关键的是，训练动态分析表明XDLM在长期扩展方面展现出更优潜力。这暗示着它可能是在理解与生成之间实现真正平衡的新起点。

论文链接：https://arxiv.org/abs/2602.01362

03

把大模型训练压进4-bit——振荡抑制与异常值控制的双重突破

TetraJet-v2: Accurate NVFP4 Training for LLMs with Oscillation Suppression and Outlier Control

大语言模型的训练成本正在成为制约AI研究普及的隐形天花板。4-bit全量化训练（FQT）若能实现近乎无损的精度，将带来革命性的效率提升。NVFP4格式已经在硬件层面提供了这种可能，但实际训练中两个技术魔鬼始终阴魂不散：权重振荡和异常值。

TetraJet-v2给出了系统性的回答。它首先提出无偏双块量化方法，在NVFP4线性层中实现近乎最优的收敛性。针对权重振荡这一此前未被充分重视的瓶颈，OsciReset首次有效抑制了这一现象。而OutControl则以混合精度策略专门守卫异常值的精度，防止信息在4-bit表示中丢失。三者合璧，在所有线性层的激活、权重和梯度上均采用NVFP4，实现了端到端的4-bit全量化训练。

在370M参数、212B训练token的规模上，TetraJet-v2将FP4与BF16之间的性能差距平均缩小了51.3%，同时相比FP8实现了1.67倍的端到端加速。这意味着在保持接近全精度性能的前提下，训练成本可以大幅压缩——对中小型团队和研究机构而言，这可能是通往大模型时代的“入场券”。

论文链接：https://arxiv.org/abs/2510.27527

04

DPO的等价性是一句“谎言”？——当偏好优化走向病态收敛

Conditional Equivalence of DPO and RLHF: Implicit Assumption, Failure Modes, and Provable Alignment

DPO（Direct Preference Optimization）因声称与RLHF理论等价且实现更简洁，已经成为对齐训练的主流选择。但这篇论文给出了一个令人警醒的答案：这种等价性是有条件的，而非普遍成立的。等价性依赖于一个隐含假设，RLHF最优策略必须偏好人类偏好的响应，而这一假设在实践中经常被违反。

当假设失效时，DPO出现了一种“病态收敛”：策略在降低DPO损失的同时，却越来越偏好人类不偏好的响应。换言之，损失在下降，行为在恶化。作者从理论上证明，此时DPO和RLHF实际上优化的是根本不同的目标函数，DPO追逐的是相对于参考策略的优势，而非与人类偏好的绝对对齐。论文还通过soft margin ranking给出了直观的几何解释：DPO实现的是一种可能带有负目标的margin ranking。

治疗“病态收敛”的药方是CPO（Constrained Preference Optimization）：通过为RLHF添加约束来实现可证明的对齐保证，同时保持实现简洁性。在标准基准测试上，CPO达到了当前最优性能。这项工作的最大贡献或许不在于提出了新方法，而在于它迫使整个社区重新审视一个曾被广泛视为“已解决”的基础问题。

论文链接：https://arxiv.org/abs/2605.20834

05

给MoE路由器“退个休”——用特征向量实现零训练的专家路由

Eigenvectors of Experts are Training-free Non-collapsing Routers

稀疏专家混合（SMoE）架构在提升大模型训练效率方面功不可没，但专家坍缩（expert collapse）始终是其挥之不去的痛点。现有方案几乎全在“改进路由器”上做文章，不仅需要从头训练或微调，计算成本高昂，而且作者通过理论和实证证明：即便如此，在推进已充分预训练的SMoE模型时，坍缩问题依然存在。

这篇论文的洞察简单而优雅：专家权重矩阵的特征向量本身就编码了丰富的语义信息，为什么还要训练一个额外的路由器？基于此，作者提出SSMoE（Singular Value Decomposition SMoE），一个完全无需训练的框架——它直接利用专家权重矩阵的谱属性（特征向量/奇异值分解）来决定路由。不需微调，不需额外参数，不需计算开销。

在多样化的语言和视觉任务上，无论是干净数据还是损坏数据，SSMoE都展现出强大的泛化能力和鲁棒性。这项工作的意义远超SMoE本身：它揭示了一个更深层的道理——模型内部结构所携带的信息，可能比我们重新训练一个组件来“学习”这些信息要有效得多。

论文链接：https://arxiv.org/abs/2605.30992

06

让大模型不再“玻璃心”——去偏置微调解锁非对抗鲁棒性

Harnessing Non-Adversarial Robustness in Large Language Models

大语言模型有一个鲜为人知的“玻璃心”特性：仅仅是换一种说法、调整一下措辞，语义完全不变，就可能导致模型输出天差地别。这种非对抗性提示词变体带来的性能波动，在真实应用中远比精心构造的对抗攻击更为常见，也更难防范。问题在于：能否在不重新训练整个模型的前提下，赋予LLM面对这类自然扰动时的鲁棒性？

答案藏在系统性偏置之中。作者通过理论分析揭示，影响模型鲁棒性的关键因素是神经网络模块输出中的扰动诱导偏置。基于这一洞察，他们提出了一种极简的去偏置微调方法：专门针对这一偏置进行校正，无需全量重训练，仅需轻量级微调即可显著提升鲁棒性。

更有价值的是，作者明确识别了去偏置方法的有效边界，避免了“万能药”式的过度承诺。同时，该方法还能为随机提示扰动提供形式化的鲁棒性认证，从“经验有效”跃升到“可证明可靠”。这一理论驱动的高效方案，为大模型在真实世界中的稳定部署提供了新的保障。

论文链接：https://arxiv.org/abs/2605.29816

07

扩散语言模型跨界黑盒优化——1.5个GPU小时登顶Design-Bench

Training Diffusion Language Models for Black-Box Optimization

离线黑盒优化（BBO）是机器人和DNA设计等领域的核心问题：给定一组设计-标签对，如何发现性能更好的新设计？自回归大语言模型虽然已被尝试用于这一任务，但其从左到右的单向生成模式天然无法捕捉设计问题中强烈的双向依赖关系，就像写一个配方却不能回头修改前面的步骤。

这篇论文首次将扩散语言模型引入BBO，利用其双向建模能力解决自回归模型的单向生成局限。但扩散LLM的自然文本预训练与BBO的异质信号之间存在领域鸿沟，为此作者设计了统一提示-响应语料库和分隔符标记来显式标记字段边界，并提出两阶段后训练框架：第一阶段通过掩码响应预测进行监督微调，第二阶段以标签改进为奖励信号进行强化学习优化。

结果令人惊讶：在Design-Bench基准上达到最先进水平，而离散任务仅需1.5个H100 GPU小时即可完成训练。这个效率在LLM领域几乎是不可思议的。在小数据场景下，该方法尤其展现出强大优势，为扩散语言模型在非自然语言领域的应用打开了一扇新的大门。

论文链接：https://arxiv.org/abs/2603.17919

08

跨模态连接为什么会“断”？——高斯软散点重塑2D-3D桥梁

SplAttN: Bridging 2D and 3D with Gaussian Soft Splatting and Attention for Point Cloud Completion

多模态学习推动了点云补全的进展，但其理论机制长期笼罩在迷雾之中。这篇论文给出了一个振聋发聩的诊断：标准的硬投影（hard projection）非但没有建立模态之间的连接，反而将它切断了。当稀疏点云被硬投影到图像平面时，产生的支撑集极度稀疏，视觉先验根本无法有效传播，作者将这一失败模式命名为“跨模态熵坍缩”（Cross-Modal Entropy Collapse）。

SplAttN的治疗方案是将硬投影替换为可微分高斯散点（Differentiable Gaussian Splatting），将投影重新定义为连续密度估计。这一替换看似简单，却带来了三个根本性改善：避免稀疏支撑坍缩、促进梯度顺畅流动、提升跨模态连接的可学习性。2D和3D信息不再是名义上的“多模态”，而是真正做到了水乳交融。

在PCN和ShapeNet-55/34上拿下SOTA只是基本操作。真正令人信服的证据来自KITTI真实世界基准上的反事实评估：当移除视觉信息后，基线方法直接退化为单模态模板检索器。它们根本不在乎图像还在不在；而SplAttN保持了鲁棒的视觉依赖，证明其真正建立了有效的跨模态连接。这不是“看起来像多模态”，而是“确实是多模态”。

论文链接：https://arxiv.org/abs/2605.01466

09

脑信号也有了自己的“分词器”——离散扩散统一七大脑机任务

Mind-Omni: A Unified Multi-Task Framework for Brain-Vision-Language Modeling via Discrete Diffusion

脑机接口领域长期被“一任务一模型”的思维定式所禁锢：编码用一套模型，解码用另一套，不同任务之间老死不相往来。这种专门化的范式不仅限制了模型的通用性，更致命的是完全忽视了任务间可能存在的协同效应。一个既会编码也会解码的模型，理论上应该比两个各自为政的模型更强。

Mind-Omni首次将七个不同的脑信号编码与解码任务统一到一个离散扩散框架之下。其核心创新是一个精巧的Brain Tokenizer，将异构、连续的脑信号转化为标准化的离散令牌，使得大脑信号、视觉、语言三种模态在共享语义空间中实现令牌级的直接交互。在此基础上，作者还专门策划了Brain Question Answering（BQA）指令微调数据集，解锁了神经信号的高级推理能力。

Mind-Omni不仅在多任务统一框架中建立了新的SOTA，更提供了多任务协同效应的有力证据。统一训练后的模型在某些任务上的表现甚至超越了规模更大的专用模型。这不仅是一个技术突破，更是一个范式信号：神经活动的基础模型时代，或许已经悄然到来。

论文链接：https://arxiv.org/abs/2605.29591

10

机器人也需要“记忆力测试”——首个VLA记忆评估基准出炉

RoboMME: Benchmarking and Understanding Memory for Robotic Generalist Policies

在长时程机器人操控中，记忆是不可或缺的，计数重复动作、记住被遮挡物体的位置，这些看似“常识”的能力对机器人而言却是严峻考验。近期视觉-语言-动作（VLA）模型虽已开始引入记忆机制，但一个根本性问题始终无人回答：我们如何系统性地评估和比较不同记忆方案的有效性？

RoboMME首次给出了一套标准化答案。这个大规模基准包含16个操控任务，按照精心设计的分类法覆盖时间记忆、空间记忆、物体记忆和程序记忆四个维度。研究团队基于π0.5骨干网络构建了14种记忆增强VLA变体，系统性地探索了不同记忆表示形式和集成策略的组合空间。

最重要的发现是：记忆表示的有效性高度依赖任务类型，不存在“一刀切”的最优方案。每种设计在不同任务上各擅胜场，也有各自的盲区。这个结论听起来像“废话”，但在缺乏标准化评估的背景下，它恰恰击中了当前VLA研究的一个核心误区：想用一个通用的记忆模块解决所有问题。RoboMME的出现，为这个方向的系统性研究铺平了道路。

论文链接：https://arxiv.org/abs/2603.04639

这十篇Spotlight论文每一篇都在各自的领域提出了独到的洞察与方法，而这些洞察之间暗藏的共鸣与张力。效率与智能的交织、理论与工程的对话、专用与通用的博弈，这或许正是下一轮突破的起点。

雷峰网&AI科技评论将继续在现场带来更多ICML 2026的精彩内容，如果你想推荐ICML上的其他论文，欢迎联系我们进一步交流探讨 。

一个人读论文太孤单，一群人刷顶会才好玩。

ICML 2026召开在即，我们正在召集一波含金量极高的 AI 研究者。群内主打实时论文跟踪与硬核技术探讨，拒绝灌水。

进群传送门：扫码进群或添加微信Vin_Vivid，备注：论文群 + 关注的 AI 方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。