VLM剪枝新SOTA：无需重训练，注意力去偏置超越6大主流方案

新智元报道

编辑：LRST

【新智元导读】常用的attention机制存在位置偏置和padding异常，影响剪枝效果。上海大学曾丹团队提出一种无需重新训练的attention去偏方法，有效提升剪枝性能，使模型在信息受限时仍能可靠运行，为VLMs在移动端和边缘计算等场景的高效部署提供了新思路。

近年来，Vision-Language Models（视觉—语言模型）在多模态理解任务中取得了显著进展，并逐渐成为通用人工智能的重要技术路线。

然而，这类模型在实际应用中往往面临推理开销大、效率受限的问题，研究者通常依赖visual token pruning等策略降低计算成本，其中attention机制被广泛视为衡量视觉信息重要性的关键依据。

近日，上海大学曾丹团队联合南开大学研究人员，从attention可靠性的角度出发，系统揭示了Vision-Language Models中普遍存在的attention偏置问题，并提出了一种无需重新训练的attention去偏方法，在多个主流模型、剪枝策略及图像与视频基准上验证了其有效性，为多模态模型的高效、可靠部署提供了新的思路。

文章代码：https://github.com/intcomp/attention-bias

文章链接：https://arxiv.org/abs/2508.17807

研究意义

近年来，视觉—语言模型（Vision-Language Models，VLMs）在图像理解、视觉问答、多模态对话等任务中表现突出，并逐渐成为通用人工智能的重要技术基础。

然而，这类模型在实际部署时往往面临一个现实挑战：模型推理成本高，速度慢。

为提升效率，研究者通常会采用visual token pruning（视觉 token 剪枝）技术，即在不显著影响性能的前提下，丢弃不重要的视觉信息。其中，attention机制被广泛用作判断「哪些视觉 token 更重要」的核心依据。

但上海大学曾丹团队在研究中发现：attention并不总是可靠的「重要性指标」。

在多模态模型中，attention 往往受到多种结构性偏置的影响，这些偏置与真实语义无关，却会直接左右剪枝结果，从而影响模型性能。

针对这一问题，该团队系统分析了VLM中attention的行为特性，提出了一种Attention Debiasing（注意力去偏）方法，在无需重新训练模型的前提下，有效提升了多种主流剪枝方法的稳定性与可靠性。

如下图所示，提出的方法应用于目前基于attention的剪枝方法上之后，都有提升。

研究背景

在直觉上，attention机制往往被理解为「模型更关注哪里」，因此被自然地视为语义重要性的体现。

然而，曾丹团队的研究表明，在Vision-Language Models中，attention 往往并非只由内容决定，而是隐含着多种系统性偏置。

其中最典型的有两类：

第一类是位置偏置（recency bias）。研究发现，language-to-vision attention 会随着视觉 token 在序列中的位置不断增大，也就是说，模型更倾向于关注「后面的 token」。如图所示，这通常表现为模型对图像下方区域给予更高 attention，即便这些区域并不包含关键信息。

第二类是padding引发的attention sink现象。在实际输入中，为了统一尺寸，图像往往需要padding，但这些区域在语义上是「空白」的。然而，由于hidden state中出现异常激活，padding对应的token反而可能获得较高attention，从而被错误地保留下来。下图是pad区域填充不同的数值时，pad区域对应的attention score数值以及hidden states的激活值。

更值得注意的是，当attention被用于剪枝排序时，这些偏置并不会被削弱，反而会被进一步放大，最终导致剪枝结果偏离真实语义需求。

研究方法

针对上述问题，上海大学曾丹团队并没有提出新的剪枝算法，也没有对模型结构进行修改，而是从一个更基础的角度出发：既然attention本身是有偏的，是否可以先对attention进行修正？

该团队观察到，attention中的偏置并非随机噪声，而是呈现出稳定的整体趋势。因此，他们通过对attention随token位置变化的趋势进行拟合，构建了一条反映「位置偏置」的曲线，并在此基础上对原始attention进行去偏修正，显式削弱与内容无关的位置因素，使attention更接近真实的语义重要性。如下图所示。

与此同时，在剪枝阶段显式抑制padding token的影响，避免语义为空的区域干扰剪枝排序。整个过程无需重新训练模型，也不依赖特定的剪枝策略，可作为plug-and-play模块直接集成到现有方法中。

实验结果和应用前景

在实验验证中，该团队将Attention Debiasing方法集成到FastV、PyramidDrop、SparseVLM、HiMAP、TokenCarve、iLLaVA等6种主流attention-based剪枝方法中，在10个图像理解基准与3个视频理解基准上进行了系统评估，并覆盖LLaVA-7B / 13B等多种主流Vision-Language Models

实验结果表明，在几乎所有设置下，经过attention去偏修正后，剪枝模型都能获得一致且稳定的性能提升，且在剪枝更激进、token预算更紧张的情况下效果尤为明显。这说明，对attention进行去偏处理，有助于模型在「更少信息」的条件下做出更可靠的判断。

此外，通过对实验结果的可视化分析，原始attention-based剪枝方法往往保留了大量位于图像下方或padding区域的视觉token，而与问题语义密切相关的关键区域却容易被忽略。引入attention去偏修正后，模型保留的视觉区域更加集中于目标物体及关键细节位置，有效减少了无关背景的干扰。该结果直观验证了attention去偏在提升剪枝合理性和可解释性方面的作用。

从应用角度来看，该研究对多模态模型在「移动端部署、边缘计算、实时视觉理解」等场景具有重要意义，也为后续更稳健的attention设计和多模态模型优化提供了新的研究思路。

总结

该研究表明，attention并非天然等价于语义重要性，尤其在Vision-Language Models中，如果忽视attention中潜在的结构性偏置，基于attention的剪枝策略可能会被误导。

上海大学曾丹团队通过简单而有效的attention去偏方法，显著提升了多模态模型在效率与可靠性之间的平衡能力。

参考资料：

https://arxiv.org/abs/2508.17807