华为诺亚实验室：非平滑组件提升Vision Transformer学习效率

在机器学习的世界里，一直存在着一个看似矛盾的现象。就像烹饪中我们通常追求食材的均匀混合和口感的平滑一样，传统的深度学习理论告诉我们，模型越"平滑"越好——这意味着输入稍微改变时，输出也只会平缓地变化。然而，华为诺亚方舟实验室联合多家欧洲知名研究机构的一项最新研究却发现了一个颠覆性的结论：在视觉变换器（Vision Transformer，简称ViT）的微调过程中，那些"不平滑"的组件反而表现得更加出色。

这项研究由华为诺亚方舟实验室牵头，联合法国国家信息与自动化研究所（Inria）、法国雷恩大学以及法国农业科学院共同完成，并于2026年2月发表。研究团队提出了一个全新的概念——"可塑性"（Plasticity），用来衡量模型组件对输入变化的敏感程度。正如陶泥在陶艺师手中越柔软越容易塑形一样，研究发现可塑性越强的组件在适应新任务时效果越好。

这一发现对于当前火热的大模型时代具有重要意义。当我们拥有一个在海量数据上预训练的强大模型时，如何高效地将其适应到特定任务上，一直是研究者和工程师们关注的焦点。传统的做法往往需要大量的计算资源和时间，而这项研究为我们指明了一条更加精确和高效的道路。

研究团队通过严谨的理论分析和大规模实验验证，系统地比较了视觉变换器中五个核心组件的表现：多头自注意力机制、两个前馈网络层以及两个层归一化模块。结果令人惊讶地发现，传统上被认为应该保持稳定的"平滑"组件，在模型适应新任务时反而成为了"拖后腿"的存在，而那些变化剧烈的"叛逆分子"却成为了学习的主力军。

这项研究不仅在理论上具有突破性意义，更在实际应用中展现出巨大潜力。研究团队使用了一个拥有8600万参数的视觉变换器模型，在11个不同的图像分类任务上进行了详尽的测试。实验结果一致表明，专门训练那些高可塑性组件能够获得更好且更稳定的性能表现。这意味着在有限的计算资源下，我们可以通过更精准的策略来提升模型性能，而不必盲目地增加训练数据或延长训练时间。

更重要的是，这一发现打破了我们对"平滑性"的固有认知。研究表明，在特定的学习场景下，保持一定程度的"不稳定性"反而有助于模型更好地探索和适应新的数据分布。这就像登山时，过于平稳的步伐可能会让我们困在某个平台上，而适度的"冒险"和变化反而能帮助我们攀登到更高的峰顶。

一、理论基础：用"可塑性"重新理解模型学习

在深入探讨这项研究的具体发现之前，我们需要理解一个核心概念——可塑性。研究团队借鉴了神经科学中大脑可塑性的概念，提出了衡量模型组件适应能力的新指标。

可塑性本质上衡量的是一个组件对输入变化的敏感程度。设想你正在调节收音机的频道，有些旋钮轻轻一转就能带来明显的变化，而有些旋钮需要用力转动很久才有微小的改变。前者就具有高可塑性，后者则可塑性较低。在数学上，可塑性被定义为组件输出变化与输入变化比值的平均值。

研究团队发现，这个看似简单的指标实际上与模型的学习能力密切相关。当一个组件具有高可塑性时，它能够产生较大的梯度值，从而在反向传播过程中推动更显著的参数更新。这就像一个敏感的温度计能够快速响应环境温度的细微变化一样，高可塑性组件能够敏锐地捕捉到数据中的细微模式，并迅速调整自身的行为来适应新的任务需求。

传统的深度学习理论强调平滑性，认为模型应该对输入的小幅扰动保持稳定的输出。这种观点在模型的泛化性能和对抗鲁棒性方面确实有其合理性。然而，在微调场景下，情况却截然不同。当我们需要将一个预训练模型适应到新的数据分布时，过度的平滑性反而会成为学习的障碍。

这种现象可以通过一个生动的比喻来理解。平滑的组件就像是已经凝固的混凝土，虽然稳定可靠，但很难再进行改造。而具有高可塑性的组件则像是尚未完全干燥的黏土，虽然看起来不够"稳重"，但正是这种"不稳定性"使它们能够被重新塑形，适应新的需求。

研究团队通过深入的理论分析，为不同类型的组件建立了可塑性的数学上界。对于层归一化这类平滑组件，其可塑性受到归一化参数的严格限制。而对于多头自注意力机制，由于其内在的非线性特性和对序列长度的依赖，具有更高的可塑性上界。前馈网络层则介于两者之间，其可塑性主要由权重矩阵的谱范数决定。

这些理论分析不仅为实验观察提供了数学基础，更重要的是揭示了不同组件在学习过程中扮演的不同角色。层归一化更多地承担"稳定器"的功能，确保训练过程的稳定性；而自注意力机制则更像是"探索者"，负责发现和学习新的模式；前馈网络则是"执行者"，将学到的知识转化为具体的预测结果。

这种角色分工在微调过程中变得尤为重要。当面临新的任务时，我们需要的不是所有组件都保持稳定，而是让最具探索能力的组件去主导学习过程。这就像在一个探险队伍中，当遇到未知地形时，应该让最有经验和最敏感的向导来带路，而不是让整个队伍都保持谨慎的步伐。

二、实验设计：全方位验证"可塑性"理论

为了验证可塑性理论，研究团队设计了一套全面而严谨的实验方案。他们选择了视觉变换器作为研究对象，这是目前计算机视觉领域最重要的架构之一。实验使用了两种不同规模的模型：一个拥有8600万参数的ViT-Base模型和一个拥有6.32亿参数的ViT-Huge模型。

实验的核心思路是将视觉变换器中的五个主要组件分别进行独立训练，然后比较它们在不同任务上的表现。这些组件包括：预处理自注意力的层归一化（LN1）、多头自注意力机制（MHA）、预处理前馈网络的层归一化（LN2）、前馈网络的第一层（FC1）和第二层（FC2）。这种"分而治之"的方法让研究团队能够精确地评估每个组件的贡献。

为了确保实验结果的可靠性和普适性，研究团队精心选择了11个不同的图像分类数据集。这些数据集涵盖了从经典的CIFAR-10和CIFAR-100，到具有挑战性的领域适应任务如DomainNet的Clipart和Sketch域，再到专门的细粒度分类任务如Flowers102和Oxford-IIIT Pet。每个数据集都代表了不同的视觉挑战和学习难度，这样的多样性确保了实验结论的广泛适用性。

在实验的具体执行过程中，研究团队采用了严格的对照原则。对于每个组件，他们冻结模型的其他部分，仅训练目标组件的参数。这种做法类似于控制变量实验，确保观察到的性能差异确实来源于不同组件的内在特性，而非其他因素的干扰。

实验的另一个重要方面是对可塑性的直接测量。研究团队开发了一套计算方法，能够量化每个组件在面对不同输入时的输出变化率。这个过程就像测量不同材料的弹性系数一样，通过施加标准化的"应力"（输入变化），测量产生的"应变"（输出变化），从而得出每个组件的可塑性指标。

测量过程使用了12800张来自ImageNet预训练数据的图像和各个下游任务的图像，通过比较组件在处理这些不同来源图像时的输出差异，计算出平均变化率。这种设计巧妙地模拟了实际微调场景中的数据分布偏移情况，使得可塑性测量结果更具现实意义。

实验结果的呈现也极其详尽。除了最终的性能比较，研究团队还记录了训练过程中梯度范数的变化、验证损失的下降曲线，以及不同学习率设置下的稳定性表现。这些丰富的细节不仅支持了主要结论，更为深入理解学习动态提供了宝贵的洞察。

通过这套全面的实验设计，研究团队获得了强有力的证据支持。实验结果清晰地显示，可塑性越高的组件在微调任务中表现越好，而且这种优势在不同的数据集、不同的模型规模和不同的训练设置下都保持一致。这种一致性是科学发现可信度的重要指标，表明研究团队确实发现了一个普遍适用的规律。

三、惊人发现：注意力机制和前馈层的优势地位

实验结果揭示了一个令人意外但清晰的模式：多头自注意力机制始终占据可塑性排行榜的首位，紧随其后的是前馈网络的两个线性层，而层归一化组件则排在最后。这个发现不仅验证了理论预测，更重要的是为实际应用提供了明确的指导。

多头自注意力机制的卓越表现源于其独特的架构特性。与传统的卷积层或全连接层不同，自注意力机制能够动态地调整对输入序列中不同位置的关注程度。这种动态性使它天然具备了高可塑性。当面对新的视觉任务时，自注意力机制可以迅速重新配置其注意力模式，就像一个经验丰富的摄影师能够迅速调整焦点来捕捉不同的拍摄主题一样。

更具体地说，自注意力机制的可塑性体现在其查询、键、值三个矩阵的交互过程中。这个过程产生的注意力权重矩阵具有很高的敏感性，输入的微小变化可能导致注意力分布的显著重组。这种敏感性在预训练阶段可能被视为潜在的不稳定因素，但在微调阶段却成为了快速适应的优势。

前馈网络层的表现同样令人印象深刻。研究发现，第一个前馈层（FC1）的可塑性略高于第二个前馈层（FC2），这与它们在网络中的功能定位相符。第一个前馈层更多地承担特征提取和转换的任务，需要对输入变化保持较高的敏感性；而第二个前馈层更多地负责特征整合和输出生成，相对需要更多的稳定性。

有趣的是，实验还发现了可塑性与模型大小之间的关系。在更大的ViT-Huge模型中，自注意力机制的可塑性优势更加明显。这种现象可以从两个角度来理解：首先，更大的模型具有更长的序列长度，理论分析表明这会放大自注意力机制的可塑性；其次，更大的模型拥有更多的注意力头，这增加了系统的整体灵活性。

层归一化组件的低可塑性表现符合其设计初衷。层归一化的核心功能是稳定训练过程，通过归一化操作减少内部协变量偏移。这种稳定性在预训练阶段至关重要，但在微调阶段却成为了快速适应的阻碍。研究结果显示，无论是预处理自注意力的LN1还是预处理前馈网络的LN2，它们的可塑性都明显低于其他组件，这解释了为什么仅训练这些组件时性能提升有限。

这些发现的实际意义非常深远。在资源受限的情况下，工程师们现在知道应该优先训练哪些组件来获得最大的性能提升。这不仅能显著减少计算成本，还能提高训练效率。更重要的是，这种精准的组件选择策略有助于避免过拟合现象，因为我们只更新最有利于任务适应的参数，而保持其他参数的稳定性。

研究还揭示了一个有趣的优化动态。高可塑性组件在训练过程中表现出更大的梯度范数，这意味着它们的参数更新更加活跃。同时，这些组件也展现出更陡峭的损失下降曲线，表明它们能够更快地收敛到更好的解。这种现象在具有挑战性的数据集上特别明显，如Clipart和Sketch这类风格差异较大的图像分类任务。

四、深层机制：梯度动力学的奥秘

研究团队不满足于仅仅观察到现象，他们深入探索了可塑性优势背后的机制。通过详细记录训练过程中的梯度变化，研究人员发现了一个重要的规律：可塑性与梯度大小之间存在密切的正相关关系。

这个发现揭示了学习过程的一个基本原理。在神经网络的反向传播算法中，梯度的大小直接决定了参数更新的幅度。高可塑性组件能够产生更大的梯度，这就像给参数更新提供了更强的"推动力"。在微调场景下，这种强大的推动力使得模型能够更快地摆脱预训练时的参数配置，向着适应新任务的方向调整。

具体来说，当输入数据从预训练域转移到目标域时，高可塑性组件能够敏锐地察觉到这种分布差异，并产生相应的大幅度输出变化。这种变化通过损失函数传播到梯度计算中，产生较大的梯度值。相比之下，低可塑性组件对这种分布变化的反应较为迟钝，产生的梯度相对较小，因此参数更新也更加缓慢。

研究团队通过可视化梯度范数的演化轨迹，展示了这一现象的动态过程。在训练初期，高可塑性组件的梯度范数会出现明显的峰值，随后逐渐稳定在一个较高的水平。这个过程可以理解为模型在"探索"新任务的特征空间，高可塑性组件承担了主要的探索工作。

更深层的分析还发现，不同学习率设置下，高可塑性组件的优势更加突出。在较低的学习率条件下，低可塑性组件几乎无法产生有意义的参数更新，而高可塑性组件仍能维持有效的学习进展。这种现象解释了为什么在实际应用中，选择合适的学习率对不同组件的影响差异巨大。

损失景观的分析提供了另一个有趣的视角。研究团队发现，高可塑性组件能够帮助模型更好地探索损失函数的景观，避免陷入次优的局部最小值。这种探索能力源于高可塑性组件产生的较大梯度，这些梯度就像给优化过程注入了更多的"动能"，使得参数能够越过一些较小的局部极值点。

这种机制在处理具有挑战性的任务时特别有价值。当预训练模型和目标任务之间存在较大差异时，仅依靠低可塑性组件进行微调往往难以跳出预训练时形成的参数配置。而高可塑性组件的强大适应能力能够推动整个模型向着更适合新任务的参数空间移动。

训练稳定性分析进一步证实了这些发现。虽然高可塑性组件在单次训练中可能表现出更大的波动，但在多次独立训练的统计意义上，它们展现出了更好的稳定性和可重复性。这种看似矛盾的现象实际上反映了优化过程的本质：适度的波动有助于找到更好的解，而过度的平滑可能导致优化过程困在次优区域。

这些机制层面的洞察不仅加深了我们对深度学习的理解，也为未来的方法设计提供了重要启示。它们表明，在设计自适应学习算法时，我们应该考虑不同组件的内在特性，为不同类型的组件设置不同的学习策略，而不是采用一刀切的uniform approaches。

五、实用价值：高效微调的新策略

这项研究的实用价值远超其理论贡献。在当前大模型时代，如何高效地将预训练模型适应到具体任务上是每个AI从业者都面临的实际挑战。传统的全参数微调不仅计算成本高昂，还容易导致过拟合问题。而这项研究提供的可塑性指导原则，为解决这些挑战开辟了新的道路。

基于研究发现，工程师们现在可以采用一种"精准打击"的微调策略。与其盲目地更新所有参数，不如将计算资源集中在最具适应潜力的组件上。具体来说，优先训练多头自注意力机制和前馈网络层，而保持层归一化参数冻结，这种策略能够在大幅减少可训练参数的同时，实现接近甚至超越全参数微调的性能。

成本效益分析显示了这种策略的巨大优势。在研究使用的8600万参数ViT模型中，仅训练注意力机制或前馈层需要更新约2800万参数，相比全参数微调减少了约67%的参数量。这种减少直接转化为内存使用量的降低、训练时间的缩短和能源消耗的减少。对于资源受限的研究团队或初创公司来说，这种效率提升具有重要的现实意义。

更重要的是，这种策略在性能上并没有妥协。实验结果显示，仅训练高可塑性组件不仅能够达到与全参数微调相近的性能，在某些任务上甚至表现更好。这种"少即是多"的现象可能源于避免了低可塑性组件的干扰，使得模型能够更专注于学习任务相关的特征。

对于不同难度的任务，这种策略的优势表现不同。在具有挑战性的任务如Clipart和Sketch风格转换中，高可塑性组件的优势更加明显。这些任务需要模型学习全新的视觉特征和模式，正是高可塑性组件擅长的领域。而在相对简单的任务中，不同策略之间的差异较小，但高可塑性组件仍然保持着轻微但一致的优势。

鲁棒性分析进一步证实了这种方法的可靠性。研究团队在不同的学习率、批次大小和初始化设置下重复实验，发现高可塑性组件的优势具有很好的一致性。这种鲁棒性对于实际应用极其重要，因为它意味着工程师们无需进行复杂的超参数调优就能获得稳定的性能提升。

除了直接的性能和效率优势，这种方法还具有更好的可解释性。由于我们明确知道哪些组件在驱动学习过程，因此更容易理解模型的适应机制和失败模式。这种可解释性在需要高可信度的应用场景中特别有价值，如医疗诊断、金融风控等领域。

研究还探索了将这种策略与其他参数高效方法结合的可能性。例如，可以将LoRA（Low-Rank Adaptation）等技术专门应用于高可塑性组件，进一步提高效率。这种组合策略有望在保持性能的同时，将可训练参数数量降低到原模型的1%以下，为大规模部署提供更大的可能性。

从更广阔的视角来看，这项研究为构建更智能的自适应学习系统提供了基础。未来的AI系统可能会自动识别不同任务对不同组件的需求，动态调整训练策略。这种自适应能力将使AI系统更加高效和灵活，能够在有限的计算资源下处理更加多样化的任务需求。

六、理论突破：重新定义"平滑性"的价值

这项研究最深刻的贡献可能在于它挑战了深度学习领域长期以来的一个核心假设：平滑性总是有益的。传统理论认为，模型的平滑性与其泛化能力正相关，因此研究者们一直致力于开发各种正则化技术来促进模型的平滑性。然而，这项研究表明，在特定的学习情景下，适度的"非平滑性"反而更有价值。

这一发现促使我们重新审视平滑性在不同学习阶段的作用。在预训练阶段，平滑性确实有助于模型学习稳定而泛化的特征表示，这是因为预训练通常涉及大规模、多样化的数据，需要模型保持对各种输入变化的鲁棒性。然而，在微调阶段，情况发生了根本性的变化。此时模型面临的是一个相对狭窄但具体的任务域，需要的不是广泛的鲁棒性，而是对特定任务特征的敏感性和适应性。

这种认知的转变可以类比为工具的使用场景。一把瑞士军刀虽然功能全面、结构稳定，适合应对各种不确定的情况，但当我们需要进行精密雕刻时，一把专门的雕刻刀虽然看起来更"脆弱"，但其锋利度和灵敏度却能提供更好的效果。同样，在微调阶段，我们需要的是组件的"锋利度"而非"钝刀"式的稳定性。

研究团队通过数学分析揭示了这种现象的理论基础。他们证明了在分布偏移场景下，组件的可塑性与其学习效率之间存在正相关关系。这个数学关系不仅解释了实验观察到的现象，更为理解迁移学习的本质提供了新的视角。

更进一步地，研究发现不同类型的组件在这种平滑性权衡中扮演着不同的角色。层归一化等组件保持其平滑性有助于维持整个网络的训练稳定性，而自注意力机制等组件的高可塑性则负责驱动任务特定的学习。这种"分工合作"的机制表明，优秀的深度学习架构应该包含具有不同特性的组件，而不是让所有组件都追求同样的特性。

这一理论洞察对未来的架构设计具有重要启示。研究者们在设计新的神经网络架构时，应该有意识地平衡不同组件的平滑性特征。一些组件应该保持高可塑性以便快速适应，而另一些组件则应该保持稳定性以确保系统的整体鲁棒性。

从更宏观的角度来看，这项研究反映了深度学习理论的日趋成熟。早期的深度学习研究更多地依赖经验观察和试错，而现在我们开始能够从理论层面理解和预测不同设计选择的影响。这种理论进步不仅有助于解释现有现象，更重要的是能够指导未来的研究方向和技术发展。

研究还揭示了评估深度学习系统时需要考虑的复杂性。传统的评估指标往往关注最终的性能表现，但这项研究表明，我们也需要关注系统的适应性和可塑性。一个在静态评估中表现优秀的模型，在面临新的任务需求时可能表现不佳，反之亦然。因此，建立更全面的评估框架，同时考虑性能和适应性，将是未来研究的重要方向。

这种理论层面的突破也为其他机器学习领域提供了启示。例如，在强化学习中，探索与利用的平衡问题可能也需要从可塑性的角度重新审视。在自然语言处理中，不同类型的语言模型组件可能也存在类似的可塑性差异，值得进一步研究。

说到底，这项研究最重要的贡献在于它提醒我们，机器学习中的许多"常识"都是有条件的。在不同的应用场景下，我们可能需要完全不同的策略和方法。这种灵活性和情境意识将是推动人工智能技术持续进步的关键因素。研究团队通过严谨的实验和深入的分析，为我们打开了重新理解深度学习基本原理的大门，这无疑将激发更多创新性的研究工作。

对于那些希望在有限资源下最大化AI系统性能的从业者来说，这项研究提供了清晰而实用的指导原则。对于致力于推进人工智能理论发展的研究者而言，这项工作展示了如何将理论洞察转化为实际价值的优秀范例。无论从哪个角度来看，这都是一项具有深远影响的重要研究。

Q&A

Q1：什么是可塑性，它与传统的平滑性概念有什么区别？

A：可塑性是衡量模型组件对输入变化敏感程度的指标，就像陶泥的柔软程度一样。与传统强调的平滑性不同，高可塑性意味着组件能够对输入变化产生较大的输出响应。研究发现在微调阶段，这种敏感性反而有助于模型快速适应新任务，而传统认为有益的平滑性却可能成为学习的障碍。

Q2：Vision Transformer中哪些组件的可塑性最高，实际应用中应该优先训练哪些部分？

A：研究发现多头自注意力机制的可塑性最高，其次是前馈网络的两个线性层，而层归一化组件的可塑性最低。在实际应用中，应该优先训练注意力机制和前馈层，这样既能获得更好的性能表现，又能显著减少计算成本和训练时间。

Q3：这种基于可塑性的微调策略能带来多大的效率提升？

A：研究表明，仅训练高可塑性组件可以减少约67%的可训练参数，同时在性能上达到甚至超过全参数微调的效果。这意味着显著降低内存使用、训练时间和能源消耗，对于资源受限的团队具有重要的现实价值，同时还能避免过拟合问题。