ETH苏黎世发现：优化器影响模型量化性能

这项由ETH苏黎世的Georgios Vlassis和Saleh Ashkboos领导的研究团队发表于2025年10月的arXiv论文库（论文编号：arXiv:2509.23500v2），首次系统性地揭示了一个令人意外的现象：在AI模型的"减肥"过程中，不同的"教练"竟然会产生截然不同的效果。这里所说的"减肥"指的是模型量化技术，而"教练"则是指各种优化器算法。

要理解这项研究的重要性，我们先来聊聊当今AI模型面临的一个关键挑战。现在的大型语言模型就像是超级豪华的跑车，功能强大但"油耗"惊人。一个包含数十亿参数的模型在运行时需要消耗大量的计算资源和内存，这就像开着法拉利去买菜一样不现实。为了让这些模型能够在普通设备上运行，研究人员开发了"量化"技术，这就像是把豪华跑车改装成经济实用车，在保持核心功能的同时大幅降低资源消耗。

然而，这个"改装"过程并不简单。在量化过程中，模型的性能往往会出现不同程度的下降，就像改装后的车可能会失去一些原有的性能。而这项研究发现，选择不同的优化器来训练模型，就像选择不同的"改装师傅"，最终的改装效果会有天壤之别。

研究团队的成员来自ETH苏黎世的Georgios Vlassis、Saleh Ashkboos和Torsten Hoefler，以及奥地利科学技术研究所的Alexandra Volkova和Dan Alistarh。这个跨国合作团队花费了大量时间和计算资源，训练了从5000万到15亿参数不等的多个模型，使用了六种不同的优化器进行对比实验。他们的研究不仅在理论上具有突破性，更在实践中为AI模型的部署提供了重要指导。

一、传统智慧的颠覆：为什么"异常值"理论失效了

长期以来，AI研究界有一个普遍的认知，就像医生通过检查血液中的某些指标来判断身体健康状况一样，研究人员习惯于通过观察模型中的"异常值"来预测模型在量化后的表现。这些异常值就像是模型数据中的"超级巨星"，它们的数值远远超过其他普通数据点。

传统理论认为，如果一个模型中存在大量这样的"超级巨星"数据，那么在量化过程中这些数据会变得"水土不服"，导致整个模型性能大幅下降。研究人员甚至开发了专门的指标来衡量这些异常值，比如"最大值与中位数比值"（MMR）和"峰度"等指标，就像是给模型做"体检"的各种检测项目。

但是这项研究却发现了一个令人震惊的现象：这些传统的"体检指标"竟然完全失效了！当研究团队对比使用不同优化器训练的模型时，他们发现那些按照传统理论应该表现最好的模型，在实际量化后的性能却可能是最差的。这就像是一个看起来身体指标完美的运动员，在实际比赛中却发挥失常一样令人困惑。

更有趣的是，研究团队发现，使用Shampoo优化器训练的模型虽然在传统的异常值指标上表现最差，但在量化后却展现出了最强的"抗压能力"。这完全颠覆了人们的常识认知，就像发现那个平时体检指标不太好的选手，在关键时刻却表现得最为稳定一样。

这个发现迫使研究团队重新思考量化过程中真正影响模型性能的因素。他们意识到，传统的异常值理论就像是只看树木不看森林，忽略了量化错误在整个神经网络中传播和累积的复杂过程。

二、革命性的新理论：ABC分解框架揭秘量化误差传播

面对传统理论的失效，研究团队并没有就此止步，而是深入挖掘量化过程的本质机制。他们开发了一个全新的理论框架，称为"ABC分解"，这个框架就像是给量化过程装上了一个精密的"显微镜"，能够清晰地观察错误是如何在神经网络的各个层次之间传播的。

这个ABC分解框架的巧妙之处在于，它将每一层的量化误差分解成三个独立的组成部分，就像把一个复杂的化学反应分解成三个基本步骤一样。A项代表"累积误差"，就像是上游工厂排放的污染物流到下游时造成的影响；B项代表"新增误差"，类似于当前工厂自己产生的污染；C项则代表这两种误差之间的"相互作用"，就像不同污染物混合后可能产生的化学反应。

通过这种分解方式，研究团队发现了一个惊人的规律：在大多数情况下，模型性能的下降主要是由A项，也就是累积误差造成的。这意味着，即使某一层本身的量化质量很好（B项很小），但如果前面各层累积的误差很大，整个模型的性能仍然会受到严重影响。这就像是一条河流，即使某一段的水质很清澈，但如果上游污染严重，整条河流仍然是浑浊的。

更重要的是，研究团队还推导出了误差在不同层之间的"放大系数"，他们称之为"增益"。这个增益就像是音响系统中的放大器，决定了前一层的误差会被放大多少倍传递到下一层。通过分析这些增益的模式，研究人员终于理解了为什么不同优化器会导致如此不同的量化表现。

例如，使用Muon优化器训练的模型虽然在传统异常值指标上表现很好，但其内部的增益模式却会导致误差在传播过程中被大幅放大，最终导致量化后性能的显著下降。相反，Shampoo优化器虽然产生了更多的异常值，但其增益模式却能有效控制误差的传播，从而保持了较好的量化后性能。

三、实验验证：六大优化器的"量化大考"

为了验证他们的理论发现，研究团队设计了一场前所未有的大规模实验。他们选择了六种目前最主流的优化器：AdamW（目前的行业标准）、Muon（新兴的高性能优化器）、PSGD、Scion、Shampoo和SOAP，就像是邀请六位不同风格的"教练"来训练同一批"运动员"。

这场实验的规模之大令人震撼。研究团队训练了从5000万参数到15亿参数的多个模型，每个模型都使用六种不同的优化器进行训练，然后在相同的条件下进行量化测试。整个实验就像是一场马拉松比赛，需要数周的连续计算，消耗了大量的GPU计算资源。

在全精度训练阶段，实验结果符合人们的预期：Muon优化器表现最为出色，在几乎所有模型尺寸上都取得了最高的准确率。这就像是一位经验丰富的教练，能够在常规训练中让运动员发挥出最好的水平。

然而，当这些模型经过量化处理后，排名发生了戏剧性的变化。那个在全精度阶段表现最好的Muon优化器，在量化后却出现了最严重的性能下降。而Shampoo优化器，虽然在全精度阶段的表现并不是最优的，但在量化后却展现出了最强的稳定性。

这种现象在研究团队设计的"共同损失"实验中表现得尤为明显。在这个实验中，所有模型都被训练到相同的损失水平，确保它们在量化前具有相似的性能。然后，当这些"起跑线相同"的模型经过量化后，使用不同优化器训练的模型就像是换了不同的"赛道"，表现出了截然不同的性能水平。

特别值得注意的是，研究团队还进行了量化感知训练（QAT）的实验。在这种训练方式中，模型从一开始就知道自己将来要被量化，就像是运动员从训练阶段就开始适应比赛环境。令人惊讶的是，即使在这种情况下，不同优化器之间的性能差异依然显著，而Shampoo优化器再次证明了其在量化场景下的优越性。

四、深度解析：为什么Shampoo在量化中表现出色

Shampoo优化器之所以在量化中表现出色，其原因深藏在神经网络训练的数学本质中。要理解这一点，我们需要深入探讨优化器的工作机制以及它们如何影响模型的内部结构。

Shampoo属于"二阶优化器"家族，这类优化器就像是配备了精密导航系统的汽车，不仅知道要往哪个方向走，还能感知路面的起伏变化并相应调整行进策略。与之相对的一阶优化器（如AdamW）更像是只有基础指南针的徒步者，虽然知道大致方向，但对路径的细节信息掌握有限。

这种差异在量化场景下变得尤为重要。当神经网络的权重被量化时，就像是把原本精确的GPS坐标四舍五入到最近的整数位置。这种"四舍五入"的过程会引入噪声，而不同的优化器会让模型对这种噪声的敏感程度大不相同。

Shampoo优化器通过维护每个参数维度的独立缩放信息，能够让模型在训练过程中自然地形成更加"抗噪声"的参数分布。这就像是在建房子时，有些建筑师会特别关注结构的稳定性，确保即使在地基略有沉降的情况下，整座建筑仍然能保持稳固。

研究团队通过他们的ABC分解框架进一步发现，Shampoo训练的模型具有独特的误差传播模式。虽然这些模型在某些层可能会产生较大的量化误差，但这些误差在传播到后续层时会被有效地"吸收"或"中和"，而不是像其他优化器那样被不断放大。

更有趣的是，Shampoo优化器还展现出了一种"自我修复"的能力。在量化过程中，即使某些参数被错误地舍入，整个网络仍然能够通过其他参数的调整来补偿这些错误，从而保持整体性能的稳定。这种现象类似于生物体的免疫系统，能够在受到外部干扰时自动调节以维持内部平衡。

五、量化感知训练的新发现：优化器选择重新洗牌

量化感知训练代表了模型量化技术的另一个重要分支。如果说传统的训练后量化像是给已经成型的陶器上釉，那么量化感知训练就像是在制陶过程中就考虑到最终的上釉效果，从一开始就为量化做好准备。

在这种训练方式下，研究团队发现了一个令人意外的现象：全精度训练中的优化器排名几乎被完全打乱了。这就像是换了一个完全不同的比赛项目，原本的"短跑冠军"可能在"马拉松"中表现平平，而原本默默无闻的选手却可能脱颖而出。

AdamW优化器在量化感知训练中的表现就是一个很好的例子。虽然它在全精度训练中表现中等，但在量化感知训练中却展现出了出人意料的稳定性。这可能是因为AdamW的设计理念本身就倾向于产生更加"保守"的参数更新，这种保守性在面对量化带来的约束时反而成为了优势。

Shampoo优化器在量化感知训练中继续保持了其优越性，但其优势的来源却发生了微妙的变化。在全精度训练后量化的场景中，Shampoo的优势主要来自其对量化噪声的抗性；而在量化感知训练中，它的优势更多地体现在能够更好地利用量化约束来指导参数学习的过程。

研究团队还观察到，不同优化器在量化感知训练中的收敛行为存在显著差异。有些优化器能够快速适应量化约束并找到最优解，而另一些则可能在量化约束下陷入局部最优解。这种差异不仅影响最终的模型性能，还影响训练的效率和稳定性。

六、突破性的缩放定律：预测大模型的量化表现

为了验证他们发现的普适性，研究团队进一步开发了量化场景下的缩放定律。这些定律就像是物理学中的基本公式，能够帮助我们预测不同规模模型在量化后的表现，而无需实际进行昂贵的大规模实验。

传统的缩放定律主要关注模型规模、数据量和计算资源之间的关系，就像是研究汽车的马力、油箱容量和行驶距离之间的关系。而这项研究的创新之处在于，它在传统缩放定律的基础上增加了"参数效率"这一新维度，专门用来描述量化对模型性能的影响。

通过大量实验数据的拟合，研究团队为每个优化器都建立了独特的缩放定律。这些定律揭示了一个重要的规律：不同优化器的参数效率存在显著差异，而且这种差异会随着模型规模的增大而放大。

Shampoo优化器在这方面再次证明了其优越性，获得了所有测试优化器中最高的参数效率评分0.879。这意味着一个使用Shampoo训练并量化到4位的模型，其性能相当于一个规模为原模型87.9%的全精度模型。相比之下，表现最差的PSGD优化器的参数效率只有0.739，意味着量化后的性能损失更为严重。

这些缩放定律的实用价值不容小觑。在实际应用中，训练和测试超大规模模型需要消耗巨大的计算资源和时间成本。有了这些缩放定律，研究人员和工程师就能够在较小规模的实验基础上，相对准确地预测大规模模型的量化表现，从而做出更明智的技术选择。

七、实践指导：如何在实际项目中应用这些发现

这项研究的价值不仅在于理论突破，更在于为实际的AI模型部署提供了具体的指导建议。对于AI从业者而言，这些发现就像是一份详细的"使用手册"，能够帮助他们在不同场景下做出最优的技术选择。

在选择优化器时，研究结果提供了明确的指导原则。如果项目的主要目标是获得最高的全精度性能，那么Muon优化器仍然是最佳选择。但如果项目最终需要部署量化模型，特别是在资源受限的环境中，那么Shampoo优化器显然是更明智的选择，尽管它可能需要稍多的计算资源和内存。

对于那些既关心全精度性能又需要考虑量化部署的项目，研究团队的发现提示了一种新的思路：可以考虑采用混合策略，先用Muon优化器训练出高性能的基线模型，然后再用Shampoo优化器进行fine-tuning，以提高模型的量化鲁棒性。

在量化策略的选择上，研究结果也提供了有价值的见解。对于计算资源充足的场景，量化感知训练通常能够获得更好的性能，但需要注意优化器的选择可能需要重新评估。对于资源受限或需要快速部署的场景，训练后量化仍然是可行的选择，但应该优先考虑使用Shampoo等量化友好的优化器训练的模型。

研究团队还强调了超参数调整的重要性。他们发现，不同优化器对学习率等超参数的敏感性存在显著差异，特别是在量化场景下。因此，在实际应用中，不能简单地将一个优化器的超参数设置直接应用到另一个优化器上，而需要针对具体的优化器和量化需求进行独立的超参数搜索。

八、技术细节深度解析：ABC分解的数学原理

为了让读者更深入地理解这项研究的技术创新，我们需要进一步探讨ABC分解框架的数学原理。虽然这部分内容相对复杂，但理解这些原理有助于我们更好地把握量化过程的本质。

ABC分解的核心思想可以用一个简单的类比来解释：假设我们要测量一个复杂系统的总误差，这个误差可能来自多个不同的源头。传统的方法就像是用一个总的温度计来测量整个房间的温度，虽然能得到一个总体的数值，但无法告诉我们热量具体来自哪里。而ABC分解就像是在房间的不同位置放置多个温度传感器，不仅能测量总温度，还能精确地分析每个热源的贡献。

在数学上，ABC分解将每一层的量化误差Rl精确地分解为三个部分：Rl = Al + Bl + Cl。其中，Al项捕捉了来自前面所有层的累积误差，Bl项表示当前层新引入的误差，而Cl项则描述了这两种误差之间的相互作用。

这种分解的巧妙之处在于它的数学严格性和直观性的完美结合。每一项都有明确的物理意义，同时又能够通过实际的网络激活值精确计算。这就像是给复杂的化学反应过程建立了一个精确的数学模型，既能预测最终结果，又能理解每个步骤的具体贡献。

研究团队进一步推导了线性层的增益分解公式，将增益Gl分解为"谱比值"G1,l和"对齐比值"G2,l的乘积。谱比值反映了量化前后权重矩阵谱范数的变化，而对齐比值则描述了输入向量与权重矩阵之间的对齐程度变化。这种分解就像是把汽车的性能分解为发动机功率和传动效率的乘积，每个因子都有明确的物理含义和优化方向。

九、实验设计的精妙之处：确保结果的可靠性

这项研究的实验设计体现了科学研究的严谨性和创新性。研究团队不仅考虑了结果的准确性，还充分考虑了实验的可重复性和结果的普适性。

在模型架构的选择上，研究团队采用了OLMo2架构，这是一个相对较新但已经被广泛认可的架构。选择这个架构的原因是它融合了当前最先进的多种技术组件，包括旋转位置编码、RMSNorm标准化、QKNorm等。这就像是选择一辆配备了最新技术的汽车来进行性能测试，确保测试结果能够反映当前的技术水平。

在训练数据的选择上，研究团队使用了ClimbMix数据集，这是一个包含4000亿高质量token的大规模数据集。更重要的是，他们严格遵循了Chinchilla最优训练制度，确保每个模型都在最优的数据规模下进行训练。这种设计就像是确保每个参赛选手都在相同的营养和训练条件下进行比赛，排除了外部因素对结果的干扰。

特别值得注意的是研究团队设计的"共同损失"实验协议。在这个协议下，所有使用不同优化器训练的模型都被要求达到相同的验证损失水平，然后再进行量化测试。这种设计的巧妙之处在于，它排除了优化器本身性能差异对量化结果的影响，使得我们能够纯粹地评估不同优化器对量化鲁棒性的影响。

在超参数调整方面，研究团队采用了层次化的搜索策略。他们首先在最小的5000万参数模型上进行各种优化器参数的调优，然后将这些参数应用到更大的模型上。这种策略既保证了超参数的充分优化，又控制了计算成本。对于学习率这个最关键的超参数，他们为每个模型-优化器组合都进行了独立的搜索，确保了公平比较的基础。

十、结果分析：数据背后的深层洞察

研究结果的丰富性远超出了简单的性能排名，它们揭示了优化器、量化和模型性能之间复杂而微妙的关系。通过仔细分析这些结果，我们可以获得许多有价值的洞察。

在全精度训练结果中，Muon优化器的优越性随着模型规模的增大而更加明显，从350M参数模型的微弱优势发展到1.5B参数模型的显著领先。这种趋势表明，Muon优化器的优势可能主要体现在大规模模型的训练上，这对于当前追求更大模型的AI发展趋势具有重要意义。

在量化结果的分析中，最令人印象深刻的发现是传统异常值指标的完全失效。研究团队计算了MMR、峰度等指标与量化后性能的相关性，发现相关系数分别只有0.62和0.70，远低于统计学上认为有意义的阈值。相比之下，他们提出的新指标RL与量化性能的相关系数达到了-0.89，这种强负相关性清楚地表明了新理论框架的有效性。

量化感知训练的结果揭示了另一个重要现象：优化器在不同训练范式下的相对表现可能发生根本性变化。例如，PSGD优化器在训练后量化中表现相对较好，但在量化感知训练中却出现了最大的性能下降。这种现象提醒我们，在评估优化器性能时不能局限于单一的训练或部署场景。

缩放定律的拟合结果显示，不同优化器的参数效率差异相当显著。Shampoo的0.879与PSGD的0.739之间存在超过14%的差距，这种差距在大规模模型部署中可能意味着数TB的参数存储空间和数千GPU小时的计算成本差异。

说到底，这项研究最重要的贡献在于它彻底改变了我们对模型量化过程的理解。过去，我们就像是盲人摸象，只能通过一些粗糙的指标来猜测量化后的性能。现在，我们终于有了一套精确的理论工具和实验方法，能够科学地预测和优化模型的量化表现。

更重要的是，这项研究为AI模型的实际部署提供了切实可行的指导。在当前AI技术快速发展和广泛应用的背景下，如何在保持模型性能的同时降低部署成本，是每个AI从业者都必须面对的挑战。这项研究告诉我们，选择合适的优化器不仅能提高模型的训练效果，还能显著改善模型在实际部署中的表现。

对于普通用户而言，这项研究的意义在于它可能让AI技术变得更加普及和实用。当AI模型能够在保持高性能的同时显著降低计算需求时，我们就能在手机、平板甚至智能手表上运行更强大的AI应用。这不仅会改变我们与技术的交互方式，还可能催生出许多我们现在还无法想象的新应用场景。

归根结底，这项研究展示了基础科学研究的重要价值。通过深入理解AI系统的工作机制，我们不仅能够优化现有技术，还能为未来的技术发展奠定坚实的理论基础。正如研究团队在论文中所述，他们希望这项工作能够启发更多的研究者关注优化器与量化之间的相互作用，推动整个AI领域向更高效、更实用的方向发展。对于那些希望深入了解这项研究技术细节的读者，可以通过论文编号arXiv:2509.23500v2在arXiv论文库中查找完整的研究报告。

Q&A

Q1：ABC分解框架具体是什么？它如何帮助理解量化过程？

A：ABC分解框架是研究团队开发的新理论工具，它将神经网络每一层的量化误差精确分解为三个部分：A项代表从前面层累积的误差，B项代表当前层新产生的误差，C项代表两种误差的相互作用。这个框架就像给量化过程装上了精密显微镜，能清晰观察错误如何在网络各层传播，从而准确预测模型量化后的性能表现。

Q2：为什么Shampoo优化器在量化后表现最好？它有什么特殊之处？

A：Shampoo属于二阶优化器，它就像配备精密导航系统的汽车，不仅知道前进方向还能感知路面变化。它通过维护每个参数维度的独立缩放信息，让模型形成更抗噪声的参数分布。虽然它可能产生更多异常值，但其独特的误差传播模式能有效控制量化误差的累积和放大，展现出类似生物免疫系统的自我修复能力。

Q3：这项研究对普通AI应用开发者有什么实际指导意义？

A：研究提供了明确的优化器选择指导：如果只需要全精度性能，选择Muon；如果需要部署量化模型，选择Shampoo更明智。对于资源受限的移动端部署，应优先考虑量化友好的优化器。研究还强调不同优化器需要独立调整超参数，不能简单复用设置，这能帮助开发者避免常见的性能陷阱。