加州大学洛杉矶分校提出NAMO优化器

这项由加州大学洛杉矶分校数学系研究团队完成的研究发表于2026年2月，论文编号为arXiv:2602.17080v2。研究团队在深度学习优化领域取得了重要突破，开发出了名为NAMO和NAMO-D的新型优化算法。

训练人工智能模型就像调试一台复杂的收音机。你需要不断调整各种旋钮和参数，才能收到清晰的信号。在这个过程中，有时会遇到强烈的干扰和噪声，让调试变得异常困难。传统的优化方法就像只有几个基础旋钮的老式收音机，而研究团队提出的NAMO系列优化器则像是配备了智能信号处理系统的现代数字收音机，能够自动识别和过滤噪声，同时保持信号的清晰度。

在人工智能训练过程中，算法需要处理大量的数据噪声，这些噪声就像收音机中的杂音一样，会干扰模型的学习效果。长期以来，研究者们一直在寻找既能有效处理噪声，又能保持训练效率的优化方法。目前最流行的Adam优化器虽然具有自适应特性，但在处理某些类型的矩阵结构数据时表现不够理想。而最近出现的Muon优化器虽然在处理矩阵结构方面有所突破，但对噪声的适应能力还有改进空间。

研究团队意识到，现有的优化器就像两个各有特长但也各有短板的工具。Adam优化器擅长适应噪声变化，就像一个敏感的音量调节器，能根据环境噪声自动调整音量大小。而Muon优化器则擅长处理矩阵结构，就像一个专业的信号方向调节器，能够精确控制信号的传播方向。研究团队的创新之处在于，他们成功地将这两种能力结合起来，创造出了既能智能调节音量又能精确控制方向的综合调节系统。

一、核心创新：智能信号处理系统的设计

NAMO优化器的设计理念可以用现代汽车的驾驶辅助系统来理解。传统的优化器就像手动挡汽车，司机需要根据路况手动调节各种参数。而NAMO就像配备了智能驾驶系统的汽车，能够自动感知路况变化并做出相应调整。

具体来说，NAMO的工作原理包含两个关键组件。第一个组件是"方向保持器"，它继承了Muon优化器的优势，能够保持更新方向的数学正交性。这就像汽车的方向盘控制系统，确保车辆始终朝着正确的方向行驶，不会因为路面颠簸而偏离轨道。第二个组件是"速度调节器"，它借鉴了Adam优化器的自适应特性，能够根据当前的训练环境动态调整学习速度。这就像汽车的巡航控制系统，在平坦路段加速行驶，在复杂路段减速慢行。

研究团队还开发了NAMO的增强版本NAMO-D，这个版本就像为每个车轮都配备了独立的悬挂系统。普通版的NAMO使用统一的速度调节策略，就像四个车轮使用同样的悬挂设置。而NAMO-D则为每个"神经元"都配备了独立的调节机制，就像每个车轮都有自己专门的悬挂系统，能够更精细地适应各种路况变化。

在技术实现上，NAMO通过一个巧妙的数学技巧实现了这种双重调节功能。研究团队发现，可以将矩阵的正交化操作（保持方向）与基于范数的自适应缩放（调节速度）有机结合起来。这种结合方式不仅保持了原有优势，还产生了协同效应，使得整体性能超过了两种方法简单相加的效果。

NAMO-D的设计更加精妙，它采用了所谓的"对角矩阵右乘"技术。用通俗的话说，就是为每一列神经元参数都配备了专门的调节器。这些调节器不是独立工作的，而是在保持整体协调的前提下，各自负责自己那一部分的优化调节。为了防止某些调节器过于激进而破坏整体平衡，研究团队还设计了一套"夹紧"机制，就像给每个调节器都设置了安全阈值，确保所有调节器的工作都在合理范围内。

二、理论保证：为什么这套系统真的有效

任何新的优化方法都需要严格的理论证明来支撑其有效性，就像新药上市前需要经过严格的临床试验一样。研究团队为NAMO和NAMO-D提供了完整的理论分析，证明了这些方法在各种条件下都能保持良好的收敛性能。

在确定性环境下，也就是没有数据噪声干扰的理想情况下，两种算法都能达到最优的收敛速度。这就像在平坦无风的高速公路上驾驶，车辆能够以最优的速度稳定前行。具体来说，算法的收敛速度达到了理论上的最优界限，即O(T^(-1/2))，这意味着随着训练步数T的增加，算法找到最优解的速度会以根号倒数的形式提升。

更重要的是，在随机环境下，也就是存在数据噪声的实际训练场景中，NAMO和NAMO-D展现出了优异的噪声适应能力。研究团队证明，这两种算法的收敛保证能够自动适应随机梯度的噪声水平。当训练数据的噪声较小时，算法接近确定性情况下的最优性能。当噪声较大时，算法会自动调慢收敛速度，确保训练的稳定性。

这种自适应特性的理论表达是O(T^(-1/4) + √(σ)b^(-1/4)T^(-1/8))，其中σ代表噪声强度，b代表批次大小。这个公式告诉我们一个重要的实践指导原则：当我们增加训练批次的大小时，算法能够更好地抵抗噪声干扰，从而获得更好的收敛性能。当批次大小足够大时，噪声项会被显著抑制，算法的收敛速度接近理论最优值O(T^(-1/4))。

理论分析还揭示了NAMO-D中夹紧机制的重要性。通过数学推导，研究团队证明了适当的夹紧参数设置能够平衡两个相互竞争的目标：维持良好的更新方向条件数和充分利用细粒度的噪声适应能力。这种平衡就像调节收音机时需要在信号清晰度和音量大小之间找到最佳平衡点一样。

三、实验验证：在GPT-2训练中的出色表现

理论再完美，也需要实际验证来证明其价值。研究团队选择了GPT-2语言模型作为测试平台，这是一个广泛使用的基准模型，能够很好地验证优化器的实际效果。

实验设计就像一场公平的赛车比赛。研究团队让NAMO、NAMO-D与目前最流行的AdamW优化器以及最新的Muon优化器在相同的条件下竞赛。所有优化器都使用相同的数据集（包含约90亿个训练词汇的OpenWebText数据集）、相同的模型架构、相同的硬件环境（4块NVIDIA H100 GPU）。

实验包含了两个不同规模的模型：小型版本（1.24亿参数）和中型版本（3.55亿参数）。这种设置就像测试汽车在城市道路和高速公路两种不同场景下的性能表现。

在小型模型的训练中，NAMO和NAMO-D都展现出了比传统方法更好的性能。具体来说，在经过50,000步训练后，NAMO的训练损失降至2.9272，验证损失为3.0351，而AdamW的相应数值分别为3.0456和3.0643，Muon的数值为3.0265和3.0435。这些数字表明，NAMO在训练效率和泛化能力方面都有显著提升。

更有趣的是，NAMO-D的表现甚至超过了NAMO，其训练损失进一步降至2.9167，验证损失为3.0246。这验证了研究团队的预期：更精细的神经元级别适应能力确实能够带来额外的性能提升。

在中型模型的实验中，优势变得更加明显。经过10,000步训练后，NAMO的训练损失为2.9359，验证损失为2.9516，而AdamW的相应数值为2.9760和2.9914。NAMO-D的表现依然是最佳的，训练损失为2.9351，验证损失为2.9507。

研究团队还进行了学习率敏感性分析，这就像测试汽车在不同速度设置下的稳定性。结果显示，NAMO和NAMO-D在更宽的学习率范围内都能保持稳定的性能，这意味着它们对超参数设置的要求更加宽松，使用起来更加方便。

特别值得注意的是，NAMO-D中的夹紧参数c发挥了重要作用。在小型模型中，最佳的c值为0.1，而在中型模型中，最佳c值为0.9。这种差异表明，不同规模的模型需要不同程度的调节约束，这为实际应用提供了重要的指导原则。

四、技术细节：算法的精妙设计

深入了解NAMO系列算法的技术细节，就像拆解一台精密仪器，看看其内部是如何巧妙运作的。

NAMO的核心创新在于将两种看似不兼容的技术巧妙融合。第一种技术是矩阵正交化，这个过程可以比作给信号"校正方向"。在数学上，给定一个矩阵M，研究团队通过奇异值分解得到M = UΣV^T，然后取其正交因子UV^T作为更新方向。这个正交因子具有特殊的几何性质，它保持了原始矩阵的主要方向信息，同时去除了可能导致训练不稳定的冗余成分。

第二种技术是自适应缩放，这个过程就像给信号"调节音量"。NAMO维护两个统计量：动量的偏差校正估计和梯度平方范数的偏差校正估计。通过这两个统计量的比值，算法能够估计当前的"信噪比"，并据此调节更新步长。当噪声较大时，这个比值较小，算法会自动减小步长以保持稳定性。当信号较强时，算法会相应增大步长以加快收敛。

NAMO-D的设计更加精巧，它不是简单地为整个矩阵使用统一的缩放因子，而是为每一列参数都计算独立的缩放因子。这就像为一个管弦乐队中的每种乐器都配备专门的音量控制器，而不是使用统一的总音量控制。具体来说，对于矩阵的第j列，算法会计算该列的范数，并基于该列对应的二阶矩估计来确定缩放因子。

为了防止某些缩放因子过于极端，NAMO-D引入了夹紧机制。这个机制的工作原理是：首先计算所有缩放因子的平均值，然后将每个缩放因子限制在[c*平均值, 平均值/c]的范围内，其中c是一个介于0和1之间的超参数。这种设计确保了所有缩放因子都在合理范围内，避免了某些方向的更新过于激进而破坏整体平衡。

算法的计算复杂度控制得非常好。NAMO相比于基础的Muon优化器，额外的计算开销几乎可以忽略不计，只增加了O(mn)的计算量，其中m和n分别是矩阵的行数和列数。NAMO-D的额外开销也很少，主要是计算列范数和维护列级别的统计量。更重要的是，两种算法都不需要额外的内存开销，这对于大规模模型训练来说是一个重要优势。

在实际实现中，研究团队还考虑了数值稳定性问题。他们使用了Newton-Schulz迭代来近似计算矩阵正交化，这是一种数值稳定且计算高效的方法。同时，他们在分母中添加了小的正则化项ε来避免除零错误，并且这个正则化项会随着训练进行动态调整。

五、实际应用价值：对AI训练的深远影响

NAMO系列优化器的意义远远超出了学术研究的范畴，它们为实际的人工智能模型训练带来了切实的改进。

从训练效率的角度来看，NAMO系列优化器能够帮助研究者和工程师更快地训练出高质量的模型。在GPT-2的实验中，NAMO-D相比AdamW在训练损失上平均改进了约3-4%，这个数字看似不大，但在大规模模型训练中，这种改进可能意味着节省数周的计算时间和大量的电力成本。

从实用性的角度来看，NAMO系列优化器对超参数的敏感性较低，这对实际应用来说是一个重要优势。传统的优化器往往需要精心调节学习率、动量系数等参数，这个过程既耗时又需要经验。而NAMO系列优化器在更宽的参数范围内都能保持良好性能，这降低了使用门槛，让更多的研究者和开发者能够受益。

从扩展性的角度来看，NAMO的设计原理可以应用到各种不同类型的神经网络架构中。无论是用于图像识别的卷积神经网络，还是用于自然语言处理的Transformer模型，只要涉及矩阵参数的优化，都可以考虑使用NAMO系列优化器。研究团队在论文中提到，他们正在探索将这些技术扩展到更大规模的语言模型训练中。

对于工业界而言，NAMO系列优化器提供了一种"即插即用"的解决方案。由于它们与现有的训练框架兼容，公司和研究机构可以相对容易地将现有的训练流程升级到新的优化器，而不需要大幅度改变现有的基础设施。

研究团队还开源了NAMO的完整实现代码，这进一步降低了采用门槛。开源代码包含了详细的文档和使用示例，使得其他研究者可以快速上手并在自己的项目中使用这些技术。

从长远来看，NAMO系列优化器代表了优化算法发展的一个新方向：不是简单地追求单一方面的改进，而是通过巧妙地结合现有技术的优势来实现整体性能的提升。这种思路可能会启发更多类似的研究工作，推动整个深度学习优化领域的发展。

研究团队在论文中也诚实地指出了当前工作的局限性。比如，他们主要在语言模型上进行了验证，还需要在更多类型的任务上测试算法的泛化能力。此外，对于超大规模模型（比如参数量达到千亿级别的模型），NAMO系列优化器的表现还需要进一步验证。

展望未来，研究团队计划开发更加轻量级的NAMO-D变体，进一步降低计算开销。他们还计划深入研究夹紧参数c的自动调节机制，使得NAMO-D能够在训练过程中自动找到最佳的平衡点，进一步提升易用性。

说到底，NAMO系列优化器的成功展示了科研中"站在巨人肩膀上"的价值。研究团队并没有完全重新发明轮子，而是聪明地识别出了现有技术的互补性，并找到了将它们有效结合的方法。这种研究思路不仅产生了实用的技术成果，也为其他研究者提供了宝贵的方法论启示。对于那些对深度学习优化技术感兴趣的读者，可以通过论文编号arXiv:2602.17080v2查找完整的技术细节。这项工作不仅推进了学术研究，更重要的是为实际的AI应用提供了更好的工具，这正是优秀科研工作应有的价值体现。

Q&A

Q1：NAMO优化器相比AdamW和Muon有什么优势？

A：NAMO优化器结合了AdamW的噪声适应能力和Muon的矩阵结构处理优势。在GPT-2训练中，NAMO的训练损失比AdamW改进了约3-4%，同时对学习率等超参数的敏感性更低，使用更方便，几乎不增加额外的计算和内存开销。

Q2：NAMO-D的夹紧机制是怎么工作的？

A：NAMO-D为每列神经元参数配备独立的调节器，但为防止某些调节器过于激进，设置了夹紧机制。系统会计算所有缩放因子的平均值，然后将每个缩放因子限制在合理范围内，就像给每个音量调节器都设置安全阈值，确保整体平衡。

Q3：普通开发者能使用NAMO优化器吗？

A：可以的。研究团队已经开源了完整的NAMO实现代码，包含详细文档和使用示例。由于NAMO与现有训练框架兼容，开发者可以相对容易地将现有训练流程升级到新优化器，不需要大幅改变现有基础设施。