首尔大学：让AI模型"瘦身"运行更快，还能保持聪明度的神奇方法

这项由首尔大学的田亨成（Hyesung Jeon）、李锡俊（Seojune Lee）、姜凡石（Beomseok Kang）、金载俊（Jae-Joon Kim）等学者，以及成均馆大学的金率化（Yulhwa Kim）共同完成的研究，发表于2025年9月的arXiv预印本平台（论文编号：arXiv:2509.17428v3）。对于想要了解更多技术细节的读者，可以通过该编号查找完整论文。

在当今这个人工智能飞速发展的时代，大型语言模型就像是拥有超强记忆力和理解力的数字大脑。不过，这些"大脑"有个麻烦：它们实在太"重"了，需要消耗大量的计算资源才能正常工作。就好比你有一台功能强大但极其耗电的超级计算机，虽然性能卓越，但电费账单让人头疼不已。

为了解决这个问题，研究人员们一直在寻找两种"减负"的方法：一种叫量化，就像把高清视频压缩成标清版本，虽然画质稍有损失，但文件小了很多；另一种叫参数高效微调，就像只给汽车更换几个关键部件而不是整台车都换新，既省钱又能提升性能。

然而，当研究人员试图将这两种方法结合使用时，却遇到了意想不到的难题。传统的低秩适应方法（就是那种只更换关键部件的方法）在处理压缩后的模型时，往往表现得不尽如人意。这就像是你用普通扳手去修复精密仪器，工具虽然能用，但精度不够，修复效果大打折扣。

近年来，一些基于傅里叶变换的新方法开始崭露头角，它们就像是更精密的修复工具，理论上应该能更好地处理这类问题。但研究团队发现，直接将这些新工具应用到压缩模型上时，效果反而不如预期，甚至还增加了计算开销。这种情况就像是你花大价钱买了一套顶级工具，结果发现在特定环境下反而不如传统工具好用。

面对这个难题，首尔大学的研究团队提出了一个创新解决方案：QWHA（量化感知沃尔什-阿达马变换适配）。这个方法的巧妙之处在于，它选择了沃尔什-阿达马变换作为核心工具，这种变换有个独特优势——它只需要用加法和减法运算，就像用最简单的算盘也能完成复杂计算一样。

更重要的是，研究团队还设计了一套聪明的初始化策略。这就像是在开始修复工作之前，先仔细观察哪些地方最需要修复，然后合理分配修复资源。他们的方法叫做AdaAlloc（自适应分配），能够智能地决定在哪些地方投入更多精力，确保修复效果最佳。

实验结果令人振奋。在各种测试场景下，QWHA方法都表现出了明显的优势，特别是在极低精度（2位）量化的困难情况下，性能提升尤为显著。更令人惊喜的是，这种方法不仅效果更好，训练速度也比传统的傅里叶变换方法快了许多倍。

这项研究的意义远超技术层面。随着人工智能应用的普及，如何让强大的AI模型在普通设备上高效运行，成为了一个关键问题。QWHA方法的出现，为这个问题提供了一个既实用又高效的解决方案，有望让更多人能够享受到AI技术带来的便利。

一、破解AI模型"瘦身"难题的科学原理

要理解QWHA方法的创新之处，我们首先需要了解AI模型面临的根本挑战。现代大型语言模型就像是一座装满了各种知识的巨大图书馆，每本书（参数）都承载着特定的信息。当我们要让这座图书馆在手机或个人电脑上运行时，就必须找到方法来"压缩"这些知识，同时尽可能保持其完整性。

量化技术就是这种压缩的核心方法。想象你要把一幅用256种颜色绘制的精美油画，转换成只能使用16种颜色的简化版本。在这个过程中，大部分颜色可以找到相对接近的替代色，但总有一些特别鲜艳或特殊的颜色（我们称之为"异常值"）很难找到合适的替代。这些异常值在量化过程中会产生较大的误差，就像原本鲜红的苹果在简化版本中可能变成了暗红色。

在AI模型中，这些异常值往往对应着模型中最重要的知识和能力。当量化过程无法准确保留这些关键信息时，整个模型的性能就会显著下降。这就是为什么简单的量化方法往往效果不佳的根本原因。

参数高效微调方法的出现，为这个问题提供了另一种思路。传统的LoRA（低秩适配）方法就像是在压缩后的图书馆中添加一个小型补充书架，专门存放那些在压缩过程中丢失的重要信息。但这种方法有个限制：补充书架的容量是固定的，当需要存放的信息超过这个容量时，效果就会受到影响。

基于傅里叶变换的新方法试图突破这个限制。它们的思路是将信息转换到频域空间，就像是将时间序列的音乐转换成频谱分析图。在这个新的空间里，重要的信息往往更加集中，理论上可以用更少的参数达到更好的效果。然而，研究团队发现，当这些方法应用到量化模型时，实际效果并不理想。

问题的关键在于变换核心的选择。传统的傅里叶变换、余弦变换等方法使用的是正弦和余弦函数，这些函数变化平滑连续，但对于量化误差中的突变和跳跃却不够敏感。这就像是用平滑的曲线来描述锯齿状的图形，总是会有不匹配的地方。

沃尔什-阿达马变换的出现改变了这一切。这种变换使用的基函数是方波形式的，具有突变特性，正好与量化误差中的跳跃变化相匹配。更重要的是，沃尔什-阿达马变换矩阵只包含+1和-1两种值，这意味着所有运算都可以用简单的加法和减法完成，完全避免了复杂的乘法运算。

这种设计的优势是多重的。首先，运算效率极高，特别适合资源受限的环境。其次，方波特性使其能够更准确地捕捉量化误差中的异常值。最后，简单的运算形式使得硬件实现变得更加容易，为实际应用铺平了道路。

研究团队通过大量实验验证了这一理论。他们发现，在相同的参数预算下，沃尔什-阿达马变换能够捕捉到更多的量化误差能量，这意味着能够更有效地补偿量化过程中的信息损失。具体来说，它能够覆盖异常值系数的比例比其他方法高出约18%，这个数字看似不大，但在AI模型的性能表现上却能带来显著差异。

二、智能资源分配策略：让每个"修复工具"都用在刀刃上

确定了使用沃尔什-阿达马变换作为核心工具后，下一个关键问题是如何智能地分配有限的修复资源。这就像是一个精明的工程师在修复一台复杂机器时，需要仔细判断哪些部件最需要关注，哪些部件可以暂时忽略。

传统的方法通常采用两种极端策略：要么完全随机分配资源，要么只关注问题最严重的部分。随机分配就像是蒙着眼睛修机器，虽然确保了公平性，但效率低下；只关注严重问题则像是只修复最明显的故障，虽然看似合理，但往往会导致其他部分得不到必要的维护。

QWHA方法中的AdaAlloc策略采用了一种更加平衡和智慧的方法。它首先分析每个通道（可以理解为机器的不同功能模块）中量化误差的严重程度，然后按照误差大小按比例分配修复资源。这就像是一个经验丰富的维修师傅，既会重点关注问题严重的部分，也不会完全忽略其他看似正常的部分。

这种策略的数学基础相当优雅。研究团队使用了一个温度参数来控制分配的集中程度，就像调节热水器的温度一样简单直观。当温度参数较高时，资源分配更加平均；当温度参数较低时，资源更多地集中在问题严重的区域。通过调节这个参数，可以在不同应用场景下找到最佳的平衡点。

更巧妙的是，AdaAlloc策略还考虑了一个重要的约束条件：确保每个通道都至少分配到最少的资源，哪怕是看起来问题不大的通道。这种设计基于一个深刻的洞察：在AI模型中，即使是看似不重要的参数也可能在某些特定情况下发挥关键作用。忽略任何一个通道都可能导致模型在某些任务上的性能下降。

在确定了资源分配策略后，下一步是精确选择需要修复的具体位置。这个过程就像是在每个功能模块内部，精确定位最需要调整的部件。研究团队采用了基于重要性的选择策略：在每个通道内，选择那些对减少量化误差贡献最大的位置。

但是，仅仅选择位置还不够，还需要确定如何调整这些位置的参数值。这就涉及到了QWHA方法的另一个创新点：参数值精化技术。传统方法往往直接使用预计算的理论值，但研究团队发现，在稀疏约束下（只能调整有限数量的参数），这些理论值往往不是最优的。

参数值精化技术的原理是重新投影。想象你要在一个有限的画布上绘制一幅复杂的图画，你可能需要调整某些细节以适应空间限制。类似地，当只能调整有限数量的参数时，需要重新计算这些参数的最佳值，以在约束条件下达到最佳的误差补偿效果。

这个过程涉及到线性代数中的最小二乘法求解。虽然数学原理复杂，但其直观理解很简单：就是在给定的约束条件下，找到能够最大程度减少整体误差的参数组合。研究团队的实验表明，这种精化过程能够将层输出误差降低约46%，这是一个相当显著的改进。

整个AdaAlloc策略的设计体现了工程优化中的一个重要原则：在约束条件下寻求最优解。它不追求理论上的完美，而是在现实限制下寻找最实用的解决方案。这种务实的方法正是QWHA能够在实际应用中取得成功的关键因素。

三、实验验证：在真实场景中展现实力

为了验证QWHA方法的有效性，研究团队设计了一系列全面的实验，就像是让一个新研发的工具在各种不同的工作环境中接受考验。这些实验涵盖了不同的模型规模、不同的压缩程度，以及不同类型的任务，确保结果的可靠性和普适性。

实验使用的模型包括了当前最先进的几种大型语言模型：Mistral-7B-v0.3、LLaMA-3.1-8B和LLaMA-3.2-3B。这些模型就像是不同品牌和型号的汽车，虽然基本功能相似，但在具体性能和特性上各有差异。通过在多种模型上测试，可以确保QWHA方法的普适性。

测试任务也经过精心选择，主要包括两大类：常识问答和数学推理。常识问答任务测试模型对日常知识的理解和应用能力，就像是测试一个人是否能够回答"苹果是什么颜色"这样的基本问题。数学推理任务则测试模型的逻辑思维能力，类似于让模型解答数学应用题。

实验结果令人印象深刻。在4位量化（将原始32位精度压缩到4位）的情况下，QWHA方法在常识问答任务上的准确率比最佳基准方法提高了约0.5-1.5个百分点。虽然这个数字看起来不大，但在AI领域，哪怕0.1%的提升都可能代表着数百万次正确回答的差异。

更令人兴奋的是在极端压缩情况下的表现。在2位量化（压缩程度极高）的场景中，QWHA方法显示出了更加明显的优势。在某些测试中，性能提升达到了2-3个百分点，这在技术上是一个相当显著的跃升。这就像是在极其困难的环境下，QWHA方法仍然能够保持稳定的表现，而其他方法则开始显露疲态。

训练效率的提升同样引人注目。传统的基于傅里叶变换的方法由于需要进行复杂的矩阵运算，训练时间往往很长。以批处理大小为1的情况为例，SSH方法需要63.3小时，LoCA方法需要92.3小时，而QWHA方法只需要18.2小时。这种效率提升不仅节省了时间成本，更重要的是降低了能源消耗，使得这种方法在实际应用中更具可行性。

研究团队还进行了详细的消融实验，就像是逐一测试汽车的各个部件性能。他们分别测试了沃尔什-阿达马变换和AdaAlloc策略的独立贡献，发现两者的结合确实产生了协同效应。单独使用沃尔什-阿达马变换已经能够带来性能提升，而加上智能的资源分配策略后，效果进一步增强。

特别有趣的是关于参数预算的实验。研究团队发现，QWHA方法在较小的参数预算下就能达到其他方法需要更多参数才能实现的性能。这就像是一个高效的工程师，用更少的工具就能完成同样质量的工作。这个发现对实际应用具有重要意义，因为在资源受限的环境中，参数数量往往是一个硬约束。

实验还揭示了一个重要现象：QWHA方法的优势随着量化程度的加深而变得更加明显。在16位精度下，各种方法的差异相对较小；但随着精度降低到4位、3位、2位，QWHA的优势逐渐凸显。这表明该方法特别适合于需要极限压缩的应用场景。

四、理论分析：深入理解成功背后的数学原理

QWHA方法的成功并非偶然，而是建立在扎实的理论基础之上。研究团队通过深入的数学分析，揭示了该方法优于传统方法的根本原因，就像是解释为什么某种设计的桥梁能够承受更大重量一样。

首先，让我们理解为什么沃尔什-阿达马变换特别适合处理量化误差。量化过程产生的误差具有一个重要特征：它们往往表现为突变形式。当一个权重值因为量化限制而被"截断"到某个边界值时，产生的误差是跳跃式的，而不是渐变的。这就像是将一个连续的坡道强行改造成阶梯状，每个台阶之间都存在突然的高度变化。

传统的傅里叶变换基于正弦和余弦函数，这些函数是平滑连续的，就像是用丝绸曲线来描绘锯齿状的图形。虽然理论上任何函数都可以用傅里叶级数表示，但对于包含大量突变的量化误差，需要使用很多高频成分才能准确表示，这就导致了效率低下。

相比之下，沃尔什-阿达马变换使用的基函数本身就是方波形式，具有天然的跳跃特性。这就像是用专门设计的锯齿模板来描绘锯齿图形，匹配度天然就很高。研究团队通过分析证明，对于量化误差的频谱特性，沃尔什-阿达马变换能够用更少的系数达到同样的表示精度。

数学分析还揭示了QWHA方法在秩容量方面的优势。传统的低秩方法受到内在维度的严格限制，就像是用一个固定大小的盒子来装东西，无论如何调整，容量都是有限的。而基于变换的方法，由于变换矩阵是满秩的，理论上可以达到矩阵的最大秩。

这种理论优势在实验中得到了验证。研究团队测量了不同方法产生的适配器权重的实际秩，发现QWHA方法能够达到接近100%的归一化秩，而传统的LoRA方法只能达到约6.3%。这种巨大的差异解释了为什么QWHA在复杂任务上表现更优。

AdaAlloc策略的理论基础同样深厚。研究团队将参数选择问题形式化为一个约束优化问题，目标是在给定参数预算下最小化层输出误差。虽然这是一个NP难问题（理论上没有多项式时间的精确解法），但通过巧妙的分解策略，将问题转化为两个相对简单的子问题：参数位置选择和参数值确定。

参数位置选择采用了一种平衡策略，既考虑了误差的严重程度，又保证了每个通道都有最少的参数分配。这种设计基于一个重要的理论洞察：在稀疏优化中，完全贪心的策略往往不是最优的，因为它可能导致某些重要但不那么明显的模式被忽略。

参数值确定则使用了投影方法，这是一种在约束条件下寻找最优解的标准技术。关键创新在于，不是简单地使用理论上的密集解，而是在选定的稀疏支撑上重新求解最优化问题。这种"重投影"技术考虑了参数之间的相互作用，因此能够达到更好的近似效果。

研究团队还分析了QWHA方法的计算复杂度。虽然初始化过程需要进行一些额外的计算，但由于沃尔什-阿达马变换可以用快速算法实现，总体的计算开销仍然是可控的。更重要的是，一旦初始化完成，训练过程的计算复杂度与传统方法相当，但由于使用了更有效的变换核，实际运行时间反而更短。

五、广泛影响：改变AI应用的未来格局

QWHA方法的意义远远超出了技术本身，它为AI技术的普及和应用开辟了新的可能性。在当前AI快速发展的背景下，如何让强大的AI能力在各种设备上高效运行，已经成为一个关键的挑战。

在移动设备领域，QWHA方法的影响尤为深远。现代智能手机虽然性能强大，但相比于数据中心的服务器，在内存和计算能力方面仍然存在较大限制。传统的大型语言模型往往需要数十GB的内存空间，这对手机来说是难以承受的。通过QWHA方法，可以将模型大小压缩到几GB甚至更小，同时保持相当的性能水平。

这种技术进步带来的直接好处是用户体验的提升。AI助手可以完全在本地运行，不需要依赖网络连接，响应速度更快，隐私保护更好。用户不再需要担心网络延迟或者数据泄露的问题，可以随时随地享受AI服务。

在物联网和边缘计算领域，QWHA方法同样具有重要价值。许多IoT设备具有更严格的资源约束，甚至连智能手机的计算能力都无法企及。但通过极限压缩技术，这些设备也有可能获得一定的AI能力。例如，智能摄像头可以在本地进行图像分析，智能音箱可以本地处理语音指令，这将大大提升这些设备的智能化水平。

从商业角度来看，QWHA方法有助于降低AI应用的部署成本。企业不再需要投入大量资金购买高端GPU集群，就能够部署相对强大的AI服务。这种成本降低将使更多中小企业能够负担得起AI技术，从而推动整个行业的发展。

在科研领域，QWHA方法为其他压缩和优化技术的研究提供了新的思路。沃尔什-阿达马变换的成功应用表明，针对特定问题选择合适的数学工具比盲目追求理论上的最优解更为重要。这种务实的研究方法可能会影响未来AI优化技术的发展方向。

环境保护角度也不容忽视。AI模型的训练和部署消耗大量电力，产生不少碳排放。QWHA方法通过提高计算效率，可以显著减少能源消耗。根据研究团队的测算，使用QWHA方法可以将训练时间减少到传统方法的1/3到1/5，这意味着相应的能源消耗也将大幅降低。

教育领域同样将受益匪浅。个性化学习助手可以在普通的学习设备上运行，为每个学生提供定制化的辅导。由于不依赖云端服务，这些AI助手可以在网络条件较差的地区正常工作，有助于缩小数字教育差距。

医疗健康领域的应用前景也很广阔。便携式医疗设备可以集成AI诊断能力，在偏远地区提供初级医疗服务。由于数据完全在本地处理，患者的隐私得到了更好的保护，这对医疗应用来说尤为重要。

当然，我们也要客观看待这项技术的局限性。虽然QWHA方法在性能和效率方面都有显著提升，但它仍然无法完全弥补极端压缩带来的性能损失。在需要最高精度的应用场景中，可能仍然需要使用较大的模型。此外，该方法主要针对语言模型进行了优化，在其他类型的AI模型上的效果还有待进一步验证。

总的来说，QWHA方法代表了AI技术发展的一个重要方向：不仅追求性能的提升，更关注实际应用的可行性。这种平衡理论创新与工程实用性的研究方法，为AI技术的普及应用铺平了道路。随着相关技术的不断成熟，我们有理由期待一个AI能力更加普及、应用更加便民的未来。

说到底，QWHA方法最大的价值不在于它解决了某个特定的技术难题，而在于它为AI技术的民主化做出了贡献。通过让AI模型能够在更广泛的设备上高效运行，这项技术有助于打破技术壁垒，让更多人能够享受到AI带来的便利。这种技术进步的意义，远远超越了学术研究的范畴，它关乎我们每个人的数字化未来。

研究团队已经将相关代码开源，这意味着全世界的研究者和开发者都可以基于这项工作进行进一步的改进和应用。开源精神的体现，不仅加速了技术的传播和发展，也体现了科研工作者促进人类共同进步的理念。在AI技术快速发展的今天，这种开放合作的态度显得尤为珍贵。

Q&A

Q1：QWHA方法是什么？它能解决什么问题？

A：QWHA是一种让AI模型既能压缩变小又能保持聪明度的新技术。它主要解决的问题是：当我们把大型AI模型压缩到手机等小设备上运行时，如何避免模型变"笨"。传统方法要么压缩效果不好，要么性能下降太多，QWHA通过特殊的数学变换和智能资源分配，在两者之间找到了很好的平衡点。

Q2：沃尔什-阿达马变换为什么比其他数学方法更有效？

A：沃尔什-阿达马变换的特别之处在于它只用加法和减法运算，不需要复杂的乘法，就像用最简单的算盘也能完成精确计算。更重要的是，它使用方波形式的函数，天然适合处理AI模型压缩过程中产生的跳跃式误差，而传统的正弦余弦函数处理这类突变问题效率较低。

Q3：这项技术对普通用户有什么实际好处？

A：最直接的好处是AI助手可以完全在手机上运行，不需要联网，响应更快、更保护隐私。你的智能手机、智能音箱等设备可以变得更聪明，同时不会很快耗尽电量。对于网络条件不好的地区，这意味着也能享受到高质量的AI服务。长远来看，这会让AI技术变得更普及、成本更低。