阿里通义实验室实现扩散模型一步生成突破

这项由阿里巴巴集团通义实验室的刘东阳、高鹏等研究人员与香港中文大学合作完成的研究，于2024年11月发表在arXiv预印本平台，论文编号为arXiv:2511.22677v1。这项研究首次揭示了当前AI图像生成技术中一个令人困惑的现象背后的真相，为理解和改进快速图像生成模型提供了全新视角。

当我们使用AI工具生成图像时，通常需要等待模型经过数十步甚至数百步的计算才能得到最终结果，这就像是一位画家需要在画布上反复修改润色才能完成作品。然而，近年来科学家们一直在努力让这个过程变得更快，希望能让AI在几步之内就生成高质量的图像。在这个加速过程中，一种叫做"分布匹配蒸馏"的技术表现尤为突出，被广泛认为是通过让"学生模型"模仿"老师模型"的输出分布来实现快速生成的。

但是，这项研究发现了一个有趣的矛盾现象。在实际应用中，这种分布匹配蒸馏技术总是需要配合另一种叫做"分类器无关引导"的技术才能取得好效果，但这种搭配却破坏了原本理论框架的完整性。就像是一个精心设计的烹饪食谱，理论上应该严格按照配方制作，但厨师们发现必须额外添加一种调料才能做出美味的菜肴，这让人不禁思考：究竟是什么在真正起作用？

研究团队决定彻底解开这个谜题。他们通过精巧的数学分析，将这个看似单一的训练过程分解成了两个独立的机制。这就像是拆解一个复杂的机械装置，发现里面其实有两个不同的齿轮在协同工作。第一个机制被他们称为"CFG增强"，它的作用类似于汽车的发动机，是驱动快速图像生成的核心动力。第二个机制是真正的"分布匹配"，它更像是汽车的刹车系统，虽然不是推进力，但对保持行驶稳定性至关重要。

这个发现完全颠覆了学术界长期以来的认知。原来，让AI能够快速生成高质量图像的主要功臣并非分布匹配，而是那个一直被忽视的CFG增强机制。研究团队通过一系列精心设计的实验证实了这一点，他们发现单独使用CFG增强就能让模型产生高质量的图像，而单独使用分布匹配则效果有限。

更有趣的是，研究团队还发现分布匹配的作用更像是一个"稳定器"。当只使用CFG增强时，生成的图像虽然质量不错，但训练过程容易出现不稳定的情况，图像可能会出现过饱和或高频噪声等问题。而分布匹配的加入能够有效避免这些问题，确保训练过程的稳定性。

基于这些深入的理解，研究团队提出了一个创新性的改进方案。他们认为，既然CFG增强和分布匹配承担着不同的职责，那么它们在训练过程中使用的"时间表"也应该有所不同。这就像是为发动机和刹车系统分别制定专门的维护计划一样。实验证明，这种"解耦调度"的方法能够进一步提升图像生成的质量，该方法已被知名的Z-Image项目采用，用于开发顶级的8步图像生成模型。

一、拆解复杂机制：发现隐藏的两个"齿轮"

要理解这项研究的突破性发现，我们首先需要了解AI图像生成的工作原理。当前最先进的AI图像生成模型，就像是一位需要多次修改才能完成画作的画家。它们从纯粹的噪声开始，通过数十步甚至数百步的迭代过程，逐渐将噪声转化成清晰的图像。这个过程虽然能产生令人惊艳的结果，但速度较慢，限制了实际应用。

为了解决这个问题，科学家们开发了一种名为"分布匹配蒸馏"的技术。这种技术的基本思想是让一个"学生模型"学会模仿一个已经训练好的"老师模型"的行为，但要求学生能够在更少的步骤内完成同样的任务。这就像是让一个初学者直接学会资深画家的绘画技巧，跳过漫长的练习过程。

然而，在实际应用中，研究人员发现了一个令人困惑的现象。理论上，分布匹配蒸馏应该让学生模型严格按照老师模型的输出分布进行学习。但在复杂的文本到图像生成任务中，这种方法只有在配合"分类器无关引导"技术时才能取得好效果。这种引导技术会对老师模型的输出进行特殊的调整，但这种调整破坏了原本理论框架的数学严谨性。

研究团队意识到，这个现象背后可能隐藏着更深层的机制。他们决定对这个训练过程进行彻底的数学分析。通过精巧的数学推导，他们成功地将看似单一的训练目标分解成了两个独立的组成部分。

第一个部分被称为"CFG增强"，这个组成部分直接将分类器无关引导的信号应用到学生模型的输出上。研究团队发现，这个部分实际上是整个快速生成过程的核心驱动力，就像汽车的发动机一样，负责提供前进的动力。

第二个部分是真正的"分布匹配"机制，它严格遵循原始的理论推导，确保学生模型的输出分布与老师模型保持一致。但令人意外的是，这个部分的主要作用不是推动快速生成，而是起到稳定和调节的作用，就像汽车的刹车和悬挂系统一样，确保行驶过程的平稳和安全。

为了验证这个发现，研究团队设计了一系列巧妙的实验。他们分别测试了只使用CFG增强、只使用分布匹配，以及两者结合使用的效果。结果清楚地显示，CFG增强确实是快速图像生成的主要推动力，而分布匹配则主要负责维持训练过程的稳定性。

这个发现的意义极为重大。它不仅解释了为什么实际应用中需要偏离理论框架，更重要的是，它为进一步优化快速图像生成技术指明了方向。既然两个机制承担着不同的职责，那么我们就可以针对性地对它们进行优化，而不是把它们当作一个整体来处理。

二、深入探索：CFG增强如何成为"发动机"

在确认了CFG增强是快速图像生成的核心驱动力之后，研究团队开始深入探索这个机制的工作原理。他们想要回答一个关键问题：CFG增强究竟是如何实现从多步生成到快速生成的转换的？

为了解答这个问题，研究团队设计了一个巧妙的实验。他们训练了一个只使用CFG增强机制的单步图像生成模型，然后系统地改变训练过程中一个关键参数——重新加噪的时间步。这个参数决定了在训练过程中对生成图像添加多少噪声，从而控制CFG信号是在什么"清晰度级别"上计算的。

实验结果揭示了一个fascinating的模式。当重新加噪的时间步被限制在高噪声范围内时，CFG增强主要改善图像的低频信息，比如整体的颜色块和基本构图。随着时间步范围逐渐扩展到包含更清晰的层次，生成的图像开始获得更丰富的高频细节，如锐利的边缘和精细的纹理。

这个发现让研究团队意识到，CFG增强在特定噪声级别上的应用，主要增强与该级别相对应的图像内容。这就像是一个多层次的修图过程，不同的处理阶段负责改善图像的不同方面。当CFG增强作用于噪声较多的图像时，它主要改善整体结构和色彩；当作用于较为清晰的图像时，它主要添加细节和纹理。

基于这个理解，研究团队提出了一个重要的假设：对于多步生成过程，CFG增强的最优策略应该是"聚焦式引擎"。具体来说，如果生成器当前正在执行第t步，那么CFG增强应该主要关注噪声级别大于t的部分，而不是对整个噪声范围都进行处理。

这个假设的逻辑很清楚：在第t步时，噪声级别小于t的图像内容已经在之前的步骤中得到了处理和确定，再对这些已经解决的部分进行CFG增强不仅是多余的，还可能导致过度增强和产生伪影。相比之下，将CFG增强的力量集中在尚未解决的部分（噪声级别大于t），能够更有效地利用这个机制的能力。

为了验证这个假设，研究团队在后续实验中比较了不同CFG增强策略的效果，结果证实了聚焦式策略的优越性。当CFG增强被限制在当前步骤尚未处理的噪声级别时，生成的图像质量显著提升，同时避免了过度处理可能带来的问题。

三、分布匹配的"稳定器"角色：不可或缺的平衡力量

在深入了解了CFG增强的工作机制后，研究团队将注意力转向了分布匹配机制。虽然实验已经证明分布匹配不是快速生成的主要驱动力，但它在整个过程中扮演的角色同样重要。

研究团队发现，当只使用CFG增强进行训练时，虽然初期能够产生高质量的图像，但训练过程存在稳定性问题。随着训练的进行，生成的图像会逐渐出现过度饱和、高频噪声等伪影，最终导致训练崩溃。这就像是一辆只有油门没有刹车的汽车，虽然能够快速前进，但缺乏必要的控制机制。

为了理解分布匹配如何发挥稳定作用，研究团队设计了一个特殊的诊断实验。他们让生成器继续使用CFG增强进行训练（这会导致不稳定），同时训练一个"观察者"模型来跟踪生成器的输出，但不让这个观察者模型的信息反馈给生成器。这样，他们就能观察到当伪影出现时，潜在的分布匹配梯度会如何响应。

实验结果非常有启发性。当生成器产生的图像出现明显的棋盘状伪影时，观察者模型的预测中并没有这种伪影，而原始的老师模型的预测也没有这种伪影。这意味着，如果应用分布匹配机制，它会产生一个梯度信号来主动消除这些伪影。这就像是一个自动纠错系统，能够检测到输出中的问题并提供相应的修正信号。

进一步的分析显示，分布匹配机制之所以能够起到稳定作用，是因为它在训练过程中持续监控学生模型和老师模型之间的差异。当学生模型开始产生老师模型不会产生的伪影时，分布匹配会产生相应的梯度来纠正这种偏差。这种纠正机制不仅能够消除伪影，还能防止训练过程偏离正确的轨道。

研究团队还探索了分布匹配机制中重新加噪时间步的作用。他们发现，这个参数控制着纠错的"视野范围"。当使用较高的噪声级别时，分布匹配主要关注和纠正图像的低频问题，如颜色过饱和或整体构图错误。当使用较低的噪声级别时，它主要处理高频细节的问题，如纹理伪影或边缘不自然。

基于这些发现，研究团队提出分布匹配的最优策略应该是"全方位稳定器"。与CFG增强的聚焦策略不同，分布匹配应该在整个噪声范围内工作，以便能够检测和纠正各个层次的问题。这样，它就能够提供全面的稳定性保障，确保生成过程在各个阶段都保持在正确的轨道上。

四、创新的解耦调度策略：量身定制的优化方案

基于对CFG增强和分布匹配机制的深入理解，研究团队提出了一个创新的改进方案。他们认为，既然这两个机制承担着不同的职责——一个是驱动引擎，一个是稳定器——那么它们在训练过程中的工作方式也应该有所不同。

传统的方法将两个机制绑定在一起，使用相同的重新加噪时间步进行训练。这就像是让发动机和刹车系统使用完全相同的维护计划，虽然简单，但并不是最优的做法。研究团队提出了"解耦调度"的概念，为两个机制分别制定独立的工作计划。

对于CFG增强机制，研究团队建议使用"聚焦调度"策略。在多步生成的第t步，CFG增强应该只关注噪声级别大于t的部分。这样，CFG增强就能将其力量集中在当前步骤需要处理的内容上，避免对已经确定的部分进行不必要的修改。这种策略就像是让一个专业的细节修饰师只关注当前需要完善的部分，而不去动已经完成的区域。

对于分布匹配机制，研究团队建议使用"全范围调度"策略。分布匹配应该始终在整个噪声范围内工作，无论当前是第几步。这样，它就能够提供全面的监督和纠错，确保各个层次的内容都保持在正确的轨道上。这种策略就像是让一个质量控制专家对整个产品进行全面检查，而不只是检查某个特定部分。

为了验证这个解耦调度策略的有效性，研究团队设计了一系列对比实验。他们比较了四种不同的调度配置：原始的耦合调度、两个机制都使用全范围调度、两个机制都使用聚焦调度，以及他们提出的解耦混合调度。

实验结果令人鼓舞。解耦混合调度在多个评估指标上都表现出了明显的优势。定量评估显示，这种策略在图像质量、文本对齐度和用户偏好等方面都优于其他配置。更重要的是，定性评估显示，使用解耦调度生成的图像具有更丰富的细节、更自然的色彩和更少的结构变形。

研究团队还进行了大规模的用户研究来验证这些改进。他们邀请了多名专业评估者对不同方法生成的图像进行盲评。结果显示，解耦混合调度获得了压倒性的支持，在模型级别的比较中获得了100%的偏好率。评估者们普遍认为，这种方法生成的图像细节更丰富、色彩更自然、结构变形更少。

五、验证替代方案：分布匹配并非唯一选择

为了进一步验证分布匹配主要起稳定作用的假设，研究团队进行了一个有趣的探索：能否用其他机制来替代分布匹配的稳定功能？如果分布匹配真的只是一个稳定器，那么理论上其他类型的稳定机制也应该能够发挥类似的作用。

研究团队首先分析了CFG增强单独工作时出现的问题。他们发现，训练过程中生成图像的均值和方差会单调增长，最终达到不合理的数值。这个观察启发了他们设计一个最简单的替代稳定机制：均值-方差约束。

这个简单的约束机制通过一个KL散度损失来限制生成图像的统计特性，确保它们的均值和方差保持在合理范围内。具体来说，他们收集了真实图像数据的均值和方差统计，然后在训练过程中约束生成图像的统计特性与这些目标值保持一致。

实验结果显示，这个简单的统计约束确实能够有效稳定CFG增强的训练过程。虽然最终的图像质量略低于使用分布匹配的版本，但训练过程保持稳定，没有出现崩溃现象。这个结果强有力地支持了分布匹配主要起稳定作用的假设，因为即使是最简单的统计约束也能够提供基本的稳定性。

研究团队还测试了另一种更复杂的替代方案：基于生成对抗网络的稳定机制。他们使用了一个判别器网络来区分真实图像和生成图像，并将对抗损失作为稳定机制。这种方法的理论基础是，判别器能够检测生成图像中的不自然特征，从而提供纠正信号。

生成对抗网络的实验结果更加有趣。这种方法确实能够提供稳定性，生成的图像也具有较高的质量。然而，训练过程的稳定性不如分布匹配方法，需要更仔细的超参数调节。这个结果表明，虽然存在多种可能的稳定机制，但分布匹配在稳定性和性能之间提供了最佳的平衡。

这些替代实验的结果揭示了一个重要的权衡关系。简单的约束机制（如统计约束）虽然能够提供基本的稳定性，但可能限制了模型的表达能力。更复杂的机制（如生成对抗网络）可能提供更好的性能，但会增加训练的复杂性和不稳定性。分布匹配机制在这个权衡中找到了一个sweet spot，既提供了强有力的稳定性，又保持了相对简单的实现和调节。

六、理论探索：CFG增强为何如此有效

在验证了CFG增强是快速图像生成核心驱动力的事实后，研究团队开始思考一个更深层的问题：为什么CFG增强具有如此神奇的能力，能够将一个需要多步迭代的过程压缩成少数几步？

为了探索这个问题，研究团队采用了一个有趣的类比方法。他们将这个问题与大语言模型面临的一个类似挑战进行对比。大语言模型在生成文本时必须逐个预测单词，不能同时预测多个单词。比如，当系统要完成"世界上最富有的人是"这个句子时，它不能同时预测"埃隆"和"马斯克"，因为第二个词的选择严格依赖于第一个词的选择结果。

这种限制的根本原因在于，模型只能预测下一个词的概率分布，而无法控制实际的采样过程。这个外部的、不可控制的采样事件打断了模型的预测链条。无论模型多么强大，它都无法绕过这种外部干预来预测后续的词，因为任何预测都可能与尚未确定的第一个词的结果冲突。

研究团队认为，扩散模型面临着类似的挑战。扩散模型在生成过程中首先确定低频的全局构图（比如确定对象是猫而不是狗），然后再添加高频的细节信息（比如毛发的纹理）。低频信息和高频信息之间存在严格的依赖关系，就像"埃隆"和"马斯克"之间的关系一样。

在传统的多步生成过程中，分类器无关引导的作用类似于一个外部的、不可预测的干预。虽然CFG是确定性的偏置而不是随机过程，但从模型的角度来看，它同样是不可控制的：模型在训练时不知道CFG的存在，在推理时也无法控制负提示或引导强度。

研究团队的核心假设是：CFG代表了一种特定的、确定性的决策模式。CFG增强机制的作用就是将这种决策模式"烘焙"到学生生成器的预测中。通过这种方式，原本需要通过外部干预来实现的引导效果被内化到了模型的内部行为中。

这种内化过程将原本是一个充满可能性的决策树转变为一条单一的、可预测的路径。回到语言模型的类比，这就像是告诉模型："鉴于当前输入，外部过程总是会选择'埃隆'作为第一个词。因此，你可以安全地假设第一个词是'埃隆'，并直接预测'马斯克'。"这样，模型就能够跳过中间的不确定性，直接产生最终结果。

虽然这个解释仍然是理论性的，但它为理解CFG增强的神奇效果提供了一个有用的框架。这个理论框架也解释了为什么CFG增强对于复杂的文本到图像生成任务如此重要，而对于简单的任务可能不那么关键——复杂任务中的依赖关系更多，因此外部干预的影响更大，内化这种干预的价值也更高。

说到底，这项研究就像是为一台复杂的机器找到了正确的使用说明书。长期以来，我们知道这台机器能够产生令人惊艳的结果，但却不完全理解它的工作原理。研究团队通过精巧的分析和实验，揭示了这台机器实际上有两个关键部件：一个负责驱动的发动机和一个负责稳定的调节系统。

更重要的是，他们发现这两个部件的最佳工作方式是不同的，因此应该分别进行优化。这个发现不仅解决了理论和实践之间的矛盾，还为开发更好的快速图像生成技术指明了方向。正如研究团队在顶级Z-Image项目中的成功应用所显示的，这种新的理解能够带来实实在在的性能提升。

对于普通用户而言，这项研究的意义在于，未来的AI图像生成工具将能够以更快的速度产生更高质量的图像。当我们使用AI来创作艺术作品、设计产品原型或者制作社交媒体内容时，将不再需要忍受漫长的等待时间，却依然能够获得令人满意的结果。

这项研究也为AI研究领域提供了一个重要的启示：有时候，看似简单的现象背后可能隐藏着复杂的机制，而深入理解这些机制不仅能够满足我们的好奇心，更能够为实际应用带来显著的改进。正如这项研究所展示的，当我们真正理解了工具的工作原理，我们就能够更好地使用和改进这些工具。

Q&A

Q1：CFG增强和分布匹配机制分别起什么作用？

A：CFG增强机制就像汽车的发动机，是驱动AI快速生成高质量图像的核心动力，负责将多步生成过程压缩成少数几步。分布匹配机制则像汽车的刹车和稳定系统，主要负责保持训练过程的稳定性，防止生成图像出现过度饱和、噪声等问题，确保整个过程不会"失控"。

Q2：解耦调度策略相比传统方法有什么优势？

A：解耦调度策略为CFG增强和分布匹配制定了不同的工作计划，CFG增强采用聚焦策略只处理当前需要改善的部分，分布匹配采用全范围策略提供全面监督。这种方法生成的图像细节更丰富、色彩更自然、结构变形更少，在用户研究中获得了100%的偏好率。

Q3：这项研究对普通用户使用AI图像生成工具有什么影响？

A：这项研究将显著提升AI图像生成工具的速度和质量。用户将能够以更快的速度获得高质量的图像，无论是创作艺术作品、设计产品原型还是制作社交媒体内容，都不再需要忍受漫长的等待时间。该技术已被Z-Image等顶级项目采用，预示着更好的用户体验即将到来。