南洋理工&普渡大学提出CFG-Zero⋆：在Flow Matching模型中实现更稳健的无分类器引导方法

随着生成式AI的发展，文本生成图像与视频的扩散模型（Diffusion Models）成为计算机视觉的研究热点。近年来，Flow Matching以更强的可解释性和更快的收敛速度，逐渐替代基于SDE的传统扩散方法，成为主流模型（如

Lumina-Next、Stable Diffusion 3/3.5、Wan2.1）的核心方案。

但在生成过程中，如何更有效地引导模型输出仍是难点。当前主流的Classifier-Free Guidance（CFG）虽被广泛使用，但在训练不足或估计误差较大时，容易引发偏差、伪影或结构坍塌。

为此，南洋理工大学S-Lab与普渡大学提出CFG-Zero⋆，从理论上分析了CFG在Flow Matching框架下的结构性误差，并设计了两项轻量级改进方案，显著提升了生成质量、文本对齐性与稳定性。

论文标题： CFG-Zero*: Improved Classifier-Free Guidance for Flow Matching Models 论文链接： https://arxiv.org/abs/2503.18886 代码链接： https://github.com/WeichenFan/CFG-Zero-star 项目主页： https://weichenfan.github.io/webpage-cfg-zero-star/

随着生成式AI的快速发展，文本生成图像与视频的扩散模型（Diffusion Models）已成为计算机视觉领域的研究与应用热点。近年来，Flow Matching作为一种更具可解释性、收敛速度更快的生成范式，正在逐步取代传统的基于随机微分方程（SDE）的扩散方法，成为主流模型（如Lumina-Next、Stable Diffusion 3/3.5、Wan2.1等）中的核心方案。

然而，在这一技术迭代过程中，一个关键问题依然存在：如何在推理阶段更好地引导生成过程，使模型输出更加符合用户提供的文本描述。Classifier-Free Guidance（CFG）是当前广泛采用的引导策略，但其引导路径在模型尚未充分训练或估计误差较大时，容易导致样本偏离真实分布，甚至引入不必要的伪影或结构崩塌。

对此，南洋理工大学S-Lab与普渡大学的研究者联合提出了创新方法——CFG-Zero⋆，针对传统CFG在Flow Matching框架下的结构性误差进行了理论分析，并设计了两项轻量级但效果显著的改进机制，使生成图像/视频在细节保真度、文本对齐性与稳定性上全面提升。

一、研究动机：CFG为何失效？

传统的CFG策略通过对有条件与无条件预测结果进行插值来实现引导。然而在Flow Matching模型中，推理过程是通过解常微分方程（ODE）进行的，其每一步依赖于前一步的速度估计。当模型训练不足时，初始阶段的速度往往较为不准确，而CFG此时的引导反而会将样本推向错误轨迹。研究者在高斯混合分布的可控实验中发现，CFG在初始步的引导效果甚至不如“静止不动”，即设速度为0。

二、方法介绍

研究者提出了CFG-Zero⋆，并引入以下两项关键创新：

1. 优化缩放因子（Optimized Scale）：在每个时间步中动态计算有条件速度与无条件速度的内积比值，从而调整CFG中无条件项的强度，避免“过度引导”导致的误差。

2. 零初始化（Zero-init）：将ODE求解器的前K步速度置为零（默认K=1），跳过模型最不可靠的预测阶段，有效降低初始误差传播。

这两项策略可无缝集成至现有的CFG推理流程中，几乎不引入额外计算开销。下面我们具体介绍该方法的细节：

1. 优化缩放因子：

首先CFG的目标是能够估计出一个修正的速度，能够尽可能的接近真实速度：

为了提升引导的精度，研究者引入了一个修正因子s：

基于此可以建立优化的目标：

代入化简可以得到：

求解最优值为：

因此新的CFG形式为：

2. 零初始化：

研究者在2D多元高斯分布上进行进一步定量分析，可以求解得到扩散过程中每一步的最优速度的closed-form：

基于此他们在训练了一个模型，并分析训练不同轮数下模型的误差，如下图所示。

研究者发现在训练早期阶段，无分类引导得到的速度误差较大，甚至不如将速度设置为0：

他们进一步在高纬情况下验证了这一观察，如下图所示。

研究者对比原始CFG，与仅使用零初始化的CFG，发现随着模型的收敛，零初始化的收益逐渐变小，在160轮训练后出现拐点，与多元高斯实验结果吻合。

三、实验结果

研究者在多个任务与主流模型上验证了CFG-Zero⋆的有效性，涵盖了文本生成图像（Text-to-Image）与文本生成视频（Text-to-Video）两大方向。在图像生成任务中，研究团队选用了Lumina-Next、SD3、SD3.5、Flux等当前SOTA模型进行对比实验，结果显示CFG-Zero⋆在Aesthetic Score与CLIP Score两项核心指标上均优于原始CFG。

例如在Stable Diffusion 3.5上，美学分有明显提高，不仅图像美感更强，而且语义一致性更好。在T2I-CompBench评测中，CFG-Zero⋆在色彩、纹理、形状等多个维度均取得更优表现，特别适用于需要精准表达复杂语义的生成任务。

在视频生成任务中，研究者将CFG-Zero⋆集成到Wan2.1模型中，评估标准采用VBench基准套件。结果表明，改进后的模型在Aesthetic Quality、Imaging Quality、Motion Smoothness等方面均有所提升，呈现出更连贯、结构更稳定的视频内容。CFG-Zero⋆有效减少了图像跳变与不自然的位移问题。

四、实际测试

CFG-Zero⋆在开源社区中实现了快速落地。目前，该方法已正式集成至ComfyUI与Diffusers官方库，并被纳入视频生成模型Wan2.1GP的推理流程。借助这些集成，普通开发者与创作者也能轻松体验该方法带来的画质与文本对齐提升。

该方法可以用于图生视频，我们使用官方的repo用这张测试图：

输入prompt：

得到的视频如下：（第一个为原始CFG生成的，第二个为CFG-Zero*生成的），效果还是比较明显，值得尝试。

该方法对wan2.1 文生视频同样适用：(图1为原始CFG，图2为CFG-Zero*)

使用的Prompt: " A cat walks on the grass, realistic."

该方法同时兼容LoRA：

使用的LoRA为：

https://civitai.com/models/46080?modelVersionId=1473682

该方法对最强文生图模型Flux同样支持：

该方法实现也比较简单，作者在附录中直接附上了代码，如下图：

六、总结

该工作在几乎不引入额外计算量的情况下，提出了一种更好的无分类器引导范式，对所有的流匹配模型都适用，是一种“无痛”涨点方法。从视觉效果来看，优化缩放因子会提升图片/视频很多细节，但是不会修正语义信息，零初始化会对整体有比较大的修改，让图片更自然，视频的运动更合理与流畅。但目前该方法只适用于流匹配模型，如何将该方法泛化至其他类型的扩散模型可能是比较有价值的研究方向。

llustration From IconScout By IconScout Store

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线600+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

melodybai@thejiangmen.com

或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈