NVIDIA团队开启AI绘画新纪元：既快又好的视频生成技术终于实现了

这项由清华大学和NVIDIA团队联合完成的研究发表于2025年10月，论文编号为arXiv:2510.08431。领导这项研究的包括清华大学的郑凯文、王雨季、陈华宇、张金涛、陈建飞和朱军教授，以及NVIDIA的马倩丽、巴拉吉、刘明宇和张钦盛等研究员。这是第一个成功将连续时间一致性蒸馏技术扩展到大规模图像和视频生成模型的研究成果。

过去，AI生成图像和视频就像是在用老式胶片相机拍照——每张照片都需要漫长的冲洗过程。传统的扩散模型虽然能产生高质量的图像和视频，但生成速度慢得让人抓狂，通常需要50步甚至更多的计算步骤才能完成一次生成。这就好比你要画一幅画，需要一层一层地慢慢添加细节，每一层都要等前一层完全干透才能继续。

然而，研究团队发现了一个革命性的解决方案。他们开发了一种名为"分数正则化连续时间一致性模型"（rCM）的新技术，能够在保持图像和视频质量的同时，将生成速度提升15到50倍。这就像是发明了一种神奇的快干颜料，让画家能够几乎瞬间完成高质量的作品。

一、突破技术瓶颈的巧妙思路

要理解这项研究的重要性，我们首先需要了解现有技术面临的困境。传统的扩散模型工作原理类似于雕刻师从一块粗糙的石头开始，逐步雕琢出精美的雕像。这个过程需要很多步骤，每一步都在去除一些"噪音"，逐渐显现出最终的图像。虽然结果很好，但过程实在太慢了。

为了加速这个过程，研究人员之前开发了一种叫做"一致性模型"的技术，试图直接从噪音跳跃到最终结果，就像魔术师一挥手就变出鸽子一样。这种技术确实能大幅提速，但存在一个致命问题：图像质量会明显下降，特别是在需要精细细节的场景中，比如渲染小字体或复杂的视频动作。

研究团队深入分析后发现，问题的根源在于"误差累积"现象。当AI模型试图一步到位时，就像一个学生试图跳过所有中间步骤直接解出复杂数学题的答案——虽然有时能成功，但经常会出现计算错误，而且错误会随着问题复杂度的增加而放大。

更深层的问题在于，现有的快速生成方法只关注"前向发散"，这种方法倾向于生成多样化的结果，但质量往往参差不齐。就像一个画家为了追求风格多样性而牺牲了基本的绘画技巧。研究团队意识到，需要引入"反向发散"来平衡这个问题，确保生成结果既多样又精确。

二、创新技术架构的精妙设计

研究团队的解决方案堪称技术架构的杰作。他们开发的rCM技术就像是一个拥有双重大脑的AI画家：一个大脑负责快速构思整体框架，另一个大脑负责精修细节。

这种双重机制的核心在于将两种不同的学习策略巧妙结合。第一种策略称为"连续时间一致性模型"（sCM），它教会AI如何快速从噪音直接跳跃到清晰图像，就像训练一个画家能够快速勾勒出作品的基本轮廓。第二种策略是"分数蒸馏"，它像一个严格的艺术评审员，不断检查和修正细节，确保最终作品达到专业水准。

为了让这两种策略协同工作，研究团队设计了一个巧妙的"长跳跃正则化"机制。这就像在绘画过程中增加了一个质量检查点：每当AI快速生成一幅图像后，质量检查系统会立即评估结果，如果发现问题就指导AI进行相应调整。这种机制确保了速度和质量的完美平衡。

更令人印象深刻的是，研究团队还解决了大规模计算的技术难题。他们开发了专门的FlashAttention-2雅可比向量积（JVP）计算核心，这个技术突破使得他们能够在拥有超过100亿参数的大型模型上训练rCM。这就像是为超级计算机配备了特制的高速处理器，让原本需要几天才能完成的计算在几小时内就能搞定。

三、实验验证展现惊人效果

研究团队在多个大规模模型上验证了rCM技术的效果，结果令人震撼。他们测试了从6亿参数到140亿参数的各种模型，涵盖了文本生成图像和文本生成视频两大应用场景。

在图像生成方面，rCM技术在仅用4步生成的情况下，就能达到与传统70步方法相当的质量水平。这就像是一个画家原本需要一整天才能完成的作品，现在只需要半小时就能完成，而且质量毫不逊色。更重要的是，在一些特别具有挑战性的任务中，比如生成包含小字体的复杂场景，rCM甚至能够清晰地渲染出"Casio G-Shock"、"11:44 AM"和"Thursday, March 22nd"这样的精细文字。

视频生成的结果更加令人兴奋。在高分辨率5秒视频的生成任务中，rCM技术不仅保持了极高的视觉质量，还确保了时间连贯性——这意味着生成的视频中的物体移动自然流畅，不会出现突然的跳跃或扭曲。研究团队特别强调，在与目前最先进的DMD2技术对比中，rCM在质量指标上平分秋色，但在多样性方面明显胜出。

更重要的是，rCM技术展现出了优秀的可扩展性。从小型6亿参数模型到大型140亿参数模型，rCM都能稳定工作并持续改进效果。这种可扩展性确保了该技术能够适应未来更大规模的AI模型发展需求。

四、技术细节的精巧实现

rCM技术的实现过程充满了工程智慧。研究团队首先解决了不同噪音调度方案之间的兼容性问题。传统的sCM技术使用特定的"TrigFlow"噪音调度，但大多数实际应用中的模型使用其他调度方案。研究团队开发了一套"包装转换"技术，能够让sCM适配任何现有的噪音调度方案，就像设计了一个通用适配器，让不同品牌的电器都能使用同一个插座。

在稳定性方面，研究团队发现传统的时间导数计算容易产生数值不稳定性，特别是在使用BF16精度进行大规模训练时。他们开发了两种解决策略：一种是"半连续时间"方法，使用有限差分近似来计算时间导数；另一种是"高精度时间"方法，对时间嵌入层强制使用FP32精度。这两种方法就像给精密仪器配备了防震装置，确保在各种条件下都能稳定工作。

研究团队还创新性地设计了"滚动策略"来生成学生样本。他们让AI模型进行多步模拟，但只对最后一步进行梯度反传，这种设计既保证了训练效率，又确保了生成质量。整个过程就像教练训练运动员时，让运动员完成完整的动作序列，但只针对最关键的最后一个动作进行详细指导和纠正。

五、突破性成果的深远影响

这项研究的意义远不止于技术层面的突破。首先，它彻底改变了AI图像和视频生成的效率瓶颈。过去需要几分钟甚至几小时才能生成的高质量内容，现在可以在几秒钟内完成。这种速度提升将让AI创作工具真正走进普通用户的日常生活。

从产业角度来看，rCM技术的出现将大幅降低AI内容生成的计算成本。当生成速度提升15到50倍时，相应的能耗和硬件需求也会显著下降。这意味着更多的公司和个人开发者能够负担得起高质量的AI生成服务，从而推动整个行业的快速发展。

更重要的是，rCM技术在质量和多样性之间找到了完美平衡。过去的快速生成技术往往会牺牲结果的多样性，导致生成的内容千篇一律。而rCM不仅保持了生成速度，还确保了结果的丰富多样性，这对于创意产业来说至关重要。

研究团队特别强调，rCM技术不需要复杂的超参数调整或多阶段训练，这大大降低了技术应用的门槛。对于想要部署AI生成技术的公司来说，这种简单性意味着更快的开发周期和更低的技术风险。

六、未来发展的无限可能

这项研究开启了AI生成技术发展的新篇章。研究团队相信，将前向发散和反向发散原理相结合的思路，将成为未来生成模型发展的统一范式，激发更多创新研究的诞生。

从技术发展趋势来看，rCM技术的成功验证了连续时间方法在大规模AI模型中的可行性。这为未来开发更高效、更稳定的生成技术奠定了坚实基础。研究团队预计，随着计算硬件的持续发展和算法的进一步优化，AI生成技术的速度还将继续提升。

更令人期待的是，这种技术突破可能会推动AI创作工具的普及化。当高质量的图像和视频生成变得如此快速和便捷时，我们可能会看到全新的创意表达方式的出现。从个人社交媒体内容创作到专业影视制作，AI生成技术都将发挥越来越重要的作用。

说到底，这项研究最重要的贡献在于证明了"鱼和熊掌可以兼得"——我们不必在速度和质量之间做出艰难选择。通过巧妙的技术设计和工程创新，研究团队展示了如何在保持最高质量标准的同时，实现前所未有的生成速度。这种突破性的进展不仅推动了学术研究的边界，更为整个AI产业的发展注入了新的活力。对于普通用户而言，这意味着在不久的将来，我们都将能够享受到更快速、更高质量的AI创作服务，让科技真正服务于人类的创造力表达。

Q&A

Q1：什么是rCM技术，它相比传统AI生成有什么优势？

A：rCM是"分数正则化连续时间一致性模型"的简称，是由清华大学和NVIDIA联合开发的新型AI生成技术。它最大的优势是在保持图像和视频高质量的同时，将生成速度提升15-50倍，原本需要50步才能完成的生成任务现在只需1-4步就能搞定。

Q2：rCM技术能生成什么样的内容，质量如何？

A：rCM技术可以生成高质量的图像和视频内容，甚至能清晰渲染"Casio G-Shock"、"11:44 AM"这样的精细文字。在5秒高分辨率视频生成中，不仅视觉质量出色，时间连贯性也很好，物体移动自然流畅。与目前最先进的技术相比，质量相当但多样性更强。

Q3：普通用户什么时候能用上rCM技术？

A：目前rCM技术还在研究阶段，主要在大型AI模型上验证效果。由于该技术不需要复杂的参数调整，应用门槛较低，预计未来会逐步集成到各种AI创作工具中。随着技术成熟和硬件普及，普通用户有望在不久的将来体验到这种快速高质量的AI生成服务。