香港科技大学团队破解AI视频生成难题

这项由香港科技大学和腾讯混元联合完成的研究发表于2026年3月的arXiv预印本，论文编号为arXiv:2603.21872v1，为视频生成领域的AI训练带来了重大突破。有兴趣深入了解的读者可以通过该编号查询完整论文。

当我们谈论AI生成视频时，可以把这个过程想象成教导一个学生画动画。传统的方法就像让学生在一张巨大的画纸上随意涂鸦，希望偶然能画出好作品。但问题是，这种随意探索往往让学生越画越偏，最后画出的动画要么闪烁不定，要么完全偏离了老师的要求。研究团队意识到，关键不在于让AI更努力地探索，而在于让它在正确的区域内探索，就像给学生划定一个合理的作画范围一样。

目前的AI视频生成技术面临一个核心挑战：当AI尝试生成更好的视频时，它需要在无数种可能性中进行探索，但这种探索经常会偏离合理的视频内容范围。就好比一个厨师想要改进菜谱，如果随意调整所有配料的比例，很可能做出完全不能入口的奇怪料理。现有的方法在处理视频这样复杂的内容时，经常出现时序不连贯、画面抖动等问题，这是因为AI的"探索"过于激进，偏离了正常视频应有的特征。

研究团队提出的SAGE-GRPO方法，核心理念是将AI的探索活动限制在"视频数据流形"的附近区域。流形这个概念可以理解为所有合理视频内容所构成的一个"安全区域"。就像登山时，经验丰富的向导会告诉你哪些路径是安全的，哪些地方容易发生危险，AI也需要这样的指导，确保它的每一步探索都不会偏离安全的视频生成区域。

一、重新设计AI的探索方式：从粗糙到精细

在技术层面，研究团队首先解决的是AI探索时的"噪声注入"问题。传统方法在让AI进行随机探索时，使用的是一种简化的数学近似方法，就像用直尺来测量弯曲的道路长度一样，这种近似会带来误差。研究团队发现，在视频生成的高噪声阶段，这种误差会导致AI注入过多不必要的随机性，使得生成的视频出现时序抖动和画面不连贯的问题。

为了解决这个问题，研究团队开发了一种"流形感知随机微分方程"，这听起来很复杂，但本质上就是用更精确的数学工具来指导AI的探索过程。他们通过积分计算而不是简单的线性近似来确定探索的强度，并加入了一个对数修正项，这个修正项能够考虑到信号衰减的几何特性。简单来说，就像用一把精确的软尺来测量弯曲道路，而不是用僵硬的直尺。

这种改进带来的效果是显著的。在视频生成过程中，AI现在能够更精确地控制每一步的探索范围，避免在高噪声区域注入过多的随机性。实验结果显示，使用新方法生成的视频在时序连贯性和画面稳定性方面都有明显提升，特别是在处理复杂动作和场景变化时，表现更加自然流畅。

二、平衡不同时刻的学习强度

AI在学习生成视频的过程中，还面临另一个技术挑战：不同时刻的学习难度差异巨大。可以把这个过程比作学习演奏钢琴，有些音符很容易掌握，有些音符需要大量练习。在视频生成中，低噪声时刻（接近最终视频效果）和高噪声时刻（刚开始的模糊状态）的学习难度完全不同。

研究团队发现，传统方法会导致AI过度关注某些容易学习的时刻，而忽略那些困难但同样重要的时刻。这就像学生只练习简单的曲子，遇到复杂乐段就跳过一样，最终无法演奏完整的作品。具体来说，在低噪声区域，梯度会变得极其巨大，而在高噪声区域，梯度几乎消失，这种不平衡会让AI的学习过程变得不稳定。

为了解决这个问题，研究团队设计了一个"时序梯度均衡器"。这个工具的作用就像音乐老师为学生制定的练习计划，确保每个时刻都得到适当的关注和练习。具体来说，它会计算每个时刻的梯度强度，然后进行标准化处理，使得所有时刻的学习强度保持在一个合理的范围内。

这种平衡机制的实际效果非常明显。在没有梯度均衡的情况下，AI的学习曲线经常出现剧烈波动，训练过程不稳定，容易陷入局部最优解。而使用梯度均衡器后，学习曲线变得平滑许多，AI能够更均匀地改进视频生成的各个方面，从而产生更加连贯和高质量的视频内容。

三、建立双重信任区域机制

在宏观层面，研究团队还解决了另一个关键问题：如何防止AI在长期训练过程中"走偏"。这个问题可以用GPS导航来类比：即使每一步的方向调整都很小，但如果缺乏整体的路线规划，最终还是可能偏离目的地很远。

传统的约束方法主要有两种：固定锚点约束和逐步约束。固定锚点约束就像告诉司机"永远不要偏离出发点太远"，这在短途旅行中有效，但在需要长距离行驶时会过于限制。逐步约束则像"每次转弯不要太急"，虽然保证了平滑行驶，但无法防止长期的路线偏移。

研究团队创新性地提出了"双重信任区域"机制，这就像给AI配备了一个智能导航系统。这个系统包含两个组件：位置控制和速度控制。位置控制使用"周期性移动锚点"，每隔一定的训练步数就会更新参考点，确保AI始终朝着更接近最优解的方向前进。速度控制则限制每一步的变化幅度，防止过于激进的调整。

这种双重机制的优势在于既保持了灵活性又确保了稳定性。位置控制确保AI不会在长期训练中偏离正确方向，而速度控制则保证了训练过程的平稳进行。实验结果表明，这种方法能够在保持高探索能力的同时，显著减少训练过程中的性能波动。

四、实验验证与效果展示

研究团队在HunyuanVideo1.5模型上进行了大规模实验验证，使用VideoAlign作为评估标准，从视觉质量、动作质量和文本对齐三个维度对生成的视频进行评分。实验设计包括两种配置：平均权重设置和对齐重点设置，以测试方法在不同优化目标下的表现。

实验结果令人印象深刻。在平均权重设置下，SAGE-GRPO在整体评分上达到0.2173，显著超过了现有的最佳方法FlowGRPO的0.1880和DanceGRPO的0.0979。更重要的是，在对齐重点设置下，SAGE-GRPO的整体评分达到0.8066，远超其他方法，这表明新方法特别擅长生成与文本描述高度一致的视频内容。

具体的视觉效果对比也很明显。在处理复杂场景时，比如一个少年在跑道上奔跑的场景，传统方法生成的视频经常出现人物动作不连贯、背景闪烁等问题。而SAGE-GRPO生成的视频中，少年的跑步动作更加自然流畅，背景保持稳定，整体观感更接近真实录制的视频。

在另一个测试案例中，研究团队要求AI生成牛顿被苹果砸中的经典场景。传统方法往往在处理苹果下落和击中头部这样的精细动作时出现问题，要么苹果的运动轨迹不自然，要么击中瞬间的物理效果不真实。SAGE-GRPO在这类需要精确时序控制的场景中表现出色，生成的视频不仅动作连贯，而且物理效果令人信服。

五、用户感知与实际应用

为了验证自动评分的准确性，研究团队还进行了人工评估实验。他们邀请29名评估者对32个不同提示生成的视频进行对比评分，结果显示用户对SAGE-GRPO的偏好率在各个维度都超过70%。特别是在动作质量方面，用户偏好率达到75.8%，这说明新方法生成的视频在人类观察者眼中确实更加自然流畅。

从技术角度分析，SAGE-GRPO的成功主要源于其多层次的优化策略。在微观层面，精确的随机微分方程和梯度均衡确保了每一步生成都是高质量的。在宏观层面，双重信任区域机制防止了长期训练中的性能退化。这种多层次的设计使得整个系统既具有强大的探索能力，又能保持稳定的性能表现。

研究团队还特别测试了方法在处理情感表达方面的能力。在一个要求展现"疲惫士兵饮水后露出解脱表情"的场景中，SAGE-GRPO能够准确捕捉并呈现细微的面部表情变化，而其他方法往往只能生成表情平淡或不自然的结果。这种对细节的精确控制能力，为AI视频生成在影视制作、广告创意等领域的应用开辟了新的可能。

从计算效率的角度来看，虽然SAGE-GRPO在单步计算上略微增加了复杂度，但由于训练过程更加稳定，实际上减少了达到目标质量所需的总训练时间。研究团队的测试表明，新方法通常能在更少的训练轮次内达到或超过传统方法的最佳效果。

说到底，这项研究的核心价值在于为AI视频生成技术提供了一个更加可靠和高效的训练框架。通过精确控制AI的探索过程，既保证了生成内容的多样性，又确保了质量的稳定性。这种平衡对于推动AI视频生成技术在实际应用中的普及具有重要意义。

归根结底，SAGE-GRPO方法代表了AI视频生成技术发展的一个重要里程碑。它不仅解决了现有方法的技术缺陷，还为未来的研究提供了新的思路和方向。随着这项技术的进一步成熟，我们可以期待看到更多高质量、更具创意的AI生成视频内容在各个领域发挥作用。对于普通用户而言，这意味着未来的AI视频生成工具将更加智能、可靠，能够更好地理解和实现用户的创意想法。有兴趣深入研究的读者可以通过论文编号arXiv:2603.21872v1获取完整的技术细节和实验数据。

Q&A

Q1：SAGE-GRPO方法如何解决AI视频生成中的时序抖动问题？

A：SAGE-GRPO通过两个关键技术解决这个问题。首先使用精确的流形感知随机微分方程，避免传统方法在高噪声区域注入过多随机性。其次采用时序梯度均衡器，确保AI在不同时刻的学习强度保持平衡，防止某些时刻被过度优化而导致时序不连贯。

Q2：双重信任区域机制与传统约束方法有什么区别？

A：传统方法要么使用固定锚点约束（过于限制长期优化），要么仅使用逐步约束（无法防止长期偏移）。双重信任区域机制结合了位置控制和速度控制，通过周期性移动锚点保证长期方向正确，同时限制每步变化幅度确保训练稳定。

Q3：SAGE-GRPO在实际视频生成效果上比其他方法好在哪里？

A：实验显示SAGE-GRPO在整体评分上达到0.8066，远超其他方法。在视觉效果上表现为动作更连贯、画面更稳定、文本对齐度更高。特别是在处理复杂动作和细微表情时，能够生成更加自然真实的视频内容，用户偏好率在各维度都超过70%。