浙江大学和蚂蚁集团联手打造视频AI新技术

这项由浙江大学联合蚂蚁集团和浙江实验室共同开展的研究于2026年1月发表，论文编号为arXiv:2601.11087v1。感兴趣的读者可以通过该编号查询完整论文内容。

你有没有看过那些AI生成的视频？球撞墙后消失不见，钟摆摆来摆去却违背重力，骰子在桌上滚动时突然变形。这些看起来很炫酷的视频AI，在物理常识方面却经常犯一些让人哭笑不得的错误。就像一个画技精湛的画家，却不知道苹果掉下来要受重力影响一样。

现在，研究人员找到了解决这个问题的方法。他们开发了一套名为PhysRVG的新技术，专门教会AI视频生成模型如何遵循真实世界的物理规律。这就像给一个天赋异禀的艺术家补上了物理课，让他不仅能画得美，还能画得准。

当前的AI视频生成技术就像是一个只会模仿表面现象的学徒。它们通过观看大量视频样本来学习如何生成新视频，但却无法真正理解物体运动背后的物理原理。这些模型在生成视频时，更关注画面是否好看，而不在乎球是否会按照牛顿定律运动，或者钟摆是否会遵循能量守恒。

研究团队发现，问题的根源在于现有的训练方法。传统方法就像教学生照抄书法字帖一样，只关注最终的视觉效果，却忽略了运动的内在逻辑。即使研究人员告诉模型"这里应该遵循物理定律"，模型也经常当作可有可无的建议，而不是必须遵守的铁律。

为了解决这个问题，研究团队采用了一种全新的方法——强化学习。这就像教孩子骑自行车时，不仅要示范正确动作，还要在他做对时给予奖励，做错时给予纠正。他们设计了一套精巧的评分系统，专门用来评判生成视频中的物理运动是否合理。

这套评分系统的核心是两个重要指标。第一个叫做"轨迹偏移"，就像用尺子测量模型生成的球的运动轨迹与真实物理轨迹之间的差距。如果一个球应该沿着抛物线下降，但模型让它走直线，这个偏差就会被精确记录下来。第二个是"碰撞检测"，专门监控物体相撞时的表现。真实世界中，两个台球相撞后会按照动量守恒定律分开，而不是粘在一起或者穿过彼此。

更巧妙的是，研究团队还开发了一个叫做"模仿-发现循环"的训练策略。这个方法就像教小孩学走路时的渐进过程。刚开始，当模型表现不好时，系统会更多地进行手把手指导，就像扶着孩子走路一样。但随着模型能力的提升，系统会逐渐放手，让模型自己探索和发现物理规律，就像让孩子独自尝试走路一样。

这种训练方法的巧妙之处在于它能够动态调节。当模型在某个场景中表现糟糕时，系统会自动增加基础指导，确保训练的稳定性。当模型表现良好时，系统又会鼓励它进行更大胆的物理探索。这种平衡策略避免了传统强化学习中常见的训练不稳定问题。

为了验证这项技术的效果，研究团队构建了一个专门的测试数据集，包含了700个精心收集的视频样本。这些视频涵盖了四种基本的物理运动：碰撞、钟摆、自由落体和滚动。每个视频都经过了精确的物理标注，就像给每一帧画面都配上了物理运动的"标准答案"。

实验结果证明了这项技术的有效性。在各项物理真实性测试中，PhysRVG都显著超越了现有的顶级视频生成模型。比如在轨迹精度测试中，传统模型的偏差通常在100个像素单位以上，而PhysRVG将这个数字降到了15个像素单位左右。在视觉质量方面，新技术也保持了与传统方法相当的水准，实现了物理准确性和视觉美观度的完美平衡。

从技术实现的角度来看，PhysRVG基于一个名为Wan2.2的预训练视频生成模型进行改造。研究团队采用了两阶段的训练流程。第一阶段将原本的图像到视频模型改造为视频到视频模型，让它具备根据前几帧画面生成后续内容的能力。第二阶段则运用模仿-发现循环技术，专门强化物理运动的生成能力。

在训练过程中，系统使用了一种混合的采样策略。在噪声较大的早期阶段使用随机探索，在后期则采用确定性生成。这种策略确保了模型既能充分探索物理运动的可能性，又能在最终生成时保持稳定的质量。整个训练过程在32块H20 GPU上进行，第一阶段需要16000步，第二阶段需要250步。

研究团队还进行了大量的对比实验来验证各个组件的作用。他们发现，如果去掉碰撞检测机制，模型倾向于生成简单的线性运动，回避复杂的碰撞场景。如果不使用模仿-发现循环，纯粹的强化学习训练会在早期阶段变得非常不稳定，甚至完全失败。这些实验证明了技术设计的合理性和必要性。

在实际应用效果方面，PhysRVG生成的视频展现了令人印象深刻的物理真实性。在台球碰撞场景中，球体按照正确的角度分离；在钟摆运动中，摆锤遵循重力和惯性的规律；在自由落体实验中，物体的加速度变化符合物理预期；在滚球实验中，球体在斜坡上的运动轨迹完全合理。

更有趣的是，这项技术还表现出了良好的泛化能力。即使在训练中没有见过的场景，比如多个物体的复杂碰撞，或者与训练样本略有不同的环境设置，PhysRVG依然能生成物理上合理的视频。这说明模型真正学会了物理规律的本质，而不是简单地记忆训练样本。

当然，这项技术也有其局限性。目前它主要关注刚体运动，对于液体流动、气体扩散这样的复杂物理现象还无法很好处理。另外，模型有时会在物体颜色、形状等与主要运动无关的细节上出现错误。比如在碰撞后球的颜色可能发生变化，或者在转弯时额外出现一个球。这些问题的出现是因为当前的评价体系主要关注运动轨迹的准确性，对其他视觉细节的约束相对较弱。

从技术发展的角度来看，PhysRVG代表了AI视频生成领域的一个重要突破。它首次实现了物理知识在高维视频生成中的有效整合，为未来的研究开辟了新的方向。这项技术的成功也证明了强化学习在解决复杂多模态生成问题方面的潜力。

这项研究的意义远不止于技术本身。在电影制作、游戏开发、科学教育等领域，物理真实的视频生成技术都有着广阔的应用前景。电影导演可以用它来快速预览物理特效的效果，游戏开发者可以用它来自动生成符合物理定律的动画序列，教育工作者可以用它来制作生动的物理实验演示视频。

研究团队也清醒地认识到这项技术可能带来的风险。更加逼真的视频生成技术可能被恶意使用，制作极难识别的虚假内容。因此，他们强调了负责任使用的重要性，建议配合内容溯源和水印技术来防范潜在的滥用。

展望未来，这项技术还有很大的改进空间。研究团队计划将其扩展到更多类型的物理现象，比如流体动力学、热传导等。同时，他们也在探索如何设计更全面的评价体系，不仅关注运动轨迹，还能监控颜色、形状、纹理等各个方面的一致性。

说到底，PhysRVG的成功在于它找到了让AI理解物理世界的正确方法。它不是简单地告诉模型"要遵守物理定律"，而是通过精心设计的奖励机制，让模型在实践中体验到遵守物理定律的好处。这种方法学的创新可能会启发更多领域的AI研究，推动人工智能向着更加理解和模拟真实世界的方向发展。

这项研究提醒我们，真正智能的AI不仅要会模仿表面现象，更要理解现象背后的规律。就像人类的学习过程一样，从感性认识上升到理性认识，从现象掌握到规律把握，这可能是AI技术发展的必由之路。有兴趣深入了解技术细节的读者可以通过arXiv:2601.11087v1查询完整论文。

Q&A

Q1：PhysRVG技术是如何让AI视频生成模型学会物理规律的？

A：PhysRVG采用强化学习方法，设计了专门的评分系统来评判生成视频的物理合理性。这个系统主要通过"轨迹偏移"测量物体运动轨迹与真实物理轨迹的差距，通过"碰撞检测"监控物体碰撞的表现。当模型生成符合物理定律的视频时就获得奖励，违反时就受到惩罚，这样逐渐让模型学会遵循真实的物理规律。

Q2：相比传统AI视频生成技术，PhysRVG有什么明显优势？

A：传统AI视频生成技术只关注视觉效果，经常产生物理上不合理的现象，比如球撞墙后消失、钟摆违背重力等。PhysRVG在保持视觉质量的同时，大幅提升了物理真实性。实验显示，在轨迹精度测试中，传统模型偏差通常超过100个像素单位，而PhysRVG降到了约15个像素单位，物理表现显著更准确。

Q3：PhysRVG技术目前有哪些应用前景和局限性？

A：应用前景包括电影制作中的物理特效预览、游戏开发中的动画生成、科学教育中的实验演示等领域。但目前技术主要适用于刚体运动，对液体流动、气体扩散等复杂物理现象还无法很好处理。另外，模型有时在物体颜色、形状等细节上会出现错误，这些问题需要在未来研究中进一步解决。