广东
最近，Diffusion Transformer (DiT) 在生成高质量的视频方面很厉害，但用它来生成可以控制运动轨迹的视频还没有被好好研究。 为了填补这个空白Tora框架被提出，可以同时利用文字描述、视觉效果和运动轨迹来生成视频。Tora的设计可以扩展到不同的视频时长、尺寸和分辨率，还能精确控制视频内容的动态。Tora不仅能生成高质量的运动，还能逼真地模拟现实世界的物体运动。
Tora 可以根据运动轨迹、图片、文字或者它们的组合来生成视频。利用 DiT 的扩展能力，生成的运动不仅能完全跟随设定的轨迹，还能非常真实地模拟现实中的动作。特别是在 720p 分辨率下，Tora 可以稳稳控制视频里的运动长达 204 帧。（链接在文章底部）
01 技术原理
Tora 的设计为了让视频生成能够跟随设定的运动轨迹，添加了两个重要模块：轨迹提取器和运动引导融合器。轨迹提取器会用 3D 动作模型把运动轨迹转化成和视频片段相同的隐藏信息，这样就能保持视频帧与帧之间的运动连贯性。
然后，它通过多层卷积处理提取不同层次的运动特征。而运动引导融合器通过一种特殊的“自适应调整”方式，把这些运动信息无缝地融合到 DiT 模块里，保证生成的视频一直按照轨迹运动。这个设计可以生成高分辨率且能长时间控制运动的视频。
在轨迹控制方面的对比中，虽然所有方法都能生成按照轨迹运动的物体，但 Tora 表现得更出色。不仅轨迹精准，而且运动更加平滑，还能更好地符合现实中的物理运动。
利用 3D VAE 提取连续轨迹间隔的全局上下文。将轨迹数据转换为 RGB 图像，以利用现有的 3D VAE 权重。在一个大规模轨迹视频数据集上进行的广泛训练显示，这种方法的效果最好
在生成的自行车场景中，人腿展现出逼真的蹬踏动作，而DragNUWA的输出则显示腿部几乎水平漂浮，失去了物理真实感。此外，DragNUWA和MotionCtrl在视频结尾处出现了明显的运动模糊。同时，MotionCtrl在骑行序列中引入了意外的相机移动，尽管没有任何意图的相机移动条件。
02 实际效果
https://arxiv.org/pdf/2407.21705
https://github.com/alibaba/Tora欢迎交流～，带你学习AI，了解AI
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
