短剧时代即将来临？AI 自动生成剧本和多场景长视频

‍ 近年来随着扩散模型（diffusion models）的进步和发展，给定文本提示进行高质量视频生成技术有着显著的提升。这些技术方案大多针对已有的二维图像扩散模型进行拓展，将图像二维神经网络修正为视频三维神经网络，并基于扩散概率模型进行视频帧序列的去噪，完成视频生成。然而，这些现有方法依然围绕着单个场景的视频生成，对于多场景视频生成并未考虑，并且生成的视频长度也仅为2秒到4秒。

基于这样的问题，来自HiDream.ai公司的算法研究人员提出利用大语言模型针对输入的文本提示进行多场景事件描述的拓展，保证不同事件之间的逻辑性和场景中前景背景描述的一致性。其后，针对大语言模型提供的每一个事件所对应的前景背景描述，以及动作描述，利用视频扩散模型生成具有内容一致的视频片段，从而构建一个多场景的长视频。

论文链接： https://arxiv.org/abs/2401.01256 项目主页： https://videodrafter.github.io/ 视频链接： https://www.youtube.com/watch?v=_aIrobrzu2g

当下基于扩散模型的视频生成主要针对单个场景下的动作事件，而对多场景的视频生成鲜有涉及。给定一个文本提示，并且生成具有良好逻辑性的多场景视频，是本工作研究的重点。相应的技术难点主要体现在以下两个方面：

1. 
   

   如何保证不同事件之间具有良好的逻辑性（例如，给定文本提示为一个男孩踢球射门，在时序上男孩应该先进行运球，然后射门）

   
   

2. 
   

   如何保证生成视频主体的视觉外貌特征一致（例如，以男孩踢球射门为例，不同场景下男孩的外貌穿着应该保持一致）

   
   

针对上述的两个技术难点，本工作提出了一个以大语言模型为基础的内容一致多场景视频生成方案VideoDrafter。该方案通过主要的三个步骤完成多场景视频生成。

第一步是首先通过大语言模型对输入的文本提示进行多场景事件描述拓写，将输入的单句文本转换为多场景的视频描述（Multi-scene video script generation），并且输出每个事件对应的前景和背景实体描述（Entity description）。

第二步是将每个事件对应的前景和背景实体描述利用文本到图像的扩散模型生成对应的前景和背景实体参考图（Entity reference image generation）。

最后一步是针对每个事件对应前景和背景实体参考图，以及事件的动作描述，利用视频扩散模型完成对该事件的视频生成。这里的最后一步本方案拆解为主要的两个步骤，即首先通过VideoDrafter-Img模型，利用前景和背景实体参考图以及事件动作描述，生成对应的场景事件参考图片（Scene reference image）；然后通过VideoDrafter-Vid模型，再将动作赋予给场景事件参考图片，生成对应场景的视频。

本方案利用大语言模型保证了生成的不同事件描述的逻辑性，同时利用前景和背景实体参考图指导不同场景下视频内容的生成，因此可以良好地保证不同场景中的内容实体的视觉外貌特征的一致性。

三、视频生成结果

首先用户可以通过输入一个文本提示（input prompt），生成具有良好逻辑性的，内容一致的多场景视频，以下是对应的文本提示和多场景视频生成结果：

生成视频1：

生成视频2：

生成视频3：

动态视频例子：

输入文本提示: A person with red clothes is preparing dessert in the kitchen

输入文本提示: A man and a woman drive a car from hills to city

其次，对于用户提供的真实图像作为前景和背景实体参考图，以及对应的事件文本提示，本方案同样可以生成内容一致的多场景视频，生成的视频结果如下：

动态视频例子：

前景和背景实体参考图

视频生成结果

（对应文本提示：The cat lies in the room → The cat lies in the driving car → The cat plays in the flowers）

前景和背景实体参考图

视频生成结果

（对应文本提示：The motorcyclist stays in the town → The motorcyclist is riding on the road under the sunset → The motorcyclist is riding on the moon）

对该方案的完整性能评测，以及更多的视频生成例子，请参考论文和对应的项目主页。

四、总结

1. 
   

   本方案提出了VideoDrafter模型，一种以大语言模型为基础的内容一致多场景视频生成技术。

   
   

2. 
   

   利用大语言模型对文本信息的强理解性，对输入的单个文本提示进行多场景视频事件的拓写，保证不同视频事件的逻辑相关性。

   
   

3. 
   

   在对应不同事件的不同场景视频生成的过程中，利用前景和背景实体参考图指导视频的生成，保证了不同场景中视频内容主体在视觉外貌特征上的一致性。

   
   

4. 
   

   本方案提及的多场景视频生成方案，对大语言模型的利用和保持视频内容一致性的尝试，希望对后续具有因果关系的视频生成具有一定的启发作用。

   
   

更多的技术细节，敬请参考论文原文。‍

论文链接： https://arxiv.org/abs/2401.01256

Illustration From IconScout By Delesign Graphics

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈