从视频合成到配乐剪辑，全由AI操刀完成：首部AI科幻电影《创世纪》预告片震撼登场

本文转载自机器之心 编辑：杜伟、泽文

让我们看看，AI眼中的科幻电影《创世纪》是怎样的？

最近两天，一则时长不到一分钟的科幻电影预告片《Trailer: Genesis》（《创世纪》）在社交媒体上火了起来。

是不是很科幻呢？更「科幻」的是，从图像视频合成、音乐到剪辑，所有一切都是由 AI 完成的。

制作者 Nicolas Neubert 列出了对应的 AI 工具，其中Midjourney 处理图像、Runway 处理视频、Pixabay 处理音乐、CapCut 剪辑视频。

Midjourney 是大家熟悉的 AI 绘图神器，目前已经更新到了 5.2 版本。Runway 是基于 AI 的视频制作生成工具，目前 Gen-2 已经开启免费试用。CapCut 剪辑工具对所有人免费，不过也可以选择在 Adobe Premier 或 Final Cut Pro 中剪辑。

推特 @iamneubert

据了解，Neubert 花了 7 个小时，Midjourney 生成了 316 条提示、放大了 128 张图像，Runway 生成了 310 个视频，还有一个带有文本的视频，预告片中共使用了 44 个视频。

今天，Neubert 更是撰写了一篇长文，详细介绍了《创世纪》的制作过程，包含了具体流程、如何使用上述 AI 工具。我们一一来看。

关于电影想法，他表示自己反乌托邦主题的想法来自自己看过的几部电影，并以它们为基础编写了一个故事。

正式制作的第一步是构建世界和故事。

对于预告片《创世纪》的故事情节，Neubert 想一步步地增强紧张感。因此定义了以下 3 个阶段：

1. 设置场景

2. 引入威胁

3. CTA 中的高潮

具体地讲，Neubert 先制作预告片的第一个文案草稿，包括「分享一切、承担后果然后呼吁人类采取行动」。

这样定义了整体基调后，他开始围绕这些主题生成相应的场景。Neubert 滚动了大量有关环境、军事科技、战斗主题的人类和科幻剪辑，然后从中收集到一个故事。

同时为了增加一些深度，他添加了三个带有发光护身符的孩子的镜头，暗示了更深层次的故事情节。

第二步是在 Midjourney 中生成连续的图像。

这里要特别注意提示（prompt）。Neubert 对自己在以往帖子中获得的稳定提示进行了优化，创建了一个模板，这样在预告片的每个镜头中都能重复使用它。模板如下：

___________，星球大战、风格为精细的人群场景、朴实的自然主义、青色和黄色、寒霜朋克、室内场景、cinestill 50d—ar 21:9— 原始风格

对于每个场景，他都会用自己想要的场景来填补空白，确保其他 tokens 最大限度地保持主题、颜色和照明的连贯性。

此外利用强变化（Strong Variations）功能，使得更容易创建不同的场景，同时保留之前的调色板。女战士的场景可以转变为普通公民、网络黑客或战斗的场景，无需生成新的提示。

第三步是在 Runway 中生成动画图像。

Neubert 发现这一步是最简单的。在设置上，他总是尝试激活放大（Upscaled）模式。不过该模式常常遇到面部问题，所以针对人物镜头，他通常使用标准质量。

值得注意的是，他没有使用文字提示与图像提示相结合的方式，而是拖放一张图像并重新生成它，直到得到自己满意的结果。

最后一步是在 CapCut 后期剪辑。

在 Midjourney 和 Runway 生成输出的同时，Neubert 首先放置自己知道将发挥重要作用的关键场景。就预告片而言，他认为外景镜头将成为开场。

接着开始计划文本。当根据音乐来定位文本时，时间轴中没有任何剪辑，这是有可能的。他在不到一个小时的时间里就按照时间线编好了内容并定了位。这对生成图像很有帮助，你需要一个额外的固定点来考虑仍然缺少了哪些场景。

具体的步骤变得很简单，生成剪辑→ 将它们拉入 CapCut → 放置在时间轴上，然后慢慢拼凑故事。他还对 2 到 3 个编辑包进行了颜色匹配，让它们看起来更像宏大的电影场景。

使用 CapCut 唯一需要的技巧是对剪辑进行节拍的同步。当音乐中出现「BWAAA」时，他总是尝试连接剪辑内的动作或者排列后面的剪辑。这会令整个序列更有身临其境的感觉。

此外 Neubert 还考虑了如何在剪辑中加入大量的动作。这里他使用了两个技巧来增加动作。

第一个技巧：Runway 会接收一张图像，然后根据模型计算哪些部分应该进行动画处理。他对这个思路进行了逆向工程，尝试在 Midjourney 中输出暗示运动的图像。这意味着可以在镜头中加入运动模糊或者可以捕捉移动头部或人物的静止图像。

第二个技巧：当你分析 Runway 视频时会发现在 4 秒剪辑中，场景经常发生很大的变化。因此在预告片场景中，他只使用了完整的 4 秒剪辑两次。所有其他剪辑的长度均为 0.5-2 秒，并将剪辑的速度提高了 1.5- 3 倍。这样做的原因是，作为观看者，你只能看到时间很短的剪辑，因而会在场景中感知到更多运动，本质上是快进了该部分。

一番操作下来，最终呈现出给大家的就是开头的那个震撼的《创世纪》预告片。该预告片也得到盛赞，有人表示，这是自己至今为止看过的最好的 Runway 生成视频。

其实，在 Runway Gen-2 可以免费试用后，不少网友大开脑洞，将它与 Midjourney 结合起来，大胆创作。

Midjourney+Runway：神奇的 AI 创作工具组合

这里与大家分享一些其他的生成用例。

Runway 对与人物动作细节的把握也是较为准确的。在网友申城的视频中可以看到，人物眼睛的细节让动态视频更加传神，也可以说了平添了几分「演技」。

来源：https://twitter.com/OrctonAI/status/1682420932818661378

图片动起来之后，人与马在夜色中的动作十分自然，对于人物，甚至后续动作的想象空间也有了更大留白。

来源：https://twitter.com/OrctonAI/status/1682420932818661378

Midjourney 与 Runway 的组合看起来很是无敌，在人物关键动作上能刻画出适当的故事感。

推特：@ai_insight1

还有一些变化更加丰富，也更具创意的生成结果。

推特 @kkuldar

推特：@Akashi30eth

也有网友利用一系列 AI 工具生成视频短片，可是结果似乎不尽人意。

推特用户 @nickfloats 使用 ChatGPT 撰写脚本、Midjourney 生成图像、Runway 生成视频、Triniti 生成音乐、Eleven Labs AI 配音，剪辑就将其简单的拼接在一起，不做其他调整。

ChatGPT 撰写的脚本

网友记录了自己制作的全过程，想看看全程使用 AI 制作广告短片需要多久。

在经过 45 分钟之后，成片出来了，它的效果如何？

这名网友对这个短片成果的评价是 「The ad sucks」。这广告中，人物的动作僵硬，画面的逻辑关系不强，整体也很难凸显出想要表达的主题。AI 的通力合作似乎并没有出现惊喜，反而是「惊吓」更多一些。

与《创世纪》相比，这个广告短片时长是它的一半，但是用时极少。其中最大的差异就是人类参与的细节。它没有仔细斟酌后的主题、追求连贯的不断调整以及对细节的高要求。

如果只让 AI 来参与，或是只根据 AI 的生成来产出作品，显然还不能够由高质量的成果。人类对它们的应用和调整似乎才能体现这些工具的真正价值。

以赛辅练，推荐大家参加这个数学竞赛↓↓↓

2023年第六届全国大学生数学竞赛网络挑战赛报名启动！

01

竞赛介绍

当下的人工智能、大数据、云计算、生物医药、航空航天、海洋工程、先进制造、油气开采、新型能源等领域的尖端科技都需要依赖数学。数学是一切科学的基础，每一次科技的重大突破都需要数学的支撑。

为了加强基础学科教育，增加大学生学习数学的兴趣，培养大学生分析问题、解决问题的能力，发现和选拔数学及复合型创新人才，拟举办“2023年第六届全国大学生数学竞赛网络挑战赛”。

02

大赛福利

1、2018年首届模拟赛赛题及视频讲解

2、2019年两套模拟赛赛题及视频讲解

3、2020年两套网络赛赛题及视频讲解

4、2021年两套网络赛赛题及视频讲解

5、历年全国大学生数学竞赛真题及解析等资料

6、2022年全国大学生数学竞赛真题及解析

7.报名一次即可参与两场竞赛，获得两张主办方盖章证书

（第一场竞赛报名截止时间7月7日）

03

组织单位

浙江省应用数学研究会

全国大学生数学竞赛网络挑战赛组委会

04

组委会官方文件

05

竞赛报名

扫描下方二维码进行报名

或复制点击下方链接进行报名：

https://www.saikr.com/vse/Math23?ces=gzh

06

大赛赛制

参赛对象：全国高校全日制在校生（研究生、本科生、专科生）均可报名此次大赛。

参与方式：报名成功的同学在规定时间内进行作答并提交答卷，经过阅卷老师的打分，根据分值排序评选获奖名单，并为获奖学生发放证书。

竞赛题目：全国大学生数学竞赛网络挑战赛每年分为两场进行竞赛，每场分为数学类和非数学类两个组别，参赛学生可任选一组参与竞赛并完成答卷。

大赛福利：报名后两场竞赛均可参加，错过第一场竞赛也可以直接参与第二场，每一场都会根据个人成绩颁发对应奖项的获奖证书。

07

大赛时间

报名时间：

2023.04.19 10:00 至 2023.11.03 23:59

比赛时间：

第一场竞赛（数学类）

2023年7月8日9:00-12:00

第一场竞赛（非数学类）

2023年7月9日9:00-12:00

第二场竞赛（数学类）

2023年11月4日9:00-12:00

第二场竞赛（非数学类）

2023年11月5日9:00-12:00

每场竞赛结束并公布获奖名单后，会发放电子版证书；在大赛结束后，会统一发放纸质版证书。

08

大赛知识范围

数学类

数学分析、高等代数

（数学分析占60%，高等代数占40%）

非数学类

高等数学、线性代数

（高等数学占70%，线性代数占30%）

数学类大纲

扫描下方二维码查看数学类大纲

非数学类大纲

扫描下方二维码查看非数学类大纲

09

大赛奖项设立

1、一等奖：不超过报名队数的5%，荣誉证书；

2、二等奖：不超过报名队数的10%，荣誉证书；

3、三等奖：不超过报名队数的25%，荣誉证书；

4、优秀奖：若干，荣誉证书；

以上奖项均可获得电子+纸质证书

（一等奖证书样图）

5、优秀指导老师

根据指导队伍得奖情况和组织参赛队伍数量综合评定。

（优秀指导老师证书样图）

6、优秀组织单位

根据参赛队伍得奖情况和组织参赛队伍数量综合评定。

（优秀组织单位证书样图）

7、优秀志愿者

为竞赛的宣传，组织，分发获奖证书做出贡献。

（优秀志愿者证书样图）

10

竞赛联系方式

组委会官方QQ ：1451942322

组委会微信：19822023476

大赛官方交流群4群：615326073

BONUS TIME

数学建模资料、视频讲解、历年赛题

后台回复 【校苑】领取

推荐阅读（点击下方图片即可跳转）