北京
上个月，一些电影制作人初步尝试了 Sora， 近日公布了他们令人惊叹的试验成果。
与六周前 精心挑选的、用来宣传其最新生成式模型的演示视频相比，这些短片展示了巨大的飞跃。以下是三位电影制作人是如何做到的。
（来源：SHY KIDS）
《空气头》
Shy Kids 是一个总部位于加拿大多伦多的流行乐队和电影制作团体，其风格定位是“朋克摇滚皮克斯”。该团体以前曾尝试过视频生成技术。
2023 年，该公司使用一种名为 Stable Warpfusion 的开源工具为其一首歌曲制作了 MV。虽然成品很酷，但分辨率低且充满瑕疵。
不过它使用 Sora 制作的名为《空气头》（Air Head）的短片，除了主角是一个把气球当头的男人，剩下的地方几乎都做到了以假乱真。
大多数视频生成工具都很难保持帧与帧之间的一致性，这是它们最大的通病。当 邀请 Shy Kids 团队尝试 Sora 时，他们很好奇自己能做到什么地步。
“我们认为（用 Sora 做的）一个好玩有趣的实验是，我们能塑造一个具备一致性的角色吗？”Shy Kids 的成员沃尔特·伍德曼（Walter Woodman）说，“我们认为它基本上是成功的。”
生成式模型难以处理手和脸等人体器官的细节。但在视频中，有一个场景展示了火车车厢里坐满了乘客，他们的脸部近乎完美。伍德曼说：“火车上的那些面孔都是 Sora 生成的，它能做到的事情令人震惊。”
这意味着人工智能生成视频的面部和手部问题已经解决了吗？不完全是。我们仍然可以在个别地方看到扭曲的身体部位。
视频中的文本也是一个问题。在创意机构 Native Foreign 的另一段视频中，我们看到一家自行车修理店的招牌被错误地拼成了“Bicycle Repaich”。但《空气头》中的所有内容都是 Sora 的原始输出。
在将该工具制作的许多不同片段剪辑在一起后，Shy Kids 进行了一系列后期处理，使电影看起来更好。例如，他们使用视觉效果工具修复了主角气球脸的某些镜头。
伍德曼还认为，音乐和画外音有助于提高短片的质量，因此他们自己创作了一些并添加到了视频中。伍德曼说，将这些人工制作的元素与 Sora 的作品融合在一起，使得这部影片充满活力。
“没有人类，这项技术什么都不是。”他说，“这是一个强大的工具，但你才是它的灵魂。”
《抽象》
艺术家兼电影制作人保罗·特里洛（Paul Trillo）想用“电影的感觉”作为考题来考验 Sora。他的视频采用了复古风格的电影镜头，通过几个片段展示了一个披着亮片的人是如何变为闪光球和一个跳霹雳舞的垃圾人。
他说，你看到的一切都是 Sora 的原始输出：“没有颜色校正或后期特效。”甚至短片第一部分的跳跃剪辑都是用该模型制作的。
特里洛觉得 上个月发布的演示太像游戏片段了。他说：“我想看看其他风格会带来什么可能性。”成品是一个看起来像是用老式 16 毫米胶片拍摄的电影短片。
他说：“这需要大量的实验，但我偶然发现了一系列提示，它们有助于让视频风格更有机或更电影化。”
《超越我们的现实》
唐·艾伦·史蒂文森三世（Don Allen Stevenson III）是一位电影制作人和视觉效果艺术家。几年前，他和其他几位艺术家受 邀请，尝试了其文本到图像模型 DALL-E 2。
史蒂文森的短片是一部国家地理风格的自然纪录片，向我们介绍了一个由想象中的动物组成的动物园，包括长颈鹿火烈鸟、飞行猪和鳗鱼猫等奇异物种。
史蒂文森说，在很多方面，使用文本到视频模型就像使用文本到图像模型一样。他说：“你只需要输入一段文本提示，然后不断调整它。”
但还有一个棘手的问题。当你尝试不同的提示时，Sora 会产生低分辨率的视频。当你发现喜欢的片段时，你可以选择提高分辨率。
但从低分辨率到高分辨率需要经过新一轮生成，可能会丢失你在低分辨率版本中喜欢的细节。
史蒂文森说，有时视角会出现变化，或者镜头中的物体发生了移动。同时，和其他生成式模型一样，Sora 也存在幻觉问题。
对于图像，这可能意味着奇怪的视觉瑕疵。对于视频，这些缺陷可能会随着时间的推移而出现，比如在帧和帧之间出现奇怪的跳跃。
史蒂文森还必须输入 Sora“听得懂”的语言。他说，提示必须很直白，完全是字面意思。
在一个实验中，他想实现对着直升机拉近视角，结果 Sora 制作的短片将直升机和相机的变焦镜头混合到了一起。
但史蒂文森说，有了很多创造性的提示后，Sora 比以前的模型更容易控制了。
即便如此，他认为这项技术使用起来很有趣的原因是总有惊喜出现：“我喜欢更少的控制，还有它的混乱。如果你要控制编辑和视觉效果，有许多其他视频制作工具可以胜任。”
对史蒂文森来说，使用像 Sora 这样的生成式模型，首要目标是拿到奇怪的、意想不到的素材。
在《超越我们的现实》中，奇异动物都是由 Sora 生成的。史蒂文森尝试了许多不同的提示，直到该工具生成了他喜欢的东西。
他说：“我是它的导演，但更像是一种推力。”他会反复修改，不断尝试各种变化。
例如，史蒂文森设想的狐狸乌鸦有四条腿，但 Sora 只给了它两条。效果虽然更好，但并不完美：眼尖的观众会发现，在视频中，狐狸乌鸦一度从两条腿变成了四条腿，然后又变了回来。
Sora 还制作了几个版本的视频，他认为它们看起来太毛骨悚然了，无法使用。
当他收集到了他真正喜欢的奇异动物时，他把它们编辑在一起，然后加上了字幕和画外音。
尽管史蒂文森本也可以用现有工具来创造他虚构的动物园。但他说，这需要几个小时，甚至几天的时间。有了 Sora，这个过程要快得多。
他说：“我试图想出一些看起来很酷的东西，并尝试了很多不同的角色。我有很多包含了随机生物的视频片段。”
当看到 Sora 生成的长颈鹿火烈鸟时，他意识到自己可以做到更多。他说：“我开始思考：这个生物的故事是什么？它吃什么？住在哪里？”他计划推出一系列扩展短片，更详细地介绍每一种幻想动物。
史蒂文森也希望他的幻想动物能引发更大的思考。“社交媒体上将会出现很多新型内容。”他说，“我们将如何告诉人们什么是真实的？在我看来，一种方法是讲述明显是幻想的（虚假）故事。”
史蒂文森指出，他的短片可能是很多人第一次看到由生成式模型创建的视频。他希望，这个视频传达给人们的第一印象能清楚地表明：这不是真的。
支持：Ren
运营/排版：何晨龙
01/
02/
03/
04/
05/
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
