AI剪辑师-自动生成电影预告片的人工神经网络模型

研究人员创建的架构概述。图源：Pinelopi Papalamidi等人。

预告片作为介绍一部新电影的短视频片段，通常是电影制作公司推广策略的关键元素。它应该简要总结电影情节，传达电影的艺术风格和整体情绪，以达到引人入胜的最佳效果。迄今为止，电影预告片都是由人类创作的，然而最近一些计算机科学家开始探索机器自动生成预告片的可能性。

爱丁堡大学的研究人员开发了一种人工神经网络模型，采用基于图形的机器自主学习算法，可以自动生成电影预告片。

研究者将自动生成预告片的任务分解为识别叙事结构、预测传达情绪这两个子任务，再根据这两项子任务分别开发处理电影视频和剧本摘录的新技术。

研究人员Pinelopi Papalamidi、Frank Keller和Mirella Lapata在论文中写道:“我们将电影建模为图形，以镜头为节点，边缘表示它们之间的语义关系。利用剧本中特殊的文本信息，如角色、动作、情境，进行联合对比训练模型熟悉这些语义关系，然后无监督算法遍历图形并生成预告片。”

实际上，他们创造的这种方法是由两个神经网络组成的：一个网络处理来自电影视频流的多模态镜头表示，另一个网络分析基于电影剧本的文本场景表示。这两种神经网络结合起来可以识别电影中的转折点，如机会降临、计划改变、重大挫折和高潮，这些转折点作为电影的突出部分，应该出现在预告片中。

Papalampidi, Keller和Lapata对他们这项新的研究进行了一系列测试之后发现，这种方法能够识别电影中的转折点，且准确度比其他生成电影预告片的方法要高得多。

他们还用这种模型为41部电影制作了预告片，并通过询问观众，比较了这种预告片和人类监督制作的预告片的受喜爱度。有趣的是，绝大多数受访者更喜欢这种模型自动生成的预告片。

虽然研究人员开发的这种模型目前还不能创造出完美的预告片，但它可以被电影制作公司用于辅助电影预告片的制作。

接下来，研究团队致力于研究电影中的细微情感，如悲伤、恐惧、欢乐、厌恶等。未来将研发出电影情感数据集，以及基于文本和视听线索的情感检测模型，进一步提高自动生成的预告片的质量。

本文由升哲科技编译，转载请注明。