效果惊艳！OpenAI“奇袭”好莱坞 人类进入AI生成大片时代【视频集合】

出品｜网易科技《态度》栏目

作者｜丁广胜

人们惊呼，好莱坞即将发生核爆！

北京时间今日凌晨，OpenAI发布文本到视频生成模型Sora，它是一个人工智能模型，可以从文本指令中创建逼真和富有想象力的视频场景。

“我们正在教人工智能理解和模拟运动中的物理世界，目标是训练模型，帮助人们解决需要现实世界互动的问题。”OpenAI表示。

据介绍，给定一段简短或详细的描述或一张静态图片，Sora 就能生成类似电影的1080P场景，其中包含多个角色、不同类型的动作和背景细节。

当然，OpenAI也承认Sora还有不少“弱点”，接下来，我们一睹Sora的效果：

输入提示：一位时尚的女士走在充满温暖发光的霓虹灯和动画城市标牌的东京街道上。她穿着一件黑色皮夹克、一件红色长裙和黑色靴子，还带着一个黑色钱包。她戴着太阳镜和红色口红。她自信而随意地走路。街道潮湿且有反射性，创造了五颜六色的灯光的镜面效果。许多行人走来走去。

输入提示：加州在淘金热期间的历史镜头。

输入提示：相机跟在一辆带有黑色车顶架的白色复古SUV后面，它在陡峭的山坡上加速了被松树包围的陡峭的土路，灰尘从轮胎上踢出，阳光照在SUV上，当它沿着土路加速时，阳光照在场景中投射出温暖的光芒。土路缓缓向远处弯曲，看不到其他汽车或车辆。路两边的树木都是红杉，到处都是绿地。从后部很容易看到这辆车沿着弯道行驶，看起来就像在崎岖的地形上行驶一样。土路本身被陡峭的山丘和山脉所包围，上面有晴朗的蓝天和细云。

输入提示：参观艺术画廊，展出许多不同风格的美丽艺术作品。

输入提示：一个人跑步的场景，35毫米镜头拍摄的电影画面。（该视频的弱点：Sora有时会产生身体上难以置信的运动。）

输入提示：相机直接面向意大利布拉诺的五颜六色的建筑。一个可爱的dalmation透过一楼一栋建筑的窗户看。许多人沿着建筑物前的运河街道步行和骑自行车。

Sora的技术路径：

Sora是一个扩散模型，它通过从看起来像静态噪声的视频开始生成视频，并通过在许多步骤中消除噪声来逐渐转换它。Sora能够一次性生成整个视频，或扩展生成的视频以使其更长。

通过让模型一次预见多帧画面，OpenAI 解决了一个具有挑战性的问题，即确保被摄体即使暂时离开视线也能保持不变。

OpenAI表示，与 GPT 模型类似，Sora 也使用了 transformer 架构，从而实现了卓越的扩展性能。

OpenAI 将视频和图像表示为称为 patch 的较小数据单元的集合，每个 patch 类似于 GPT 中的 token。通过统一数据表示方式，OpenAI 能够在比以往更广泛的视觉数据上训练扩散 transformer，包括不同的持续时间、分辨率和宽高比。

Sora 建立在过去 DALL・E 和 GPT 模型的研究基础之上。它采用了 DALL・E 3 中的重述技术，即为视觉训练数据生成高度描述性的字幕。因此，该模型能够在生成的视频中更忠实地遵循用户的文字提示。除了能够仅根据文字说明生成视频外，该模型还能根据现有的静态图像生成视频，并准确、细致地对图像内容进行动画处理。该模型还能提取现有视频，并对其进行扩展或填充缺失的帧。

OpenAI认为，Sora是能够理解和模拟现实世界的模型的基础，相信这种能力将是实现AGI的一个重要里程碑。