Netflix推出VOID AI视频编辑模型，可删除物体并重构场景

Netflix——是的，就是那个Netflix——也加入了AI的行列，推出了视频编辑器。

一个新的Netflix模型有望改写我们制作电影的方式。想象一下这样的场景：作为耗资数百万美元的史诗级电影《撞车III：最猛烈撞击》的导演，你刚刚完成了大结局的拍摄，在这个场景中，你的明星Cruz Control驾车直冲向迎面而来的半挂卡车。

撞击场面十分壮观。Cruz的汽车——远程操控——在撞击时爆炸，碎片散落在高速公路上。画面非常震撼。你与站在摄像机监控台旁的Cruz击掌庆祝，他正为自己赚钱的系列电影生涯即将结束而沮丧，然后你走向餐饮服务车。

你的制片人Maya Cash拉住你的肩膀说："你可能不想听到这个消息，但如果Cruz只是开车驶向夕阳呢？如果他最终没有死呢？"

你停下来，从Balenciaga太阳镜上方看着她。"他们最终还是要投资拍摄第四部了吗？"

Netflix的VOID模型就是为这种时刻而生的。你不需要重新拍摄场景或用计算机图形完全重做，只需将撞车镜头转换成开阔道路的结尾场景即可。

VOID代表"视频物体和交互删除"(Video Object and Interaction Deletion)。这是一个视觉语言模型(VLM)，不仅可以从场景中擦除物体，还可以智能填充剩余物体在没有被删除物体影响下的行为表现。

例如，它可以将两辆车的正面碰撞场景转换为单辆车在道路上行驶的场景，通过删除其中一辆车并生成描述剩余车辆物理上合理路径的视频。撞击后的碎片、烟雾和火焰——全部被擦除并替换为原始路面。

该视频模型的创作者——Saman Motamed（Netflix/索菲亚大学）、William Harvey（Netflix）、Benjamin Klein（Netflix）、Luc Van Gool（索菲亚大学）、Zhuoning Yuan（Netflix）和Ta-Ying Cheng（Netflix）——在一篇预印本论文中将VOID描述为"一个视频物体移除框架，旨在在这些复杂场景中执行物理上合理的智能填充"。

它可以移除物体并建模剩余物体在没有被移除物体情况下的行为表现。因此，给定一个人跳入池中并将水溅到地面的场景，VOID可以移除那个人并生成视频，使池子看起来未受干扰，池中和地面上都没有水花。

VOID不仅限于Netflix的制作。该公司已在Hugging Face上提供其模型，任何人都可以安装使用。

还有其他视频编辑工具，如Runway、Generative Omnimatte、DiffuEraser、ROSE、MiniMax-Remover和ProPainter。然而，Netflix的研究人员声称VOID的表现大幅超越了这些替代方案。基于对25人在多种场景下的调查，VOID获得了64.8%的偏好，而Runway以18.4%的支持率位居第二。

"通过在合成和真实世界数据上对智能填充和文本引导视频模型基准进行广泛评估，我们表明VOID在建模物体移除后可能产生的复杂动态方面表现出色，"作者声称。

至于世界是否真的需要更多令人信服的视频操作技术，这是另一个问题。

Q&A

Q1：Netflix VOID模型是什么？能做什么？

A：VOID是Netflix开发的视频物体和交互删除模型，它是一个视觉语言模型，可以从视频场景中擦除物体，并智能填充剩余物体在没有被删除物体影响下的合理行为表现。

Q2：VOID模型与其他视频编辑工具相比表现如何？

A：根据Netflix的测试，在对25人进行的多场景调查中，VOID获得了64.8%的用户偏好，大幅领先于Runway的18.4%，表现明显优于其他替代方案。

Q3：普通用户可以使用VOID模型吗？

A：可以。Netflix已经在Hugging Face平台上公开了VOID模型，任何人都可以安装和使用这个工具，不仅限于Netflix的内部制作。