无设备全AI面部表情捕捉神器来了~

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

小伙伴们，早上好！

今天这篇文，

准备献给每个年少轻狂时，做过“白日梦”的宝子。

注：此处“白日梦”，

包括、且仅限于“做个演员”。

如果这梦你没有，那当小编啥也没说，

如果你曾经有那么点小涟漪~

看这里↓

Runway帮你们实现了，普通人也能轻松“当演员”！

自22年底，第一批AI视频模型问世以来，AI生成视频的质量无论是真实性、分辨率，还是与用户输入指令的匹配度都在不断提高着。但对于很多AI视频创作者来说还远远不够，其中一大难题就是AI生成角色的面部表情往往生硬且不容易控制。

而就在最近，AI初创公司Runway率先打破壁垒，直接改变了游戏规则，发布了新的AI面部表情捕捉功能-Act-One。

Act-One绝对算得上是一款革命性的AI工具，在Gen-3 Alpha中使用单一的驱动视频和角色图像来生成富有表现力的角色表演，无需运动捕捉或绑定设备。允许用户用普通的设备(如手机摄像头)录制自己或某位演员的视频，然后将视频中的面部表情精准转移到AI生成的角色上。

关键，Runway计划将Act-One逐步免费提供给用户使用！

Act-One主要有以下几大特点：

动画制作：可以使用视频和语音表演来创建吸引人的动画内容。

表情捕捉：能够捕捉并保留真实的面部表情，并将这些表情准确应用到新角色上(即使角色身体比例与原始视频中人物不同）。

实拍效果：尤其擅长生成电影级别的逼真视频，即使在不同的摄像角度和焦距下也能保持高质量的面部动画效果。

仅使用演员表演的简单视频，来为生成角色制作动画

视线、微表情、节奏和表达方式均在最终生成视频中忠实呈现

捕捉表演精髓

传统的面部动画流程，通常涉及复杂的多步骤工作流。包括动作捕捉设备、多个镜头参考、手动面部绑定等技术。目标是将演员的表演转换到适合动画制作流程的3D模型上。

对于传统方法，主要的挑战就在于如何从参考视频中保留情感和细微差别，并将它们转移到数字角色上。Act-One则采取了完全不同的流程，直接由演员的表演驱动，不再需要额外的设备。

使用简单的单摄像机设置捕捉演员的表演，用来为生成的角色制作动画

动画动作捕捉

Act-One可应用于多种参考图像。

使用简单的家用摄像机捕捉演员表演，为生成的角色制作动画，并添加语音变换功能。

能够保留真实的面部表情，并将表演准确地转化到与原始视频比例不同的角色上。这种多功能性，为创新的角色设计和动画打开了新的可能性。

左：演员表演 右：由表演驱动的生成角色动画

实拍效果

Act-One能够生成电影级别的逼真输出，在不同摄像角度下仍能保持高保真的脸部动画效果。

左：演员表演 右：由表演驱动的生成角色动画

这种能力使创作者能够开发出更写实的角色，传递真实的情感和表情，让观众产生共鸣，增强观众对输出内容的认同感。

左：演员表演 右：由表演驱动的生成角色动画

新的创意途径

Act-One团队一直在探索，如何生成富有表现力的多轮对话场景。

这在以前，使用生成视频模型是很难实现的。而现在，用户只需要使用一台消费级摄像机和一位负责朗读、表演剧中不同角色的“演员”，即可创作出故事情节丰富的视频内容。

安全性

Act-One的开发，也伴随着一系列全面的内容审核和安全预防措施，包括：

• 更加强大的检测和阻止尝试生成包含公众人物内容的能力；

• 验证最终用户是否有权使用，他们通过自定义声音功能创建的声音；

• 持续监控，以便检测并缓解对于工具和平台的其他潜在误用。

使用Act-One在Gen-3 Alpha上进行创作

01

上传驱动表演

首先进入Dashboard中【生成视频】部分，在左上角下拉菜单选中Gen-3 Alpha模型，之后在左侧工具栏找到Act-One图标。

可以在Act-One界面上方，拖拽一个新的视频或从资产中选择一个现有视频作为驱动表演(即使之后上传的角色图像是侧面或其他角度，驱动表演的视频也始终正对着摄像机)。在生成之前，系统会对驱动表演视频进行初步人脸检测。

02

选择角色图像

在Act-One窗口的下方选择想要动画化的角色图像(可以从现有图像中选择，也可以切换到自定义选项上传图像)。

Act-One支持多种类型的输入图像，但如果按照建议来选择图像，通常会得到更好的结果。

03

生成Act-One视频

在正式生成视频之前，用户可以将鼠标悬停在现实持续时间的地方，这时会显示出生成这段视频所需要的信用点数。

当确认输入内容(驱动表演和角色图像)和所需信用点数(积分)正确后，就可以点击生成按钮。视频将会在当前对话框中进行处理，一旦处理完成，用户就可以查看生成结果了。

很多小伙伴可能看到上面的信用点数会有点懵，这里需要注意的是，由于Act-One需要在Gen-3Alpha模型的基础上运行，所以目前即便拥有Runway账户就够访问Act-One，也只有拥有足够积分去使用Gen-3 Alpha的用户，才能真正使用Act-One。

感兴趣的小伙伴们，官网放在这里啦：

https://runwayml.com/research/introducing-act-one

end

《毒液3》概念图、模型图和海报

10月游戏版号公布，《胜利女神：新的希望》意外获得版号！