广东
近日Klleon AI推出了一种工业级的“头部融合”流程，能够将演员的头部无缝整合到目标身体上，广泛应用于影视特效（VFX）、数字人类创作、虚拟头像等领域。这个任务的难点在于，头部形状和发型结构的不同会导致边缘不自然、融合效果不佳，表现为恐怖谷效应以及头和身体错位等。
现有方法往往将前景和背景作为一个整体来处理，导致融合质量不理想。为了解决这个问题，Klleon AI提出了一种名为CHANGER的全新流程，它将背景融合与前景融合分开处理。CHANGER利用“绿幕抠像”来生成无杂质的背景，并引入了“头部形状与长发增强”（H2增强）技术，以模拟多种头型和发型，从而在各类现实场景下有更好的表现。（链接在文章底部）
01 技术原理
CHANGER流程示意图：在获取演员的画面（源）后，可以通过CHANGER将表演场景无缝地插入到目标场景中。绿幕技术确保了背景的高保真效果。在这里，源演员和目标演员都是虚拟人类。
CHANGER包含H2增强、编码器（E）、头部着色器、包含前景预测注意力转换器（FPAT）模块的身体融合器和解码器（D）。通过整体训练（蓝色）和推理（红色）方案可视化了提出的输入（X）操作方法。头部着色器将X的灰色头部着色，身体融合器通过前景掩码感知的注意力机制修复隐藏的身体和脖部。前景预测模块预测身体和脖部区域的前景掩码（M），然后根据M重新加权注意力。
通过结合绿幕技术与提出的CHANGER流程，可以在自然环境中获得多种高保真的头部融合视频，红色框表示源图像。
为了让CHANGER适应现实世界。如图(a)所示，现有工作（H2SB）在修复区域存在明显的伪影。为了无缝修复背景，提出在头部融合框架中引入绿幕技术。然而，由于头部形状和发型差异（如(b)中红框所示），修复脖部和身体的效果仍然是低保真的。
CHANGER通过H2增强和前景预测注意力转换器（FPAT）生成高保真的前景。CHANGER消除了伪影，如(b)和(c)中的蓝框所示，并且能够轻松适应各种高保真的真实世界背景。
02 对比与实际效果
从两个源图像到目标视频的头部混合结果。林肯换头：
King Sejong：
https://arxiv.org/pdf/2411.00652欢迎交流～，带你学习AI，了解AI
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
