广东
随着数字人技术的飞速发展，面部动画的生成已经成为一个备受关注的研究领域。传统的人脸动画生成主要集中在面部运动的同步性和制作视觉上连贯、吸引人的动画上。然而，这些方法通常依赖视觉和空间信息来稳定运动，往往导致自然度不足、时间不一致等问题。尤其是在音频驱动的动画中，全球多语言音频感知的不足让这一问题更加突出。
为了解决这一挑战，腾讯团队开源了一种全新的音频驱动数字人技术—Sonic。这一创新范式的核心在于利用音频信号作为唯一的先验信息来调节面部表情和唇部运动，从而避免了视觉信号的干扰。Sonic通过深度挖掘音频中的全球感知知识，分为“片内音频感知”和“片间音频感知”两个层面，从而全面提升了人脸动画的生成质量和自然度。（链接在文章底部）
01 技术原理
片内音频感知：这一部分通过上下文增强音频学习，从长时间的音频片段中提取出丰富的音频信息，这些信息隐式地提供了面部表情和唇部运动的先验知识。例如，语音的语调、语速等都能有效影响面部表情的变化。与此同时，与动作解耦的控制器则将面部表情和头部运动的变化与音频信号解耦，使得这两者能够独立且精准地受到音频信息的控制。
片间音频感知：Sonic还通过时间感知位置偏移融合方法，将片间音频信息和长时间音频推断结合在一起。通过连续的时间感知窗口偏移，系统能够有效地融合全球音频信息，从而实现更长时间范围的音频感知。这一部分起到了连接片内音频感知和全局感知的桥梁作用，使得生成的人脸动画在时间和空间上都更加连贯和真实。
02 演示效果与对比
与开源方法的比较：将Sonic与近期的最先进方法进行了比较。Sonic能够产生更广泛的与音频一致的表情，并促进更自然的头部运动。
与闭源方法的比较：将Sonic与闭源方法如EMO和即梦进行了比较。对于EMO，使用了他们公开演示中的参考图像和音频。EMO偶尔在7秒左右表现出突兀的不自然面部表情，而且眼镜中的反射缺乏真实感。
在下面的情况中，观察到Jimeng的头部姿势是单调的，而Sonic似乎更具动态性。
https://github.com/jixiaozhong/Sonic
http://demo.sonic.jixiaozhong.online/
https://arxiv.org/pdf/2411.16331欢迎交流～，带你学习AI，了解AI
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
