北京
分享至
一个开发者把视频翻译配音这件事做成了开源项目。基于 VoxCPM2 构建的工具，能把视频翻译成多种语言，同时保留原说话人的音色和对话自然度。
端到端流程
项目整合了 VoxCPM2 参考音色克隆、Whisper 转录与词级对齐、自动翻译，以及可选的 LatentSync 唇形同步。从人声分离到视频重建，整个链路都支持本地优先处理。
这意味着用户不需要把素材传到第三方服务器，翻译和配音可以在自己的机器上完成。对注重隐私或网络受限的场景，本地优先是一个实用选择。
音色与嘴型
保留原说话人音色是这套工具的核心卖点。参考音色克隆让翻译后的配音听起来还是同一个人，而不是机械的合成音。可选的唇形同步则进一步解决“音画不同步”的观感问题。
目前项目刚发布，实际效果还需要更多用户测试。但把音色克隆、转录对齐、翻译和唇形同步串成一个开源流程，确实降低了视频多语言分发的门槛。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
