上海
分享至
品玩2月10日讯，据 9to5Mac 报道，Apple三位研究人员与中国人民大学六位学者共同开发新型AI模型VSSFlow，首次在单一系统中实现从无声视频同步生成环境音效与语音对话。该模型采用10层架构，融合视频帧（10fps）与文本转音素序列，通过流匹配技术从噪声重建高质量音频。
研究发现，语音与音效的联合训练不仅未相互干扰，反而产生“互促提升”效应。为实现音画同步输出，团队进一步基于合成混合数据对模型进行微调。
实验表明，VSSFlow在音效与语音任务上均达到业界领先水平。项目代码已开源，模型权重及推理演示亦将陆续开放，旨在推动视频条件音频生成技术发展。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
