山东
IT之家 4 月 2 日消息，美团昨天发布 LongCat-AudioDiT 音频生成模型，彻底抛弃梅尔谱等中间表示，直接在波形潜空间进行基于扩散模型的文本转语音（TTS），号称“突破零样本 TTS 音色克隆上限”。
据介绍，业界主流 TTS 引擎长期受困于“多阶段”的复杂流程：先预测中间声学特征（如梅尔频谱），再依赖一个独立的神经声码器将特征“翻译”成最终波形。这种流程本质上是在两个不同空间里“传话”，必然会累积误差，导致最终合成的声音丢失了高保真、个性化的细节。
而 LongCat-AudioDiT 的核心架构逻辑非常简单，只用一个波形变分自编码器（Wav-VAE）和一个扩散 Transformer（DiT），在波形隐空间里完成声音的压缩、建模与重建。拥有高效的下采样与多尺度建模、非参数捷径稳定训练以及对抗式多目标训练等多维度创新。
同时，该模型的骨干网络基于 Transformer，集成全局自适应层归一化（Global AdaLN）、QK-Norm + RoPE 稳定注意力训练等多项结构优化。还能够通过双重约束机制修复流匹配 TTS 的“训练-推理”不匹配问题。
性能方面，该模型的 3.5B 版本在 Seed-ZH 测试集的说话人相似度（SIM）指标提升至 0.818，Seed-Hard 测试集达到 0.797，超过了 Seed-TTS、CosyVoice3.5、MiniMax-Speech 等知名模型。
目前该模型已经开源，IT之家附 1B/3.5B 参数版本链接如下：
- 论文：https://arxiv.org/abs/2603.29339v1
- GitHub：https://github.com/meituan-longcat/LongCat-AudioDiT
- HuggingFace：https://huggingface.co/meituan-longcat/LongCat-AudioDiT
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
