10 月 20 日,蚂蚁百灵宣布开源 Ming-3.0 语音系列。不是一款,是五款,分属语音合成、音频理解与对话、语音识别三个系列。开发者可以按任务挑单个模型,也可以把不同能力拼进自己的工作流。
![]()
先说语音合成这条线。Ming-3.0-tts 系列的 Voice Design 支持用文字描述目标音色,也支持拿参考音频来定音色。更有意思的是导演模式:创作者可以说明台词的表演方式,描述情绪怎么变、哪些词要重读、节奏怎么处理。配音这件事,从"选个声音"变成了"给个指令"。
这套东西不是实验室里的样品。在蚂蚁内部,从阿福 App 的主对话与语音通话,到医生音色克隆、小虎智能办公,Ming-3.0-tts 已经进了多类业务。它既能独立承担配音,也能和 Ming-3.0-asr-tiny 组合,把语音输入和回答播报两个环节接起来。
音频理解这边,Ming-3.0-audio-flash / tiny 能直接对长音频做转写、总结和观点分析这类复杂理解,并做结构化输出。和传统"先语音识别出逐字稿再分析"的流程相比,它能保留对话中的情绪、说话人身份、环境信息。代价是模型得对长上下文序列做快速推理。
语音识别这边,Ming-3.0-asr-tiny 的做法是构建普通话、英文、方言、领域热词等高质量语料,合理控制分布,再结合语言模型基座的上下文理解能力,利用候选热词列表和对话上下文信息,针对真实业务场景提升识别效果。在蚂蚁内部,它已经用在阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。
对开发者来说,可用的入口已经摆出来了:
- 在线体验:ling.tbox.cn;音频理解与对话可访问 Ling Studio Chat,选择 Ming-3.0-audio-flash
- API 调用:Ling Studio 提供 Ming-3.0-tts-0.5B、Ming-3.0-audio-flash 和 Ming-3.0-asr-tiny 的 API 服务
- 权重下载:Ming-3.0-tts-0.5B、Ming-3.0-tts-tiny、Ming-3.0-audio-flash、Ming-3.0-audio-tiny、Ming-3.0-asr-tiny 均已上架 Hugging Face 与 ModelScope
三个系列、五款模型,从合成到理解到识别,一次放齐。语音这条链路上的每个环节,现在都有开源选项可以试了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.