0.5B参数的语音合成模型,在英文发音鲁棒性测试里拿了93.2%,与Fish Audio Drama 3 Preview并列第一,高于Eleven v4和Gemini 3.8 Flash TTS。这个成绩来自第三方AI评测平台Artificial Analysis,测试考察的是专有名词、缩写、数字这类内容能不能读准。
![]()
10月20日,蚂蚁百灵开源Ming-3.0语音系列模型,一共五款,覆盖语音合成、音频理解与对话、语音识别三条线。权重已在Hugging Face和ModelScope开放。
五款模型各管一段
- 语音合成:Ming-3.0-tts-0.5B、Ming-3.0-tts-tiny,tiny版本还支持长篇多角色播客生成
- 音频理解与对话:Ming-3.0-audio-flash、Ming-3.0-audio-tiny,面向会议、访谈等录音分析场景
- 语音识别:Ming-3.0-asr-tiny,支持中英文及方言转写
这次发布的一个亮点是,0.5B参数的TTS模型也能根据文字指令调整声音表演。用户可以像导演一样,要求台词表现出克制的愤怒,指定哪些词重读、哪里停顿,还能在句中加入笑声和叹息。
官方给的配音案例里,有一段要求模型读出愤怒但克制的质问,导演指令强调指责的部分,让最后的反问更尖锐,但不要大喊。另一个案例是让模型说到一半笑出声,台词里用“[Laughter]”标签指定笑声位置。叹息、咳嗽等声音也能用相应标签指定出现的位置。
拿《甄嬛传》试了22分钟长对话
目前Ling Studio网页端只开放了Audio系列的体验。实测上传了《甄嬛传》“滴血验亲”片段的录音,时长22分15秒,看它能不能听懂复杂人物对话里的勾心斗角。
约一分钟后,模型给出了人物分析:皇上多疑、重视名分,掌握现场裁决权;皇后表面端庄克制,实则善于借刀杀人;祺贵人情绪激动,不断通过指控加剧冲突。它还分析出皇后提出验亲的真实目的——利用掺了白矾的水制造假证据,试图借皇上之手除掉甄嬛,并梳理了甄嬛质疑水有问题、温实初解释白矾作用等情节,说明局势反转的原因。
不过对甄嬛这样“白切黑”的复杂人物,模型还没真正理解。它把甄嬛描述为委屈、隐忍、护子心切的可怜女子,对她借助柔弱姿态应对质疑、一步步扭转局面的操作,分析得不够透彻。
背景音测试里,提问“弘曕是什么时候哭的”,模型约6.6秒完成回答,指出弘曕在3分18秒左右开始哭泣,还描述了哭声尖锐、断续的特点。回到录音3分18秒,确实能听到孩子的哭声。
榜单上的位置和短板
在统一参考音色、由听众比较生成效果的Controlled Voice榜单中,Ming-3.0-tts-0.5B位列开放权重模型第一;在使用各家代表音色的Provider Voice榜单中,位列开放权重模型第三。
官方公布的其他测试显示,Ming-3.0-tts-tiny在德语、西班牙语的词错误率上领先图示对比模型。但在根据文字描述设计音色的测试中,两款TTS模型的成绩均低于Qwen3-TTS。
音频理解方面,Ming-3.0-audio-flash以99.40分的语音推理成绩,领先字节Seed 2.0 Lite、小米MiMo-V2.6-Pro、阿里Qwen3.8-Omni-Flash和谷歌Gemini 3.8 Flash。在这五款模型中,其综合音频理解成绩仅次于千问,语音问答与指令遵循成绩仅次于Gemini,语音工具调用成绩位列第三。
语音识别方面,Ming-3.0-asr-tiny在领域、方言及中英文四类评测中的平均错误率为4.41%,低于阿里通义的Fun-ASR 1.5、小红书团队的FireRedASR2-LLM(8B)及阿里的Qwen3-ASR-1.7B。其中领域和英文识别两项错误率最低,方言识别略逊于Fun-ASR 1.5,中文识别则不及FireRedASR2-LLM(8B)。领域和方言部分使用了官方自建测试集。
ASR模型支持提前传入地名、产品名等热词及对话上文,辅助识别专业术语和同音词。官方的粤语问路案例里,预先提供“佐敦道、弥敦道、波鞋街、西洋菜街”等地名热词,模型将录音转写为“弥敦道怎么走?”。据官方透露,开发者可按需传入这些背景信息,无需额外训练模型。该模型目前已用于阿福医生助手、支付宝搜索、蚁小保实时语音对话和安全核身等场景。
开发者可通过API调用Ming-3.0-tts-0.5B、Ming-3.0-audio-flash和Ming-3.0-asr-tiny,分别接入语音生成、音频理解和语音识别能力。
蚂蚁百灵透露,下一步将探索语音智能体(Voice Agent),支持用户通过多轮语音对话提出需求、发起任务和查询进展。相比一次问答,这需要系统持续记住上下文,并在用户补充或修改要求后继续推进任务。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.