网易首页 > 网易号 > 正文 申请入驻

阿里甩出“配音”神器:能调整情绪,还会说方言

0
分享至


智东西
作者 杨京丽
编辑 李水青

智东西7月20日报道,今天,千问大模型发布语音合成大模型Qwen-Audio-3.0-TTS,包含面向实时交互的Flash版本(首包延时300ms级别)和面向高质量生成的Plus版本

模型在细粒度标签控制、freestyle指令遵循、多语种与方言覆盖以及复杂声学鲁棒性等方面实现系统性提升。目前,Qwen-Audio-3.0-TTS-Plus在第三方评测机构Artificial Analysis的Speech Arena语音合成榜单中居于第一,Elo得分为1237。


▲Qwen-Audio-3.0-TTS-Plus在语音合成榜单中排名第一(图源:Artificial Analysis)

阿里还将陆续上线指令风格音色、20种方言音色、细粒度控制音色及14种以上小语种音色,供开发者直接调用。在输出规格方面,Qwen-Audio-3.0-TTS将音频采样率从24kHz提高至48kHz,单次语音合成最长可达3分钟。

目前,Qwen-Audio-3.0-TTS-Plus和Flash版本均已在阿里云百炼开放。


Qwen-Audio-3.0-TTS-Plus:

https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen-audio-3.0-tts-plus?serviceSite=asia-pacific-china

Qwen-Audio-3.0-TTS-Flash:

https://bailian.console.aliyun.com/cn-beijing?tab=model#/model-market/detail/qwen-audio-3.0-tts-flash?serviceSite=asia-pacific-china

一、文本里插入标签,模型可调节语气、情绪、呼吸等

细粒度标签控制是Qwen-Audio-3.0-TTS此次升级的重点之一。用户可以在文本中直接插入结构化标签,嵌入[gasp](抽气)、[giggles](轻笑)、[angry](愤怒)等这类标记,可以调节语气、情绪和呼吸等细节。

官方也给出了相关的案例,在一段飞船事故相关台词前加入[angry]标签后,模型会以愤怒语气合成后续内容。

合成文本:[angry]你们竟然私自切断了主控系统的能源!知不知道防护罩一旦失效,整艘飞船的人都会化为灰烬?这就是你们所谓的‘为了大局’吗!简直是不可理喻!

参考音频:

//oss.zhidx.com/uploads/2026/07/6a5df7a6e2862_6a5df7a6df376_6a5df7a6df347_1.mp3

合成音频:

//oss.zhidx.com/uploads/2026/07/6a5df7a95e1b8_6a5df7a959e24_6a5df7a959df0_02.mp3

根据文本提示,模型在生成的音频中加入了愤怒的语气,角色的质问感和紧迫感随台词逐步增强。

此外,用户也可以通过输入指令,要求模型在说话过程中笑出声。

指令:说到一半忍不住扑哧笑出声

合成文本:你说的这个事啊,我都听过好几遍了,扑哧——还是觉得好笑。

合成音频:

//oss.zhidx.com/uploads/2026/07/6a5df7aa5a583_6a5df7aa56dd7_6a5df7aa56dad_03.mp3二、自由指令控制,可直接用自然语言描述

除结构化标签外,Qwen-Audio-3.0-TTS还支持Free-style自然语言指令控制。用户可以直接用自然语言描述角色、情绪、场景和语速,不需要单独调整专业音频参数。

官方给出了下面这几个案例:

指令:你是一位年轻女性小学老师,正在课堂上耐心地给一年级学生复述拼音规则。语速很慢,每一个发音都示范一遍,语调上扬带笑意。

合成文本:我们再来读一次,j、q、x这三个声母后面如果跟着u,那个u上的两点要去掉。你跟老师一起读,j——u——ju。

参考音频:

//oss.zhidx.com/uploads/2026/07/6a5df7b047763_6a5df7b043e16_6a5df7b043deb_05.mp3

合成音频:

//oss.zhidx.com/uploads/2026/07/6a5df7b300305_6a5df7b2efd27_6a5df7b2efcfa_06.mp3

模型会按照这段指令合成对应的课堂讲解录音。类似方式也可以用于旁白、角色配音、有声内容和语音助手等场景。

指令:你是悬疑剧旁白,屏住呼吸把紧张感一层层叠上去。

合成文本:那天夜里下着大雨,林晚一个人坐在书房里。窗外的雷声一阵接一阵,灯光忽明忽暗。她忽然听见楼下传来了脚步声——缓慢、沉重,像是有人在故意压低声响。她屏住呼吸,手指紧紧抓住椅子的扶手。脚步声越来越近,最终停在了书房门口。门把手轻轻地,转动了一下。

合成音频:

//oss.zhidx.com/uploads/2026/07/6a5df7ac48ee7_6a5df7ac45300_6a5df7ac452d8_04.mp3

从合成效果来看,旁白语速较为急促,营造出明显的紧张感,让人仿佛置身故事场景之中。如果有声小说采用这种能够随情节调整节奏和情绪的配音,听众的沉浸感和代入感也会更强。

三、覆盖16种语言,10种语言字词错误率最低

Qwen-Audio-3.0-TTS-Plus覆盖中文、英语、日语、韩语、德语等16种语言,新增了阿拉伯语、越南语、马来语和菲律宾语。

根据官方公布的CV3-Eval多语种测试结果,目前,Qwen-Audio-3.0-TTS在16种语言的词或字错误率评测中,Qwen-Audio-3.0-TTS系列在10种语言中排名第一,其中韩语和马来语的领先幅度较大。

在16种语言的说话人相似度评测中,Qwen-Audio-3.0-TTS-Plus取得全部16项最优成绩,Flash版本取得其中15项第二。马来语、西班牙语和阿拉伯语的提升较为明显。


四、支持20种中文方言,强化韵律和声调训练

中文方言方面,Qwen-Audio-3.0-TTS目前支持广东话、重庆话、东北话、陕西话、上海话、四川话和云南话等20种方言。千问称,新模型使用了更多方言数据,并增加了方言强化训练阶段,让模型在韵律、声调与口语表达上接近母语者,减少通用语音强化学习过程中可能出现的方言特征减弱问题。

用户可以通过自然语言指令指定输出方言。例如,输入“输出上海话”,模型即可根据后续文本合成上海话语音。

指令:

输出上海话:屋里向装修真个是烦人,天天敲墙壁,声音响得来!灰尘落得一塌糊涂,真想快点弄清爽。

合成音频:

//oss.zhidx.com/uploads/2026/07/6a5df7b988f87_6a5df7b98456e_6a5df7b984538_08.mp3五、噪声和混响环境下,仍具备较强声音复刻能力

声音复刻通常需要使用较为清晰的参考录音,但实际获得的音频中可能包含背景噪声或混响。

Qwen-Audio-3.0-TTS加入了真实声学环境仿真训练,将语音增强能力用于声音复刻流程。官方称,在参考音频存在较高噪声或混响的情况下,模型可以过滤部分环境干扰,并提取说话人的音色。

合成文本:听到这首歌的时候,突然想起很多年前的夏天。

参考音频:

//oss.zhidx.com/uploads/2026/07/6a5df7baa4948_6a5df7baa0ef8_6a5df7baa0ece_09.mp3

合成音频:

//oss.zhidx.com/uploads/2026/07/6a5df7bcc77e7_6a5df7bcc2839_6a5df7bcc280e_10.mp3结语:语音合成增强语气、情绪等控制能力

从此次升级来看,Qwen-Audio-3.0-TTS提高了对于语气、情绪、呼吸和角色风格的控制能力。结构化标签适合调节具体位置的表达效果,自然语言指令则能对角色、场景和语速进行整体描述,多语种、方言及复杂声学环境下的声音复刻能力也得到扩展。

随着Plus和Flash版本在阿里云百炼开放,这些能力将进入更多实际应用场景,为旁白、角色配音、有声内容和语音助手提供更多配音方案。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
新球王诞生!一战比肩梅西,22岁帕斯将扛起阿根廷未来十年!

新球王诞生!一战比肩梅西,22岁帕斯将扛起阿根廷未来十年!

田先生篮球
2026-09-11 11:21:41
前人砍树后人暴晒!某985电院不给本校推免学生保底,原因曝光:去年本校学生放学校鸽子

前人砍树后人暴晒!某985电院不给本校推免学生保底,原因曝光:去年本校学生放学校鸽子

趣笔谈
2026-09-11 10:22:56
WTT澳门冠军赛:陈幸同首局兵败如山倒!连输6分,18岁小将轰11-3

WTT澳门冠军赛:陈幸同首局兵败如山倒!连输6分,18岁小将轰11-3

刘姚尧的文字城堡
2026-09-11 21:50:08
中华人民共和国正式宣告两件大事:第一件就是,我们的福建舰航母正式服役了,中国海军从此迈入三航母时代

中华人民共和国正式宣告两件大事:第一件就是,我们的福建舰航母正式服役了,中国海军从此迈入三航母时代

回京历史梦
2026-09-10 14:07:25
兹维列夫单赛季两进大满贯决赛未对阵前20,为费德勒后第一人

兹维列夫单赛季两进大满贯决赛未对阵前20,为费德勒后第一人

懂球帝
2026-09-12 06:44:07
《呼啸山庄》提醒所有的女人:无论多爱一个男人,两人在一起多么合拍,但只要交出全部情感、甚至仰赖男人,最终结局只有两个

《呼啸山庄》提醒所有的女人:无论多爱一个男人,两人在一起多么合拍,但只要交出全部情感、甚至仰赖男人,最终结局只有两个

心理观察局
2026-09-12 06:52:15
继房子、茅台之后,中产的第三个“信仰神话”也破灭了

继房子、茅台之后,中产的第三个“信仰神话”也破灭了

快刀财经
2026-09-12 00:07:34
深夜,全线大涨!停火,大消息!美股、黄金、比特币集体反攻

深夜,全线大涨!停火,大消息!美股、黄金、比特币集体反攻

证券时报
2026-09-11 23:16:07
40岁董维嘉,堪称娱乐圈状态天花板!不硬凹少女感,活得从容亮眼

40岁董维嘉,堪称娱乐圈状态天花板!不硬凹少女感,活得从容亮眼

白宸侃片
2026-09-12 08:00:41
西甲第5轮,穆帅表示会对皇马首发进行调整;1.4亿欧迪奥曼德渴望出场!

西甲第5轮,穆帅表示会对皇马首发进行调整;1.4亿欧迪奥曼德渴望出场!

福酱的小时光
2026-09-11 22:40:54
赖岳谦刚被停掉通告 周玉琴突遭中天资遣:夫妻双双遭切割

赖岳谦刚被停掉通告 周玉琴突遭中天资遣:夫妻双双遭切割

乡野小珥
2026-09-11 10:54:23
李梦翻红了!大V:郑薇说李梦是最好的!李梦:丑陋的只有人性

李梦翻红了!大V:郑薇说李梦是最好的!李梦:丑陋的只有人性

老嗮说体育
2026-09-11 19:00:44
母亲是影后,丈夫是著名演员,公公是央视名嘴,她却沉迷当网红

母亲是影后,丈夫是著名演员,公公是央视名嘴,她却沉迷当网红

流云随风去远方
2026-09-12 03:22:47
万亿资产归零,全国第四大保险集团破产,1.5万亿保单怎么样了?

万亿资产归零,全国第四大保险集团破产,1.5万亿保单怎么样了?

米果说识
2026-08-17 19:17:49
默茨喊话:魏德尔女士,您激动得几乎走不动路,却没拿下绝对多数

默茨喊话:魏德尔女士,您激动得几乎走不动路,却没拿下绝对多数

云上乌托邦
2026-09-11 20:09:28
演员张蓝心自曝影视寒冬取暖机会都没有:“靠写代码增收,三款产品已赚钱”

演员张蓝心自曝影视寒冬取暖机会都没有:“靠写代码增收,三款产品已赚钱”

娱乐嗑学家.
2026-09-10 11:58:27
4岁男童摸臀事件闹大了!马来西亚大学收到举报了,回应将会对女子采取必要措施

4岁男童摸臀事件闹大了!马来西亚大学收到举报了,回应将会对女子采取必要措施

小徐讲八卦
2026-09-11 05:52:14
李书福拿下福特汽车,炸翻行业!

李书福拿下福特汽车,炸翻行业!

财经三分钟pro
2026-07-28 15:41:01
前妻爆料马斯克对外表不安,自己必须像个工程师,不能看起来很酷或很时髦,马斯克炮轰《马斯克》导演:炮制抹黑之作

前妻爆料马斯克对外表不安,自己必须像个工程师,不能看起来很酷或很时髦,马斯克炮轰《马斯克》导演:炮制抹黑之作

极目新闻
2026-09-11 10:56:09
逆天!印度网友想强行规定1卢比换10美元,改汇率,GDP抢世界第一

逆天!印度网友想强行规定1卢比换10美元,改汇率,GDP抢世界第一

小陆搞笑日常
2026-09-12 06:35:42
2026-09-12 09:16:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12588文章数 117167关注度
往期回顾 全部

科技要闻

苹果折叠屏比小米华为贵5000元,该怎么选

头条要闻

老板娘深夜被镇干部推入厕所反锁门强奸 男方:小误会

头条要闻

老板娘深夜被镇干部推入厕所反锁门强奸 男方:小误会

体育要闻

37岁还能场场进球,还能翻跟头!

娱乐要闻

港媒曝钟丽淇疑患渐冻症,本人发文

财经要闻

女装“玖姿”母公司跨境贸易迷局:安正时尚说谎了吗?

汽车要闻

买菜车也有小乐趣 风云T7不止是台合格家用SUV

态度原创

教育
艺术
健康
亲子
家居

教育要闻

vivo童画未来2026秋季教师招募令 | 麦田推荐

艺术要闻

《步辇图》最大骗局:全程没有文成公主,却骗了所有中国人 1300 年

手脚发麻口齿不清?也可能是中风!

亲子要闻

高龄备孕卵泡不好可以调养吗?卵巢功能下降怎么办能怀孕吗?

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版