网易首页 > 网易科技 > 网易科技 > 正文

让机器说话更自然 语音合成还能干什么?

0
分享至


本文由中科院-极限元“智能交互联合实验室”投稿

语音合成又称文语转换(Text-To-Speech),简称TTS,指通过机械的、电子的方法生成语音的技术。

随着科技的发展,合成语音的自然度和音质均得到了明显的改善。目前,语音合成技术在我们生活中具有广泛的应用,如电子阅读、车载语音导航、银行医院排号系统、交通播报等等,这些应用场景都离不开语音合成。

简单来说语音合成分为文本分析、韵律分析和声学分析三个部分。通过文本分析提取出文本特征,在此基础上预测基频、时长、节奏等多种韵律特征,然后通过声学模型实现从前端参数到语音参数的映射,最后通过声码器合成语音。整个过程类似于“编码、信息匹配,解码的过程”。

语音合成常用的两种方法:

一种是参数语音合成,另一种则是拼接合成。波形拼接语音合成的过程更容易理解,即在语料库中抽取合适的拼接单元,拼接成为句子。参数语音合成则需要对音库进行参数化建模,根据训练得到的模型预测出韵律参数和声学参数。

波形拼接语音合成需要对录音人进行长达几十个小时以上的录音采集,而参数语音合成则只需要十个小时的录音采集,即可完成一套定制化语音包的制作 。在体验效果上,拼接拼接合成的语音更加贴近真实发音,但是通过参数合成的语音更稳定。

下图为基于波形拼接:

下图为基于统计参数:

如何让机器说话更自然,有情感

从合成的发展历史来看,表现力、音质、复杂度和自然度一直是合成技术所追求的四点。但是目前水平下的合成语音很难体现出情感特征,例如在韵律表现上不够灵活,声调变化上相对死板。

让机器拥有自然、有情感、高表现力的声音,依旧是语音合成技术的一大难点。

摆脱平铺直叙,使合成语言更具有表现力高立足于以下条件:

1、情感丰富的大数据,如:更自然的发音、更丰富的情感、更高更强的表现力

2、新技术的应用

(1)深度神经网络技术已经成功应用到韵律模型、声学模型预测,并集成端到端的语音合成模型;

(2)弹性单元挑选技术,让合成语音更逼近真人发音;

(3)立足于大量数据的文本分析技术让合成系统更理解人类的语言;

3、强需求应用场景,如:语音导航、小说播报、个性化需求等。

语音合成技术已全面支持多方言、多语种、多音色的选择,专业MOS评分可达4.0以上,为用户提供浑厚男声、甜美女声,并可根据用户需求实现音库定制,满足用户的个性化应用,例如:明星声音定制、童声定制、方言定制等。 从两个角度来说,一. 音色的定制化,需要跟踪录大量的音库,重新训练一个模型;二. 个性化表示方法的定制化,可以录一些数据,通过深度学习训练模型,自适应的方法来实现。

相关推荐
热点推荐
蔡卓宜真空穿高领!牛仔裤包裹的腰臀比太顶,这身材真实存在吗?

蔡卓宜真空穿高领!牛仔裤包裹的腰臀比太顶,这身材真实存在吗?

世界新趋势
2025-12-19 11:22:07
江湖水深 1:烫手闲钱

江湖水深 1:烫手闲钱

金昔说故事
2025-12-19 11:23:30
追光|海南自贸港封关运作 为体育产业带来哪些机遇?

追光|海南自贸港封关运作 为体育产业带来哪些机遇?

新华社
2025-12-18 17:34:27
山东:坚决拥护党中央决定

山东:坚决拥护党中央决定

新京报政事儿
2025-12-18 18:03:04
粟裕晚年评述孟良崮之战:不应过度丑化蒋介石,张灵甫也绝非是孤军冒进

粟裕晚年评述孟良崮之战:不应过度丑化蒋介石,张灵甫也绝非是孤军冒进

史海孤雁
2025-12-16 22:23:11
77岁黎智英貌似占了大便宜,只判了五年多,先看他能否活过这几年

77岁黎智英貌似占了大便宜,只判了五年多,先看他能否活过这几年

我心纵横天地间
2025-12-18 14:57:22
耐克股价盘后跌幅扩大至10%

耐克股价盘后跌幅扩大至10%

每日经济新闻
2025-12-19 06:41:06
这种碳水每天吃,4个月“洗掉”30%身体脂肪,让70%的人悄悄瘦了

这种碳水每天吃,4个月“洗掉”30%身体脂肪,让70%的人悄悄瘦了

时光派健康抗衰
2025-12-08 16:00:09
尺度贼大!10部值得一看的极限求生电影!

尺度贼大!10部值得一看的极限求生电影!

君君电影院
2025-12-07 00:09:36
朱小伟做梦也没有想到,离婚四年后,陈亚男没能活成真实的自己

朱小伟做梦也没有想到,离婚四年后,陈亚男没能活成真实的自己

小鬼头体育
2025-12-19 00:57:07
6国已派兵过南海,菲防长通告中国,不许出手,中方直接喷射水炮

6国已派兵过南海,菲防长通告中国,不许出手,中方直接喷射水炮

谛听骨语本尊
2025-12-18 16:17:58
巴菲特:如果我有女儿,我不会灌输她要温柔、善良、懂事的观念

巴菲特:如果我有女儿,我不会灌输她要温柔、善良、懂事的观念

木言观
2025-12-18 18:01:06
登顶,约基奇半场9助攻,超越贾巴尔成为历史上助攻最多中锋

登顶,约基奇半场9助攻,超越贾巴尔成为历史上助攻最多中锋

懂球帝
2025-12-19 11:25:46
4300万粉丝网红刘二狗账号被封

4300万粉丝网红刘二狗账号被封

三言科技
2025-12-18 08:48:13
重要赛事!12月19日晚19:30!中央5套CCTV5、CCTV5+直播节目表

重要赛事!12月19日晚19:30!中央5套CCTV5、CCTV5+直播节目表

皮皮观天下
2025-12-19 07:54:51
“80后”国家杰青,任985副校长

“80后”国家杰青,任985副校长

中国教育在线
2025-12-19 09:04:41
深度长文:世界真的存在造物主?(超3万字,请耐心阅读)

深度长文:世界真的存在造物主?(超3万字,请耐心阅读)

宇宙时空
2025-12-18 09:49:26
月活不足豆包5%,Kimi跌下神坛

月活不足豆包5%,Kimi跌下神坛

司库财经
2025-12-17 23:01:19
好莱坞传奇导演夫妇疑睡梦中被儿子割喉!帮他戒毒十几年未果,最后惨死…

好莱坞传奇导演夫妇疑睡梦中被儿子割喉!帮他戒毒十几年未果,最后惨死…

英国报姐
2025-12-17 21:44:35
欧盟领导人批准 向乌克兰提供 900亿欧元支援

欧盟领导人批准 向乌克兰提供 900亿欧元支援

每日经济新闻
2025-12-19 10:36:34
2025-12-19 12:35:00

科技要闻

2025新一代人工智能创业大赛总决赛收官

头条要闻

牛弹琴:战机又被照射后日本急了 有人第一个想到中国

头条要闻

牛弹琴:战机又被照射后日本急了 有人第一个想到中国

体育要闻

没有塔图姆,还有塔秃姆

娱乐要闻

曲协表态仅6天,郭德纲担心的事还是发生

财经要闻

非法集资911亿!"金融大鳄"终审被判无期

汽车要闻

轴距加长配置升级 广汽丰田雷凌L官图发布

态度原创

数码
本地
手机
公开课
军事航空

数码要闻

戴尔推入门游戏显示器SE2426HG、SE2726HG:FHD 240Hz Fast IPS

本地新闻

云游安徽|访黄山云海古村,读一城山水风骨

手机要闻

消息称某厂迭代大折开案骁龙8E G5,有望成电池最大全能大折

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

福建舰入列后首过台海 台方谈为何"甲板上没有舰载机"

无障碍浏览 进入关怀版
×