网易首页 > 网易手机 > 正文

谷歌DeepMind借神经网络构建原始音频算法合成人工语音

0
分享至

(原标题:谷歌DeepMind借神经网络构建原始音频算法合成人工语音)

据外媒报道,目前谷歌旗下人工智能部门DeepMind已经研发了一项新的技术WaveNet,借助于深度神经网络让人工智能模仿人类的声音说话,它能直 接合成原始音波模型,而非采用预录制的人类声音,听起来十分自然。设想在未来,人工智能同人类进行自然且互相理解的发声和对话将真正成为现实。尽管近几年,语音识别和个人 数字助理技术飞速发展,不过Siri、Cortana等数字助手的语音仍需要借助预录制的人声,且有时能够明显听出冰冷和机械化的发音。

DeepMind的新AI自然语音技术有所不同,DeepMind的天才工程师们通过深度神经网络构建了一个算法模型,让AI自己合成出声音进行语音对话,同时能够理解英语和中文(普通话)的不同表达时序,并且实时做出语音回馈。令人惊喜的是这项新技术的表现超出了现代最尖端的人工文本-语音系统。目前Google采用的两种最优文本-语音模型Parameric TTS与Concatenative TTS。这就需要使用到超大型的记录说话者的语音片段的数据库,然后将这些语音片段重新组合成完整的话语。

算法模型

上方动画所示为一个WaveNet模型的内部结构,通常是一种完整的卷积神经网络,卷积层中有各种各样的扩张因子,允许其接受域深度成倍增长,并且覆盖数千个时间步长。

在训练时,输入序列是从人类说话者记录得来的真实波形。在训练之后,DeepMind可以对网络取样,以生成合成话语。在取样的每一个步骤中,将从由网络计算得出的概率分布中抽取数值。所抽取的数值随后被反馈到输入信息中,这样便完成下一步新预测。这样的取样方法对于生成复杂且听起来真实的音频是至关重要的。

为了实现运用WaveNet将文本转化为语音,必须先告诉WaveNet文本的内容是什么。我们通过将文本转换成语言和语音特征(包括音位、音节、单词等),把转换得来的特征提供给WaveNet,完成这一过程。这意味着网络的预测步骤不仅仅基于先前获得的音频样本,而且要基于文本所传达的内容。

如果我们想要脱离文本序列来训练网络,网络依然能够生成语音,但是得自行编造想要传达的内容。这种条件下生成的音频简直是胡言乱语,有意义的单词被编造的像单词的声音隔断开。

WaveNet通过直接为音频信号的原始波形建模,一次为一种音频样本建模,来改变这种范式。同生成听起来更为自然的语音相同,使用原始波形意味着WaveNet能够为任意类型的音频建模,包括音乐。

以下是parametric方法生成的语音片段

以下是concatenative模型生成 的语音片段

以下是WaveNet生成的一些声音片段,明显更加自然:

活动入口:

买美股,上老虎 - 超低佣金,每股只需1美分

相关推荐
热点推荐
媒体人:许钟豪每个关节都有暗器 要不进国家队打日本菲律宾吧

媒体人:许钟豪每个关节都有暗器 要不进国家队打日本菲律宾吧

直播吧
2024-04-25 22:19:12
季后赛恩比德21罚50分76人胜尼克斯总比分1-2!布伦森39+13

季后赛恩比德21罚50分76人胜尼克斯总比分1-2!布伦森39+13

OnFire
2024-04-26 10:42:05
贡品||童颜水蛇腰大长腿!10年前她在互联网杀疯了

贡品||童颜水蛇腰大长腿!10年前她在互联网杀疯了

懂球娘娘
2024-03-19 11:45:50
嫖娼事件三年后,看李云迪的笑话...

嫖娼事件三年后,看李云迪的笑话...

燕梳楼2021
2024-04-24 16:30:04
神舟十八号航天员是空军出身,为何一位陆军大校和两位空军中校?

神舟十八号航天员是空军出身,为何一位陆军大校和两位空军中校?

搞笑的阿票
2024-04-25 21:55:56
南京市一旅馆发生火情,造成1人死亡

南京市一旅馆发生火情,造成1人死亡

界面新闻
2024-04-25 23:15:07
集团副总裁以上高管,请退还前3年所有奖金

集团副总裁以上高管,请退还前3年所有奖金

资本百科
2024-04-25 16:54:09
双色球24046期开奖结果:一等奖开6注855万,陕西中2注

双色球24046期开奖结果:一等奖开6注855万,陕西中2注

双色球的方向舵
2024-04-26 05:44:02
男子称被“东郊到家”女技师色诱“加钟”,对企业“涉黄”疑云,监管应该出手

男子称被“东郊到家”女技师色诱“加钟”,对企业“涉黄”疑云,监管应该出手

极目新闻
2024-04-25 12:55:00
美国人发文说:中国追的脚步这么紧,难道中国人就不能给别人喘口气吗?

美国人发文说:中国追的脚步这么紧,难道中国人就不能给别人喘口气吗?

搞笑的阿票
2024-04-26 00:26:07
汪小菲父亲被曝突然赴台,疑为孙子孙女改姓一事,结果已经很明确

汪小菲父亲被曝突然赴台,疑为孙子孙女改姓一事,结果已经很明确

西瓜爱娱娱
2024-04-25 16:29:19
俄罗斯黑海舰船的祖宗,被锤爆了!

俄罗斯黑海舰船的祖宗,被锤爆了!

凡事一定有办法13119
2024-04-22 12:12:55
天津一公安派出所所长因公牺牲,享年53岁

天津一公安派出所所长因公牺牲,享年53岁

新京报北京知道
2024-04-25 20:07:33
美远程导弹系统秘密运抵乌克兰,可覆盖克里米亚等地军事目标

美远程导弹系统秘密运抵乌克兰,可覆盖克里米亚等地军事目标

澎湃新闻
2024-04-25 12:38:27
上海严禁对已出示本人有效身份证件的旅客进行“强制刷脸”核验|中国交通新闻

上海严禁对已出示本人有效身份证件的旅客进行“强制刷脸”核验|中国交通新闻

蛙斯基娱乐中
2024-04-25 12:31:55
刚刚!山西地震了!

刚刚!山西地震了!

山西老乡俱乐部
2024-04-26 06:07:48
清纯玉女方圆小清新写真大赏,不愧是被王公子点名盛赞过的哦

清纯玉女方圆小清新写真大赏,不愧是被王公子点名盛赞过的哦

娱乐圈人物大赏
2024-04-22 06:08:49
大S的妈妈对警告光头具俊晔,如果没有养活大S的能力,趁早滚啊

大S的妈妈对警告光头具俊晔,如果没有养活大S的能力,趁早滚啊

悍匪小蛙
2024-04-26 10:00:43
被特斯拉毁约应届生发声:协议违约金是0元,对方给了一个月底薪

被特斯拉毁约应届生发声:协议违约金是0元,对方给了一个月底薪

环球网资讯
2024-04-25 09:42:09
记者:4-0战胜布莱顿后,瓜迪奥拉鼓励了布莱顿小将巴尔科

记者:4-0战胜布莱顿后,瓜迪奥拉鼓励了布莱顿小将巴尔科

直播吧
2024-04-26 08:05:16
2024-04-26 10:54:44

头条要闻

牛弹琴:"欧洲一姐"被指比美国还美国 马克龙想炒掉她

头条要闻

牛弹琴:"欧洲一姐"被指比美国还美国 马克龙想炒掉她

体育要闻

库里当选最佳关键球员 10项数据联盟第一

娱乐要闻

心疼!伊能静曝儿子曾被狗仔追到洗手间

财经要闻

24年后再产纯净水 农夫山泉为何要打自己脸

科技要闻

雷军周鸿祎出圈:中年CEO,抢着当网红

汽车要闻

全新哈弗H9亮相 大号方盒子硬派SUV入列

态度原创

健康
教育
房产
本地
军事航空

这2种水果可降低高血压死亡风险

教育要闻

继续蔓延!悉尼大学加入校园反战抗议活动

房产要闻

涉及黄埔、番禺、增城!广州新一轮大规模征地启动

本地新闻

云游中国|苗族蜡染:九黎城的“潮”文化

军事要闻

以军称已完成对拉法地面军事行动准备工作

无障碍浏览 进入关怀版
×