网易首页 > 网易号 > 正文 申请入驻

音乐小白10秒写歌,说话10秒声音被复刻,网易伏羲把秘密公开了

0
分享至

近日,网易伏羲虚拟交互团队与西工大音频语音与语言处理研究组谢磊团队合作的两篇论文被ICASSP 2022接收,并受邀在本届大会上向学术与工业界进行研究报告。同时网易伏羲也将歌声合成方面的最新研究成果,向业界和学术界进行回馈,开源全球首个中文精标歌声合成数据集Opencpop,共同促进AI音乐技术的普及和发展,降低中小型企业、高校、个人的研究门槛。

ICASSP(International Conference on Acoustics, Speech and Signal Processing)即国际声学、语音与信号处理会议,是IEEE主办的全世界最大的,也是最全面的信号处理及其应用方面的顶级会议,在国际上享有盛誉并具有广泛的学术影响力,在全球具有极高的权威性。

网易伏羲入选的两篇论文“VISinger: Variational Inference with Adversarial Learning for End-to-End Singing Voice Synthesis”和“One-shot Voice Conversion For Style Transfer Based On Speaker Adaptation”,分别涉及歌声合成和语音转换等领域,体现了其在AI语音技术上的积累和创新。

歌声合成是指输入乐谱生成歌声音频的技术,与语音合成相比,歌声合成不仅需要根据乐谱内容进行正确发音,还要需要生成符合乐谱的标注(如音高、歌唱节奏等)的信息。由于歌唱的基频等声学特征的变化范围更广,而且存在颤音等歌唱技巧,建模歌声的难度会更大。论文中提出了一种完全端到端建模歌声合成的一种方法,简化歌声合成的训练流程,合成的歌声逼真生动。

语音转换是一个在不改变语音内容的前提下,改变语音中说话人音色的一项技术,是语音研究领域中热门的研究方向。网易伏羲所提出的是一种仅仅使用10秒左右的一句话,就可以复刻音色并且保持较高转换质量以及表现力的方法,大大降低了技术落地复杂度与成本,让更多用户与场景能够获得语音转换的能力。

实际上,这项技术与传统变声器是类似的,都可以做到在保留说话内容和情绪的同时,对音色进行变换;与传统变声器不同的是,语音转换技术可以实现到目标音色的精确转换,也不需要调节一系列参数,在提高转换质量的同时降低使用门槛。

目前,歌声合成和语音转换技术已经逐步落地应用,并在虚拟偶像、音乐创作、游戏配乐等场景中崭露出巨大的应用潜力。此前,利用相关技术网易伏羲已成功打造《醒来》、《月满景山》等多首受欢迎的AI原创歌曲,在网易云音乐上线就获得好评不断,被认为媲美专业歌手。不久前上线的一站式音乐创作平台网易天音小程序,也利用了相关技术,只需输入关键词,10秒就能搞定词曲编唱,生成一首歌曲。

与此同时,网易伏羲也将与多所高校联合开源全球首个中文精标歌声合成数据集Opencpop,和歌声合成方面的最新研究成果,回馈行业。歌声合成是一项极具挑战性的任务,音域覆盖,唱法建模等问题亟待解决,但由于缺少高质量的歌声合成数据,仅有少量能够自建数据的工业界玩家能够参与其中。为了推进AI音乐技术的普及与发展,全球首个高质量中文歌声合成数据集Opencpop应运而生,Open寓意开源、开放,C-pop则是指华语流行音乐。

数据集由100首纯中文歌曲构成,其中训练集包含95首,另外5首则为测试集。音频在录音棚环境录制,音频采样率44.1kHz,24位深度,有效时长超5.2小时。同时,网易伏羲还提供了人工精标的信息,包括MIDI、句子边界、音符边界、音素边界、连音信息、呼吸声、歌词等信息。数据集单句时长控制在8秒内,共3756句。为方便研究者们快速进行实验,还在原始数据外,提供了分句音频、训练集/测试集的抄本文件。

网易云音乐团队曾在过年期间使用该数据集,创作了AI单曲《攒钱回家过大年》,成为了该开源数据集的首批成果。Opencpop的诞生将降低中文歌声合成研究道路上的数据门槛,更多人的加入也将促进AI音乐技术的普及和发展。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
订单寥寥,防务展上品种琳琅满目却越来越难卖的中国出口舰艇

订单寥寥,防务展上品种琳琅满目却越来越难卖的中国出口舰艇

万乘之尊
2024-02-25 13:21:40
曝乔帅将下课!中日大战或是告别战,篮协下逐客令,已获名记确认

曝乔帅将下课!中日大战或是告别战,篮协下逐客令,已获名记确认

大咖唠体育
2024-02-25 09:39:31
周末必读!证监会释放五大信号,明天A股开盘会怎么走?

周末必读!证监会释放五大信号,明天A股开盘会怎么走?

老陈炒股
2024-02-25 11:15:50
媒体人:中国男篮胡金秋和胡明轩站了出来 日本三位裁判站了出来

媒体人:中国男篮胡金秋和胡明轩站了出来 日本三位裁判站了出来

直播吧
2024-02-25 13:56:29
A股:备好降落伞!行情已经非常明显,接下来的市场只会这么走!

A股:备好降落伞!行情已经非常明显,接下来的市场只会这么走!

阳光予我薄荷
2024-02-25 04:35:03
方正女员工出轨领导后续:女员工履历丰富多彩,更多照片被曝光

方正女员工出轨领导后续:女员工履历丰富多彩,更多照片被曝光

鲜趣阁
2024-02-25 10:31:10
24岁小伙约45岁大妈开房,偷拍整个过程,大妈:一辈子都会有阴影

24岁小伙约45岁大妈开房,偷拍整个过程,大妈:一辈子都会有阴影

青史录
2023-09-19 19:03:40
女性高潮有哪些表现方式,男人请你别再骗自己了

女性高潮有哪些表现方式,男人请你别再骗自己了

皮皮讲文
2024-01-03 10:27:49
人民币大涨1700点!超欧元成全球第2,“抛美债抢中债”成共识

人民币大涨1700点!超欧元成全球第2,“抛美债抢中债”成共识

厉羽萱
2024-02-24 17:13:53
男子车内偷吃被发现,妻子脱掉裙子站在车顶:我哪一点不如她?

男子车内偷吃被发现,妻子脱掉裙子站在车顶:我哪一点不如她?

情感作者夏羽墨
2024-01-29 10:42:08
宗庆后逝世,三次问鼎中国首富,多次呼吁提高个税起征点

宗庆后逝世,三次问鼎中国首富,多次呼吁提高个税起征点

新经济学家智库
2024-02-25 14:17:57
5航母堵门, 美要大陆离开金门海域! 中方警告后, 美航母直接跑路

5航母堵门, 美要大陆离开金门海域! 中方警告后, 美航母直接跑路

方看世界
2024-02-25 15:05:17
女乒夺冠!陈梦感谢刘国梁,马琳赛后发感言,王曼昱或取代王艺迪

女乒夺冠!陈梦感谢刘国梁,马琳赛后发感言,王曼昱或取代王艺迪

体坛春秋
2024-02-25 10:42:42
世卫组织总干事谭德塞:新冠可能是我们的第一个“X疾病”

世卫组织总干事谭德塞:新冠可能是我们的第一个“X疾病”

齐鲁壹点
2024-02-23 10:05:25
吴镇宇真的老了,新电影票房只有8万块,剧组连盒饭钱都没赚回来

吴镇宇真的老了,新电影票房只有8万块,剧组连盒饭钱都没赚回来

客馆游国
2024-02-25 13:02:01
央视元宵晚会阵容曝光!撒贝宁何炅终于合体,小尼再战魔术!

央视元宵晚会阵容曝光!撒贝宁何炅终于合体,小尼再战魔术!

琉璃贝塔的二次元
2024-02-24 16:38:46
大局已定!曝利物浦已敲定欧洲名帅!8000万攻击手+顶级B2B来投

大局已定!曝利物浦已敲定欧洲名帅!8000万攻击手+顶级B2B来投

头狼追球
2024-02-25 14:43:05
湖南新任命1名区委书记!

湖南新任命1名区委书记!

时尚的弄潮
2024-02-25 13:48:25
这腿比我命都长!

这腿比我命都长!

娱乐圈酸柠檬
2024-02-25 10:03:24
建议严惩日本队!使用盘外招对付中国男篮,乔帅又收到两个坏消息

建议严惩日本队!使用盘外招对付中国男篮,乔帅又收到两个坏消息

宗介说体育
2024-02-25 10:41:37
2024-02-25 16:42:44
网易
网易
网聚人的力量
45文章数 12221关注度
往期回顾 全部

娱乐要闻

王阳高斯登顶热搜,一家同框幸福满溢

头条要闻

因对"实体经济"理解不同 宗庆后曾与马云争执上热搜

头条要闻

因对"实体经济"理解不同 宗庆后曾与马云争执上热搜

体育要闻

绿军轻取尼克斯迎8连胜!四巨头83分

财经要闻

娃哈哈创始人宗庆后去世 曾3次问鼎首富

科技要闻

宗庆后逝世 他搞不定的互联网难题怎么解?

汽车要闻

仰望U9或成中国品牌百万级超跑第二选择

态度原创

教育
时尚
亲子
游戏
本地

教育要闻

为什么管不住学生?这7点内容,能帮新老师找到原因,然后有针对性地进行调整就行!

早春尝试一下时尚活力的搭配吧!这24套造型示范,不妨来看看

亲子要闻

懂行的都知道,小孩子不建议太早学乐器,特别容易伤到大人的自尊心。

《绝地潜兵2》服务器上限提升到80万 应对周末高峰

本地新闻

寻年味 过大年| 元宵节来永清,一起赏百米神龙和特色灯会

无障碍浏览 进入关怀版