网易首页 > 网易号 > 正文 申请入驻

用文本生成音乐,Meta发布开源AI工具AudioCraft | 最前线

0
分享至

作者 | 虞景霖

编辑 | 邓咏仪

美东时间8月2日,Meta发布了一款开源人工智能(AI)工具AudioCraft,可以根据用户给出的文本提示创作音频和音乐。

相较于AI在生成图像、视频、文本的应用,AI生成音乐领域的发展相对落后。这是由于生成高质量的音频需要对不同类型的信号、模块进行不同层级的建模,加上该领域开源的代码较少,可以说是AI生成内容中最具挑战性的领域。

本次AudioCraft以开源的形式进行发布,目的也是为了能够让“研究人员和从业人员能够使用自己的数据集训练自己的模型,减少由于训练数据的局限性带来的偏误,推动AI生成音乐或音频的发展。”

AudioCraft包括AudioGen、EnCodec(改进版)和MusicGen三个核心部件。通过MusicGen和AudioGen,AudioCraft可以将用户给出的文本指令转变为任何类型的音频或者音乐,再由EoCodec(改进版)进行优化。

AudioGen是一个AI生成音频模型。它能够扩展现有音频,或者通过文本提示生成音频,例如生成狗叫声、汽车喇叭声或者木地板上的脚步声。此外,AudioGen还能从声学角度区分不同对象的声音,对其进行分类。Meta使用公开的音效素材对该模型进行训练。

EnCodec(改进版)是一个基于神经网络的音频压缩解码器,能够帮助用户生成人工痕迹更少、更高质量的音乐,还能对音频文件进行无损压缩。

MusicGen是Meta在今年6月初推出的开源AI模型,能够根据文本提示生成音乐。Meta使用自有或经过授权的音乐对其进行训练,累计使用约40万个音频及文本素材,训练总时长超过20000小时。

MusicGen和AudioGen生成音频/音乐

尽管Meta使用了多个音频素材对模型进行训练,但Meta也承认,用于训练AudioCraft的数据集缺乏多样性,素材大多为西式音乐,且使用的文本提示语言仅限于英语。通过AudioCraft生成的音乐质量尚不足以取代专业人士制作的商用音乐。

Meta本次采取的策略类似于此前发布Llama 2大语言模型——无需商业授权即可使用。因此,AudioCraft的开源发布可能可以吸引大量用户,而不仅只是那些对文本生成音频感兴趣的用户,扩大Meta的知名度。

根据Meta的FAIR团队介绍,与早期文本生成音频的AI模型相比,AudioCraft大大简化了生成流程。用户能够使用AudioGen和MusicGen进行音频生成,甚至可以从头开始开发自己的文本生成音频模型。

Meta并不是第一家AI生成音乐的公司。此前,OpenAI曾在2020年推出AI音乐生成器Jukebox,谷歌在今年发布的音乐生成模型MusicLM,其他常见的类似模型还有Riffusion、Mousai和Noise2Music等。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
北京人民真幸福!共享电动自行车亮相街头,骑一小时只需11.5元!

北京人民真幸福!共享电动自行车亮相街头,骑一小时只需11.5元!

娱乐圈见解说
2024-06-15 17:11:13
打破英伟达垄断,中国公司摩尔线程推出AI芯片,成功大模型训练

打破英伟达垄断,中国公司摩尔线程推出AI芯片,成功大模型训练

冒泡泡的鱼儿
2024-06-15 12:14:22
男子猎场放生黄皮子,新婚夜黄皮子托梦:上床睡觉别脱鞋,莫碰新娘

男子猎场放生黄皮子,新婚夜黄皮子托梦:上床睡觉别脱鞋,莫碰新娘

古今档案
2024-05-13 17:50:13
怪不得哈尔科夫俄军偃旗息鼓了,原来乌军采取了这么一个动作

怪不得哈尔科夫俄军偃旗息鼓了,原来乌军采取了这么一个动作

听风听你
2024-06-13 11:16:52
伊万:未来要选具有现代打法的球员,在亚洲可以踢任何对手

伊万:未来要选具有现代打法的球员,在亚洲可以踢任何对手

懂球帝
2024-06-15 18:51:08
A股:大家做好心理准备,股市,将会重演16年的历史

A股:大家做好心理准备,股市,将会重演16年的历史

生活中的栗子
2024-06-14 15:25:46
古代最可惜的四个人,只差一步就统一天下,却偏偏没走好最后一步

古代最可惜的四个人,只差一步就统一天下,却偏偏没走好最后一步

汉江忆史
2024-06-13 20:05:24
热搜上毁三观的“和男朋友天天做饭”:新型羞耻,害惨中国年轻人

热搜上毁三观的“和男朋友天天做饭”:新型羞耻,害惨中国年轻人

小椰子专栏
2024-06-14 13:02:51
G7背书,再用瑞士峰会推高,之后F-16进入,反攻就开始了

G7背书,再用瑞士峰会推高,之后F-16进入,反攻就开始了

邵旭峰域
2024-06-15 11:59:20
王思聪遇到硬茬了!黄一鸣晒女儿小奶音喊爸爸,大葱遮脸内涵明显

王思聪遇到硬茬了!黄一鸣晒女儿小奶音喊爸爸,大葱遮脸内涵明显

娱记掌门
2024-06-16 01:19:04
江苏考生用了一下橡皮,监考老师直接叫来武警,一查多人被判刑

江苏考生用了一下橡皮,监考老师直接叫来武警,一查多人被判刑

老黑谈历史
2024-06-14 10:17:25
巴萨9000万欧天才&“梅西接班人”震惊世界,打破欧洲杯64年纪录

巴萨9000万欧天才&“梅西接班人”震惊世界,打破欧洲杯64年纪录

侧身凌空斩
2024-06-16 00:06:01
江苏中考分流有多变态?竟然把数学竞赛全球第12名给分流了……

江苏中考分流有多变态?竟然把数学竞赛全球第12名给分流了……

人情皆文史
2024-06-14 00:28:56
6月15日,以军基地被炸,土耳其不宣而战,菲律宾船员弃船逃生

6月15日,以军基地被炸,土耳其不宣而战,菲律宾船员弃船逃生

笔墨V
2024-06-15 22:49:39
广东队好消息,周琦沃特斯同时续约,杜锋淘汰亲外甥,胡明轩队长

广东队好消息,周琦沃特斯同时续约,杜锋淘汰亲外甥,胡明轩队长

宗介说体育
2024-06-15 16:23:31
期限只剩最后2天!菲律宾救兵到了,3艘055舰应对,歼16已挂实弹

期限只剩最后2天!菲律宾救兵到了,3艘055舰应对,歼16已挂实弹

影孖看世界
2024-06-13 20:47:29
离谱!男子卧铺车上脱光面对女乘客裸睡,网友评论区炸锅!

离谱!男子卧铺车上脱光面对女乘客裸睡,网友评论区炸锅!

行者聊官
2024-06-15 21:54:44
现在月薪1万在中国是什么水平?

现在月薪1万在中国是什么水平?

陌小尘桑
2024-01-03 18:50:03
G7开峰会发钱,G1开嘴炮发怒

G7开峰会发钱,G1开嘴炮发怒

寰宇大观察
2024-06-14 15:28:30
基恩:罗伯逊的赛后言论毫无意义,他们让人大失所望

基恩:罗伯逊的赛后言论毫无意义,他们让人大失所望

懂球帝
2024-06-15 07:40:11
2024-06-16 02:58:44
36氪
36氪
让一部分人先看到未来
144681文章数 2839368关注度
往期回顾 全部

科技要闻

TikTok开始找退路了?

头条要闻

欧洲杯-亚马尔创纪录卡瓦哈尔首球 西班牙3-0克罗地亚

头条要闻

欧洲杯-亚马尔创纪录卡瓦哈尔首球 西班牙3-0克罗地亚

体育要闻

莱夫利,让困难为我让路

娱乐要闻

江宏杰秀儿女刺青,不怕刺激福原爱?

财经要闻

新情况!高层对人民币的态度180°转弯

汽车要闻

东风奕派eπ008售21.66万元 冰箱彩电都配齐

态度原创

艺术
教育
家居
健康
军事航空

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

教育要闻

厉害!长沙15岁初三少年闯进2024年阿里巴巴全球数学竞赛决赛

家居要闻

空谷来音 朴素留白的侘寂之美

晚餐不吃or吃七分饱,哪种更减肥?

军事要闻

普京提停火和谈条件 美防长迅速回应

无障碍浏览 进入关怀版