网易首页 > 网易号 > 正文 申请入驻

用文本生成音乐,Meta发布开源AI工具AudioCraft | 最前线

0
分享至

作者 | 虞景霖

编辑 | 邓咏仪

美东时间8月2日,Meta发布了一款开源人工智能(AI)工具AudioCraft,可以根据用户给出的文本提示创作音频和音乐。

相较于AI在生成图像、视频、文本的应用,AI生成音乐领域的发展相对落后。这是由于生成高质量的音频需要对不同类型的信号、模块进行不同层级的建模,加上该领域开源的代码较少,可以说是AI生成内容中最具挑战性的领域。

本次AudioCraft以开源的形式进行发布,目的也是为了能够让“研究人员和从业人员能够使用自己的数据集训练自己的模型,减少由于训练数据的局限性带来的偏误,推动AI生成音乐或音频的发展。”

AudioCraft包括AudioGen、EnCodec(改进版)和MusicGen三个核心部件。通过MusicGen和AudioGen,AudioCraft可以将用户给出的文本指令转变为任何类型的音频或者音乐,再由EoCodec(改进版)进行优化。

AudioGen是一个AI生成音频模型。它能够扩展现有音频,或者通过文本提示生成音频,例如生成狗叫声、汽车喇叭声或者木地板上的脚步声。此外,AudioGen还能从声学角度区分不同对象的声音,对其进行分类。Meta使用公开的音效素材对该模型进行训练。

EnCodec(改进版)是一个基于神经网络的音频压缩解码器,能够帮助用户生成人工痕迹更少、更高质量的音乐,还能对音频文件进行无损压缩。

MusicGen是Meta在今年6月初推出的开源AI模型,能够根据文本提示生成音乐。Meta使用自有或经过授权的音乐对其进行训练,累计使用约40万个音频及文本素材,训练总时长超过20000小时。

MusicGen和AudioGen生成音频/音乐

尽管Meta使用了多个音频素材对模型进行训练,但Meta也承认,用于训练AudioCraft的数据集缺乏多样性,素材大多为西式音乐,且使用的文本提示语言仅限于英语。通过AudioCraft生成的音乐质量尚不足以取代专业人士制作的商用音乐。

Meta本次采取的策略类似于此前发布Llama 2大语言模型——无需商业授权即可使用。因此,AudioCraft的开源发布可能可以吸引大量用户,而不仅只是那些对文本生成音频感兴趣的用户,扩大Meta的知名度。

根据Meta的FAIR团队介绍,与早期文本生成音频的AI模型相比,AudioCraft大大简化了生成流程。用户能够使用AudioGen和MusicGen进行音频生成,甚至可以从头开始开发自己的文本生成音频模型。

Meta并不是第一家AI生成音乐的公司。此前,OpenAI曾在2020年推出AI音乐生成器Jukebox,谷歌在今年发布的音乐生成模型MusicLM,其他常见的类似模型还有Riffusion、Mousai和Noise2Music等。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
笑喷!朱芳雨建议杨鸣竞聘中国男篮主帅 后者:在线就给你辟谣

笑喷!朱芳雨建议杨鸣竞聘中国男篮主帅 后者:在线就给你辟谣

醉卧浮生
2024-06-15 12:42:06
军长调500人大部队砸酒店秘闻:酒店背后黑势力大,军长背景更大

军长调500人大部队砸酒店秘闻:酒店背后黑势力大,军长背景更大

古今档案
2023-11-22 12:36:51
《歌手》选手被央媒等发文批评,言辞犀利,真是一点脸面都不给留

《歌手》选手被央媒等发文批评,言辞犀利,真是一点脸面都不给留

综艺拼盘汇
2024-06-15 23:17:19
美军统治水下力量多年,如今被中国破解,“无人舰艇”将降维打击

美军统治水下力量多年,如今被中国破解,“无人舰艇”将降维打击

奇点使者
2024-06-15 18:55:02
68岁大爷不喝白开水只喝绿茶,半年后体检,医生:你平时干啥了?

68岁大爷不喝白开水只喝绿茶,半年后体检,医生:你平时干啥了?

荷兰豆爱健康
2024-06-12 14:51:30
为什么人有时候要相信自己的直觉?网友:感觉他有病,结果是HIV

为什么人有时候要相信自己的直觉?网友:感觉他有病,结果是HIV

芒果味的汤圆子
2024-06-10 17:00:27
通威股份光伏首席技术官邢国强:产能过剩是暂时的,长期看低谷期一定会过去

通威股份光伏首席技术官邢国强:产能过剩是暂时的,长期看低谷期一定会过去

每日经济新闻
2024-06-15 12:12:13
刘嘉玲户外跑步突遇大雨,素颜出镜毫无偶像包袱,无儿无女显年轻

刘嘉玲户外跑步突遇大雨,素颜出镜毫无偶像包袱,无儿无女显年轻

郑丁嘉话
2024-06-15 15:29:56
吴谨言横店剧组被偶遇,又瘦又矮法令纹明显,脸巴掌大还有点垮

吴谨言横店剧组被偶遇,又瘦又矮法令纹明显,脸巴掌大还有点垮

娱记掌门
2024-06-15 18:28:27
从德云社高峰收徒这场闹剧的种种怪相看,“摆知”仪式应该作古了

从德云社高峰收徒这场闹剧的种种怪相看,“摆知”仪式应该作古了

综艺拼盘汇
2024-06-15 18:24:36
特斯拉新的增长极在哪?

特斯拉新的增长极在哪?

21世纪经济报道
2024-06-15 09:08:35
瓦屋山游客身亡后续:知情人曝猛料,女子身份复杂,景区摊上事了

瓦屋山游客身亡后续:知情人曝猛料,女子身份复杂,景区摊上事了

布拉旅游说
2024-06-13 21:58:04
《玫瑰的故事》4位女主结局:黄亦玫略显遗憾,苏更生人生赢家

《玫瑰的故事》4位女主结局:黄亦玫略显遗憾,苏更生人生赢家

娱乐倾城巷
2024-06-15 17:05:13
气愤!金曲奖取消王力宏致敬李玟表演,只因他过去了宣扬中国文化

气愤!金曲奖取消王力宏致敬李玟表演,只因他过去了宣扬中国文化

娱记掌门
2024-06-15 23:26:50
冯提莫COS妲己被嘲笑,下播后卸妆素颜出镜,网友:她怎么又变了

冯提莫COS妲己被嘲笑,下播后卸妆素颜出镜,网友:她怎么又变了

电竞瓜皮
2024-06-14 17:44:22
爱过,睡过,余生各自安好,不谈亏欠不负遇见

爱过,睡过,余生各自安好,不谈亏欠不负遇见

四象八卦
2024-06-12 14:15:21
失独老人资助男孩9年,因拮据断了资助,男孩:我和妹妹给您养老

失独老人资助男孩9年,因拮据断了资助,男孩:我和妹妹给您养老

手工制作阿歼
2024-06-15 13:23:42
中产家庭消费降级的也是厉害

中产家庭消费降级的也是厉害

悠闲葡萄
2024-06-13 11:10:15
49岁女人自述:瞒着老公出轨16年,回归家庭后,老公给我致命一击

49岁女人自述:瞒着老公出轨16年,回归家庭后,老公给我致命一击

星辰故事屋
2024-06-01 20:23:42
震撼!中国终于宣告收回被占领70年的领土,背后的故事让人震惊!

震撼!中国终于宣告收回被占领70年的领土,背后的故事让人震惊!

趣说世界哈
2024-06-13 11:25:11
2024-06-16 04:40:49
36氪
36氪
让一部分人先看到未来
144681文章数 2839368关注度
往期回顾 全部

科技要闻

TikTok开始找退路了?

头条要闻

欧洲杯-亚马尔创纪录卡瓦哈尔首球 西班牙3-0克罗地亚

头条要闻

欧洲杯-亚马尔创纪录卡瓦哈尔首球 西班牙3-0克罗地亚

体育要闻

莱夫利,让困难为我让路

娱乐要闻

江宏杰秀儿女刺青,不怕刺激福原爱?

财经要闻

新情况!高层对人民币的态度180°转弯

汽车要闻

东风奕派eπ008售21.66万元 冰箱彩电都配齐

态度原创

艺术
家居
房产
健康
教育

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

家居要闻

空谷来音 朴素留白的侘寂之美

房产要闻

万华对面!海口今年首宗超百亩宅地,重磅挂出!

晚餐不吃or吃七分饱,哪种更减肥?

教育要闻

厉害!长沙15岁初三少年闯进2024年阿里巴巴全球数学竞赛决赛

无障碍浏览 进入关怀版