网易首页 > 网易号 > 正文 申请入驻

这AI绝对偷了格莱美奖杯 把LLaMA喂成乐坛顶流:开源版Suno来了!

0
分享至

家人们震惊了!现在 AI 成精啦,不仅能写能画,现在连唱功都是格莱美级的了!

魅惑空灵电音女声,也太好听了吧!

https://mp.weixin.qq.com/s/cbaefgtaVFmtlHfDvQtTYA

酷佬街头说唱,怎么有一股八方来财的味儿?

https://mp.weixin.qq.com/s/cbaefgtaVFmtlHfDvQtTYA

强混嘹亮欧美女高,像极了阿黛尔~

https://mp.weixin.qq.com/s/cbaefgtaVFmtlHfDvQtTYA

极端的金属核嗓也不在话下!

https://mp.weixin.qq.com/s/cbaefgtaVFmtlHfDvQtTYA

日韩女团风,日韩英三语无缝切换!

https://mp.weixin.qq.com/s/cbaefgtaVFmtlHfDvQtTYA

还有这首 AI 新编版《世界赠与我的》!模仿王菲空灵仙嗓也太到位了吧,完全不一样的旋律,一样的嘎嘎好听,宁静中带一点哀伤的意境拿捏得简直了!

模仿碧梨的慵懒声线,确定不是碧梨本人在唱?

网友爆改 rap 版 YouTube 亿播神曲《Plastic Love》:

YuE(乐):开源版 Suno AI

上述所有让网友跪着听的炸裂神曲,全都出自港科大和音乐圈 DeepSeek —— Multimodal Art Projection(MAP)联手开源音乐生成基座 —— YuE(乐)。

  • 论文标题:YuE: Scaling Open Foundation Models for Long-Form Music Generation
  • 项目地址:https://github.com/multimodal-art-projection/YuE
  • Demo:https://map-yue.github.io
  • Arxiv:https://arxiv.org/abs/2503.08638

这个模型可太强啦,直接对标 Suno AI,自春节期间放出以来 GitHub 已飙星 4500+,推特累计浏览上百万次!老外刷着 demo 直接给 Suno 和 Udio 开起追悼会:闭源音乐生成这是药丸!

作为第一个开源的全曲级歌曲生成基座,YuE 做到了连 Google 家的 MusicLM、Meta 家的 MusicGen 都做不到的事:不仅能建模长达 5 分钟的歌曲,又能同时生成专业级歌声和伴奏!

这是怎么实现的呢?

YuE 其实是一个双 LLaMA 语言模型架构(下图),因此无痛适配大部分大语言基建,非常容易 scale up。

  • 其中大的 Stage-1 LM 联合建模文本条件和粗粒度音频离散 token 序列。

  • 而小的 Stage-2 LM 基于大 LM 给出的粗粒度离散 token 合成剩余的(残差)细粒度 token。

  • 最后得到的多码本离散音频序列会送入 tokenizer decoder 重建回音频,并送入一个轻型上采样器重构 44.1khz 的音频。

在 YuE 之前,主要的学界工作还是把歌声合成(Singing Voice Synthesis)和音乐生成(Music Generation)分开做的,只有像 Suno AI、Udio 这样的闭源玩家们成功探索出来了端到端的歌曲生成,把两种任务合并到一起建模。有个别学界工作会分阶段对人声和伴奏分别建模,但是效果距离商业闭源还是差距较大,也没有开源。这里就不得不提 YuE 的双轨版 Next-Token Prediction(Dual-NTP)策略了。

YuE 的 Stage-1 LM 利用声伴分离先验,把人声和伴奏轨在同一个时间步分别用两个 token 建模(上图虚线框),巧妙地实现了歌声合成和音乐伴奏生成的联合建模。这不仅避免了离散 token 的信息损失问题,得以精准捕捉细腻人声,还保证了轨间对齐和端到端。

  • 如果使用 ΔWER 来表示语音内容重构损失,那么利用分离先验得到的人声轨(下左图橙)的损失显著小于合轨(下左图蓝),甚至在极端的金属风格下也能维持较低的语音内容重构损失。
  • 基于 Dual-NTP 训练的 LM 在相同的训练成本下也表现出比 NTP 更低的 loss(下右图橙 vs 蓝)。

但为了达成数分钟级的歌曲建模,研究团队又对 Stage-1 LM 提出了另一个改进:结构化渐进生成(Structural Progressive Generation,缩写为 CoT),将歌曲拆分成主副歌段落后,通过文本 token(方形)、音频 token(圆形)在同上下文内交替排布的方式,避免了文本条件控制远程衰减的问题,使得人声轨能在全曲范围内准确跟随歌词控制。

消融显示,这种带有文本中间态的 CoT 在 0.5B 下比其它方法(原版、课程学习、ABF)具有更低的 Whisper 转录歌词错误率(橙线),并在 scale up 到 7B 之后得到更显著的收益(蓝线)。受限于 Whisper 的歌声转录性能,20% 的错误率已经接近 groundtruth 原曲的错误率。

不仅如此,团队还专门为音乐开发了特有的上下文学习(Music In-Context Learning,Music ICL)。与此前 TTS 领域的续写型 ICL 不同,音乐创作常常要求从一个动机出发向左右两边发展构造成曲,要避免抄袭鼓励创作。为此,Music ICL 将曲中任意 20~40 秒片段的音乐拼接到 CoT 数据开头,并在 Stage-1 LM 退火阶段利用约 2% 的计算量延迟激活这种格式。

团队发现,过早地激活 Music ICL 容易导致捷径学习(Shortcut Learning),让模型成为洗歌机器,对音乐创作能力有损。而延迟激活策略极大地节约了计算量,并且保护了模型的音乐性和创造力。这也带来了本文开头的风格克隆(Style Cloning)、声音克隆(Voice Cloning)、风格迁移(Style Transfer)的相应能力,模仿王菲、碧梨甚至爆改 Rap 版 City Pop。在测试时开启 ICL 和 CFG(Classifier Free Guidance)模式后,模型音乐性暴涨!

团队将 Stage-1 LM 扩展到 1.75T token,7B 的规模后,在人类偏好评测中获得了闭源级的音乐性和综合评分。

在人声音域上(下图数字越大音域越宽广),YuE 与国际领先的 Suno、Udio 处于同一水平线。

在生成时长上,YuE 也位于国际领先水平。

抄袭检测显示,即使提供训练集内样本,YuE 的查重率甚至低于学术数据集 GTZAN 的同流派内不同曲目相似度,更是远低于人类翻唱、改编曲目。

不仅如此,YuE 还有非常不错的 embedding 质量。作为一个生成模型,它的单轨无条件模式可用于抽取全曲级 embedding,而且表征质量和 SOTA 表征学习模型处于同一水平,甚至在调性识别上还超过了最新自监督学习 SOTA MuQ。这下确认 YuE 唱歌不会跑调啦!

还等什么,快来玩玩看吧~

  • 项目地址:https://github.com/multimodal-art-projection/YuE
  • Demo:https://map-yue.github.io
  • Arxiv:https://arxiv.org/abs/2503.08638
  • B 站讲解:https://b23.tv/YaYtvVi

交互式 Demo(非官方):

  • https://huggingface.co/spaces/fffiloni/YuE
  • https://yueai.app/zh/playground
  • https://yueai.ai

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我在澳门赌厅干15年,说句实在话:赢钱的人,比输钱的人走得更早

我在澳门赌厅干15年,说句实在话:赢钱的人,比输钱的人走得更早

千秋文化
2026-11-18 20:52:59
苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

品读时刻
2026-11-21 09:09:02
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
日媒:日本一女警察在警署等地分别与两名上司发生性行为,3人被处分

日媒:日本一女警察在警署等地分别与两名上司发生性行为,3人被处分

环球网资讯
2026-11-21 16:38:05
突发暴跌!超29万人爆仓

突发暴跌!超29万人爆仓

中国基金报
2026-11-21 09:22:17
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
留洋巅峰战!韩旭狂轰38+9创新高压王思雨16+5 赢中国德比

留洋巅峰战!韩旭狂轰38+9创新高压王思雨16+5 赢中国德比

醉卧浮生
2026-11-21 15:19:30
单节仅得8分!广东男篮半场落后NBL球队,徐杰硬撑,阿祖纯副作用

单节仅得8分!广东男篮半场落后NBL球队,徐杰硬撑,阿祖纯副作用

萌兰聊个球
2026-11-21 21:12:48
爆燃致5人遇难,郑州市调查组:建议不追究车主刑责

爆燃致5人遇难,郑州市调查组:建议不追究车主刑责

极目新闻
2026-11-21 14:32:12
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

麓谷隐士
2026-11-21 07:19:12
突发!黄仁勋掀桌了

突发!黄仁勋掀桌了

小鱼爱鱼乐
2026-11-21 16:08:24
中国台北代表施振荣的不习惯,映照台当局在两岸交流上的政治操弄!

中国台北代表施振荣的不习惯,映照台当局在两岸交流上的政治操弄!

有态度的何总
2026-11-21 08:06:02
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

舒山有鹿
2026-11-20 16:20:23
突发!惨烈!美国,股灾了!

突发!惨烈!美国,股灾了!

财经要参
2026-11-21 15:52:09
强迫女友发生关系,18岁男子获刑3年,出狱后两人复合同居,女友因吵架提及强奸旧事被杀害;该案即将一审开庭

强迫女友发生关系,18岁男子获刑3年,出狱后两人复合同居,女友因吵架提及强奸旧事被杀害;该案即将一审开庭

大风新闻
2026-11-21 19:30:06
逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

逼急了!网传广东一男子沉迷每晚玩魔兽,妻子劝说无果,公布其游戏ID号召网友凌晨上线截杀

火山詩话
2026-11-20 12:08:28
2026-11-21 21:55:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
本地
教育
艺术
军事航空

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版