网易首页 > 网易号 > 正文 申请入驻

Suno开始给AI歌曲做视频,背后站着中国开源模型

0
分享至

作者|莉拉

这两天,娱乐资本论身边不少音乐行业从业者,都在讨论Suno的新功能Visuals。

11月17日,美国AI音乐平台Suno上线视觉创作工具Visuals,将图像和视频生成带进音乐创作流程。

有趣的是,这个功能的模型底座来自中国AI大模型公司MiniMax:Suno基于MiniMax开源的视频模型H3,打造了面向音乐场景的H3 Move,并结合自身数据进行后训练和适配。

Visuals一出,海内外创作者的反应相当兴奋。

YouTube上有大量的音乐博主发布测评视频,评论区里的讨论热烈。有用户提到此前用过MiniMax的视频生成模型,所以对生成效果很期待“之后一定会尝试”,也有用户体验后写下“口型同步很棒”“很好地利用了角色参考图。”



年初,娱乐资本论就关注过AI将音乐行业的创作门槛降低之后,创作者们面临的现状:一首歌很好写,但想要出圈却难于登天。短视频似乎成为AI音乐能够传播的最快通道。用AI产出音乐的时候,视觉传播成了创作者们不得不考虑的问题。

从这个角度看,Suno推出Visuals,本质是回应了音乐行业对视觉内容的需求。

过去几年,Suno为更多人打开了音乐创作入口,而MiniMax H3的加入,似乎提供了AI音乐向大众传播的一个新出口。但事实上,H3带给文娱行业的出口远不止一个。



AI音乐需要一套完整的视觉生产力

过去一年,AI歌曲想要在各平台上走红,往往需要一段10w+点赞的短视频帮它打开局面。

例如,最近短视频上走红的各种“宠物合唱团”。画面里是AI生成的小猫小狗对着口型,唱起主人和它们之间的故事。原本发生在主人与宠物之间的生活片段,变成了一支可以传播的音乐MV。



海外创作者也在用AI工具制作完整的音乐MV。

前两天,小娱刷到一位YouTuber发布的叫《Just NPCs (feat. Crissy)》的赛博朋克音乐MV,就是其用MiniMax H3制作的,热评第一条就是观众在玩笑“视频该收费”。足以见得,一支完整的AI音乐MV,已经能够让观众产生接近专业音乐视频的观看体验。



这些都共同指向一个变化:AI音乐的传播越来越依赖具体的视觉记忆点。人物、剧情、场景和音乐情绪结合在一起,歌曲才有机会进入短视频的内容流,获得更长的讨论和传播周期。

对视觉的需求也已经进入音乐综艺的制作环节。

音综导演诗文告诉娱乐资本论,从当下来说,AI音乐可以说是听觉和可视化一体的产物。

她提到,目前国内接触过的AI音综提案,大多数都要考虑到一首歌的视觉呈现,“我们之前做过一个提案,就是用音乐作品+创作mv的形式让选手竞赛。”

AI音乐短视频和音综之外,AI虚拟歌手赛道,也挤满了创作者。在这个赛道,视觉形象甚至直接关系到一个账号能不能持续做下去。

河豚君此前采访过的小旭音乐就是从一家传统音乐公司转型做了AI歌手矩阵,尝试给不同风格的AI音乐匹配不同的歌手形象。举个例子,他们旗下的走民俗、荒诞曲风的AI歌手,就会在视觉上带着浓厚的中式怪诞感。歌曲的情绪和画面里的诡异氛围结合起来,相关内容单条播放量达到千万级。

显然,AI音乐行业的竞争,必然延伸到视觉内容的生产能力。AI音乐想真正走到台前,就需要和可视化内容结合。

这就是Suno推出Visuals的时机所在。



当然,对于AI音乐创作者来说,做完一首歌之后,接下来还要解决一连串具体问题:怎样让同一个角色出现在不同视频里,怎样让人物唱歌时的嘴型跟上音乐,怎样让画面呼应歌词和歌曲情绪。Visuals把这些需求直接放进了音乐创作流程。

Visuals可以让用户选择平台提供的原创角色,也可以上传参考图片,让生成视频沿用指定的人物形象;视频能够呼应歌曲结构和歌词,并支持演唱口型同步。

对用户来说,参考图片有助于维持歌曲视觉IP形象的一致性,口型同步则让视频具有真实的MV质感,对于想要打造AI艺人的团队来说十分适配。

用户还可以结合音乐和文字提示生成最长15秒的视频片段,再通过时间轴延长、编排和编辑。歌词视频、专辑封面等功能,也让一首歌能够继续延伸出适合不同平台发布的内容。

可以预见,Visuals的出现让AI歌曲的生命周期,被视觉内容拉长。从此,音乐生成只是起点,角色、MV和持续更新的内容,才是AI音乐走向更大受众的关键环节。

而在梳理清楚用户需求与产品功能之间的对应后,小娱更好奇的是:Suno作为AI音乐平台,如何与多模态模型协同,将模型能力转化为一个真正服务于音乐创作的新工具?在这个过程中,MiniMax H3又为什么会成为Suno的选择?



AI音乐究竟需要什么样的视频工具?

要解答这个问题,得先从产品需求出发做一个判断。

在小娱看来,Suno需要的视频工具,至少要满足两个条件:懂音乐,也懂Suno自己的创作生态。

先说懂音乐。

音乐生成器里的视频功能,对模型的要求和普通文生视频有明显区别。

用户已经有了一首完整的歌,模型需要围绕这首歌组织画面:理解歌曲的节奏和结构,识别歌词表达的内容,匹配相应的画面情绪,还要处理人物形象与演唱状态之间的关系。

尤其是人物演唱场景,口型能否跟上音频,直接影响最终视频的观感。

这要求模型具备比较完整的多模态理解和生成能力。文本、图像、视频、音频需要在同一套生成流程里协同工作,模型既要理解用户提供的素材,也要理解不同素材之间的关系。

MiniMax H3的技术路线,正好围绕这一点展开。

今年7月31日,MiniMax发布H3,将其定位为通用多模态生成模型;8月,MiniMax进一步开放模型权重,供开发者和企业基于模型进行部署与开发。

和此前将文生视频、图生视频、视频编辑等任务分开处理的方式相比,H3用统一的模型架构处理文本、图像、视频和音频构成的多模态上下文。

放到音乐创作场景里,我们可以想象这样一个过程:

一位Suno用户刚刚生成了一首歌,想给自己的虚拟歌手制作一支MV。他上传歌手的形象参考图,输入一段画面描述,再提供歌曲音频,甚至加入一段动作参考视频。

模型理解了这些素材分别表达了什么,并将人物形象、动作、歌曲情绪和声音组织进同一段视频里。

创作者给出的素材可能来自不同媒介,最终希望得到的却是一段完整的视听内容。H3能够在统一的多模态框架下处理这些输入,减少创作者在图像、视频和音频工具之间反复切换的环节。

它还有一个与音乐视频需求直接相关的特点。支持视频和声音同步生成。根据MiniMax公布的技术规格,H3支持原生立体声音频视频生成,完整工作流最高支持2K分辨率。模型支持多模态参考输入,最多可以接入9张图片、3段视频和3段音频。



对刚才那位想制作MV的用户来说,多张图片可以帮助固定虚拟歌手的外形,视频参考可以提供动作和表演方向,音频则为画面生成提供歌曲内容。

原生音视频生成能力,也让声音与画面能够在同一生成流程中得到处理。创作者可以围绕一首歌反复生成不同片段,再挑选、编排成完整作品。

对于Visuals而言,这套能力提供了比较合适的技术基础:用户上传角色参考图,模型围绕歌曲生成画面,再通过口型同步等功能,让角色真正进入音乐视频。

当然,通用模型的能力只是起点。Suno真正需要的,是一套能够“无缝衔接”音乐产品和用户习惯的视频生成工具。

拆开来讲,就是Suno长期积累了音乐生成场景,对用户如何创作歌曲、如何使用歌曲,以及希望围绕歌曲生成什么样的视觉内容,都有自己的理解。一个通用视频模型即使具备多模态生成能力,需要进一步适配具体产品场景,才能把这些能力转化成用户真正用得上的功能。

与之相对的,H3对于Suno来说更大的价值,就在于它选择了开源。

MiniMax开放H3模型权重,给了Suno进一步定制的空间。与直接调用一个封闭的视频生成服务相比,开放权重让合作方能够围绕自己的产品需求进行部署、调整和后训练,将模型能力接入自身的技术流程。

Suno首席产品官Jack Brody也曾表示,团队使用自己的数据对这一开源模型进行了优化,使其更适合音乐视频制作。

根据Suno官方FAQ,Visuals使用的模型名为H3 Move,基于MiniMax H3开发,Suno针对自身社区进行了优化,并加入了额外的安全保护机制。

好的技术合作,往往始于彼此需要,也在彼此成就中打开新的空间。

从这个角度来看,Suno对MiniMax的选择属于“一个有能力,一个有场景”的双向奔赴。MiniMax把模型能力和开发空间交给Suno,Suno则用自己的音乐场景和用户需求,让H3有了更明确的落地路径。

技术找到了用武之地,产品也获得了继续进化的空间,用户被满足了“渴望已久”的需求,怎么不是一次三方共赢呢?



从Suno到好莱坞,开源模型在海外走得有多远?

一个开源模型的想象空间,取决于全球开发者能用它做出什么。

Suno只是H3进入海外文娱产业的一个入口。过去三个月,围绕这款模型展开的开发和合作,已经延伸到专业影视制作、视频生成平台,以及更底层的技术开发环节。

AI影视公司Utopai Studios基于H3进行后训练,开发了自己的视频生成模型Utopai X,并将其用于专业影视制作探索。据企业披露,目前已有20多个在制项目,覆盖剧集和院线长片。

对于Utopai这样的公司来说,视频生成模型需要面对的,是电影、剧集制作中更具体的专业要求。基于H3继续开发专业模型,也意味着它可以把自身的影视制作经验带入模型训练,让通用视频生成能力进一步贴近专业制作需求。

这样的二次开发也发生在视频生成平台。

Pika基于H3推出Pika H3 Flex,围绕专业创作需求继续优化生成控制能力;fal则推出H3 Max,将重点放在生成速度和推理效率上。

FastVideo等技术团队围绕H3进行推理加速和硬件适配,RunningHub等创作平台也将它接入模型工作流。模型由此进入更多开发者熟悉的工具和创作环境。

从这些合作可以看到,模型进入文娱产业后,面对的并不是一套统一的需求。影视制作公司关心模型能否适应专业内容生产,视频工具平台需要考虑生成效果、操作体验和产品差异化,音乐平台则希望围绕歌曲建立更完整的视听创作流程。

这就是开源最大的优势所在,同一套模型,进入不同公司的业务体系,就可以长出不同的产品形态。模型能力会变成企业产品的核心能力之一。这样,合作方尽可以把研发投入用在自己最擅长的环节。公开数据显示,H3开源100天,下载量已经超过了超 1.48 亿次,衍生模型共 1472 个。

换个角度看,现阶段,开源也给H3提供了一个更大的试验场。 海外企业正在用具体业务需求检验开源模型的能力,也让它有机会进入更多细分的内容生产场景。

毕竟,开源模型的价值和野心,不只是被世界看见,更是被世界拿去创造。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湖南一派出所副所长借钱8万仅还5万,当地回应:情况属实,已约谈当事人尽快还款,未发现其利用公职施加影响、索取财物或收受好处费的情况

湖南一派出所副所长借钱8万仅还5万,当地回应:情况属实,已约谈当事人尽快还款,未发现其利用公职施加影响、索取财物或收受好处费的情况

大风新闻
2026-11-22 17:34:10
一张假脸拉胯整部剧?蒋欣新剧里的女二号,嘴和鼻歪的真让人出戏

一张假脸拉胯整部剧?蒋欣新剧里的女二号,嘴和鼻歪的真让人出戏

一号崽崽
2026-11-22 13:20:40
住久了发现:客厅才是最浪费的空间,看看广东人的设计,实用又好看

住久了发现:客厅才是最浪费的空间,看看广东人的设计,实用又好看

绘本家居
2026-11-20 17:16:34
北大医学博士薄世宁,在ICU工作25年,劝告你:在健康时一定要找个能托付的人!人老了,比生病更可怕的,是身边没有一个“自己人”

北大医学博士薄世宁,在ICU工作25年,劝告你:在健康时一定要找个能托付的人!人老了,比生病更可怕的,是身边没有一个“自己人”

背包旅行
2026-11-21 17:31:24
晚清最残忍的午宴:8位大将满心欢喜赴宴,还没动筷就人头落地

晚清最残忍的午宴:8位大将满心欢喜赴宴,还没动筷就人头落地

纪实文录
2025-07-18 10:37:56
66岁欧阳震华将住养老院!丁克30年真相曝光,否认吃赌王孙女软饭

66岁欧阳震华将住养老院!丁克30年真相曝光,否认吃赌王孙女软饭

不太爱笑的小羊
2026-11-22 18:30:11
4年买了两辆新能源车,终于顿悟了:装不了家充桩,就该买纯电车

4年买了两辆新能源车,终于顿悟了:装不了家充桩,就该买纯电车

小怪吃美食
2026-11-21 15:08:34
上海南京路立C罗雕像被骂崇洋媚外!真没必要上纲上线,就是普通商业引流

上海南京路立C罗雕像被骂崇洋媚外!真没必要上纲上线,就是普通商业引流

大厂编外实习生
2026-11-22 10:39:57
官媒点名!4位明星化身老赖,最后一位臭名昭著,给大众提了个醒

官媒点名!4位明星化身老赖,最后一位臭名昭著,给大众提了个醒

林轻吟
2026-11-10 07:17:48
开油车的突然要笑了,不是油价大跌,是几个现实的问题慢慢露出来

开油车的突然要笑了,不是油价大跌,是几个现实的问题慢慢露出来

笑熬浆糊111
2026-11-22 11:24:58
6台能“饿死修理厂”的神车!按时保养60万公里不用动发动机,老板见了都头疼

6台能“饿死修理厂”的神车!按时保养60万公里不用动发动机,老板见了都头疼

三农老历
2026-11-22 16:23:38
尴尬!涨价后保时捷卡宴销量大跌!10月仅售557台!成绩下滑明显

尴尬!涨价后保时捷卡宴销量大跌!10月仅售557台!成绩下滑明显

沙雕小琳琳
2026-11-21 02:50:10
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

磊子讲史
2026-11-11 17:22:17
“张朝阳被证监会出具警示函”,搜狐创始人张朝阳:不是我,AI区别不了同名同姓的人

“张朝阳被证监会出具警示函”,搜狐创始人张朝阳:不是我,AI区别不了同名同姓的人

红星新闻
2026-11-22 10:56:12
埃芬博格:拜仁高层不该这样对穆西亚拉,这种做法是灾难性的

埃芬博格:拜仁高层不该这样对穆西亚拉,这种做法是灾难性的

懂球帝
2026-11-22 21:09:08
生涯拿过MVP和最佳第六人有多难?历史仅2人做到,哈登之外还有谁?

生涯拿过MVP和最佳第六人有多难?历史仅2人做到,哈登之外还有谁?

篮球圈里的那些事
2026-11-22 15:00:45
意媒:米兰对阵黑马弗罗西诺内,对手反击次数意甲最多

意媒:米兰对阵黑马弗罗西诺内,对手反击次数意甲最多

懂球帝
2026-11-23 01:02:41
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

品读时刻
2026-11-21 09:09:02
2026-11-23 01:36:49
娱乐资本论 incentive-icons
娱乐资本论
这里是“娱乐资本论”。我们关注文化的产业融合,影视的真挚表达,互联网娱乐的时代精神。
8195文章数 202160关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

俄导弹落入波兰 北约秘书长吕特强硬回应

头条要闻

俄导弹落入波兰 北约秘书长吕特强硬回应

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

艺术
游戏
本地
数码
军事航空

艺术要闻

印度,一个盛产美女的国家:多元血脉与纱丽风情交织的独特之美

GTA6爱爱戏制作难度极大!R星力求真实 啥场景都要有

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

数码要闻

好消息:AMD Zen6桌面CPU提前登场!坏消息:6GHz悬了

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版