网易首页 > 网易号 > 正文 申请入驻

独家|趣丸科技发布首个多模态配乐大模型,革新音视频创作工作流

0
分享至

7月26日至29日,2024年第二十一届中国国际数码互动娱乐展览会(ChinaJoy)在上海新国际博览中心开幕。由趣丸科技打造的多模态配乐大模型“天谱乐”惊喜亮相,成为本届大会最具创新的展品之一。

天谱乐大模型不仅支持文生音乐、音频生音乐,还首创图片/视频生音乐功能,多模态输入能力超越Suno。用户仅需上传相册中的一张图片或一段不超过60秒的视频,即可生成与图像内容和基调高度适配的带人声唱词的完整歌曲,生成效果达到专业级水准,极大地满足用户多样化的视听创作需求。

目前,天谱乐大模型已全面接入趣丸科技旗下唱鸭APP,面向所有用户开放。用户可登陆唱鸭官网或下载APP限时免费体验。

业内人士表示,天谱乐无疑带来了AI音乐生成技术的重大突破,展示了AI在理解和创造多模态内容的先进能力,对短视频、影视和音乐行业带来了前所未有的挑战和机遇。

  • 天谱乐视频及文本生成歌曲案例

视频生成歌曲,让同步视听生成变成现实

随着数字音乐和短视频文化的蓬勃发展,越来越多的年轻人享受音乐的方式已不再局限于单纯地听歌、K歌,呈现出从“听唱”转向“唱作”的消费偏好,青年群体参与音视频作品创作的需求意识逐渐上扬。为了更好地满足用户,解决这些应用中的实际需求,趣丸科技天谱乐大模型应运而生。

天谱乐大模型独创的“视频生成歌曲”功能,支持上传图片以及MP4、MOV等多种视频格式,生成的音乐曲风丰富、歌词与人声兼备。同时输出带有字幕和封面标签的成品视频,方便一键分享到社媒或好友。

对于普通用户,即使不会乐器不懂乐理也可以为Vlog、家庭录像增添背景音乐或创作专属歌曲来表达自己的态度与情感。对于专业人士,唱鸭网页端为广告、影视和音乐从业者提供音乐专家模式,具备更精准的参数控制和更高的创作自由度。

此外,“文生音乐”功能,用户在输入一段文字后,仅需等待15-20秒,即可生成长达3.5分钟的纯音乐。“音频生音乐”功能,提供“三键成曲”、“哼唱成曲”多种玩法。

天谱乐的强大,在于打破了AI在音乐理解和生成上的局限。据了解,天谱乐大模型由趣丸科技唱鸭团队研发。该团队自研了“多模态音乐生成大模型”技术,在安全合规下,让模型不仅可以根据视频画面的明暗、色彩、情绪的细微变化逐帧识别和理解,也可以理解音乐的和弦、旋律、歌词、演唱风格等复杂特征,最终生成高契合度的视频配乐。

关于团队的构成,趣丸科技副总裁贾朔介绍到“与典型的大模型研发团队不同,我们团队大部分都是有很强的技术和音乐背景的复合型人才。所以我们更有能力去辨别一个好的音乐结构、好的音乐作品应该长什么样子,然后通过技术创造出更有音乐审美与应用价值的产品。”

唱鸭天谱乐官网

从技术到应用,释放AI的真正价值

音乐是有生命的,它不仅是一种艺术形式,更是情感交流和表达的方式。趣丸科技深知AI音乐工具不仅是技术的堆砌,更是用户情感的载体。通过技术创新降低音乐创作门槛,让用户不再受限于专业的乐理知识,复杂的音乐制作流程和昂贵的版权费用,就可以轻松通过音乐创作记录生活的切片,在创作中提升审美自觉和音乐生产能力。

以唱鸭为代表的AI音乐创作工具使人人参与音乐创作成为现实,也带来生产侧和消费侧的全面革新,其对影视和音乐行业的潜在影响不会亚于数字音乐和流媒体的兴起。

《2024中国音乐产业发展总报告》显示,2023年中国数字音乐产业规模达到893.45亿元,中国网络音乐用户规模达到7.26亿。高盛《Music In The Air》指出,预计到2030年,全球音乐市场(录制音乐、词曲版权和演出市场)的收入预计达到1637亿美元。在可预见的未来,音乐市场仍将保持旺盛发展势头。而随着生成式AI的推动和广泛应用,数字音乐产业价值将进一步凸显。我们也应该看到,生成式AI技术虽然解锁了巨大的市场空间和可能性,但也不能忽视其不完美的现状。贾朔表示,“让AI工具能通过人类的服从性测试,真正嵌入到内容创作者的工具流里面,解决创作过程中的实际问题,可能是行业内的整体挑战。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
给空姐配裤装的山航,藏着多少细节?

给空姐配裤装的山航,藏着多少细节?

Vista氢商业
2026-06-03 10:38:14
再见独行侠,你好火箭!3换1!欧文加盟火箭交易方案出炉

再见独行侠,你好火箭!3换1!欧文加盟火箭交易方案出炉

生活新鲜市
2026-06-04 11:04:33
工龄超30年的恭喜了!2026养老金调整新规则,工龄越长涨得越多

工龄超30年的恭喜了!2026养老金调整新规则,工龄越长涨得越多

新国学文化
2026-06-04 13:18:52
1735年雍正驾崩后,25岁的弘历龙椅还没坐稳,就紧急下了一道密旨

1735年雍正驾崩后,25岁的弘历龙椅还没坐稳,就紧急下了一道密旨

饭小妹说历史
2026-05-31 09:45:50
暴雨、大暴雨要来了!多预警发布

暴雨、大暴雨要来了!多预警发布

大象新闻
2026-06-04 10:11:10
克拉克森登场,目前NBA总决赛场上有两位菲律宾球员

克拉克森登场,目前NBA总决赛场上有两位菲律宾球员

懂球帝
2026-06-04 09:52:13
2026年,6月扭转格局,7月富贵敲门,8月圆满幸福的星座

2026年,6月扭转格局,7月富贵敲门,8月圆满幸福的星座

朗威谈星座
2026-06-02 15:48:25
一周多达9次,37岁男子不幸猝死,妻子:多次劝说,他始终未听

一周多达9次,37岁男子不幸猝死,妻子:多次劝说,他始终未听

健康科普365
2026-04-14 09:04:28
四川2市政府发布人事动态

四川2市政府发布人事动态

人民资讯
2026-06-04 12:49:16
菲律宾与广东同是1亿多人口,菲律宾创造3.3万亿,广东是多少呢?

菲律宾与广东同是1亿多人口,菲律宾创造3.3万亿,广东是多少呢?

南宗历史
2026-05-26 19:59:14
“三哥,你尾款我不要了!”中国外贸人反杀印度老赖,招招绝了!

“三哥,你尾款我不要了!”中国外贸人反杀印度老赖,招招绝了!

墨印斋
2026-06-02 23:18:53
0比3吞蛋!中国女排发挥太烂,赵勇暂停怒吼队员,打成什么了?

0比3吞蛋!中国女排发挥太烂,赵勇暂停怒吼队员,打成什么了?

观察者海风
2026-06-04 12:49:03
2026年下半年运势最强最顺排行榜:财运最旺,事业逆袭的3个星座

2026年下半年运势最强最顺排行榜:财运最旺,事业逆袭的3个星座

朗威谈星座
2026-06-04 13:12:48
最费钱的日子又要来了。

最费钱的日子又要来了。

老陆不老
2026-06-04 11:30:16
一天热死3400人!莫迪的“牛皮”,被高温撕得粉碎?

一天热死3400人!莫迪的“牛皮”,被高温撕得粉碎?

李云飞Afey
2026-06-04 00:12:53
他被日本封杀被韩国解约,却成为中超队长,助力辽宁铁人队进中超

他被日本封杀被韩国解约,却成为中超队长,助力辽宁铁人队进中超

削桐作琴
2026-06-03 15:22:34
电力板块再度走强,豫能控股等涨停

电力板块再度走强,豫能控股等涨停

澎湃新闻
2026-06-04 10:04:22
苹果5款新品官宣,6月9日,正式发布

苹果5款新品官宣,6月9日,正式发布

科技堡垒
2026-06-03 09:40:13
印媒绝望:高温或致千人死亡!想要抵制中国空调,却惦记中国技术

印媒绝望:高温或致千人死亡!想要抵制中国空调,却惦记中国技术

花小猫的美食日常
2026-06-03 19:15:46
异性对接吻一定要慎重,一旦“接吻”了,关系就会发生重大变化!

异性对接吻一定要慎重,一旦“接吻”了,关系就会发生重大变化!

皓皓情感说
2026-05-15 12:29:38
2026-06-04 14:32:49
36氪 incentive-icons
36氪
让一部分人先看到未来
151566文章数 2848787关注度
往期回顾 全部

科技要闻

历史最大IPO!马斯克下周冲击万亿富豪

头条要闻

又打一“虎” 中央纪委“清理门户”

头条要闻

又打一“虎” 中央纪委“清理门户”

体育要闻

王俊杰11前板成第一尖刀 媒体人:独一档

娱乐要闻

奚梦瑶头纱上的古董发卡也是四太的

财经要闻

SpaceX发行价135美元 6月12日上市交易

汽车要闻

北京现代5月销量强势反弹:国内17065辆 出口环比翻倍

态度原创

教育
家居
旅游
时尚
军事航空

教育要闻

毛坦厂中学励志标语,催人奋进!祝考生金榜题名~

家居要闻

220平对味儿家 空间情绪宅

旅游要闻

辽宁43家景区向上海朋友免费开放

粗腿宽肩,正在成为中女审美新风向

军事要闻

美众议院要求特朗普停止对伊动武并撤军

无障碍浏览 进入关怀版