网易首页 > 网易号 > 正文 申请入驻

AI辅助音乐创作,做有温度有情感的科技

0
分享至

钟鹏 广州趣丸网络科技有限公司资深音频算法工程师 天谱乐AI音乐算法团队领头人

采写丨南都·琶洲π记者 何茵桃

图片丨受访者提供  

人物名片:

钟鹏

广州趣丸网络科技有限公司资深音频算法工程师

天谱乐AI音乐算法团队领头人  

被评选为琶洲领军算法师后,钟鹏表示:“这是对自己算法研究成果的肯定。技术的进步是无止境的,我们需要保持好奇心跟求知欲,继续探索与钻研。”

2022年初,钟鹏加入广州趣丸网络科技有限公司(后简称为“趣丸科技”)并带领团队进行天谱乐AI音乐大模型的自主研发和应用落地。天谱乐大模型是业界首个实现视频生音乐的多模态产品,能在短时间内生成达到出版级别的音乐作品,颠覆了传统版权音乐生产周期长、制作成本高的瓶颈。  

天谱乐大模型

业界首个实现视频生音的多模态产品

研究生在读期间,钟鹏已经开始接触自然语言处理领域、情感分析方向的研究,即通过情感分析辅助抑郁症等心理疾病的治疗。这让钟鹏切身感受到人工智能的力量,他希望能用所学知识做出有温度的产品跟服务。

工作后,钟鹏从事自然语言处理与音频技术的研究,产出了如AI智能音箱、AI儿童故事机等产品。随后,钟鹏的研究方向扩展到了音乐理解与音乐生成。在他看来,语言能够传递意图,音乐则是表达情感。“音乐的复杂性远远超过了语言,音乐音频里任意细的震动与排列都代表不同的情绪,这十分吸引我。”

出于对音乐的热爱,钟鹏还自发学习吉他与尤克里里,这让他感觉到音乐是有门槛的。“我希望通过AIGC,让人人都能玩点音乐。”

2022年初,钟鹏加入了趣丸科技并参与了天谱乐大模型的研发。作为天谱乐AI音乐算法团队领头人,钟鹏带领团队进行天谱乐AI音乐大模型的自主研发和应用落地,围绕数据构建、数据标注、模型设计、模型训练评价等环节进行深耕跟探索。

天谱乐大模型采用业内领先的LLM音频域大模型技术方案,训练参数量多达4亿,可生成拟真度极高的专业级音乐成品。除了文生音、音生音,还突破性实现了视频生音功能,成为业界首个实现视频生音的多模态产品,能在短短1-2分钟内生成达到出版级别的音乐作品,突破了传统版权音乐生产周期长、制作成本高的瓶颈。

钟鹏发现,近两年大模型技术的发展对音乐生成领域带来了很多变化。以前AI音乐生成的技术链路主要以音乐符号生成为基础,从基础的作曲编曲入手,用生成式的算法结合规则的方式,先由算法生成曲谐,再利用歌声合成、伴奏生成、音频渲染等技术,将曲谐进行演绎,进而生成音乐音频。然而,这种方式会导致音乐的质量波动很大。

大模型技术发展后,对AI音乐生成的研究便转向音频域方向,这可以从音乐数据中发现并且总结规律,以端到端的方式实现完整的音乐生成。

尽管技术高速发展,但作为一种情感表达的艺术,音乐生成必须结合具体场景设计模型架构跟交互的方式。“因此我们从来不主张用AI音乐取代人类的创作,而是AI音乐辅助人类创作。”

AI技术不断选代

算法师需拓展更多技术链路

在钟鹏刚开始接触人工智能技术时,比较常见的是应用层的业务场景,比如说语音识别、图像识别。钟鹏称:“那时候感觉AI技术是非常有趣的,可以大大提高工作效率。”参与工作后,钟鹏转而从事展现层的业务场景,比如语音合成,这可以让技术与普通人实现交互。“将情感色彩赋予一个冰冷的机器,这非常吸引人。”

近几年,随着大模型技术的普及,生成式人工智能获得了更大维度的飞跃,拥有了分析和理解的能力。这让钟鹏觉得,让技术做出更多有温度的产品不再是空中楼阁。“AI技术不断选代,对现实的生活带来越来越多的影响,这正是AI的魅力所在。”

钟鹏分享道,作为音频算法工程师,需要有大量音乐相关的背景知识,才能将音乐生成工作做得更好。但是随着技术迭代,音频算法师学习的对象不仅局限于音乐音频。譬如天谱乐大模型的业务形态融合了文本、视频及图像的输入。因此,算法师还需关注自然语言处理、视频理解、图像分析等技术的融合。

钟鹏称:“作为这个时代背景下的算法工程师,除了深耕自己特定的领域外,我们还需拓展更多的技术链路。”

在第三届琶洲算法大赛上,钟鹏获评“琶洲领军算法师”。“非常感谢组委会的认可,”钟鹏说,“这也是对自己算法研究成果的肯定。技术的进步是无止境的,我们需要保持好奇心跟求知欲,继续探索与钻研。”

“海珠区评选琶洲领军算法师,为算法人才搭建了很好的人才培养与交流的平台,形成了一定的人才聚集效应,壮大了琶洲的算法人才队伍。同时算法大赛的赛制也吸引了很多优秀人才,不仅增强了琶洲在人工智能领域的影响力,也为琶洲扩宽了优质人才流入的空间。”钟鹏评价道。

谈到琶洲发展人工智能产业的优势,钟鹏称:“琶洲为大模型企业提供了很周到的政策服务与激励性的产业政策,为企业的发展解决了不少后顾之忧。其次,琶洲的算法生态建设很好,产业链比较完善,集算法、数据、政策、人才于一体,解决了企业在发展中面临的资金支持需求大、回购成本高、人才算力紧缺、商业落地难等痛点问题。”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
麦克阿瑟到晚年总算说了句大实话?当年朝鲜那一仗中国要是没打,如今整个亚洲的大格局,恐怕早就不知变成啥样了

麦克阿瑟到晚年总算说了句大实话?当年朝鲜那一仗中国要是没打,如今整个亚洲的大格局,恐怕早就不知变成啥样了

扶苏聊历史
2026-11-16 17:32:49
11月17日CBA迎来重磅外援!25岁NBA最年轻三场40+后卫加盟,广东怕他抢徐杰的球,山东怕他变班顿2.0,俩队都不敢盲签!谁敢接这烫手山芋?

11月17日CBA迎来重磅外援!25岁NBA最年轻三场40+后卫加盟,广东怕他抢徐杰的球,山东怕他变班顿2.0,俩队都不敢盲签!谁敢接这烫手山芋?

篮球热嗖
2026-11-17 09:21:10
聚焦APEC|马来西亚总理安瓦尔抵达深圳

聚焦APEC|马来西亚总理安瓦尔抵达深圳

上观新闻
2026-11-18 00:35:22
国足最新消息!浙江小将朱宏轩严重受伤,申花表示愿意承担责任,但事情不能就此结束,这三件事必须做

国足最新消息!浙江小将朱宏轩严重受伤,申花表示愿意承担责任,但事情不能就此结束,这三件事必须做

体育闲话说
2026-11-17 18:27:17
退休4年被倒查!央企原董事长被拿下,中纪委敲响警钟!

退休4年被倒查!央企原董事长被拿下,中纪委敲响警钟!

职场资深秘书
2026-11-17 16:36:20
《伟大的长征》研讨会,李乃文让“张国焘”出尽了洋相,一番心虚发言惹严肃的会场哄堂大笑

《伟大的长征》研讨会,李乃文让“张国焘”出尽了洋相,一番心虚发言惹严肃的会场哄堂大笑

娱乐故事
2026-11-17 23:54:45
突然!伯克希尔,大调仓!建仓这只科技股

突然!伯克希尔,大调仓!建仓这只科技股

证券时报
2026-11-17 18:08:04
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
央视镜头下,殷桃的“真实颜值”,治好了我的容貌焦虑

央视镜头下,殷桃的“真实颜值”,治好了我的容貌焦虑

娱乐圈十三太保
2026-11-13 15:56:34
生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

另子维爱读史
2026-11-17 20:44:13
耻辱10连败,从总冠军跌落神坛!9换2交易不值得,你们很难崛起了

耻辱10连败,从总冠军跌落神坛!9换2交易不值得,你们很难崛起了

篮球扫地僧
2026-11-17 18:41:12
风波升级!官媒下场锐评"零元面馆",言辞犀利,字字戳进老板心窝

风波升级!官媒下场锐评"零元面馆",言辞犀利,字字戳进老板心窝

卷史
2026-11-17 17:20:48
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
主场哨?国足靠争议点球扳平!热身赛连场获利 名记质疑:毫无意义

主场哨?国足靠争议点球扳平!热身赛连场获利 名记质疑:毫无意义

我爱英超
2026-11-17 22:38:08
天塌了!理财也亏了:网友8万多本金单日亏65.2元,评论区扎堆晒亏损,不少人哭诉被套不能赎回

天塌了!理财也亏了:网友8万多本金单日亏65.2元,评论区扎堆晒亏损,不少人哭诉被套不能赎回

火山詩话
2026-11-17 16:27:02
弗里克哭晕!巴萨头号巨星惨遭重创!诺坎普核心恐彻底崩盘

弗里克哭晕!巴萨头号巨星惨遭重创!诺坎普核心恐彻底崩盘

奶盖熊本熊
2026-11-17 08:45:20
克里米亚大桥遭遇最严重袭击,被彻底炸断,它到底有多重要?

克里米亚大桥遭遇最严重袭击,被彻底炸断,它到底有多重要?

装甲铲史官
2026-11-17 18:13:07
看完国足2-2巴林后,全场产生3个意想不到和2个事实,王钰栋=MVP

看完国足2-2巴林后,全场产生3个意想不到和2个事实,王钰栋=MVP

侃球熊弟
2026-11-17 22:08:12
DeepSeek开始限额使用, 理由是算力不足,网上纷纷猜测和黄仁勋辞职有关

DeepSeek开始限额使用, 理由是算力不足,网上纷纷猜测和黄仁勋辞职有关

Mr王的饭后茶
2026-11-16 16:31:00
震惊!网传浙江一新员工父亲联系HR提多项要求:愿每月自掏5000给女儿加薪,请假外出需向他报备

震惊!网传浙江一新员工父亲联系HR提多项要求:愿每月自掏5000给女儿加薪,请假外出需向他报备

火山詩话
2026-11-16 16:02:11
2026-11-18 01:15:00
南方都市报 incentive-icons
南方都市报
换一种方式,南都在现场。
644087文章数 3591421关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

头条要闻

"结婚22年两儿子均非亲生"事件女方发声:我没出轨

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

旅游
本地
艺术
数码
公开课

旅游要闻

重庆白帝城“悟空遇猴孙”刷屏网络,当事人回应:小猴子主动互动,特别奇妙;景区称拟邀博主返场,推“与猴合影”常驻项目

本地新闻

乌兰察布:以前种土豆,现在种Token

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

数码要闻

商汤发布SenseNova Loop-9B模型:部署显存需求低至10 GB内

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版