网易首页 > 网易号 > 正文 申请入驻

中国首个音乐SOTA模型「天工音乐大模型」今日公测

0
分享至

2024年4月17日,在「天工」大模型一周年之际,昆仑万维重磅宣布,「天工3.0」基座大模型与「天工SkyMusic」音乐大模型正式开启公测!



一年前的今天,第一版天工大模型正式对外发布上线,一年来我们不断迭代模型,迭代应用产品,模型和应用都越做越好,以此回报广大用户的支持。



「天工3.0」拥有4000亿参数,超越了3140亿参数的Grok-1,是全球最大的开源MoE大模型。「天工3.0」在语义理解、逻辑推理、通用性、泛化性、不确定性知识、学习能力等领域拥有突破性的性能提升,数学/推理/代码/文创能力提升超过30%。



(天工3.0模型参数超越Grok-1,成全球最大开源MoE专家混合大模型)

强大的模型技术实力赋予「天工3.0」超强的性能表现。在MMBench等多项权威多模态测评结果中,「天工3.0」超越GPT-4V,全球领先。



(天工3.0多模态性能超越GPT-4V,全球领先)

同时,「天工3.0」旗下的「天工SkyMusic」音乐大模型也在今日面向全社会开放公测。「天工SkyMusic」是中国首个音乐SOTA模型,更是中国的自研大模型技术第一次在AIGC领域领跑全球。



(天工SkyMusic综合性能超越Suno V3,取得音乐大模型SOTA,领跑全球)

天工SkyMusic:中国首个音乐AIGC SOTA模型

此前,大模型已经在文本、图像等多个技术领域取得突破,带来产业全面变革。然而,在AI音乐生成领域,全球迟迟等不到一款产品,开启「音乐ChatGPT时刻」

这是因为一直以来,AI音乐行业大量研究都集中在符号音乐生成技术路线上,并且大多只能实现无人声背景音乐(Background Music,BGM)的生成,音乐的质量、效果、审美都远远达不到可用水平,产业迟迟未能爆发。



(「天工SkyMusic」自研AI音乐大模型技术架构)

与行业主流路径不同,「天工SkyMusic」采用自研大模型音乐音频生成技术路线。这一路线直接通过大模型技术实现乐器、人声、旋律、音量、音符的一体化端到端音乐生成,技术难度极大,全球只有包括昆仑万维在内的极少数顶尖玩家参与。

在与海外顶尖的AI音乐大模型Suno V3的横向测评中,「天工SkyMusic」在人声&BGM音质、人声自然度、发音可懂度等领域显著领先对手,并以6.65分的综合得分超越Suno V3,成为全球AI音乐SOTA模型

此外,「天工SkyMusic」还拥有独创的参考音乐生成方言歌曲生成能力。

参考音乐生成:用户可上传自有参考音乐,或选择「天工SkyMusic」资料库中现有的参考音乐,从而生成风格、唱腔类似的歌曲,进一步降低音乐大模型的使用门槛,让不熟悉乐理知识的用户也能轻松玩转。

方言歌曲生成:「天工SkyMusic」生成的音乐不仅在人声自然度、发声可懂度等领域表现优秀,更能够支持粤语、成都话、北京话等众多方言,让用户能够更自由地实现音乐表达,传播方言文化。

「天工SkyMusic」是中国首个公开可用的AI音乐生成模型,更是中国自研大模型技术第一次在AIGC领域领跑全球

当前,在文本大模型领域,OpenAI吸引了全球的注意力;但是在AI搜索、AI音乐生成等细分领域,中国玩家们正在奋勇前行,不断通过自研技术取得细分领域顶尖的SOTA表现,共同建设中国大模型产业,打造自主可控的大模型产业生态

天工3.0:4000亿参数,全球最大开源MoE大模型

在上一代「天工2.0」MoE大模型的领先基础上,「天工3.0」实现了全面的性能升级,采用了4000亿级参数MoE混合专家模型架构,是目前全球模型参数最大、性能最强的开源MoE模型。

「天工3.0」的逻辑推理能力、语义理解能力、应对复杂需求能力、内容创作能力全面升级,并新增了多轮搜索与综合工具调用图表绘制研究模式增强模式改图扩图等多项AI能力,为用户带来全新AI体验。

多轮搜索与综合工具调用:「天工3.0」针对模型独立规划、调用、组合外部工具及整合信息的能力进行了专项训练,使其能够独立生成并调用代码,完成包括产业研究、产品横评、信息分析、图片生成、图表绘制等多种复杂用户需求。

同时,「天工3.0」能够通过强大的语义理解能力将用户任务拆解成细分环节,实时判断是否需要联网或调用工具,进行单轮或多轮的联网搜索、工具调用,完成包括多轮搜索、热点信息分析、图片生成等复杂用户需求。



(Query:查询最新中国历史电影票房排行,图表展示)

图表绘制:「天工3.0」全面提高了逻辑推理能力与用户自然语言Query的理解能力,使其能够更精准地判断用户需求,独立生成并调用代码,结合文本需求实时进行内容分析及图表构建,为用户带来更直观、高效的对比结果。



(Query:北京、上海、重庆哪个好玩?)

多轮搜索、综合工具调用、图表绘制等都是「天工3.0」所独有的大模型综合能力,其从底层打通了「天工3.0」的AI搜索、AI对话、AI代码生成、AI图片识别、AI图像生成等底层能力,通过语义识别能力直接触发,为用户带来更加便捷、高效的AI体验,成为真正的AI生产力工具。

此外,「天工3.0」中还增加了研究模式、增强模式、改图扩图等多项AI能力。

研究模式:在研究模式中,「天工3.0」能够围绕用户的某个简单指令进行相关问题的延伸,自动生成研究大纲、图谱、实践总结、思维导图,帮助用户快速清晰地把握核心内容,完成用户复杂的研究需求。



(Query:康乾盛世年代)

增强模式:在增强模式中,「天工3.0」能够针对用户的复杂Query进行拆解、细化、并进行追问、信息理解与补全,使其在自然语义理解方面性能更强,面对不确定性知识时表现更好,能够更精准、高效地满足用户需求。



(Query:2024年春节档电影;「天工3.0」理解并追问用户需求)

改图扩图:「天工3.0」多模态性能取得全面突破,超越GPT-4V,综合排名全球第一。在强大的技术底座支持下,「天工3.0」的AI绘图能力新增了图片尺寸扩展、图片定向调整、垫图生图、垫图进化、垫图扩图等全新功能。



(「天工3.0」的AI改图、修图、扩图等功能)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
"计划未来几周内访问中国"

"计划未来几周内访问中国"

鲁中晨报
2024-06-16 17:35:03
Vivo正被印度本土化

Vivo正被印度本土化

EETOP半导体社区
2024-06-16 11:21:36
阿里数赛全球第1名,被大家忽略的徐啸宇,到底有多优秀?

阿里数赛全球第1名,被大家忽略的徐啸宇,到底有多优秀?

冒泡泡的鱼儿
2024-06-15 10:35:02
追梦回应克莱取关勇士:我觉得这很好笑 你们都想看有人感到受伤

追梦回应克莱取关勇士:我觉得这很好笑 你们都想看有人感到受伤

罗说NBA
2024-06-16 05:19:26
高考语文146分的卷面到底长啥样?确认过字体,是我模仿不了的······

高考语文146分的卷面到底长啥样?确认过字体,是我模仿不了的······

小孩说
2024-06-15 11:06:08
5nm芯片量产无望?台积电“怒了”:大陆企业不配做对手

5nm芯片量产无望?台积电“怒了”:大陆企业不配做对手

奉壹数码
2024-06-16 08:52:42
G7统一对华施压,中国改签货币协议,降息潮来临,人民币汇率回调

G7统一对华施压,中国改签货币协议,降息潮来临,人民币汇率回调

说天说地说实事
2024-06-15 19:50:03
法国股市崩了,市值一周蒸发超万亿元!马克龙:正处于非常严峻时刻!财长:法国恐脱欧、陷金融危机

法国股市崩了,市值一周蒸发超万亿元!马克龙:正处于非常严峻时刻!财长:法国恐脱欧、陷金融危机

每日经济新闻
2024-06-16 10:12:06
外媒称中国不对等报复汽车产业,对欧盟换了打法,若实施将是噩梦

外媒称中国不对等报复汽车产业,对欧盟换了打法,若实施将是噩梦

说天说地说实事
2024-06-16 10:26:06
著名女优玩偶姐姐HongKongDoll,被爆料真实面目?

著名女优玩偶姐姐HongKongDoll,被爆料真实面目?

吃瓜党二号头目
2024-06-13 10:15:52
跟你做爱的细节,暴露了他爱你的程度

跟你做爱的细节,暴露了他爱你的程度

喜马拉雅主播暮霭
2024-06-16 11:43:41
王思聪彻底栽了!黄一鸣孩子有“法定继承权”,万达迎来真公主?

王思聪彻底栽了!黄一鸣孩子有“法定继承权”,万达迎来真公主?

木子爱娱乐大号
2024-06-14 14:01:41
难怪58岁张居正死后全家暴毙,你看他生前都干了啥?连皇帝也得罪

难怪58岁张居正死后全家暴毙,你看他生前都干了啥?连皇帝也得罪

史笔似尘钩
2024-06-13 16:37:58
网友曝大S闪婚具俊晔真相:具说有9400万存款,大S误以为是人民币

网友曝大S闪婚具俊晔真相:具说有9400万存款,大S误以为是人民币

郑丁嘉话
2024-06-15 10:08:02
很突然,以色列彻底陷入了混乱

很突然,以色列彻底陷入了混乱

林林爱天堂
2024-06-15 16:11:37
克莱取关勇士后首次更新!换头像+晒9年前旧照 被发现关注班凯罗

克莱取关勇士后首次更新!换头像+晒9年前旧照 被发现关注班凯罗

罗说NBA
2024-06-16 09:53:35
理想高管回应连环撞车事件:雨天路滑 车距太近

理想高管回应连环撞车事件:雨天路滑 车距太近

手机中国
2024-06-16 14:54:04
一颗子弹别想运进台湾!美国军火马上就到,大陆早已准备海上拦截

一颗子弹别想运进台湾!美国军火马上就到,大陆早已准备海上拦截

小阿文热点军
2024-06-15 19:13:11
英伟达,突然开源!

英伟达,突然开源!

每日经济新闻
2024-06-16 08:36:14
齐达内重回皇马!姆巴佩面子太大!超8万人见证,待遇令C罗羡慕了

齐达内重回皇马!姆巴佩面子太大!超8万人见证,待遇令C罗羡慕了

阿泰希特
2024-06-16 10:45:31
2024-06-16 17:48:49
智能相对论
智能相对论
智能和车,边评边测;未来和家,且品且鉴
1952文章数 2016关注度
往期回顾 全部

科技要闻

iPhone 16会杀死大模型APP吗?

头条要闻

今年上半年尚未结束 已有4名正部级被查

头条要闻

今年上半年尚未结束 已有4名正部级被查

体育要闻

没人永远年轻 但青春如此无敌还是离谱了些

娱乐要闻

上影节红毯:倪妮好松弛,娜扎吸睛

财经要闻

打断妻子多根肋骨 上市公司创始人被公诉

汽车要闻

售17.68万-21.68万元 极狐阿尔法S5正式上市

态度原创

教育
旅游
本地
数码
艺术

教育要闻

填写“高考志愿”,要注意以下这些点

旅游要闻

@毕业生,江苏这些景区可享免票或优惠

本地新闻

粽情一夏|海河龙舟赛,竟然成了外国人的大party!

数码要闻

小米米家电动剃须刀往复双刀头版开售,首发 189 元

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

无障碍浏览 进入关怀版