当AI学会"听"懂整首乐队合奏

这项由法国人工智能实验室Kyutai、初创公司Mirelo AI与法国国家科学研究中心附属机构IRCAM-CNRS索邦大学联合开展的研究，于2026年7月以预印本论文形式发布，论文编号为arXiv:2607.08168v1，感兴趣的读者可通过该编号在arXiv平台查阅完整原文。

**一首歌里藏着多少层声音？**

当你戴上耳机听一首喜欢的摇滚乐，你的耳朵会同时接收到电吉他的嘶吼、贝斯的低鸣、架子鼓的爆发，以及主唱的嗓音。人类的大脑经过多年训练，能轻而易举地把这些声音分开来欣赏。但对于一台计算机来说，这简直像是同时看懂一百个人在同一张纸上写的字——每个人的笔迹叠在一起，没有橡皮，没有颜色区分，只有一团混沌的墨迹。

自动音乐转录（Automatic Music Transcription，简称AMT）正是要解决这个难题：让计算机把一段音频录音"翻译"成乐谱或MIDI格式，就像把语音识别成文字一样。MIDI可以理解为一种数字乐谱格式，它记录了每个音符的音高、开始时间和持续时长，钢琴曲、吉他独奏、交响乐都可以用MIDI来描述。有了准确的MIDI转录，音乐人就能轻松扒谱练习，音乐学者可以分析歌曲结构，甚至AI作曲系统也能以此为素材进行学习创作。

然而现实很骨感。现有的技术在处理单件乐器录音时还算凑合，比如纯钢琴独奏或纯吉他演奏。一旦面对真实的流行歌曲或摇滚专辑——多种乐器同时发声、电吉他带着失真效果、混音经过专业处理——这些系统就开始"抓瞎"，输出的结果错误百出，根本不具备实用价值。

这支来自欧洲的研究团队正是为了突破这道瓶颈而集结。他们推出了一个名为MuScriptor的开放权重多乐器音乐转录模型，并把模型权重和推理代码完整公开在GitHub上，任何人都可以免费使用。这在多乐器音乐转录领域，可以说是头一次有如此实用且开放的成果。

**一、这条路前人是怎么走的，又卡在哪里了？**

音乐转录技术的演进，走过了一段从"专科医生"到"全科医生"的漫长旅程。早期的研究者针对每种乐器单独开发算法，用的是隐马尔可夫模型、非负矩阵分解、支持向量机这些经典统计工具——这些方法就像是专门为某一种病症设计的特效药，换个症状就完全不管用了。

随着深度学习的崛起，研究者开始尝试用卷积神经网络和循环神经网络来判断每个时间点上哪些音符在响。其中一个颇具代表性的框架叫做"Onsets and Frames"，它把每个音符的"起始点"和"持续时段"当作两个相互关联的任务来处理，效果比之前好了不少。但这类方法本质上还是在操作一张巨大的"钢琴卷"——把时间和音高画成一张二维网格，然后在每个格子里标记是否有音符。这张网格在面对多种乐器时会变得极为庞大而稀疏，计算起来非常消耗资源。

更新的思路是把音乐转录做成一个"语言翻译"任务。具体来说，模型不再逐格判断，而是像写句子一样，按顺序输出一串离散的"音符事件"——某个时刻，某种乐器，奏出了某个音高，持续了多少时间。这种方式更灵活，也更接近人类记谱的方式。谷歌的研究团队2022年提出的MT3框架就是这个方向的重要里程碑，它使用编码器-解码器Transformer架构，把音频频谱图转换成MIDI事件序列，并且支持多种乐器的同时转录。

MT3之后，学界又陆续提出了改进版本，比如YourMT3+，它用一个在时频域操作的层级注意力Transformer替换了标准编码器，还引入了专家混合层（Mixture of Experts）和跨数据集的音轨增强技术。再往后，MIROS进一步把频谱图编码器换成了MusicFM这一自监督音频基础模型。

然而这些模型都面临同一个致命伤：它们严重依赖合成数据来训练，也就是把MIDI文件用软件"弹奏"出来的音频，而非真实的录音棚产品。合成音频和真实音乐之间存在巨大的"域差异"——真实录音里有专业的混音、效果处理、乐手的演奏风格，这些都是合成音频模拟不来的。结果就是，模型在合成测试集上表现不错，一遇到真实歌曲就原形毕露，转录结果几乎无法实际使用。

**二、MuScriptor的核心思路：让模型"见过世面"**

MuScriptor的团队没有在模型结构上大搞花样，而是把重心放在了数据和训练策略上。他们的核心判断是：模型表现差，根本原因不是架构不够聪明，而是从来没见过足够多的真实音乐。

为此，他们在三个层面上构建了训练体系，就像培养一个音乐人，先打基础，再精专业，最后打磨细节。

首先是合成数据的预训练阶段。团队收集了约145万首MIDI文件，来源涵盖公开数据集（如Lakh MIDI）和商业数据提供商，风格以流行和西方古典音乐为主。为了让这批数据更有用，他们开发了一套"实时合成流水线"：每次从MIDI库中随机选取片段，对音符进行随机升降调、变换节奏、调整力度（即音符的轻重），然后随机替换乐器音色，再用250多种不同的音色库（soundfont）把它合成为音频，最后还会对合成出的音频做随机的微调音处理。这意味着同一段MIDI可以被合成成无数种听起来不同的音频，大大丰富了模型接触到的声音多样性。这个合成数据集被称为DSynth。

然后是真实音乐数据的微调阶段。这是MuScriptor最核心、也最难复现的资产：他们收集了17万首真实音乐录音，总时长超过1.1万小时，涵盖从古典到重金属的几乎所有主流音乐风格，并且每首都配有对齐的音符标注。这批数据绝大多数来自"音频-乐谱同步"技术——用算法把已有的MIDI/乐谱和对应的录音精确对齐，从而自动生成标注。对齐过程中使用了基于色度特征和起始点特征的动态时间规整算法，并通过设定时间扭曲阈值来过滤掉对齐质量差的样本。这个真实数据集被称为DReal。

从DReal的乐器分布来看，声学钢琴最多（出现在约51%的曲目里），其次是失真电吉他（约47%）、电贝斯（约43%）、鼓（约32%）、原声吉他（约24%）。总共有33种不同乐器类别，而且有17种乐器出现在至少5%的曲目中，说明数据集的乐器多样性相当丰富。

最后是强化学习的后训练阶段。团队从DReal中人工筛选出300首标注质量特别高的曲目，组成一个小型精品数据集DRL，用于进一步打磨模型，这个过程将在后面详细介绍。

**三、模型的内部结构：一个"只听不回头"的翻译家**

MuScriptor使用的是纯解码器Transformer架构，也就是说它只有"解码器"部分，没有单独的"编码器"。这种架构已经在语言模型领域被证明非常有效，MuScriptor把它迁移到了音乐转录任务上。

模型的输入是两样东西：一段5秒钟的音频片段对应的梅尔频谱图，以及一份可选的乐器列表。梅尔频谱图可以理解为一张把时间和频率可视化的热力图，横轴是时间，纵轴是音高频率，颜色深浅代表响度——人耳感知音高的方式本身就是非线性的，梅尔尺度正好模拟了这个特点。具体来说，音频先被转换成16kHz单声道，然后用2048点的短时傅里叶变换、160个采样点的帧移（对应100Hz的帧率）、以及512个梅尔滤波器来计算频谱图。

乐器列表的作用是告诉模型"这首曲子里有哪些乐器"，从而帮助模型更有针对性地转录，避免把低音提琴误认成大提琴，或者对着纯人声歌曲硬生生"找出"根本不存在的钢琴音符。这里的乐器信息是整首曲子层面的，而不是针对某个5秒片段的——这意味着即使某段5秒内某种乐器暂时没在响，它仍然可能出现在乐器列表里。

在模型内部，梅尔频谱图被投影到Transformer的隐藏维度，然后和各乐器类别的嵌入向量（通过一个可学习的查找表获得）拼接在一起，作为前缀条件输入给Transformer。模型输出的是一串离散的音符事件词元（token），遵循与MT3相似的编码方案，但把128种MIDI乐器映射到了36个乐器子组，这套分类体系来自YourMT3+提出的MT3_FULL_PLUS分类法。

团队提供了四种不同规模的模型：6000万、1亿、3亿和13亿参数，参数量的差异主要来自注意力头数量、层数和隐藏维度的不同。训练时使用了100万个步骤，批量大小64，AdamW优化器（动量参数β1=0.9，β2=0.95），学习率1e-4，配合2000步线性预热和余弦衰减调度。为了让模型在有无乐器条件时都能工作，训练时每个条件信号以0.2的概率独立随机丢弃，这就是"条件丢弃"训练策略。

推理时，模型用贪心解码（argmax）逐步生成音符序列，同时应用一种叫做"无分类器引导"（Classifier-Free Guidance，CFG）的技术，引导强度αCFG=2。这个技术原本流行于图像生成领域，原理是同时做两次前向传播——一次带条件，一次不带条件——然后把两个结果的差值按比例放大，让模型更坚定地往"有条件指导"的方向生成，从而提升转录的准确度和一致性。

**四、强化学习：用"奖惩机制"打磨细节**

训练完成的模型已经比以往任何多乐器转录模型都要强，但团队没有止步于此。他们借鉴了近年来在大语言模型对齐领域大放异彩的强化学习技术，把它用在了音乐转录上——据他们所知，这是这个领域的首次尝试。

具体方法融合了两种算法思想：REINFORCE算法（一种经典的策略梯度强化学习方法）和GRPO（Group Relative Policy Optimization，来自DeepSeekMath论文的组相对策略优化方法）中的"组内相对优势归一化"思想。

操作流程是这样的：在每个训练步骤，把模型切换到评估模式，针对同一段5秒音频，用温度τ=0.75进行随机采样，生成G=8个独立的转录结果。然后把这8个结果分别和真实标注的MIDI进行比对，计算出一个奖励分数，这个分数是三种F1指标的加总：音符起始点F1、帧级F1和音符结束点F1。接下来，对这8个奖励分数做组内标准化，计算出每个结果相对于组内均值的"优势"——比均值好的结果获得正优势，比均值差的获得负优势。最后，把模型切回训练模式，用REINFORCE目标函数更新参数：对于优势为正的生成序列，增大其出现概率；对于优势为负的，降低其概率。

与完整版GRPO相比，这里省去了重要性采样比率裁剪和相对于冻结参考策略的KL散度惩罚项，实现更为简洁。批量大小为8。

从实际效果来看，这个强化学习后训练阶段带来了相当显著的提升：以13亿参数模型为例，所有评估指标都有明显改善，音符起始点F1从52.5提升到60.4，帧级F1从69.4提升到73.3，音符结束点F1从42.0提升到49.0。从图1的钢琴卷展示来看，定性上也能感受到变化——强化学习后的模型漏检（绿色标记）减少了，预测的音符起始时间也更准确了。

**五、评估标准：怎么衡量一个转录结果好不好？**

研究团队使用了五种评估指标，全部来自音乐信息检索领域的标准工具库mir_eval。

最基础的是音符起始点F1（Onset F1）：只要预测的音符音高正确，且起始时间与真实值相差不超过50毫秒，就算命中。50毫秒大约是人耳能感知到的最小时间差，这个标准已经相当严格了。

音符结束点F1（Offset F1）则在起始点F1的基础上更进一步：除了起始时间要准，预测的音符结束时间也必须落在真实值的50毫秒或20%时值范围内（取较大者），这样才算命中。这个指标更能反映模型对音符时值的理解，对弦乐这类有延音效果的乐器尤其重要。

帧级F1（Frame F1）则不那么在意精确时刻，而是把时间轴切成62.5毫秒的小格，看每个格子里预测的"哪些音在响"是否和真实情况吻合。直觉上，这对应了两张钢琴卷的重叠程度，对时间精度要求相对宽松。

鼓起始点F1（Drums Onset F1）单独统计鼓的起始点F1，因为鼓击打是瞬发的，没有持续音，只有起始点有意义。

最严苛的是多乐器F1（Multi F1）：在音符结束点F1的基础上，还要求预测的乐器类别也正确——就算音符的时间完全准确，如果你把小提琴当成了中提琴，也不算命中。这个指标最接近实际应用中对转录质量的要求。

测试数据集DTest由372首从DReal中精挑细选、具有高质量标注的曲目组成，且已从训练集中移除，同时还过滤掉了标题与测试集相似的训练曲目，以保证评估的公正性。此外，由于该模型的编码方案不允许同一乐器同时有两个相同音高的音符叠加，评估前会从DTest中删除这类"重叠音符"中较短的那个，这样理想的模型理论上可以达到满分1.0。

**六、实验结果：每一步训练都有多少提升？**

最直观的对比来自表1。最强基线模型YourMT3+的多乐器F1为21.9，帧级F1为45.54，起始点F1为32.52。

仅在合成数据DSynth上训练的MuScriptor（13亿参数），帧级F1已经能达到51.3（开CFG后为48.9），但起始点F1（34.5）和多乐器F1（16.2）还比较一般，说明模型会"感知"到音频里有音在响，但精确定位和乐器区分做得还不够好。

加入真实数据DReal微调后，情况发生了质的飞跃：起始点F1跃升至54.4，帧级F1升至69.3，音符结束点F1从16.1跃至42.3，多乐器F1从16.2跃至41.6。几乎所有指标都提升了约20个百分点，这充分说明真实数据对于模型性能的关键作用，光靠合成数据是不够的。

再经过强化学习后训练后，模型进一步提升：起始点F1 60.4，帧级F1 73.3，音符结束点F1 49.0，鼓起始点F1 50.2，多乐器F1 48.2。这是目前公开模型中在多乐器音乐转录任务上最强的表现。

从合成数据预训练的价值分析来看（图4），研究团队系统比较了不同比例的真实数据加入时，有无合成数据预训练的差异。结论很有规律：当真实数据极少时（比如只用1%的DReal），合成数据预训练的价值极其显著——仅用1%真实数据、有合成预训练的模型，音符结束点F1能达到33.4，而没有预训练的仅有9.9；随着真实数据越来越多，两者差距逐渐缩小，但即便用满100%的真实数据，有预训练的模型（42.3）仍略优于没有预训练的（41.0）。这说明合成预训练可以在数据稀少时显著降低对真实数据的依赖，同时即便真实数据充足时也能带来边际收益。

**七、乐器条件控制和模型规模对结果的影响**

关于乐器条件控制，团队在表3中做了专项对比：仅在真实数据上训练的模型，不提供乐器条件时多乐器F1为38.7，提供正确乐器列表后提升至40.5。虽然看起来提升幅度不大，但在实际使用中意义重大——它能让模型在同一首歌的不同片段之间保持一致的乐器判断，避免"前几秒认为是钢琴，后几秒又认为是电钢琴"这种不稳定现象，也让用户能够自定义只转录某几种乐器。

关于模型规模，表4展示了从6000万到13亿参数四个规模的对比（均仅在DReal上训练，αCFG=2）。最小的6000万参数模型帧级F1已经达到65.7，13亿参数最大版本为68.7，差距并不悬殊。这意味着即便是资源受限的用户，使用小模型也能获得相当实用的结果。

关于音频表示的选择，表5比较了梅尔频谱图、常数Q变换幅度谱（CQT）、Encodec神经音频编解码器特征和MERT音乐理解嵌入四种输入方式的效果（均用300M模型、仅DReal训练）。梅尔频谱图表现最佳（多乐器F1 39.7），CQT稍差（38.2），MERT更差（36.8），Encodec最差（28.9）。有趣的是，神经网络学习出的表示（MERT、Encodec）反而不如直接反映物理信号特性的传统频谱图，这提示在音乐转录任务中，贴近原始信号物理特性的表示可能更有利于模型捕捉精确的时频信息。

在与其他公开数据集的比较中（表2），MuScriptor在多个数据集上都展示了相对于YourMT3+的优势，尤其在帧级F1方面提升明显，比如Dagstuhl ChoirSet（合唱数据集）帧级F1从51.0提升到80.7，PHENICX-Anechoic（管弦乐录音）从58.9提升到74.6，RWC-P（流行音乐）从51.6提升到61.2。不过起始点和结束点分数的提升因数据集而异，合唱这类音乐本身音符边界就比较模糊，即便是人工标注也很难做到精确，这反映在指标上就是起始点和结束点F1偏低。

值得一提的是重叠音符问题的分析（第4.2.3节）：如果不过滤掉DTest中同乐器同音高的重叠短音符，13亿参数模型的起始点F1会从60.4下降至51.8，结束点F1从49.0降至41.9，多乐器F1从48.2降至42.0。这说明同一乐器同时奏出相同音高两个音的情况在真实音乐中确实存在，而当前的编码方案无法处理这种情形。解决这一问题需要设计新的音符编码方案，是未来改进的方向之一。

**说到底，这件事意味着什么？**

归根结底，MuScriptor做到了一件之前没人做到过的事：把一个对真实世界多乐器音乐实际有用的转录系统，以开放的方式交到了所有人手中。

对于音乐人来说，这意味着扒谱这件事可能会发生根本性变化。以前要花几个小时一个音一个音地把喜欢的歌曲手动记下来，现在也许几分钟内就能得到一份虽不完美但可以作为起点的参考乐谱，再在此基础上校对修改，效率会大幅提升。对于音乐信息检索研究者来说，有了可靠的多乐器转录，和弦识别、调性分析、曲式分析等下游任务都会受益。对于生成式AI音乐系统来说，高质量的MIDI数据是训练的养料，MuScriptor提供了一个更高效的途径来从海量录音中提炼这些养料。

当然，这个系统还不完美。它还不能处理同一乐器同时弹奏相同音高两个音的情况。它处理的片段长度只有5秒，推理速度因此还有提升空间。它的乐器词汇表也还有扩展余地。团队在结论部分也坦诚地指出了这些局限，并把它们列为未来工作的方向。

这项研究最有趣的启示或许是：一个领域的突破，有时候不是来自架构的奇思妙想，而是来自脚踏实地地去收集那17万首真实的歌曲，并想清楚怎么用它们来训练。有兴趣深入了解MuScriptor的读者，可以通过arXiv:2607.08168在arXiv平台查阅完整论文，也可以直接访问GitHub上的muscriptor/muscriptor仓库获取代码和模型权重。

Q&A

Q1：MuScriptor和以前的多乐器音乐转录模型相比，最大的区别是什么？

A：最大的区别在于训练数据的类型。以前的模型（比如MT3、YourMT3+）主要依赖把MIDI用软件合成的音频来训练，这类合成音频和真实录音有很大差距，导致模型在真实歌曲上效果很差。MuScriptor则收集了17万首真实音乐录音（共1.1万小时）并配合对齐的音符标注来微调模型，让模型真正见过"带有专业混音和效果处理"的真实音乐，因此在实际应用中效果大幅超越前代模型。

Q2：MuScriptor的强化学习是怎么用在音乐转录上的？

A：针对同一段5秒音频，让模型随机生成8个不同的转录结果，然后把每个结果和真实标注做比对，计算奖励分数（三种F1指标之和）。再对这8个分数做组内标准化，比平均分高的获得正奖励，低的获得负奖励，最后据此更新模型参数，让好的生成方式概率增大、差的方式概率减小，从而让模型向更准确的转录方向进化。

Q3：MuScriptor的乐器条件控制功能是怎么用的？

A：用户可以在使用MuScriptor时提供一份"这首曲子里有哪些乐器"的列表作为输入条件。模型会根据这份列表来调整转录，只关注被指定的乐器，同时在整首歌的不同片段之间保持乐器判断的一致性，避免同一首歌前后段落乐器识别不稳定的问题。如果不提供乐器列表，模型也能独立工作，只是准确率略低一些。