新加坡科技设计大学如何让机器读懂音乐的美与热度

这项由新加坡科技设计大学AMAAI实验室开展的研究，以预印本形式发布于2026年5月，编号为arXiv:2605.03395，感兴趣的读者可通过该编号查阅完整论文。

每天，数以百万计的AI生成歌曲涌现在Suno、Udio这样的平台上。有些歌曲被疯狂转发、收藏，有些却悄无声息地沉入信息海洋。这背后是否有规律可循？一首AI生成的歌，是否因为"好听"才变得流行？或者"流行"和"好听"根本是两回事？新加坡科技设计大学的研究者们决定正面回答这些问题，他们构建了一个叫做APEX的系统——一个能同时判断AI音乐"好不好听"和"会不会火"的智能框架。

一、为什么AI音乐的"流行预测"是一个全新难题

在人类音乐的世界里，预测一首歌会不会流行并不是什么新鲜事。学界甚至给这个研究方向起了一个颇具野心的名字——"热门歌曲科学"（Hit Song Science）。几十年来，研究者们尝试了各种手段：分析音频波形、提取节拍模式、结合歌词情感、追踪社交媒体讨论热度，甚至用神经科学仪器测量听众的生理反应。这些努力在一定程度上奏效，因为人类歌曲的流行背后有大量可以利用的"外部线索"——歌手的知名度、唱片公司的推广力度、历史播放数据、粉丝互动记录。

然而，当音乐的创作者从人类变成AI时，这些线索几乎全部失效。AI不会接受采访、不会举办演唱会、没有粉丝基础、也没有营销预算。Suno和Udio这类平台上，一首歌从无到有只需几秒钟，每天产出的歌曲数量可能超过一个传统唱片公司整年的产量。在这片茫茫音海里，什么决定了一首AI歌曲能获得更多播放量和点赞数？答案几乎只剩下一个方向——音乐本身的内在质量。

正是在这个背景下，研究团队意识到，专门针对AI生成音乐的流行预测模型，几乎是一片空白地带。传统模型无法迁移，而这个领域的数据规模、内容特征和评价维度都与人类音乐截然不同。他们决定从零开始，建立一个专属于AI音乐世界的预测体系。

二、"好听"和"会火"是同一件事吗？

在动手构建系统之前，研究团队面临一个根本性的哲学问题：音乐的审美质量（听起来有多好）和音乐的流行程度（实际上有多少人听），究竟是不是同一回事？

这个问题的答案，在人类音乐世界里就已经充满争议。有些制作精良、和声复杂的作品叫好不叫座，有些节奏单调甚至音质粗糙的歌曲却席卷全球。在AI音乐领域，这种张力更加突出：一首技术上无可挑剔、音色饱满、结构严谨的AI合成曲，未必能吸引普通听众反复收听；而一首带有某种"抓耳"感、旋律朗朗上口的作品，即便在专业眼光看来略显简单，也可能收获大量播放。

研究团队将这两个维度明确区分开来，并决定同时建模。代表"好听程度"的是来自SongEval这套评测体系的五个维度：连贯性（整首歌听起来是否前后一致、不突兀）、音乐性（是否具备基本的音乐美感）、记忆点（旋律是否容易留在脑海里）、清晰度（各个声部是否清晰可辨）、自然感（听起来是否像真实的音乐而非机器噪音）。每个维度由人类专家打分，范围从1分到5分。代表"会不会火"的则是实际的播放量和点赞量，来自真实平台的用户行为数据。

通过同时预测这七个维度，研究者希望弄清楚：这两类信号，在AI音乐的语境下，到底是相互促进、各自为政，还是存在某种隐秘的关联？

三、听音乐的"AI耳朵"：MERT是怎样理解音乐的

要让机器预测一首歌的好坏与热度，首先要让机器真正"听懂"音乐。研究团队选择了一个叫做MERT的音乐理解模型作为整个系统的"耳朵"。

MERT的全称是"大规模自监督训练的声学音乐理解模型"，它的设计思路可以用一个比喻来理解：如同一个同时精通声音物理学和音乐理论的专家，能从两个维度解读一首歌。在训练时，MERT同时向两位"老师"学习——一位负责教它辨别音色、音高、节奏等底层声学特征，另一位则帮它理解和弦进行、调式结构、音乐整体框架等高层次的音乐逻辑。这种双师训练让MERT既不失对声音细节的敏感，又具备对音乐结构的宏观把握。

在实际操作中，研究团队将每首歌切割成一段段30秒的片段，就像把一本书拆成若干页分别阅读。每个片段送入MERT之后，系统会从模型内部的四个不同"深度"层提取特征——分别是第3层、第6层、第9层和最终层。这个设计背后有明确的道理：浅层网络捕捉的是音色、音量这类直接感知到的声学现象，深层网络则处理节奏模式、和声走向这类需要"多想一步"才能感知的音乐特性。将这四层特征通过一个可学习的权重层融合成一个统一的向量，相当于从多个视角综合判断一首歌。

最终，同一首歌的所有片段向量会被平均合并成一个整体表示，代表这首歌的"音乐DNA"。这个整体表示，便是后续所有预测任务的输入基础。

四、APEX的结构：一个共享底层、分头判断的系统

有了MERT提供的音乐表示，APEX的核心架构就像一栋建筑：底层是所有任务共用的"公共大厅"，向上延伸出七条专属通道，每条通道负责一个具体的判断任务。

公共大厅由两层或三层全连接神经网络构成，维度从768维逐步压缩至256维，每一层都配备了批归一化（让数据保持稳定）、GELU激活函数（增加非线性表达能力）以及30%的dropout（随机关闭部分神经元，防止模型死记硬背）。这个共享结构的作用，是从音乐表示中提炼出对所有任务都有用的通用特征。

从共享层往上，系统分出七条独立的输出分支：两条主任务分支分别预测"播放量分数"和"点赞量分数"，五条辅助任务分支分别预测SongEval的五个审美维度。每条分支内部再经历256→128→64→1的三层网络，最终输出一个具体分数。播放量和点赞量分支的输出通过sigmoid函数映射到0到100之间，五个审美分支的输出则映射到1到5之间，与原始SongEval评分范围保持一致。

播放量和点赞量分数的计算方式颇费心思。原始数据是绝对的播放次数，但这在跨平台比较时意义不大——同一首歌在一个拥有百万用户的平台上获得1000次播放，和在一个只有一万用户的平台上获得1000次播放，意义截然不同。研究团队首先将每首歌的播放量在数据集内转换为百分位排名，然后用一个特殊的幂次函数进行变换，使得只有处于第80百分位的歌曲才能获得50分的中间分值。这个设计刻意"苛刻"：只有在数据集中真正出类拔萃的歌曲，才能拿到高分。同样的处理方式也应用于点赞量，生成对应的点赞分数。这种标准化分数的好处在于可以跨平台通用，未来也可以用于强化学习或偏好优化等下游任务。

五、七个任务如何协调：损失函数的平衡艺术

训练一个同时承担七项任务的模型，面临一个棘手的问题：七个任务各自有各自的误差，如何把这些误差整合成一个统一的训练信号，让模型以合理的方式同步进步？

研究团队测试了三种不同的整合策略。第一种是最朴素的"一视同仁"：直接把七个任务的误差加总，不做任何权重区分。这种做法简单透明，但潜在风险是容易被某个"嗓门大"（误差绝对值高）的任务主导，其他任务反而被忽视。

第二种策略是"手动调权"：人为设定播放量和点赞量这两个主任务的权重为5倍，审美任务的权重为1倍，明确告诉模型"流行预测更重要，要优先学好"。这种做法直观，但权重的选择本身带有主观性，未必是最优解。

第三种策略来自计算机视觉领域的一项经典研究——"基于不确定性的自动权重"。这个方法的核心思路颇为优雅：不同任务的难度不同，难度可以用一个叫做"同方差不确定性"的量来衡量。难度越高、预测越不确定的任务，自动获得较低权重；难度较低、模型把握较大的任务，则相应承担更多训练责任。这些权重不是人工设定的，而是模型在训练过程中自己学会的——每个任务配有一个可学习的参数，训练时自动调整。这种机制能防止单一困难任务"拖垮"整个训练过程。

六、211,000首歌的训练数据：从哪里来，怎么处理

研究团队构建的训练数据集规模相当可观，来源于两个公开的AI生成音乐数据仓库：Udio-126K和Suno-307K，分别收录了来自Udio平台和Suno平台的海量歌曲，每首歌都附带播放量、点赞数等元数据。

原始数据并不能直接使用。研究者首先剔除了播放量为零的歌曲（没有人听过，无从判断流行与否）、重复歌曲、损坏的音频文件，以及在数据集发布前两周内刚刚上线的新歌（新歌的播放量还没来得及积累，会引入时间偏差）。经过清理，每个平台保留了约12.4万首歌曲。由于Suno的原始数据集远大于Udio，为了平衡，研究者对Suno进行了分层采样，确保两平台的歌曲在播放量分布上保持一致。

最终合并后约24.8万首歌按85%（训练）、10%（测试）、5%（验证）的比例分配，训练集约21.1万首，对应约1万小时的音频。这一规模在音乐理解类研究中属于相当大的数据集。

训练过程使用了AdamW优化器，学习率为0.0001，配合余弦退火学习率调度器。训练在4块NVIDIA Tesla V100 GPU上进行分布式并行训练，批量大小为每块GPU 512个样本，并启用混合精度训练以提升效率。一旦验证集上的损失停止下降，训练便提前结束。

七、24种配置的大横评：哪种组合效果最好

为了系统性地找到最优配置，研究团队将三个维度的选择完全交叉组合：三种损失策略（等权、手动权重、自动权重）、两种共享层深度（两层或三层）、两种输入模式（以片段为单位或以完整歌曲为单位），再加上两种任务配置（仅预测流行度、或同时预测流行度和审美），共构成了24种实验条件，每种都在相同数据上完整训练和评估。

从测试结果来看，整体趋势相当一致。在流行度预测上，播放量分数的预测误差（MSE）在699到714之间，平均绝对误差（MAE）在21到22.3之间，皮尔逊相关系数（衡量预测值和真实值走势是否一致）在0.33到0.35之间，斯皮尔曼相关系数（衡量排名顺序是否吻合）同样在此区间。点赞量分数的预测表现略好，误差更小，相关系数达到0.40到0.42之间。

在所有变量中，"以完整歌曲为单位还是以片段为单位"是影响最明显的因素。用整首歌的平均嵌入来训练，效果明显优于把每个片段单独当作训练样本。原因不难理解：一首歌的整体气质，往往在若干段落的叠加后才能显现，孤立地看某一段30秒，很可能错过歌曲的整体走向。

三层共享结构比两层略好，但提升幅度相当有限，说明表达能力达到一定程度后，简单地加深网络带来的边际效益会迅速递减。自动权重损失策略（即基于不确定性的方法）在大多数配置中都优于或至少持平于另外两种，印证了这种自适应机制的有效性。

最令人关注的发现是：全任务配置（同时预测流行度和审美）与仅预测流行度的配置相比，流行度预测性能几乎没有差异。换句话说，加入五个审美辅助任务，既没有拖累流行预测，也没有显著提升它——两组任务并行运作，互不干扰地学习。这个结果既说明流行度和审美质量确实是两个相对独立的信号，也说明APEX的多任务架构设计是成功的，共享层能够有效容纳两类不同性质的信息。

表现最佳的单一配置是"Model C"——自动权重损失、两层共享结构、歌曲级别输入、全任务模式。这个配置在流行度和审美预测两方面都达到了最优，成为后续跨平台泛化实验的代表模型。

八、审美维度：机器能打出接近专家的分数吗

如果说流行度预测的结果让人觉得"相关系数0.35似乎不够高"，那么审美维度的预测结果则令人眼前一亮。

以Model C为例，五个SongEval维度的MSE最低仅为0.166（满分5分的量表上，平均偏差只有约0.4分），皮尔逊相关系数达到0.734至0.751，斯皮尔曼相关系数达到0.751至0.765。这意味着APEX预测的审美评分，与人类专家的打分有相当高的一致性——在排名顺序上，机器判断"这首歌比那首歌更自然"的准确率，远超过随机猜测。

五个维度中，"自然感"是最容易预测的，而"记忆点"是最难的。这个发现本身就有些意味深长：自然感衡量的是音乐是否听起来不像机器合成的，这恰恰是AI生成音乐最容易在技术上留下痕迹的地方，MERT的底层声学特征对这类差异非常敏感；而记忆点则涉及更复杂的心理机制，一段旋律是否会留在脑海，可能与听众的文化背景、心理状态、以往音乐经历都有关系，仅凭音频波形很难完全捕捉。

手动调权配置（Model B和Model E）是审美预测表现最差的，这提供了一个反向印证：强行给流行度任务加权，并不能改善其预测效果，反而因为占用了共享层的学习能力，使审美预测质量明显下滑。自动权重的优越性在此得到了进一步支持。

九、真正的考验：对未曾见过的AI系统，APEX还管用吗

所有之前的实验，都是在Suno和Udio的歌曲上进行训练和测试。真正的问题是：APEX学到的东西，能不能用在其他AI音乐系统产生的歌曲上？如果只对Suno和Udio的风格有效，那这个系统的价值就大打折扣。

为此，研究团队设计了一个完全独立的验证实验，使用的是"音乐竞技场"数据集——一个由另一个研究团队收集的真实人类偏好数据。这个数据集的规则很简单：给一个文字提示（比如"一段轻快的爵士钢琴即兴"），由两个不同的AI系统各自生成一首歌，让真实用户听完后选择更喜欢哪一首。这种"对决"的形式，直接反映了人类的实际偏好。

研究团队筛选了最近四个月的数据，去掉了"都不好"这类模棱两可的选项和音频文件缺失的记录，最终保留了1259场有效对决，其中780场是纯器乐，479场包含人声。参与对决的AI系统共11个，包括Sonauto、ACEStep、ElevenLabs、MusicGen、Riffusion和Lyria等，全部是训练阶段从未见过的系统。

实验设计的核心思路是：对每一场对决，用APEX对两首歌各打出10个维度的分数（播放量预测、点赞量预测、加权流行综合分、五个审美维度分、SongEval综合分、以及整体综合分），然后计算两首歌在每个维度上的差值和比值，还加入了"器乐/非器乐"的交互特征，共得到31个特征，再用这些特征训练分类器来预测人类会选哪首。

研究团队使用了五种分类器：逻辑回归、随机森林、XGBoost、AdaBoost和支持向量机（SVM），全部采用10折交叉验证确保结果可靠。同时还设置了一个"朴素规则基准"——直接比较哪首歌的某类预测分数更高，就认为那首更受欢迎，以此检验机器学习相对于简单规则的额外价值。

结果相当鼓舞人心。仅用朴素规则时，综合全部分数的AUC（曲线下面积，衡量分类器区分两类的能力，0.5代表瞎猜，1代表完美）达到0.535，优于仅用点赞量预测分数（AUC=0.518），说明审美维度本身就已经携带了超越纯粹流行指标的预测信息。

在机器学习分类器中，SVM取得了最好的成绩。加入审美特征后，SVM的整体AUC从0.614提升至0.642，F1分数从0.524提升至0.595。这个提升幅度不算惊天动地，但在所有五种分类器中，加入审美特征后表现都有所改善，方向完全一致。这种一致性比单个数字更有说服力——它表明审美特征所携带的信息，是真实且可泛化的。

器乐和人声歌曲之间存在明显的性能差距：SVM在器乐歌曲上的AUC达到0.686，而在人声歌曲上只有0.560。研究者认为这主要是因为AI生成的人声歌唱目前仍存在各种伪影和不自然之处，这些问题很难仅凭音频嵌入来捕捉和量化，是未来需要专门处理的方向。

尽管如此，APEX在面对训练时完全未曾接触过的11个AI系统时，依然能给出高于随机水平的流行倾向和审美质量判断，说明MERT提取的音乐特征确实触达了某些跨越不同生成架构的音乐普遍规律，而非仅仅记住了Suno和Udio的特定风格。

归根结底，这项研究告诉我们一件颇具启发性的事：音乐的"好听"和"流行"虽然并不完全重叠，但两者都可以从声音本身学到，而且同时学习它们，并不会让两件事互相拖后腿。在AI音乐每天以海量速度涌现的今天，一个能自动判断哪些歌曲更具审美价值、更可能获得听众青睐的工具，对平台推荐系统、AI模型的训练和优化、乃至普通用户发现高质量内容，都有切实的参考价值。当然，目前的预测相关系数还处于0.35左右的水平，距离"精确预测"仍有相当距离，毕竟"流行"这件事本身就充满了人类喜好的不确定性。而在人声歌曲上的表现明显弱于器乐，也提示下一步可以专门引入对人声质量的建模。APEX的代码和模型已经开源，有兴趣的研究者可以通过arXiv:2605.03395找到相关信息进行进一步探索。

Q&A

Q1：APEX模型预测AI生成音乐流行度的准确率大概有多高？

A：APEX在播放量预测上的皮尔逊相关系数约为0.33至0.35，点赞量预测约为0.40至0.42。这意味着模型预测值与真实流行度之间存在中等程度的正相关，能判断大方向但并非精确预测。流行本身受很多随机因素影响，目前这个水平在该领域已属合理范围。

Q2：APEX的审美评分和流行度评分是同一回事吗？

A：不是同一回事。审美评分衡量的是一首歌在连贯性、音乐性、记忆点、清晰度和自然感五个维度上的感知质量，由人类专家打分标准训练而来；流行度评分则来自真实平台的播放量和点赞量统计。实验结果表明两者捕捉的是互补但不重叠的信号，好听的歌不一定流行，流行的歌也不一定在审美维度上评分最高。

Q3：APEX只能用于Suno和Udio的歌曲吗？

A：不限于这两个平台。研究团队在音乐竞技场数据集上进行了跨平台验证，该数据集包含来自11个训练时从未见过的AI音乐系统，APEX仍然能给出高于随机水平的预测。这说明模型学到的特征具备一定的跨系统泛化能力，能反映音乐的普遍规律而非特定平台的风格。