阿里把Jev用在音频大模型上，推理速度暴涨20倍！

智猩猩AI整理

编辑： 没方

在类Jev决策模型生态中，阿里Qwen系列已成为重要的基础模型。Hugging Face决策模型榜单排名前二的模型均基于Qwen3.8-27B改造。

阿里团队最近也将Jev引入音频领域，尝试解决大模型在声音识别、说话人验证和音频质量评估等任务中的效率问题。

传统音频大模型通常需要逐Token生成文字答案，即便用户只想知道“是不是同一个人”或“音质能打几分”，模型仍需经历自回归解码过程，增加推理延迟和计算开销。

为此，研究团队提出Qwen-Audio-Jev模型，在Qwen-Audio-3.1-ASR-Flash-Next基础上引入专用Jev决策头，让模型不必生成完整文本，就能直接输出分类概率、真假判断或数值评分。

新模型统一支持CHOICE（多选）、NOUL（二元判断）和SCORE（评分）三种决策方式，通过监督微调（SFT）与面向概率校准的强化学习（RLCD）训练框架，学习处理不同类型的音频任务。

实验覆盖18项评估配置，其中MMSU准确率超过84%，VoxCeleb1-O说话人验证的等错误率为6.50%。相比原始模型，Qwen-Audio-Jev实现了约20倍的推理加速。

01

给音频大模型装上

Jev决策头

Qwen-Audio-Jev的核心设计，是保留原有音频大模型的理解能力，同时改变最终答案的生成方式。

原始Qwen-Audio-3.1-ASR-Flash-Next主要由音频编码器、音频到语言的适配器，以及MoE语言解码器组成。

音频编码器负责提取声音特征，适配器将音频特征映射到语言模型能够处理的表示空间，再由解码器结合自然语言指令进行理解。

研究团队使用的模型包含40层MoE解码器，隐藏维度为2048，共有256个路由专家，每个Token激活8个专家。

他们没有重新设计整套音频理解架构，而是在语言解码器生成答案之前，提取最后一个问题前缀Token对应的隐藏状态，并将其输入专门的Jev决策头。

其中，模型通过Fuse操作，将适配后的音频嵌入插入输入序列对应的音频位置，与用户问题及答案规则共同构成模型输入。

提取出的隐藏状态融合了音频内容、用户问题以及答案规则的信息。由于该状态位于目标答案之前，因果注意力机制能够确保模型在训练时无法提前读取正确答案。

图1：Qwen-Audio-Jev模型架构。

02

三种决策方式，

覆盖不同音频任务

Jev决策头由三个线性投影分支组成，分别对应CHOICE、NOUL和SCORE。它们共享同一个音频理解底座，但根据问题类型调用不同的输出分支。

CHOICE负责候选答案选择。例如，给模型一段声音，询问它属于狗叫、雨声还是音乐。模型会直接计算每个候选答案的概率，并选择概率最高的一项。

当前实现支持2至64个候选选项，使用Softmax完成概率归一化。每个输出位置的含义由用户给出的候选描述决定，而不是提前绑定某个固定类别。

NOUL负责二元判断。 例如，输入两段录音，询问是否来自同一位说话人。模型通过单个输出值和Sigmoid函数，直接计算命题成立的概率。

这一概率可以用于真假判断，也能够根据具体业务设置不同阈值。

SCORE负责数值评分。例如，要求模型评价一段录音的音质。模型先预测不同评分等级的概率分布，再计算概率加权后的期望值，并根据实际应用的评分量表转换为最终分数。

当前支持2至10个有序等级，并可将结果映射到1至5分等实际应用量表。

需要强调的是，SCORE预测的是音频属性的评分，而不是模型对自身答案的置信度。

三种方式都不需要逐Token生成最终文字答案。不过，如果用户一次提交多个问题，当前实现仍需分别执行问题条件化的前向计算，并非一次推理就能同时回答所有问题。

图2：Qwen-Audio-Jev的训练路径。

第一阶段：多任务监督微调

为了让同一个模型掌握三种决策能力，研究团队将不同数据集统一为“音频-问题-答案规则-目标标签”的训练格式。

说话人验证数据可以训练二元判断，情绪识别数据可以训练多类别分类，音质评价数据可以训练评分，而不需要每段音频都具有全部类型的标注。

训练时，音频编码器、适配器、语言模型底座和Jev决策头共同优化，但每条训练样本只激活对应的决策损失。

其中，CHOICE采用分类交叉熵，同时随机打乱候选答案顺序，减少模型依赖固定选项位置的问题。

NOUL采用二元交叉熵，学习真假命题对应的概率。

SCORE则组合三类损失：交叉熵用于匹配评分概率分布；累计分布函数（CDF）损失用于惩罚评分等级之间的偏移；SmoothL1损失用于约束预测平均分与目标分的差距。

其中，CDF损失权重为0.25，均值损失权重为0.10。

整体训练还保留MoE模型的负载均衡损失和路由器z-loss，但不再加入传统的下一个Token预测目标。

第二阶段：面向概率校准的强化学习

在监督微调之后，研究团队进一步采用受RLCD（Reinforcement Learning for Calibrated Decisions）启发的强化学习方法，让模型不仅能够做出正确判断，还能输出更可靠的概率。

与传统强化学习侧重生成完整回答不同，这一方法将每个音频决策建模为一步式上下文赌博机问题，从SFT模型出发优化决策概率分布。

对于每个问题，模型只需进行一次前向计算，就能得到对应的决策概率分布。随后从这一分布中独立、有放回地采样32次，并引入0.05的均匀探索比例，让低概率选项也有机会被选中，避免探索过度集中在当前高概率答案上。

接下来，系统根据真实标签和采样结果构造组奖励，既考虑决策是否匹配正确答案，也衡量预测概率分布的质量。该奖励在期望意义上对应Brier概率误差；对于SCORE，还额外引入有序概率评分，惩罚偏离真实评分等级较远的预测。

优化过程中，研究团队采用带重要性权重的策略梯度方法，修正探索性采样带来的分布偏差，并通过留一法基线降低梯度估计的方差。

这一阶段的目标，不只是让模型选对答案，还要让它给出的概率更准确地反映预测结果的不确定性。

03

实验评估

表2：Qwen-Audio-Jev在八个带标注基准上的选择准确率（%），涵盖声学场景分类、乐器识别、人类非语音声音识别、说话人性别分类、语音情感识别和音频问答。

CHOICE结果如上表所示，模型在识别说话人属性或人声事件与识别对话情绪方面存在明显的能力差距。性别分类和人类非语言声音识别的准确率均超过90%，而MELD数据集上的表现最弱。场景识别和乐器识别的表现则介于两者之间。

因此，这种识别能力上的差距并非简单的语音与非语音任务之间的区别。相比对话中的情绪信息，模型能够更准确地识别说话人性别和人声事件类别。

音频问答任务的实验结果揭示了模型在另一方面的局限性。在三个基准测试中，MMSU表现最好，准确率超过84%，其次是MMAU，MMAR的准确率最低。MMAR上相对较低的准确率表明，针对复杂音频问题进行答案选择，是一个有别于情绪识别、需要单独改进的方向。

综合来看，这些结果指出了CHOICE任务未来需要重点提升的两个方向：一是更精细地区分不同的情绪类别，二是提高复杂音频问答任务中答案选择的可靠性。 此外，场景识别和乐器识别能力也仍有进一步优化的空间。

表3：Qwen-Audio-Jev在说话人验证、二元音频问答、讽刺检测和音频深度伪造检测等Noul任务上的性能表现。准确率（Accuracy）、假阳性率（FPR）和假阴性率（FNR）均采用0.5的概率阈值进行计算。

表3展示了NOUL任务中两种不同的性能表现。

在PodSarc和VoxCeleb1-O数据集上，模型不仅具有较强的概率区分能力，而且在固定阈值下的错误率也较低。两项任务的AUC均超过0.98，在0.5概率阈值下，假阳性率（FPR）和假阴性率（FNR）均低于8%。

其中，PodSarc在等错误率（EER）和Brier评分方面也表现最佳，说明其优势不仅体现在基于硬判定的分类准确率上，还体现在类别区分能力和概率预测的平方误差方面。因此，这两项任务的突出特点是，模型在基于概率的评估指标和二元决策指标上均表现稳定。

相比之下，Clotho-AQA与In-the-Wild之间的差异更值得关注。两者的AUC非常接近，分别为0.8787和0.8763，EER也都在20%左右。然而，在0.5概率阈值下，In-the-Wild的假阴性率高达57.29%，明显高于Clotho-AQA的24.49%，尽管前者的假阳性率更低。

这意味着，在当前阈值设置下，In-the-Wild的主要问题并非误报过多，而是漏检了大量实际为正类的样本。

这一对比揭示了NOUL任务性能评估中两个相互独立的方面：一是模型在概率空间中区分不同类别的能力，二是在特定决策阈值下，误报与漏检之间的平衡。

因此，降低正类样本的漏检率，是In-the-Wild任务最需要优先改进的方向。

表4：Qwen-Audio-Jev在NISQA语音质量维度以及Voice-MOS/BVCC合成语音上的评分表现。误差与相关性指标概括了数值准确性以及与人类质量评分的吻合程度。

如表4所示，SCORE任务的实验结果揭示了两个不同的评估维度。一是模型预测评分与人类评分在数值大小上的一致性，二是模型能否准确反映不同录音之间音频质量的变化趋势。

在NISQA评测中，整体质量（Overall Quality）和音色失真（Coloration）两个维度的平均意见得分（MOS）预测误差相对较低，同时相关系数接近0.8，表明模型在这两个维度上具有较好的评分能力。

响度（Loudness）评估则进一步说明了这些指标之间的互补关系。尽管响度的平均绝对误差（MAE）与整体质量接近，但其皮尔逊相关系数（Pearson Correlation）更低。这意味着，即使模型在不同任务上的平均预测误差相近，其预测结果与人类评分之间的线性相关程度仍可能存在明显差异。

在VoiceMOS评测中，模型预测结果与人类评分之间表现出正向的线性相关性和等级相关性，皮尔逊相关系数和斯皮尔曼相关系数（Spearman Correlation）分别达到0.723和0.754。

然而，VoiceMOS的MOS平均绝对误差达到0.813，高于NISQA所有评估维度。这一对比表明，模型预测评分与人类评分具有较强的相关性，并不意味着模型在原始评分尺度上也具有较高的预测准确性。

在NISQA的各项评估维度中，噪声（Noise）的平均绝对误差最大，达到0.584。

综合来看，SCORE任务未来需要重点改进三个方面。降低VoiceMOS的评分预测误差、提高噪声质量评分的准确性，以及改善响度评分与人类评价之间的一致性。

关注+星标，获取AI前沿进展与开源一线动态