情感识别不再是分类题：EmotionThinker让SpeechLLM 学会解释情绪

语音情感识别（Speech Emotion Recognition, SER）在过去基本遵循同一种范式：输入语音，输出情绪标签。这种设定在工程上有效，但在认知层面却过于简化。

在人类交流中，情绪判断从来不是一个 “标签选择” 的过程，而是一种基于证据整合的推理行为。我们会综合语调变化、音高起伏、语速快慢、重音位置、语义内容，以及说话人的身份特征，去解释 “为什么” 这是愤怒、“为什么” 这是失落。

因此，一个更根本的问题浮现出来：

SpeechLLM 是否具备像人类一样解释 “为什么” 做出情绪判断的能力？

为此，研究团队提出了EmotionThinker—— 首个面向可解释情感推理（Explainable Emotion Reasoning）的强化学习框架，尝试将 SER 从 “分类任务” 提升为 “多模态证据驱动的推理任务”。

• 论文标题：EmotionThinker: Prosody-Aware Reinforcement Learning for Explainable Speech Emotion Reasoning

一、从 “情绪分类” 到 “情感推理”

EmotionThinker 首先对语音情感识别任务本身进行了重定义，将其扩展为情感推理任务（Emotion Reasoning）。在新的设定下，模型不仅需要预测情绪标签，还需要生成一段解释，明确指出：

• 哪些声学线索支持这一判断
• 哪些语义线索起到关键作用
• 这些线索如何共同构成最终结论

这种范式转变意味着，模型输出从 “标签” 升级为 “标签 + 基于证据的推理”。

它的意义并非简单延长输出，而是对优化目标的重写。模型不再只需 “预测正确”，而必须学习如何整合韵律、语义与说话人属性等多模态信号，并在解释中体现证据对齐过程。情绪识别由此从判别问题转变为结构化推理问题。

二、EmotionThinker：

面向可解释情感推理的框架

EmotionThinker 的目标并不局限于提升最终准确率，而是同时提升三方面能力：

（1）更高的情绪识别准确率

（2）更强的情绪线索整合与推理能力

（3）更细粒度的音频描述能力，覆盖说话人特征、韵律线索与语义信息

为了支撑这一目标，研究团队首先构建了EmotionCoT-35K。这是一个包含 35,000+ 条样本的 Chain-of-Thought 风格数据集。与传统 SER 数据不同，它不仅提供情绪标签，还提供细粒度韵律描述与结构化推理解释。

这些样本明确标注了音高、能量、语速、重音、语调轮廓等线索如何支持情绪判断，使模型能够学习到 “证据 — 推理 — 结论” 之间的对应关系。

与此同时，研究团队观察到：若模型的韵律感知能力不足，其情感推理能力将受到系统性限制。因此，研究团队进一步构建了一个 EmotionThinker-Base。EmotionThinker-Base 通过监督微调增强模型对音高变化、能量波动、语速模式与重音等结构的感知能力，从而为后续的推理优化提供稳定基础。

三、GRPO-PTR：

让强化学习真正优化 “解释能力”

在将语音情感识别重定义为情感推理之后，一个新的优化难题随之出现：如何在开放式生成场景中，对 “推理质量” 进行稳定强化学习？直接将推理奖励与情绪预测奖励简单叠加，会带来明显的噪声问题。一方面，模型可能生成语言上看似合理但与最终情绪判断不一致的解释；另一方面，在训练初期，模型尚未形成稳定的声学 — 语义对齐能力，过强的推理奖励容易放大早期随机偏差，导致策略梯度震荡。为此，研究团队提出了 GRPO-PTR（Progressive Trust-aware Reasoning）。

首先，研究团队采用了渐进式推理奖励调度。在训练初期，优化重点放在情绪预测的稳定性上；随着模型策略逐步收敛，逐步提高推理奖励权重，使模型从 “预测正确” 过渡到 “解释合理”。这种 reward scheduling 降低了早期高方差信号对训练稳定性的影响。

其次，研究团队引入基于一致性的可信度加权机制。当模型生成的推理与最终情绪预测保持一致时，推理奖励按完整权重计入；当二者存在冲突时，推理奖励自动衰减。该机制有效缓解了开放式生成任务中常见的 reward misalignment 问题，使解释优化始终服务于情绪判断本身。

从优化角度看，GRPO-PTR 解决的是一个更一般的问题：如何在 “预测 + 解释” 的多目标生成任务中，使结构化推理与最终决策保持对齐，并在强化学习框架下稳定收敛。

四、实验结果与研究启示

在多个标准语音情感识别基准上，EmotionThinker 同时实现了：

• 更高的情绪识别准确率
• 更优的解释质量
• 更稳定的韵律线索整合能力

更重要的是，我们观察到一个关键现象：当模型被显式训练去对齐声学线索与情绪判断时，其在复杂情绪场景下的鲁棒性显著增强。这说明，情感理解的瓶颈并不仅仅在语义层面，而在于声学与语义信号的协同建模能力。换句话说：如果模型不能准确理解 “怎么说”，它就无法稳定理解 “是什么情绪”。

结语

EmotionThinker 并不仅仅是在情感识别任务上提升准确率，而是在任务定义层面完成了一次转变。

情绪识别不应只是标签预测，而应是基于多模态证据的结构化推理过程。从 “分类” 到 “解释”，从 “标签” 到 “证据 — 推理 — 结论” 的一致性对齐，情感理解正在进入一个强调可解释性与结构协同的阶段。

当模型学会解释情绪时，它不仅在给出判断，也在展示其如何整合声学与语义线索。

这或许是多模态大模型迈向真正情感理解能力的重要一步。

作者简介

本文第一作者为王丁冬，香港中文大学博士生，研究方向为语音大模型的口语理解，对话与推理 (Reasoning)，导师为 Helen Meng 教授。本文在微软刘树杰博士与Jinyu Li博士的共同指导下完成。