Soul创始人张璐团队开源SoulX-Transcriber，为复杂多人语音场景提供新方案

近日，Soul App创始人张璐团队在语音智能领域取得新进展。Soul App旗下Soul AI Lab联合西北工业大学音频语音与语言处理研究组ASLP@NPU团队及Moonstep AI，正式开源端到端多人对话转录模型SoulX-Transcriber。该模型聚焦多人多轮对话场景中的语音识别难题，通过针对说话人属性的系统化建模，提升复杂交互环境下的转录准确性和稳定性，为多人语音理解提供了一种新的技术方案。

随着会议沟通、在线教育、访谈播客以及直播互动等场景日益丰富，语音识别系统面对的应用环境也变得更加复杂。与单人语音识别相比，多人对话不仅涉及内容识别，还需要处理说话人身份区分、发言时间定位以及连续上下文理解等问题。在真实交流过程中，往往存在多人交替发言、语音重叠、频繁打断、远场收音、情绪变化以及非标准口语表达等情况，这些因素都会增加系统识别难度。

长期以来，传统多说话人语音识别系统更多依赖语音活动检测结果进行逐句转写，在长上下文建模、多说话人一致性建模以及结构化音频理解方面存在一定局限。因此，在实际应用中容易出现说话人归属混乱、文本内容断裂、时间轴错位以及长程语义信息丢失等问题。对于多人语音场景而言，仅仅识别“说了什么”已经难以满足需求，系统还需要准确判断“是谁说的”以及“什么时候说的”。

针对上述挑战，SoulX-Transcriber采用统一的端到端框架，将说话人身份、时间边界以及转录文本纳入同一模型进行联合建模，实现从原始音频到结构化结果的直接生成。在处理复杂多人对话时，模型能够同步完成说话人识别、时间定位和内容转录三项任务，从而获得更加完整且一致的输出结果。

多人对话识别的关键在于模型对说话人特征的理解能力。为此，Soul创始人张璐团队专门设计了两阶段训练方案，围绕说话人建模进行重点优化。在第一阶段，模型通过多任务联合训练方式，同时学习说话人轮次切换预测、目标说话人提取与识别、说话人验证、多说话人转录以及通用语音识别等任务。在完成多任务预训练后，第二阶段通过高质量标注数据进行监督微调，进一步提升模型在真实场景中的泛化能力和稳定表现。该方案无需改变底层模型架构，便能够有效增强模型对于相似音色说话人、快速轮次切换以及复杂多人交互环境的处理能力。

除了训练机制的创新之外，Soul创始人张璐团队还为SoulX-Transcriber构建了一套面向多人多轮对话的语音数据生成体系。相较于依赖自动标注产生的伪标签数据，该体系能够在说话人身份、对话结构以及内容组成方面实现更高程度的可控性。通过对话文本构建、参考音频构建、说话人参考匹配以及对话音频生成四个阶段，系统可以持续生成高质量训练样本，并扩展包含相似音色说话人和复杂交互行为的困难数据集，为模型训练提供更丰富的数据支撑。

模型性能方面，SoulX-Transcriber在AISHELL-4、AliMeeting等多人会议公开数据集测试中取得领先表现。在常规评测之外，Soul创始人张璐团队还专门构建了5分钟长音频测试集，以验证模型在长时间上下文环境中的表现。测试结果显示，模型在长音频场景下依然能够保持稳定的说话人追踪能力和较高的转录质量，有效减少长对话过程中容易出现的身份漂移和归属错误问题。在覆盖日常交流、影视内容以及播客节目等多种场景的内部测试中，SoulX-Transcriber同样展现出良好的适应能力。此外，虽然模型训练数据以中文为主，但在英文多人对话环境中依然保持了较强的识别能力和说话人归属能力，体现出较好的跨场景泛化水平。

此次SoulX-Transcriber的开源，也体现出Soul创始人张璐团队在语音技术方向持续积累的成果。此前，Soul AI团队已经陆续开源播客语音合成模型SoulX-Podcast、歌声合成模型SoulX-Singer以及全双工语音对话控制模块SoulX-Duplex，并围绕语音交互领域不断完善技术基础能力建设。在实时数字人生成方向，团队还推出了SoulX-LiveAct、SoulX-FlashTalk、SoulX-FlashHead等模型，获得开发者群体的关注。

从语音理解到实时交互，从模型研发到技术开源，Soul创始人张璐团队持续围绕AI社交场景中的核心能力展开探索。此次SoulX-Transcriber的发布，不仅展示了团队在多人语音理解领域的研究成果，也进一步丰富了其在智能交互技术方向的开源布局，为行业提供了面向复杂多人对话场景的实践方案。