北大与腾讯突破：语音助手实现嘈杂环境人格稳定

这项由北京大学多媒体信息处理国家重点实验室的宋雨含和腾讯微信AI模式识别中心的张林浩等研究人员联合完成的研究，发表于2025年9月26日的arXiv预印本平台（论文编号：arXiv:2509.22220v1）。有兴趣深入了解技术细节的读者可以通过这个编号在arXiv官网查询完整论文。

当你在嘈杂的咖啡厅里对着手机说话，或者在风声呼啸的街头使用语音助手时，是否注意到AI有时会突然"听不懂"你在说什么？这不是因为你的发音问题，而是因为现有的语音AI系统有一个致命弱点：它们对噪音异常敏感，哪怕是微不足道的背景声音也会让它们完全"改变想法"。

研究团队发现了一个令人惊讶的现象：即使在信噪比很高的情况下（也就是说，人类完全能够清楚听懂语音内容），现有的语音AI系统生成的数字标记序列也会发生剧烈变化。这就像一个翻译官，在安静房间里能完美翻译你的话，但只要有一点点背景音乐，就开始胡言乱语。

这种不稳定性给下游的大语言模型带来了巨大的学习负担。当AI系统接收到不一致甚至混乱的输入信息时，就很难建立可靠的语音-文本对应关系，最终导致整个语音AI系统在真实环境中表现糟糕。

为了解决这个问题，研究团队开发了一套名为"StableToken"的全新解决方案。这个系统的核心思想类似于民主投票机制：不再依赖单一"判官"做决定，而是让多个"评委"同时工作，然后通过投票选出最可靠的答案。更巧妙的是，这种投票不是简单的多数决定，而是在更精细的"位"层面进行，这样即使大部分评委在整体判断上出错，系统仍能通过细节层面的正确性恢复出准确结果。

在训练过程中，研究团队还采用了一种"噪音意识共识训练"策略。这就像训练一支合唱团：让大部分成员听清晰的音乐，同时让少数成员听带有杂音的版本，然后要求所有人最终唱出一致的旋律。通过这种方式，系统学会了在面对噪音干扰时保持稳定性。

实验结果令人印象深刻。在衡量标记稳定性的关键指标——单位编辑距离（UED）上，StableToken将错误率从26.17%大幅降低到10.17%，相对改善幅度超过60%。这种改进在各种噪音条件下都保持一致，包括合成噪音和真实世界的复杂噪音环境。

更重要的是，这种稳定性的提升直接转化为下游应用的显著改善。在语音识别任务中，使用StableToken的系统在严重噪音环境下的词错误率降低了30%以上。在情感识别任务中，系统在噪音干扰下仍能保持较高的准确率。在语音合成方面，由于输入标记的一致性提高，生成的语音质量也得到明显改善。

一、语音AI为什么容易"翻脸"

要理解这个问题，我们需要先了解现代语音AI是如何工作的。现代语音AI系统通常采用一种叫做"语义标记化"的技术，这个过程就像把连续的语音流切成一个个小块，然后给每个小块贴上标签。这些标签随后被传递给大语言模型进行处理。

传统的语义标记器采用"单路径量化"设计，这就像在悬崖边走钢丝：只要稍有偏差，就会掉下深渊。当语音信号接近量化边界时，即使是微小的噪音扰动也会被放大成完全不同的输出标记。更糟糕的是，这些标记器的训练目标是最终的语音识别准确率，对中间标记的稳定性毫不关心。只要最终能正确识别出文字，系统就认为任务完成了，完全忽视了过程中标记序列的剧烈变化。

研究团队通过大量实验发现，这种脆弱性在所有主流的语义标记器中都存在。即使是最先进的监督式语义标记器，在面对轻微噪音时也会产生截然不同的标记序列。这种现象在不同类型的噪音（高斯噪音、粉色噪音、棕色噪音等）和真实环境噪音中都普遍存在。

问题的根源可以追溯到两个基本缺陷。首先是架构缺陷：单路径量化天然缺乏容错能力，任何接近决策边界的扰动都会被无限放大。其次是训练信号的距离性：传统的自动语音识别损失函数只关注最终的转录结果，对中间表示的稳定性视而不见。这种设计允许模型收敛到功能正确但表示脆弱的解决方案。

二、多路径投票：构建稳定的"民主决策"机制

面对传统方法的局限性，研究团队提出了一种全新的架构设计思路。与其依赖单一路径做决定，不如建立一个多路径投票系统，让多个"专家"同时工作，然后通过集体智慧得出最可靠的结果。

这个新系统的核心是"Voting-LFQ模块"，它将传统的单一量化器替换为多个并行工作的分支。每个分支都会对输入的语音特征进行独立的线性投影，就像多个专家从不同角度分析同一份材料。这些分支生成的不是最终答案，而是二进制表示，类似于每个专家投出的"赞成"或"反对"票。

投票机制的精妙之处在于它不是简单的多数决定，而是在比特级别进行精细投票。对于每个二进制位，系统会统计所有分支的投票结果，然后选择多数支持的选项。这种细粒度的投票机制具有强大的纠错能力：即使某些分支在整体判断上出错，只要底层的比特级错误保持稀疏，系统仍能恢复出正确的标记。

在训练阶段，这种架构还支持一种创新的训练策略。系统会同时接收原始音频和加噪版本，然后随机选择少数分支处理加噪音频，其余分支处理清洁音频。通过这种不对称的输入分配，系统学会了在噪音干扰下保持一致性：清洁分支作为稳定锚点，指导噪音分支学习鲁棒表示。

在推理阶段，所有分支都处理相同的输入，但由于训练过程中的鲁棒性学习，即使面对噪音干扰，不同分支之间也能保持高度一致性。最终的比特级投票进一步确保了输出的稳定性，有效抵御了噪音引起的随机扰动。

三、共识训练：教会AI在噪音中保持"理智"

仅有多路径架构还不够，关键在于如何训练这个系统在噪音环境下保持一致性。研究团队设计了一种"噪音意识共识训练"策略，这种训练方法的核心思想是让系统在对抗性环境中学会自我稳定。

训练过程采用了一种巧妙的"多视角"策略。对于每个输入音频，系统会生成一个加噪版本，然后将这两个版本分配给不同的分支处理。具体来说，随机选择少数分支（少于总数的一半）接收加噪音频，其余分支接收原始清洁音频。这种设置确保了清洁分支始终占多数，形成稳定的参考基准。

共识损失函数是这种训练策略的核心。系统会计算所有分支在量化前表示的全局平均值，然后要求每个分支（无论处理的是清洁还是加噪音频）都尽可能接近这个全局平均值。由于清洁分支占多数，全局平均值主要反映清洁音频的特征，因此加噪分支被迫学习忽略噪音干扰，向清洁表示靠拢。

这种训练策略的效果类似于在噪音环境中训练合唱团。大部分成员听到清晰的音乐，少数成员听到带噪音的版本，但所有人都必须唱出和谐的旋律。通过反复练习，即使听到噪音的成员也能学会过滤干扰，专注于音乐的本质特征。

在连续向量空间中进行共识优化比在离散空间中进行要容易得多。离散标记的微小变化会导致梯度信号的剧烈波动，使训练变得极其困难。而在连续空间中，梯度信号更加平滑和稳定，允许模型进行细致的调整。

四、训练目标的精心设计

完整的训练目标将多个损失函数巧妙结合，形成一个平衡的优化框架。主要任务仍然是自动语音识别，这确保了系统的基本功能不会受损。在此基础上，共识损失为系统注入了稳定性，要求不同分支在面对相同语义内容时产生一致的表示。

承诺损失来自LFQ框架，它鼓励隐藏状态向量接近量化后的表示，减少量化误差的累积。码本熵损失确保离散码的均匀使用，防止某些码被过度使用而其他码被忽视。这种均匀性对于保持表示空间的丰富性和避免模式坍塌至关重要。

各个损失函数的权重经过精心调节，确保它们之间的平衡。研究团队通过大量实验发现，共识损失的权重设置为0.25能够在稳定性和性能之间取得最佳平衡。过高的权重会损害基本的识别性能，而过低的权重则无法提供足够的稳定性约束。

这种多目标优化的挑战在于不同损失函数可能存在冲突。例如，过度强调稳定性可能会降低表示的表达能力，而过度追求识别准确率可能会忽视稳定性需求。研究团队通过仔细的权重调节和梯度分析，找到了一个各方面性能都能接受的平衡点。

五、选择合适的"评委"数量

在多路径投票系统中，选择合适的分支数量是一个关键决策。太少的分支无法提供足够的冗余度，而太多的分支会增加计算开销而收益递减。研究团队通过系统性实验探索了不同分支数量对性能的影响。

实验结果显示，从3个分支增加到5个分支能够带来显著的性能提升。在各种噪音条件下，5分支系统的单位编辑距离都明显低于3分支系统。这种改进主要来自于更强的容错能力：更多的分支意味着更多的冗余信息，单个分支的错误更容易被其他分支纠正。

然而，从5个分支进一步增加到7个分支，性能提升变得微乎其微。额外的分支虽然理论上能提供更多冗余，但在实际应用中，5个分支已经足够处理大多数噪音干扰情况。更多的分支不仅增加了计算成本，还可能引入额外的优化复杂性。

基于性能和效率的综合考虑，研究团队最终选择5作为最优的分支数量。这个选择在稳定性、计算效率和实现复杂度之间达到了最佳平衡。实际上，5分支的计算开销相比单分支系统仅增加了约0.021%的参数量和0.010%的浮点运算次数，这种微小的额外成本与显著的性能提升形成了极佳的性价比。

六、全方位的性能验证

研究团队设计了一套全面的评估体系，从标记器层面和下游应用层面两个维度验证StableToken的有效性。在标记器层面，他们使用单位编辑距离（UED）作为主要评估指标，衡量原始音频和加噪音频生成的标记序列之间的差异程度。

实验涵盖了多种类型的噪音：合成噪音（高斯噪音、粉色噪音、棕色噪音、位压缩失真）和真实世界噪音。特别值得注意的是，研究团队还测试了域外（OOD）真实噪音，这些噪音在训练过程中从未见过，能够真实反映系统的泛化能力。

结果显示，StableToken在所有类型的噪音条件下都取得了显著优势。平均UED从最佳基线的26.17%降低到10.17%，相对改善幅度超过60%。这种优势在域外噪音测试中依然保持，证明了系统的强泛化能力。即使使用比传统标记器更大的词汇表（8192 vs 4096），StableToken仍然实现了更好的稳定性，这一点尤其令人印象深刻，因为更大的词汇表意味着更精细的决策空间和更高的稳定性挑战。

在重构质量评估中，研究团队训练了流匹配模型将语音标记转换回音频。结果表明，稳定性的提升并没有以牺牲重构质量为代价。StableToken在词错误率和平均意见分数两个关键指标上都达到了最先进水平，证明了其作为通用语音标记器的优秀性能。

七、下游应用中的卓越表现

标记器的最终价值体现在下游应用的性能表现上。研究团队将StableToken集成到语音大语言模型框架中，在自动语音识别、语音情感识别和文本转语音三个关键任务上进行了全面评估。

在自动语音识别任务中，StableToken展现出了优异的噪音鲁棒性。随着信噪比的降低，所有系统的性能都会下降，但使用StableToken的系统下降幅度明显更小。在最严苛的域外真实噪音环境（0dB信噪比）下，StableToken系统的词错误率为20.34%，相比最佳基线的29.94%实现了超过30%的相对改善。在专业的CHiME-4基准测试中，这种优势同样明显：真实测试集上的词错误率为35.90%，模拟测试集上为30.61%，均显著优于基线系统。

语音情感识别任务的结果同样令人鼓舞。在清洁音频上，所有系统的性能相当，但随着噪音水平的增加，性能差距逐渐拉大。StableToken系统在各种噪音条件下都保持了更高的分类准确率，证明了其在提取情感特征方面的稳定性。这种稳定性对于实际应用至关重要，因为真实环境中的语音往往伴随各种背景噪音。

在文本转语音任务中，StableToken的优势主要体现在生成语音的清晰度和自然度上。由于输入标记的一致性更高，下游的语音合成模型能够学习到更稳定的映射关系，从而生成质量更高的语音。在SEED-TTS基准测试中，StableToken在词错误率和平均意见分数两个指标上都取得了最佳结果。

八、技术创新的深度解析

StableToken的技术创新体现在多个层面的精心设计。在架构层面，多分支投票机制不仅提供了容错能力，还保持了较低的计算开销。通过并行处理和精心的参数共享，系统在提供多倍冗余的同时，额外的计算成本控制在可接受范围内。

在训练策略层面，噪音意识共识训练巧妙地解决了离散优化的困难。传统的一致性训练往往在离散空间中进行，梯度信号不稳定，训练极其困难。StableToken通过在连续空间中施加一致性约束，然后在推理时进行离散化，避免了离散优化的陷阱。

比特级投票机制是另一个重要创新。与传统的标记级投票相比，比特级投票具有更强的纠错能力。即使某个标记在多数分支中都是错误的，只要构成这个标记的各个比特位上的错误是稀疏的，比特级投票仍能恢复出正确结果。这种细粒度的纠错机制大大提高了系统的鲁棒性。

训练和推理策略的差异化设计也很值得关注。训练时使用不对称输入（部分分支接收加噪音频），而推理时所有分支接收相同输入。这种设计既确保了训练时的鲁棒性学习，又保持了推理时的计算效率。

九、深入的实验分析

研究团队通过详细的消融实验验证了每个组件的贡献。移除共识损失会导致标记稳定性的显著下降，证明了显式一致性约束的重要性。移除噪音意识训练进一步恶化了性能，特别是在语义保持方面。最后，将多分支架构简化为单分支基线导致了整体性能的全面下降，突出了多路径设计的核心价值。

案例研究提供了系统工作原理的直观展示。在具体的标记序列中，研究团队展示了比特级投票如何纠正个别分支的错误。例如，在某个位置上，噪音导致三个分支产生错误标记，但通过比特级分析，系统发现这些错误主要集中在少数几个比特位上。通过多数投票，这些错误比特被正确比特覆盖，最终恢复出正确的标记。

对不同投票者数量的分析揭示了性能和效率之间的权衡关系。从实验数据可以看出，性能提升在5个分支时达到饱和点，进一步增加分支数量带来的边际收益递减。这一发现为实际部署提供了重要指导，帮助在性能和计算成本之间找到最佳平衡点。

复杂度分析表明，StableToken的额外计算开销主要来自并行分支的线性投影层。由于这些操作相对简单且可以并行执行，实际的推理延迟增加微乎其微。参数量的增加也很有限，每增加一个分支仅增加约0.033M参数，这对现代硬件来说完全可以接受。

十、应用前景与现实意义

StableToken的成功为语音AI在真实环境中的应用开辟了新的可能性。传统语音AI系统在实验室环境中表现出色，但在嘈杂的现实环境中往往力不从心。StableToken的鲁棒性提升使得语音AI能够在更广泛的场景中可靠工作。

在智能助手应用中，这种改进尤为重要。用户经常在各种环境中使用语音助手：嘈杂的街道、拥挤的餐厅、甚至是风声呼啸的户外。StableToken的稳定性确保了助手在这些挑战性环境中仍能准确理解用户意图，提供一致的服务体验。

对于语音会议和远程协作系统，StableToken也具有重要价值。视频会议中的背景噪音、网络传输带来的音质损失、多人同时说话造成的干扰，这些都是现实中常见的挑战。更稳定的语音标记化能够提高会议转录的准确性，改善语音驱动的协作工具性能。

在语音合成和语音转换应用中，StableToken的稳定性转化为更高质量的输出。由于输入表示的一致性提高，下游模型能够学习到更可靠的映射关系，生成更自然、更清晰的语音。这对于语音克隆、多语言语音合成、个性化语音助手等应用都有重要意义。

更广泛地说，这项研究展示了在AI系统中引入冗余和一致性约束的重要性。随着AI系统在关键应用中的部署越来越广泛，系统的鲁棒性和可靠性变得至关重要。StableToken提供的技术思路——通过多路径设计和共识机制提高稳定性——可能在其他AI领域也有借鉴价值。

展望未来，这种稳定性提升为构建更复杂的多模态AI系统奠定了基础。当语音、视觉、文本等不同模态的信息需要融合处理时，每个模态的稳定性都至关重要。StableToken在语音模态上的成功为实现真正鲁棒的多模态AI系统提供了重要的技术积累。

说到底，StableToken解决的不仅仅是一个技术问题，更是AI走向实用化过程中必须跨越的一道门槛。从实验室的完美环境到现实世界的复杂场景，AI系统必须具备应对各种干扰和挑战的能力。StableToken在语音AI稳定性方面的突破，为整个行业提供了宝贵的经验和技术路径。

对于普通用户而言，这项技术的成熟应用意味着更可靠、更实用的语音AI服务。无论是在嘈杂的环境中使用语音助手，还是参与语音驱动的在线会议，用户都能期待更稳定、更准确的AI响应。这种改进虽然在技术细节上复杂，但最终体现为用户体验的显著提升，这正是技术进步的真正价值所在。

研究团队承诺将在论文被接收后公开代码和模型检查点，这将进一步推动相关技术的发展和应用。对于有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2509.22220v1在arXiv平台查阅完整的研究内容。

Q&A

Q1：StableToken是什么？它解决了什么问题？

A：StableToken是由北京大学和腾讯联合开发的新型语音AI标记化技术。它主要解决现有语音AI系统在噪音环境下不稳定的问题——即使是很小的背景噪音也会让AI生成完全不同的数字标记，导致语音助手在现实环境中表现糟糕。

Q2：StableToken的核心技术原理是什么？

A：StableToken采用多路径投票机制，类似民主投票。它让多个"评委"同时分析语音，然后在比特级别进行精细投票选出最可靠的结果。同时配合"噪音意识共识训练"，让系统学会在噪音干扰下保持稳定性，就像训练合唱团在嘈杂环境中保持和谐。

Q3：StableToken相比传统方法有多大改进？

A：实验显示StableToken将标记稳定性错误率从26.17%降低到10.17%，相对改善超过60%。在下游应用中，语音识别在严重噪音环境下的错误率降低30%以上，语音合成质量也显著提升，且这些改进在各种噪音条件下都保持一致。