云知声技术论文被IEEE TASLP 2026正式接收，探索多语种Speech-LLM高效适配新路径

入选论文核心信息从语音识别到Speech-LLM，持续探索语音大模型技术边界

近日，云知声团队研究成果Zipper-LoRA: Dynamic Parameter Decoupling for Speech-LLM based Multilingual Speech Recognition成功被语音与语言处理领域顶级国际期刊IEEE Transactions on Audio, Speech and Language Processing (IEEE TASLP 2026)正式接收。

该成果直击语音大语言模型（Speech-LLM）多语种适配的行业痛点，破解了跨语言干扰与跨域知识迁移难以兼顾的核心难题，为数据资源不均衡场景下的多语种语音识别提供了全新高效的微调范式，同时为低资源语种语音大模型的规模化落地搭建了通用、可复用的技术底座。

IEEE TASLP由IEEE信号处理学会主办，是音频、语音与语言处理领域的顶级权威期刊，聚焦音频技术、语音处理、自然语言计算三大核心方向，收录全球高质量、高创新性的前沿学术成果，学术影响力与行业认可度位居领域顶尖水平。

英文题目：Zipper-LoRA: Dynamic Parameter Decoupling for Speech-LLM based Multilingual Speech Recognition

中文题目：Zipper-LoRA：面向Speech-LLM多语种语音识别的动态参数解耦方法

作者团队：Yuxiang Mei, Delai Qiu, Shengping Liu, Jiaen Liang, Yanhua Long

研究方向：多语言自动语音识别、语音大语言模型（Speech-LLM）、低资源语种适配、参数高效微调（PEFT）、LoRA优化

论文简介：面向资源分布不均衡的多语言自动语音识别任务，现有语音大语言模型在参数高效微调时面临跨语言干扰与知识迁移难以兼顾的问题：共享LoRA 易受高资源语言主导，损害低资源语言性能；完全独立的 LoRA 则限制了跨语言知识共享。

针对这一问题，本文提出Zipper-LoRA 动态参数解耦框架，将 LoRA 适配能力划分为共享子空间与语言特定子空间，并利用语言身份感知路由器在秩级别动态融合二者，实现对可迁移知识的细粒度共享和对语言冲突的有效隔离。本文进一步设计了静态、硬路由与软路由三种变体，以及采用 Initial-B warm-start 的两阶段训练策略，以提升不平衡多语言训练下的收敛稳定性。

实验结果表明，Zipper-LoRA 在 12 种目标语言上均取得了优异性能。与仅通过调整有效秩来实现压缩或效率优化的 FlyLoRA 等方法不同，Zipper-LoRA 所提出的动态参数解耦策略能够在保持跨语言知识共享的同时，有效缓解不同语言之间的参数干扰。同时，相比 Fully Shared 的 Vanilla-LoRA 和 Fully Decoupled 的 Independent-LoRA，Zipper-LoRA 在所有语言上均取得更加均衡的性能表现，验证了共享与语言特定知识动态融合的有效性。

Zipper-LoRA 结构图

不同 LoRA 方法在 12 种语言上的识别性能对比

论文链接：

https://arxiv.org/abs/2603.17558

项目地址：

https://github.com/YuCeong-May/Zipper-LoRA

作为国内早期布局智能语音赛道的企业，云知声在语音识别、语音合成、自然语言处理及大模型领域深耕多年，积累了深厚的技术壁垒与成熟的产业化经验。公司自研的U2语音大模型已支持超100种中国方言、15余种国际语种，广泛落地于医疗、教育、智能家居、智能车载等核心垂直场景，实现了多场景、多语种语音AI的规模化商用。

在Speech-LLM前沿领域，云知声持续深耕语音编码器与大语言模型的高效融合架构，不断突破端到端语音理解、语音生成核心技术，持续夯实多语种、低资源语音建模能力。

长期以来，云知声研发团队的创新成果持续登上ICASSP、Interspeech、ACL、EMNLP等国际顶级会议与期刊，在语音识别、声纹验证、语音增强、多语言大模型建模等领域拥有广泛的国际学术影响力。

本次成果获IEEE TASLP 2026录用，是对云知声技术实力与创新路径的又一次权威认可。未来，我们将坚持“强基模、深应用”的战略方向，持续迭代模型能力，推动语音大模型基础研究与产业应用深度融合，让更先进的语音AI技术走向更多语言、更多场景，服务于更广泛的真实应用。