河南
近日，云知声团队论文《Zipper-LoRA：面向Speech-LLM多语种语音识别的动态参数解耦方法》被语音与语言处理领域权威期刊IEEETASLP2026正式接收。该研究针对多语种语音大模型微调难题提出新框架，为低资源语种语音识别落地提供技术思路。
直击行业痛点：多语种语音模型面临跨语言干扰难题
随着语音大语言模型（Speech-LLM）在多语种场景快速应用，数据资源不均衡带来的技术挑战逐步凸显。传统LoRA参数微调方案存在明显局限：采用共享LoRA时，模型容易被高资源语种数据主导，削弱低资源语种识别效果；若为各类语言配置独立LoRA，又会阻断跨语言之间的知识迁移能力，二者难以兼顾。
针对上述矛盾，研究团队提出Zipper-LoRA动态参数解耦框架。该框架将LoRA适配能力拆分为共享子空间与语言特定子空间，依托语言身份感知路由器在秩层面完成动态融合，在保留可迁移知识的同时隔离语言间冲突。团队还设计静态、硬路由、软路由三种变体，并搭配Initial-Bwarm-start两阶段训练策略，提升多语言不平衡训练时的收敛稳定性。
实验验证：12种语言上实现更均衡的识别性能
实验选取12种目标语言开展测试。结果显示，Zipper-LoRA能够在维持跨语言知识共享的基础上，缓解不同语种之间的参数干扰。对比Vanilla-LoRA、Independent-LoRA以及FlyLoRA等现有方案，Zipper-LoRA在全部测试语种上获得更为均衡的性能表现。
持续深耕Speech-LLM，夯实多语种语音技术底座
云知声长期布局智能语音领域，在语音识别、语音合成、自然语言处理与大模型方向持续投入研发。自研U2语音大模型可支持百余种中文方言及十余种国际语种，落地医疗、教育、智能家居、车载等多个行业场景。
在Speech-LLM前沿方向，团队持续探索语音编码器与大语言模型融合架构，攻坚端到端语音理解与生成技术，强化多语种、低资源语音建模能力。多年来，其研发成果先后登上ICASSP、Interspeech、ACL、EMNLP等国际权威学术会议，在语音相关研究领域积累了相应学术影响力。
基础语音模型的多语种适配，尤其是低资源语种的能力建设，是全球语音AI领域共同面对的课题。本次成果获IEEE TASLP 2026录用，是对云知声技术实力与创新路径的又一次权威认可。当下学界与产业界还在持续推进算法创新，不断打通基础模型研究到真实场景落地的链路，推动多语种语音技术在更多地区、更多行业实现普惠应用。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
