11月19日消息,近日,香港中文大学(深圳)联合微软亚洲研究院、微软 CoreAI 发布通用音频大模型 ConvexLLM,提出C‑Gate 凸包语音接口新范式,解决传统语音多模态模型音频特征与文本大模型空间不匹配、损害原有文本推理能力的痛点。
在 VoiceBench 十一项综合评测中拿到 75.36 综合分,在同参数量开源模型中排名第一,尤其在语音知识问答、语音推理任务上优势明显。
现有语音大模型普遍采用 MLP、Q‑Former 作为桥接模块,把语音编码器输出的声学特征直接映射到大模型解码器输入空间。这种方式生成的音频向量会落在文本预训练空间之外,解码器需要重新学习理解音频表征,容易损耗大模型原本的文本知识与推理能力。
ConvexLLM 的核心创新 C‑Gate 模块不再做自由映射:对于每一段语音特征,C‑Gate 选出冻结文本词表中得分最高的 16 个文本 Embedding,使用非负权重做加权混合;输出的音频表征永远落在原有文本 Embedding 构成的凸包范围之内,让音频信号直接复用解码器预训练习得的语义空间,无需让大模型从零适应陌生向量。
整套模型中文本 Embedding 表与输出 LM Head 全程冻结,只训练接口与部分编码器、解码器,保留基座大模型原生能力arXiv。
模型技术栈上,ConvexLLM 采用 Whisper‑large‑v3 作为音频编码器,基座解码器选用 Qwen3.5‑9B。训练分为三阶段逐步解冻模块,最终版本在 VoiceBench 十一项任务综合得分 75.36,MMAU Test‑mini 精度 62.50%;对比 MiniCPM‑o、Kimi‑Audio、Qwen2.5‑Omni 等主流开源音频模型,在口语知识、语音推理类任务提升最为显著;对比实验证实,同等条件下 C‑Gate 整体口语表现优于 MLP、Q‑Former,同时文本任务性能接近 MLP 基线。论文同时也指出,在纯语音转录任务上,部分基线模型仍然具备优势,存在任务取舍。
VoiceBench 评测集合覆盖开放式语音指令、语音知识问答、推理、指令遵循、安全对齐等 11 类任务。从分项结果看,ConvexLLM 在 WildVoice、OpenBookQA、MMSU、SpeechMMLU、BBH 等推理、知识类子任务拿到榜单最高分。
项目目前公开论文与演示页面,代码、权重即将开放。研究团队表示,凸包接口为音频‑大模型对接提供全新可行路线,未来可以进一步拓展环境音、音乐等更多通用音频理解场景。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.