网易首页 > 网易号 > 正文 申请入驻

ConvexLLM让声音接上大模型已经学会的知识与推理

0
分享至

11月19日消息,近日,香港中文大学(深圳)联合微软亚洲研究院、微软 CoreAI 发布通用音频大模型 ConvexLLM,提出C‑Gate 凸包语音接口新范式,解决传统语音多模态模型音频特征与文本大模型空间不匹配、损害原有文本推理能力的痛点。

在 VoiceBench 十一项综合评测中拿到 75.36 综合分,在同参数量开源模型中排名第一,尤其在语音知识问答、语音推理任务上优势明显。

现有语音大模型普遍采用 MLP、Q‑Former 作为桥接模块,把语音编码器输出的声学特征直接映射到大模型解码器输入空间。这种方式生成的音频向量会落在文本预训练空间之外,解码器需要重新学习理解音频表征,容易损耗大模型原本的文本知识与推理能力。

ConvexLLM 的核心创新 C‑Gate 模块不再做自由映射:对于每一段语音特征,C‑Gate 选出冻结文本词表中得分最高的 16 个文本 Embedding,使用非负权重做加权混合;输出的音频表征永远落在原有文本 Embedding 构成的凸包范围之内,让音频信号直接复用解码器预训练习得的语义空间,无需让大模型从零适应陌生向量。

整套模型中文本 Embedding 表与输出 LM Head 全程冻结,只训练接口与部分编码器、解码器,保留基座大模型原生能力arXiv。

模型技术栈上,ConvexLLM 采用 Whisper‑large‑v3 作为音频编码器,基座解码器选用 Qwen3.5‑9B。训练分为三阶段逐步解冻模块,最终版本在 VoiceBench 十一项任务综合得分 75.36,MMAU Test‑mini 精度 62.50%;对比 MiniCPM‑o、Kimi‑Audio、Qwen2.5‑Omni 等主流开源音频模型,在口语知识、语音推理类任务提升最为显著;对比实验证实,同等条件下 C‑Gate 整体口语表现优于 MLP、Q‑Former,同时文本任务性能接近 MLP 基线。论文同时也指出,在纯语音转录任务上,部分基线模型仍然具备优势,存在任务取舍。

VoiceBench 评测集合覆盖开放式语音指令、语音知识问答、推理、指令遵循、安全对齐等 11 类任务。从分项结果看,ConvexLLM 在 WildVoice、OpenBookQA、MMSU、SpeechMMLU、BBH 等推理、知识类子任务拿到榜单最高分。

项目目前公开论文与演示页面,代码、权重即将开放。研究团队表示,凸包接口为音频‑大模型对接提供全新可行路线,未来可以进一步拓展环境音、音乐等更多通用音频理解场景。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
现货黄金,跌破3700美元!金饰克价高点下调近600元

现货黄金,跌破3700美元!金饰克价高点下调近600元

数据宝
2026-11-19 20:59:09
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

中美会晤1小时,特朗普说出真心话,这句美妙的祝福,中国收下了

讲者普拉斯
2026-11-19 21:44:27
雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

雅鲁藏布江水电站开工:中国建全球超级工程,印巴两国反应大不同

文史达观
2025-07-21 12:48:03
太可惜!亚运村这家8年老店关了!

太可惜!亚运村这家8年老店关了!

亚奥在线
2026-11-19 16:08:37
台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

台专家曾警告:如果大陆武统台湾,将毁灭500个城市,1.4亿人死亡

只能离开
2026-11-11 22:13:42
奥运冠军被禁赛三年!

奥运冠军被禁赛三年!

五星体育
2026-11-19 18:44:50
这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

这才是宋氏三姐妹真实的相貌,不是演员扮演的角色!

历史伟人录
2025-05-08 10:08:01
波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

波切蒂诺走马上任亮相曼联!下机不睡觉直奔训练场,第一件事剪头发

罗米的曼联博客
2026-11-19 06:46:58
【特稿】以军越过加沙“黄线” 哈马斯发声谴责

【特稿】以军越过加沙“黄线” 哈马斯发声谴责

新华社
2026-11-19 14:29:01
54 年来头一遭!打破惯例,特朗普到访深圳,他究竟看到了什么?

54 年来头一遭!打破惯例,特朗普到访深圳,他究竟看到了什么?

大中国
2026-11-19 21:57:35
美股盘前,科技股全线上涨

美股盘前,科技股全线上涨

中国基金报
2026-11-19 20:20:20
1992年,湖北一对夫妻自杀身亡,留下了年仅5岁的女儿,23年后,这个女儿不顾全村的反对,决心带人挖开了父母的坟墓,直到真相揭晓

1992年,湖北一对夫妻自杀身亡,留下了年仅5岁的女儿,23年后,这个女儿不顾全村的反对,决心带人挖开了父母的坟墓,直到真相揭晓

扶苏聊历史
2026-11-19 18:07:09
皇马血亏!伯纳乌两大弃将完美爆发!穆里尼奥彻底看走眼

皇马血亏!伯纳乌两大弃将完美爆发!穆里尼奥彻底看走眼

奶盖熊本熊
2026-11-19 08:54:14
金正恩与特朗普是否会举行会晤?外交部回应

金正恩与特朗普是否会举行会晤?外交部回应

澎湃新闻
2026-11-19 16:50:12
宝马新车官宣:11月25日,正式上市

宝马新车官宣:11月25日,正式上市

科技堡垒
2026-11-17 08:00:40
1990年,被关押40年的地主出狱,写信给王震:记得那1000担粮食吗

1990年,被关押40年的地主出狱,写信给王震:记得那1000担粮食吗

文史道
2025-09-06 12:53:48
2026酱酒跳水榜:当年炒得越狠,如今摔得越响

2026酱酒跳水榜:当年炒得越狠,如今摔得越响

牛锅巴小钒
2026-11-19 03:20:33
欧盟拟向乌克兰追加450亿欧元贷款

欧盟拟向乌克兰追加450亿欧元贷款

环球网资讯
2026-11-19 08:58:28
日本人怒斥高市,非要硬刚中国,这下全世界都知道敌国条款了

日本人怒斥高市,非要硬刚中国,这下全世界都知道敌国条款了

锅锅爱历史
2026-09-28 15:58:48
2026-11-19 22:52:49
DoNews incentive-icons
DoNews
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
110662文章数 26968关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

手机
家居
教育
时尚
数码

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

无障碍浏览 进入关怀版