网易首页 > 网易号 > 正文 申请入驻

港中深联合微软研究院提出多模态统一建模新架构ConvexLLM,让声音接上大模型已经学会的知识与推理

0
分享至



本研究由香港中文大学(深圳)与 微软研究院(Microsoft Research)联合完成。通讯作者武执政是香港中文大学(深圳)副教授、国家级青年人才、安菲翁科技创始人。刘树杰是微软研究院首席研究员,长期从事自然语言处理、语音处理方面研究。徐明晧、王宇翔、申英达是港中深博士生、硕士生。胡宇轩和李锦宇来自微软 CoreAI。此次提出的ConvexLLM,通过创新的 C-Gate 架构,将语音信息映射至大语言模型原有文本词向量的凸包中,使模型能够充分发挥已有的知识储备与推理能力。在 VoiceBench 等多项基准测试中,ConvexLLM 取得了同量级开源模型中的领先表现,为语音与语言的统一建模提供了新的技术路径。



  • 论文标题:ConvexLLM: Scaling Convex-Hull Speech Interfaces to General-Purpose Audio Intelligence
  • 论文链接:https://arxiv.org/abs/2610.23539
  • 作者:Ming-Hao Hsu、Shujie Liu、Yuxuan Hu、Yuxiang Wang、Yingda Shen、Jinyu Li、Zhizheng Wu
  • 研究单位:香港中文大学(深圳)数据科学学院、微软 CoreAI、微软亚洲研究院

大模型已经学会了知识与推理。给它接上一对 “耳朵”,这些能力能不能一起接过来?

这是语音大模型绕不开的一道题:同一个问题,写出来能答,换成语音,表现却可能明显下降。声音已经被编码成向量,语言模型也足够强,两者之间还缺什么?

来自香港中文大学(深圳)与微软的研究团队,把目光放在了声音进入语言模型的接口上。ConvexLLM 把音频表示约束在语言模型原有文字词向量的凸包中,让声音以连续的文字向量组合进入大模型。



视频链接:https://mp.weixin.qq.com/s/pwsBRtN37rQzdXpObJG3dg

ConvexLLM Demo 演示

什么是 “凸包”?想象桌面上钉着一些钉子,用一根橡皮筋从外侧将它们围住并收紧。橡皮筋围出的区域,连同边界,就是这些点的凸包。把这些点按非负、总和为 100% 的比例做加权平均,得到的新点总会落在这个区域内。文字词向量也可以看作空间中的点,只是维度更高;ConvexLLM 就通过混合这些词向量来表示声音。

这个看起来增加了限制的设计,带来了亮眼的语音知识与推理表现。

在论文报告的同量级开源权重模型对比中,ConvexLLM 以 75.36 分取得 VoiceBench 11 项任务综合得分第一。OpenBookQA 达到 90.33%,BBH 达到 80.40%,后者领先表中最强基线 8.80 个百分点。

此项研究把一个值得整个多模态领域追问的问题推到了眼前:文字词向量组成的连续空间,到底能承载多丰富的声音信息?



  • 欢迎访问 ConvexLLM 论文网站: https://mhhsu1006.github.io/convexllm/

一、让声音用上语言模型熟悉的坐标

文本大模型在预训练中积累了大量知识、推理模式与指令遵循能力。做语音大模型,一个核心目标就是让用户直接开口说话,也能调用这些能力。

声音经过编码器后,需要通过接口转成语言模型的输入。常见的 MLP 或 Q-Former 可以在连续空间里自由映射。ConvexLLM 为这一步选定了明确的参照:语言模型自己的文字词向量。

它的核心接口 C-Gate,把每个音频位置表示成多个冻结词向量的加权组合。词向量提供稳定的坐标,声音决定如何组合。这个设计把语音适配的起点,放在了语言模型已经拥有的表示之上。

从这一视角看,对于表达相同内容的语音和文字,模态差异未必意味着语义本身不同,也可能体现为它们在共享表示空间中展开的轨迹(trajectory)不同。文字通过离散词元组织信息,语音则可以通过随时间变化的连续向量组合承载内容及声学细节。C-Gate 为这种探索提供了一个共同的坐标基础。

让声音用大模型熟悉的表示,调用它已经学会的智能。

二、固定的是词向量,自由的是组合方式

“把声音放进文字空间”,最有意思的地方在于连续组合。

可以把语言模型的词向量想象成一块调色盘。颜料已经固定,但改变配比,就能调出丰富的颜色。C-Gate 对声音做的事情与此类似:每个音频位置先形成查询,从词表中选出最匹配的 16 个词向量,再学习它们的混合权重。

这些权重非负、总和为 1,因此混合后的表示落在文字词向量的凸包内。随着声音变化,选中的向量和混合比例也随之改变,各个音频位置的表示依次构成文字词向量凸包内的一条时序轨迹。固定的是表示空间的参照,变化的是声音在其中展开的路径,以及这条路径承载的信息。



图 1|C-Gate 将选中的 Top-16 冻结词向量连续混合,让声音进入语言模型。

这里保留了一个关键的表达自由度:音频表示可以落在多个词向量之间,无须对应某一个离散词,也无须先形成一段可读转录。语言模型读入的,仍然是一串由声音决定的连续表示。

连续混合的重要性,在支持集大小实验中表现得尤为鲜明:在论文的 2B 配置下,每个位置只选择 1 个词向量时,VoiceBench 综合分为 22.30。扩展到 16 个词向量的连续组合后,综合分达到 60.35。组合的自由度,让这个固定的词向量空间变得更有表现力。

训练也围绕这个接口逐步展开:先训练接口,再加入编码器,最后联合适配编码器、接口与解码器模块。文字词向量表始终固定。主模型还通过文字教师蒸馏,让语音输入下的回答分布学习对应文字输入下的语言能力。

三、75.36 分,声音接上了更强的知识与推理

一个接口设计的价值,最终要看它把多少能力带到了语音端。

在覆盖语音交互、问答、指令遵循与推理等任务的 VoiceBench 上,ConvexLLM 的 11 项任务综合得分达到 75.36,高于 MiniCPM-o 4.5 的 73.04、Kimi-Audio 的 70.26 和 MiMo-Audio 的 67.01。



图 2|ConvexLLM 以 75.36 分领跑 VoiceBench 11 项任务综合得分。

最抓人的结果,集中在知识与推理。ConvexLLM 在 OpenBookQA、MMSU、SpeechMMLU 和 BBH 四项任务上,都取得了表中最高成绩。



图 3|四项知识与推理任务均超过各自最强基线,BBH 领先 8.80 个百分点。

其中,BBH 从最强基线的 71.60% 提升到 80.40%,OpenBookQA 从 83.70% 提升到 90.33%。这些任务要求模型听完问题后,继续调用知识、分析条件、完成推理。提升发生在我们最希望语音大模型获得的能力上:听懂之后,真正把问题想明白。

对语音助手、口语学习、知识问答和专业咨询等应用研究而言,这提供了一个很有吸引力的方向:让语音接口更好地连接语言模型已经具备的思考能力。

四、文字的凸包,也能承载环境声与音乐

ConvexLLM 进一步把同一套接口用于语音、环境声和音乐理解。

在 MMAU Test-mini 上,模型整体准确率为 62.50%,其中环境声为 65.77%、音乐为 60.78%、语音为 60.96%。它也完成了语音识别,在 LibriSpeech test-clean 上取得 2.39% 的词错误率。

这给了 “文字空间” 一个更有想象力的含义:原本服务于文字的词向量,可以被连续组合,用来承载多种声音任务需要的信息。词表是有限的,组合却为音频保留了丰富的变化空间。

基于已有的声学编码器与语言模型,ConvexLLM 在适配阶段的音频使用量上界为 27.1 万小时。一个结构清楚的接口,已经足以支撑从语音识别到知识推理、再到非语音音频理解的完整研究系统。

五、接口本身,就是一个值得认真研究的变量

如果你正在做 speech LLM,接下来最想知道的,应该是接口选择本身能带来多少变化。

研究团队在 Qwen3.5-2B 上,对比了规模都在 170 万参数左右的 MLP、Q-Former 与 C-Gate 接口。三者采用相同的编码器与解码器,并共享 Stage 3 的数据、训练目标和优化设置,完成 18,000 步 Stage 3 训练后进行评测。



图 4|同一 2B 骨干下,C-Gate 的语音综合分最高,与对应文字输入的差距也最小。

C-Gate 的语音综合分达到 60.35,高于 MLP 的 58.80 和 Q-Former 的 54.19。文字输入下的综合分为 63.20。语音与对应文字之间的综合分差距,在三种接口中也最小。

表示分析则给出了更直观的线索。在另一组 2B 诊断模型中,到第 7 个解码器模块,C-Gate 的语音与对应文字表示的中心化余弦相似度已达到 0.69,MLP 和 Q-Former 分别为 0.45 与 0.44。语音在模型较早的计算阶段,就开始沿着与文字更接近的表示路径前进。

这让接口研究有了很具体的抓手:声音进入语言模型时站在哪里,又如何影响后续的知识调用与推理?ConvexLLM 把这个问题变成了一套可以实现、比较和分析的实验设计。

六、下一篇研究,可以从这个接口开始

ConvexLLM 最值得继续挖掘的地方,是它提供了一个简洁、明确、容易形成研究问题的出发点。

做语音大模型,可以从更强的能力迁移开始

把 C-Gate 纳入 bridge 对照,在同一骨干上研究更强的语音指令遵循、复杂问答与推理。接口给声音一个稳定的文字参照,后续可以继续探索蒸馏信号、数据配方与训练阶段如何配合,把更多语言能力带到语音端。

做表示学习,可以直接追问文字空间能装下什么

内容、情绪、说话人、时间顺序和环境事件,可以沿着同一个接口逐项研究。改变混合词向量的数量、输入压缩程度或骨干模型,就能观察哪些信息进入了表示,哪些信息又真正被解码器用起来。有限的词向量,能组合出多丰富的声音世界?这是一个足够具体,也足够大的问题。

做多模态适配,可以把它作为 preliminary study

ConvexLLM 的接口思路为进一步探索提供了清楚的实验起点:固定词向量表,学习输入的组合方式,再比较不同编码器、固定或可训练解码器,以及新的模态与任务。它把 “现有语言智能能接住什么” 变成了可以逐步检验的设计选择。

对研究者来说,这种价值很直接:它有明确的结构、有可比较的结果,也留下了大量有意思的问题。你可以把它放进自己的实验,研究一个改动究竟让声音多带进了什么,又让大模型多用上了什么。

文字词向量原本是语言模型认识文字的入口。ConvexLLM 让我们看到,这个入口也能向声音打开。

从这个角度看,文字的边界,也可以成为探索声音智能的新起点。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台海或变天了?“台独”千防万防,却没想到,解放军早已一反常态

台海或变天了?“台独”千防万防,却没想到,解放军早已一反常态

近史谈
2026-11-17 13:36:40
放走刺头新星!波切蒂诺该扶正曼联天才,新鲁尼横空出世

放走刺头新星!波切蒂诺该扶正曼联天才,新鲁尼横空出世

一隅非生
2026-11-19 11:24:00
周恩来晚年手术前嘶声呐喊,坚决宣告:“我是忠于党、忠于人民的!我不是投降派!”

周恩来晚年手术前嘶声呐喊,坚决宣告:“我是忠于党、忠于人民的!我不是投降派!”

扶苏聊历史
2026-11-13 11:17:30
快讯:三大指数均跌超1% 下跌个股超5000只

快讯:三大指数均跌超1% 下跌个股超5000只

新浪财经
2026-11-19 11:10:32
1600块吃一堆羊骨头,商家说“烤干了”。法律上,“火候大”能当免责牌吗?

1600块吃一堆羊骨头,商家说“烤干了”。法律上,“火候大”能当免责牌吗?

马俊哲律师
2026-11-19 10:04:27
女人坐了28年牢,出狱去办证,民警一查系统,当场愣了

女人坐了28年牢,出狱去办证,民警一查系统,当场愣了

卡西莫多的故事
2025-10-30 11:33:46
告诫:若是确诊糖尿病,这4物马上停止食用,千万别害了自己

告诫:若是确诊糖尿病,这4物马上停止食用,千万别害了自己

牛锅巴小钒
2026-11-19 05:41:05
除了性生活就是打麻将,揭露中国2000多个县城,普通人的生活实录

除了性生活就是打麻将,揭露中国2000多个县城,普通人的生活实录

墨策讲历史
2026-11-12 12:47:12
冬天“大补的肉”,不是牛羊肉,而是这3样,不腻不燥,滋补暖身

冬天“大补的肉”,不是牛羊肉,而是这3样,不腻不燥,滋补暖身

花小厨
2026-11-19 14:15:05
德国病理学之父:炎症是癌症的祸根,提醒:这5种炎症拖不得

德国病理学之父:炎症是癌症的祸根,提醒:这5种炎症拖不得

39健康网
2026-11-15 08:31:41
3部反乌托邦电影,撑到《饥饿游戏》新片上映

3部反乌托邦电影,撑到《饥饿游戏》新片上映

硅屿手记
2026-11-18 16:38:36
“穷成这样了,还自诩普通家庭呢?”宝妈舍不得给儿子买100元球鞋,被喷惨了

“穷成这样了,还自诩普通家庭呢?”宝妈舍不得给儿子买100元球鞋,被喷惨了

林林先生
2026-11-18 10:00:03
今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

今年的退休金还涨不涨?我打了12333问过,实际情况原来是这样

笑熬浆糊111
2026-10-28 06:00:28
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
事出诡异!加拿大中国领馆外反常集会,一群人高喊"中国收复藏南"

事出诡异!加拿大中国领馆外反常集会,一群人高喊"中国收复藏南"

锅锅爱历史
2026-11-04 09:43:53
香菜成为焦点!调查发现:经常吃香菜的人,一段时间后或有5变化

香菜成为焦点!调查发现:经常吃香菜的人,一段时间后或有5变化

芹姐说生活
2026-10-22 19:41:56
黄仁勋为什么难回英伟达?

黄仁勋为什么难回英伟达?

风铃草语
2026-11-19 07:22:05
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
为什么李自成的大顺军打不过满清军队?这是我见过通俗易懂的回答

为什么李自成的大顺军打不过满清军队?这是我见过通俗易懂的回答

小豫讲故事
2026-11-19 06:00:17
APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

APEC会议近700辆红旗车全流程接待,“豪华车队”亮相深圳,网友感慨:简直是一支“外交跑腿天团”

极目新闻
2026-11-18 10:24:16
2026-11-19 17:59:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
房产
艺术
手机
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

6.6亿!海口卖地!

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版