网易首页 > 网易号 > 正文 申请入驻

1300万小时喂出的国产语音模型,能听懂202种方言

0
分享至

科大讯飞上线了一款语音基座大模型,名字叫 Spark-Audio-1.0-Preview。它最特别的地方不在参数,而在训练方式——基于纯国产算力集群训练完成。

过去大模型处理音频,走的是一条"绕路":先把语音转成文字,再交给大模型去理解。这条路有两个绕不开的坑。


绕路方案的两个坑

第一个坑是信息丢失。文字只能记录"说了什么",语音里自带的语气、情绪、背景环境音,在转写这一步就被丢掉了。模型拿到的是一份残缺的输入,对场景的判断自然不完整,最后的结果也会受影响。

第二个坑是链路割裂。语音转写、声纹识别、语音翻译这些能力被拆成独立模块串联运行,模块之间存在断点。断点不仅容易累积错误,用起来还会出现延迟、卡顿。

语音基座大模型的思路是换一条路:不再只做语音转文字,而是直接理解语音。人声、环境音、音乐一次性听懂,声音里的语义、情绪和场景也一并理解。

0.65B编码器配30B-A3B大模型

这次首发的 Spark-Audio-1.0-Preview,结构上是两段式组合:音频编码器采用 0.65B 的 Dense 结构,搭配 30B-A3B 的 MoE 结构大语言模型。

训练数据用了 1300 万小时音频,外加大量文本数据,基于纯国产算力集群训练完成。同一个模型里可以输入文本和语音两个模态,支持的任务包括:

  • 语音转写
  • 多语言翻译
  • 多方言识别
  • 环境音识别
  • 说话人识别
  • 情感分析
  • 复杂音频问答

官方给这组能力的定位是:让机器从"听清"走向"听懂"。

99种语言、202种方言,复杂场景是强项

Spark-Audio-1.0-Preview 支持 99 种语言202 种方言的识别。官方称,它在各项语音评测任务上效果整体相当、部分超过,尤其在复杂场景高噪声、小声说这类偏真实应用的任务上明显领先;与尺寸更大的闭源语音基座模型相比,表现也十分接近。

具体到对比数据:与同尺寸的 Qwen3.5-omni-flash(35B-A3B)相比,它在平均效果上表现出多语言、多方言语音识别上的优势;与尺寸高一个数量级的 Qwen3.5-omni-plus 效果接近。

在 Fleurs、Kespeech、LibriSpeech 等中英文、多语言、多方言语音识别评测任务中,它的得分高于 Gemini-3.1 Pro;在 Fleurs-中文测试集中取得了 SOTA。

官方同时提到,这款模型在通用知识、数学与代码等任务上没有出现明显降智,但在指令遵循、对话、音频理解等任务上仍有进步追赶空间。

可以微调,也能落地

和讯飞星火的 1+N 体系类似,语音基座大模型上也可以做微调,用来开发语音识别、语音同传、语音交互等专用模型或系统,在相关语音业务中落地。

目前 Spark-Audio-1.0-Preview 已正式开放体验,API 后续将上线讯飞开放平台。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国内将逐渐停止“肠息肉手术”?做完人就废了?医生讲出实情

国内将逐渐停止“肠息肉手术”?做完人就废了?医生讲出实情

垚垚分享健康
2026-09-17 12:30:08
3000元打一针“重返20岁”,中国公司成立超6年,谁在为“尸皮针”的狂热买单?

3000元打一针“重返20岁”,中国公司成立超6年,谁在为“尸皮针”的狂热买单?

华夏时报
2026-09-17 12:52:03
浙江宁波,女子为赚外快12天卖出40多条名烟获利1.2万、获刑5个月

浙江宁波,女子为赚外快12天卖出40多条名烟获利1.2万、获刑5个月

欢姐说法
2026-09-18 09:55:04
孙晨宇聊天记录被曝光,彻底颠覆挥金如土人设,写小作文动机被曝光人品碎了一地

孙晨宇聊天记录被曝光,彻底颠覆挥金如土人设,写小作文动机被曝光人品碎了一地

Mr王的饭后茶
2026-09-01 16:04:47
不可思议!一张照片突然刷屏:潮汕一位26岁母亲,骑着小小的电动自行车,车上挤着六个孩子

不可思议!一张照片突然刷屏:潮汕一位26岁母亲,骑着小小的电动自行车,车上挤着六个孩子

火山詩话
2026-09-17 11:43:37
恭喜属鸡人:9月18日到9月22日,你盼了很久的囍事终于来了

恭喜属鸡人:9月18日到9月22日,你盼了很久的囍事终于来了

白浅娱乐聊
2026-09-18 08:31:55
第140届广交会将于10月15日至11月4日在广州举办

第140届广交会将于10月15日至11月4日在广州举办

界面新闻
2026-09-18 14:30:10
困在劳务派遣和外包里的人,连自己都解放不了,还能解放全人类?

困在劳务派遣和外包里的人,连自己都解放不了,还能解放全人类?

水泥土的搞笑
2026-09-18 07:08:47
看蒋万安给他三个儿子起的名字,终于暴露了本性,再也藏不住了

看蒋万安给他三个儿子起的名字,终于暴露了本性,再也藏不住了

凡人侃史
2026-09-04 12:08:37
晚年徐向前回忆当年危急局势坦言:西安事变若是没有发生,红军极有可能再度踏上长征之路,当年西北战局究竟凶险到何种地步?

晚年徐向前回忆当年危急局势坦言:西安事变若是没有发生,红军极有可能再度踏上长征之路,当年西北战局究竟凶险到何种地步?

唠叨说历史
2026-09-18 10:58:41
敬一丹追悼会当天,没想到从央视退休的朱军,因一个举动口碑暴涨

敬一丹追悼会当天,没想到从央视退休的朱军,因一个举动口碑暴涨

李橑在北漂
2026-09-18 14:07:06
46.3万元!雷克萨斯官宣:9月17日,新车发布

46.3万元!雷克萨斯官宣:9月17日,新车发布

趣味萌宠的日常
2026-09-18 10:00:43
广东一地教育局原局长,被查

广东一地教育局原局长,被查

南方都市报
2026-09-17 22:08:41
大家发现没,王楚钦越来越不对劲,不是球技断崖下滑,也不是长相变化,而是精气神肉眼可见地被透支

大家发现没,王楚钦越来越不对劲,不是球技断崖下滑,也不是长相变化,而是精气神肉眼可见地被透支

乒乓助手
2026-08-21 00:37:44
一个毫无关联的机构,为何会被归于正部级单位名下?

一个毫无关联的机构,为何会被归于正部级单位名下?

澎湃新闻
2026-09-17 19:04:06
公羊被9只发情母羊逼疯!硬把自己塞下水道逃避。主人憋笑:桃花劫到了

公羊被9只发情母羊逼疯!硬把自己塞下水道逃避。主人憋笑:桃花劫到了

英国那些事儿
2026-09-17 00:47:07
吴启华63岁哥哥近况曝光,已移居热带地区休养四年,至今未婚未育

吴启华63岁哥哥近况曝光,已移居热带地区休养四年,至今未婚未育

麦芽是个小趴菜
2026-09-18 12:28:23
买三金一夜贵了1100元,国内金饰克价重回1310元

买三金一夜贵了1100元,国内金饰克价重回1310元

极目新闻
2026-09-18 12:06:28
开国将帅中唯一绝交的元帅与上将:徐帅一生宽厚,为啥独独不理周纯全?

开国将帅中唯一绝交的元帅与上将:徐帅一生宽厚,为啥独独不理周纯全?

纪史行者
2026-09-13 05:55:03
就在大家都以为中国会坚决回应时,北京却选择了战略克制。

就在大家都以为中国会坚决回应时,北京却选择了战略克制。

回京历史梦
2026-08-22 18:23:43
2026-09-18 15:20:49
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
298文章数 85关注度
往期回顾 全部

科技要闻

苹果店外黄牛蹲守:18 Pro Max加价500

头条要闻

"甲醛白菜"爆料博主再曝"硫磺熏笋" 现场气味异常刺鼻

头条要闻

"甲醛白菜"爆料博主再曝"硫磺熏笋" 现场气味异常刺鼻

体育要闻

一个角色球员,靠什么在NBA征战17年

娱乐要闻

敬一丹逝世 央视送别,女儿成“心病”

财经要闻

中国汽车:尾大不掉,必须出清

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

亲子
家居
手机
公开课
军事航空

亲子要闻

爸爸带娃别只负责陪玩,这3件事更重要

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

业内坐实iPhone Duo是情怀机 维修费要8000元 苹果客服承认维修费确实贵

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

中方反对在安理会强推恢复对伊朗制裁

无障碍浏览 进入关怀版