网易首页 > 网易号 > 正文 申请入驻

阿里千问开源Qwen3-ASR语音识别模型,支持52种语种与方言

0
分享至

IT之家 1 月 29 日消息,阿里千问团队今日正式开源 Qwen3-ASR 系列模型,该模型是由 Qwen 开发的一系列功能强大的语音识别模型,包括两个强大且全面的语音识别模型 Qwen3-ASR-1.7B 与 Qwen3-ASR-0.6B,以及一个创新的语音强制对齐模型 Qwen3-ForcedAligner-0.6B。Qwen3-ASR 系列的语音识别模型支持 52 个语种与方言的语种识别与语音识别。

据官方介绍,依托创新的预训练 AuT 语音编码器与 Qwen3-Omni 基座模型的强大多模态能力,Qwen3-ASR 实现了精准与稳定的语音识别,其 1.7B 模型在中文、英文、中文口音与歌唱识别等场景下达到 SOTA,具有复杂文本识别能力以及强噪声下的稳定性;0.6B 模型在性能与效率上实现了均衡,在保证语音识别准确率的情况下,128 并发异步服务推理能够达到 2000 倍吞吐,即 10 秒钟处理五个小时以上的音频。

强制对齐模型 Qwen3-ForcedAligner-0.6B 是基于 NAR LLM 推理的时间戳预测模型,支持 11 个语种的任意位置的灵活精准的强制对齐,其时间戳预测精度超越传统的 WhisperX,Nemo-Forced-Aligner 等模型,单并发推理 RTF 达到了高效的 0.0089。

阿里千问团队称,希望 Qwen3-ASR 系列模型的开源能够推动语音识别与理解的研究与发展,三个模型的结构与权重、以及一个全面易用的推理框架将一并开源。

模型列表:

IT之家附官方介绍如下:

Qwen3-ASR 核心特性 All-in-one: Qwen3-ASR-1.7B 与 Qwen3-ASR-0.6B 均通过单一模型支持 30 个语种的语种识别与语音识别、22 个中文口音与方言语音识别、多个国家与地区的英文口音识别。 准确而快速的语音识别能力:在复杂的声学环境与文本模式的场景下,Qwen3-ASR 系列模型均能保持稳定鲁棒的语音识别能力,包括歌唱识别等。Qwen3-ASR-1.7B 实现了语音识别准确率的全面领先,在开源与闭源自建评测上较主流开源模型与众多商用 API 上更优。0.6B 模型则实现了性能与效率的均衡,在异步推理模式下,128 并发的该模型能够达到 2000 倍的吞吐,处理 5 个小时的音频仅需要 10 秒。Qwen3-ASR-1.7B 与 Qwen3-ASR-0.6B 均支持流式 / 非流式一体化推理,最长一次性处理 20 分钟的音频。 独创且强大的强制对齐模型:我们推出 Qwen3-ForcedAligner-0.6B,一个支持 11 个语种在 5 分钟之内语音的任意单元的时间戳预测,经评测其时间戳精度超越了一众基于传统端到端方案的强制对齐模型,其非自回归的推理逻辑保证了推理的高效性。 全面且易用的推理与微调工具:除了 Qwen3-ASR 系列模型的结构与权重开源,我们一次性推出强大且全面的推理框架,支持基于 vLLM 的 batch 推理、异步服务、流式推理、时间戳预测功能等。 ASR 模型效果 我们对 Qwen3-ASR 系列模型在中文 / 英文、多语种、中文方言、歌声识别,以及复杂声学与复杂语言场景下进行了系统评估。结果显示,Qwen3-ASR-1.7B 在多个维度的公开与内部基准上取得开源 SOTA;同时对比多家商业公司最新的 ASR API,在若干基准上也取得最佳成绩。具体来说: 英文:不仅在常见公开基准上达到最优,我们还在内部构建的覆盖 16 个国家口音的英文测试集上进行评测,整体表现全面优于 GPT-4o Transcribe、Gemini 系列、Doubao ASR 系列,以及综合能力最强的开源模型 Whisper-large-v3。 多语种:最高支持 30 种语言;在 20 个主流语种上,Qwen3-ASR-1.7B 全面超过现有开源模型,取得最佳平均 WER。 中文与方言:在普通话、粤语及 22 种地区方言上,Qwen3-ASR-1.7B 整体领先商业 API 与开源模型;尤其在方言上,相比 Doubao-ASR 平均错误率再降 20%(15.94 vs 19.85)。 复杂声学 / 语言场景:面对老人 / 儿童语音、极低信噪比、鬼畜重复等挑战场景,仍能稳定输出,保持极低的字 / 词错误率。 歌唱识别:支持带 BGM 的整首歌中 / 英文转写;中文 / 英文分别达到 13.91% / 14.60% 平均 WER。 Qwen3-ASR-0.6B 在性能与效率之间实现了良好平衡:不仅在多项中英文测试基准上表现稳健,而且无论离线还是在线推理,在高并发场景下都能保持极低 RTF 与极高吞吐。例如:单并发下 100 倍加速比;异步服务 128 并发下 2000 倍加速比,10 秒钟处理五个小时音频。 强制对齐模型效果 强制对齐模型 Qwen3-ForcedAligner-0.6B 支持 11 种语言的高精度强制对齐,可在音频中任意位置进行灵活、精准的时间戳标注。与常用主流对齐工具相比,我们在可支持语种覆盖与时间戳预测精度上均取得更优表现,整体超过 WhisperX、NeMo-ForcedAligner(NFA)等方案。

Qwen3-ASR

Github:

HuggingFace:

ModelScope:

Huggingface Demo:

ModelScope Demo:

论文:

阿里云百炼 API:

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广东男子连日熬夜打游戏,妻子不堪其扰发“江湖追杀令”求助网友截杀老公ID,全网持续围剿致其游戏体验崩塌,彻底改掉熬夜习惯

广东男子连日熬夜打游戏,妻子不堪其扰发“江湖追杀令”求助网友截杀老公ID,全网持续围剿致其游戏体验崩塌,彻底改掉熬夜习惯

扬子晚报
2026-11-18 07:30:37
NBA乱套了!随着火箭119-104,掘金105-101,湖人97-109不敌爵士,西部排名出炉!

NBA乱套了!随着火箭119-104,掘金105-101,湖人97-109不敌爵士,西部排名出炉!

锐评利物浦
2026-11-19 18:54:53
不装了——狂砸500亿,今天A股下跌的原因竟是它,北向、杠杆资金露出獠牙

不装了——狂砸500亿,今天A股下跌的原因竟是它,北向、杠杆资金露出獠牙

财报翻译官
2026-11-19 12:54:23
上海“金牌房产中介”判了!4年骗了19人2000多万元,还把黑手伸向女友;手法曝光→

上海“金牌房产中介”判了!4年骗了19人2000多万元,还把黑手伸向女友;手法曝光→

新民晚报
2026-11-19 19:48:58
谁也没料到,五常里先沉不住气的是法国!法国外长直接把电话打到中国,王毅亲自接听,联合国秘书长之争进入最后摊牌。

谁也没料到,五常里先沉不住气的是法国!法国外长直接把电话打到中国,王毅亲自接听,联合国秘书长之争进入最后摊牌。

唠叨说历史
2026-11-18 14:54:51
男子发视频吐槽朋友中年失业还不起百万房贷又来借钱,他果断拒绝,救急不救穷,无负债就是最大的奢侈。

男子发视频吐槽朋友中年失业还不起百万房贷又来借钱,他果断拒绝,救急不救穷,无负债就是最大的奢侈。

捣蛋窝
2026-11-19 18:36:08
11月19日俄乌:乌克兰再炸克里米亚大桥,欧盟准备再援乌450亿欧元

11月19日俄乌:乌克兰再炸克里米亚大桥,欧盟准备再援乌450亿欧元

山河路口
2026-11-19 19:14:04
民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

民调:52%的美国人认为民主党在2028年选出的候选人将入主白宫,28%的人认为共和党将获胜

阿尔卑斯瞭望
2026-11-19 18:51:50
黑客在Win11里发现一份名单:python.exe也在其中

黑客在Win11里发现一份名单:python.exe也在其中

半勺甜心事
2026-11-18 11:14:41
难以置信!36岁女子晒小19岁男友合照,反差太大,网友评论区吵翻了

难以置信!36岁女子晒小19岁男友合照,反差太大,网友评论区吵翻了

丫头舫
2026-11-16 11:30:38
1971年周总理本想给高岗遗孀安排图书馆工作,毛主席得知后马上叫停,亲自下令:她必须去教育部!

1971年周总理本想给高岗遗孀安排图书馆工作,毛主席得知后马上叫停,亲自下令:她必须去教育部!

磊子讲史
2026-11-19 18:14:14
正式确定!前辽宁男篮外援回归CBA,加盟江苏男篮

正式确定!前辽宁男篮外援回归CBA,加盟江苏男篮

体坛瞎白话
2026-11-19 19:07:26
翻墙通报密集落地,多所高校划出了红线!

翻墙通报密集落地,多所高校划出了红线!

言叔财经视角
2026-11-18 14:21:40
疯了!美国又猛推华为一把

疯了!美国又猛推华为一把

华商韬略毕亚军
2026-11-19 10:13:20
《GTA6》10分满分都不够!外媒想打11分 无与伦比

《GTA6》10分满分都不够!外媒想打11分 无与伦比

游民星空
2026-11-18 21:19:21
在最好的年华里,遇见最好的你

在最好的年华里,遇见最好的你

疾跑的小蜗牛
2026-11-09 18:35:43
进军OnlyFans!WNBA女球星,一周收入顶六年?

进军OnlyFans!WNBA女球星,一周收入顶六年?

篮球实录
2026-11-18 23:54:51
申京伤退!火箭大胜步行者 杜兰特21分迎里程碑卡帅被驱逐

申京伤退!火箭大胜步行者 杜兰特21分迎里程碑卡帅被驱逐

醉卧浮生
2026-11-19 10:26:00
特朗普说美国不支持“台独”

特朗普说美国不支持“台独”

每日经济新闻
2026-11-19 17:23:44
山姆卖爆始祖鸟,谁在为低价买单

山姆卖爆始祖鸟,谁在为低价买单

中国商报
2026-11-18 17:22:56
2026-11-19 20:43:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380268文章数 607744关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
房产
亲子
艺术
旅游

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

6.6亿!海口卖地!

亲子要闻

宝宝气人但是聪明的4个行为

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

无障碍浏览 进入关怀版