网易首页 > 网易号 > 正文 申请入驻

英伟达开源最强转录AI:支持40种语言,8人抢话也能精准转录

0
分享至

IT之家 10 月 29 日消息,英伟达昨日(10 月 28 日)宣布推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并同步公开训练数据管线 Granary v2。

Nemotron 3.5 Transcribe 模型整合转录、说话人归属、翻译和音频问答,主要面向会议纪要、课堂录像、访谈整理和多语言客服等场景。


在架构方面,Nemotron 3.5 Transcribe 采用混合专家(MoE)架构,总参数约 340 亿,激活参数量约 43 亿。它可处理最长 1 小时的录音,支持 40 种语言的转录,其中 31 种语言可与英语互译;在说话人识别方面,最多可区分 8 名说话人,并支持 13 种语言的说话人标注。

该模型最大亮点是应对“多人同时说话”的能力。模型在生成文本时即可为每段发言标注说话人。官方演示中,它对 1940 年电影《他的女友礼拜五》中语速极快、大量重叠对白的场景,也能分角色生成字幕。


在公开评测中,该模型在 Hugging Face Open ASR Leaderboard 英语组以 5.33% 的平均词错误率位居开放权重模型第一。

在 Artificial Analysis 的非流式词错误率指数中,以 2.8% 的成绩与 Voxtral Small Transcribe 并列开源模型首位。说话人归属方面,它在 David AI 的 21 种语言说话人分离基准中录得 18.26% 的最低错误率。IT之家附上相关图片如下:


模型已在 Hugging Face 与 ModelScope 免费开放,采用 OpenMDW-1.1 许可证;量化版本预计后续发布,便于在 RTX Spark、DGX Spark、Jetson AGX Thor 等本地设备运行。



Granary v2 是 NVIDIA 为多语言语音模型(如 Nemotron 3.5 Transcribe)构建的开放、可复用的训练数据整理管线与数据集。

它把原始 / 已有标注的音频自动加工成多种转录格式、翻译、字幕、问答和指令对,供 ASR、语音翻译和语音指令微调使用。

公开的 Granary v2 数据清单覆盖 463,062 小时音频、48 种语言、16 个源语料库,相比 Granary v1 的 25 种语言明显扩展。


对同一段录音,Granary v2 至少生成三种转录变体,对应模型可被提示要求的不同书面风格:

  • 文本规范化逐字稿(tn_raw):保留“呃”“嗯”等不流畅表达,但数字等文本形式规范化,例如“I paid, uh, twenty-five euros.”
  • 逆文本规范化、含不流畅表达(itn_raw):把口语数字还原为书面符号,如“I paid, uh, €25.”
  • 逆文本规范化、去除不流畅表达(itn_clean):输出干净可读文本,如“I paid €25.”

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湘雅二院“虾滑论文”火了:湖南写成人类,一厘米刻12毫米,还拿了五项基金!

湘雅二院“虾滑论文”火了:湖南写成人类,一厘米刻12毫米,还拿了五项基金!

迷世书童
2026-11-18 00:05:12
陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

露珠聊影视
2026-11-18 14:36:57
克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

小怪吃美食
2026-11-18 05:36:39
告诉大家一个很玄学的事,家里谁做饭,就决定了这家的福气

告诉大家一个很玄学的事,家里谁做饭,就决定了这家的福气

麓谷隐士
2026-11-18 00:05:08
刚刚!苹果新品突然上架,真的心动啊

刚刚!苹果新品突然上架,真的心动啊

科技堡垒
2026-11-18 08:00:35
波切蒂诺第一刀!曼联 3650 万水货直接弃用!冬窗或被清洗

波切蒂诺第一刀!曼联 3650 万水货直接弃用!冬窗或被清洗

澜归序
2026-11-18 09:41:57
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
普京点赞深圳:最现代化、最具活力的大都市

普京点赞深圳:最现代化、最具活力的大都市

新华社
2026-11-18 12:45:26
特朗普启程前往深圳,登机前对着镜头做出标志性挥拳动作

特朗普启程前往深圳,登机前对着镜头做出标志性挥拳动作

极目新闻
2026-11-18 15:16:32
105-93!活塞终结马刺12连胜,坎宁安27分,文班空砍25+18

105-93!活塞终结马刺12连胜,坎宁安27分,文班空砍25+18

全景体育V
2026-11-18 11:37:58
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
补钾就是保命,立冬后多吃这8种,腿脚有劲,心脏也少受累高钾菜

补钾就是保命,立冬后多吃这8种,腿脚有劲,心脏也少受累高钾菜

美食店主
2026-11-17 00:26:14
三天票房247元,仅6人观影,三大实力派助力没用,本周最惨电影诞生

三天票房247元,仅6人观影,三大实力派助力没用,本周最惨电影诞生

影视高原说
2026-11-18 14:43:37
中足联重罚中青赛冲突:罚浙江5万申花3万赛区10万

中足联重罚中青赛冲突:罚浙江5万申花3万赛区10万

体坛周报
2026-11-18 09:41:21
湖南一女子3岁走失,40岁成为千万富豪后,登上电视寻亲。不料,亲生父母无人到场,得知内情她崩溃大哭

湖南一女子3岁走失,40岁成为千万富豪后,登上电视寻亲。不料,亲生父母无人到场,得知内情她崩溃大哭

扶苏聊历史
2026-11-18 14:57:07
新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社
2026-11-18 15:44:19
台上卖力地表演,台下的看客不买账了!

台上卖力地表演,台下的看客不买账了!

胖胖说他不胖
2026-11-17 11:50:11
南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

收藏大视界
2026-11-17 23:09:32
福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

新京报政事儿
2026-11-18 10:12:02
湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

湖人9连胜!新援格莱姆斯轰47分创多项神迹:比肩科比+超东契奇

Emily说个球
2026-11-18 15:08:35
2026-11-18 18:15:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380010文章数 607741关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

家居
游戏
本地
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

英国法庭驳回索尼PlayStation数字内容集体诉讼

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版