网易首页 > 网易号 > 正文 申请入驻

92.7%到16.1%:同一模型没换架构,只换了训练数据

0
分享至

一个769M参数的模型,没有换架构,没有变大,只是换了一批训练数据,错误率从92.7%掉到了16.1%。

VoiceArena刚刚发布了Monsoon,一个覆盖50种语言、来自23个国家无脚本对话的语音数据集。Rohan Paul在X上转述这件事时给了一个判断:低资源ASR通常被当成模型问题,但Monsoon说明它其实是数据采集问题。


这个判断的分量,全压在那组数字上。


同一份权重,两种命运

测试场景是IndicVoices泰卢固语。开箱即用的Whisper Medium,语义词错率(WER)是92.7%——基本等于不能用。VoiceArena拿同一个769M检查点,在Monsoon上做微调,同一项测试里降到了16.1%。

76.6个百分点的差距,全部来自模型在微调阶段听到了什么。没有架构改动,没有更大的模型。

VoiceArena自己的测试里,这个成绩略微领先MAI-Transcribe-2和Gemini 3.1 Pro。注意这是它自己的测试口径,不是第三方横评。

92.7%这个数字值得多看一眼。它意味着模型几乎每句话都识别错了——不是偶尔听岔,是系统性失效。而失效的原因不在模型结构里,在它从没听过这类语音。

把噪声故意留下来

大多数语音数据管线会把噪声过滤掉。Monsoon反着来,故意保留。

短片段、嘈杂房间、困难的声学条件,这些都被留在训练分布里。而且这个混合比例不是随手抓的——VoiceArena按DNSMOS对片段做分层,让退化音频的占比成为数据的一个可控属性。

这个做法和直觉相反。常规思路是给模型喂干净数据,让它学得清楚。Monsoon的思路是让模型在训练阶段就习惯真实世界的脏——因为部署现场不会给它一间录音棚。

把噪声比例做成可控变量,而不是被动接受数据里有什么,这是数据工程层面的动作,不是模型层面的。


英语之外的长尾

VoiceArena在发布说明里写得很直接:语音识别不再有模型问题,它有的是数据问题。

最好的ASR系统在英语上已经接近人类水平。但一旦进入世界语言的长尾,尤其是真实场景下的语音,情况就变了。

Monsoon覆盖的50种语言、23个国家的无脚本对话,瞄准的正是这条长尾。无脚本意味着不是朗读文本,是自然说话——有停顿、有口音、有背景音。

这也解释了为什么92.7%和16.1%之间能差这么多。低资源语言的瓶颈,可能从来不在模型容量上。

一个还没答案的问题

Rohan Paul的帖子里有一条追问:性能差距里,有多少是数据稀缺造成的,有多少是语音本身的复杂性造成的?50种语言是不是都有一致的提升,还是有些仍然受限于模型?

这个问题目前没有公开答案。Monsoon给出的是一个方向性的证据——同一模型、同一权重、只换数据,效果差出76.6个百分点。

但50种语言内部的差异分布,以及数据稀缺和语音复杂性的权重划分,还需要更多测试才能说清。

可以确定的是:当一个769M的模型靠数据就能把错误率从92.7%压到16.1%,把低资源ASR继续当成模型问题来处理,方向可能从一开始就偏了。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
9月30日,人社部与财政部关于2026年养老金调整通知公布了吗?

9月30日,人社部与财政部关于2026年养老金调整通知公布了吗?

小彬说事
2026-09-30 09:28:11
正式退出?21岁陈芋汐落泪,官宣决定,刚获亚运2金,全红婵祝福

正式退出?21岁陈芋汐落泪,官宣决定,刚获亚运2金,全红婵祝福

喜欢体育的猫
2026-09-30 09:03:36
入戏太深!为变成《水形物语》里的鱼怪,他切掉鼻耳,众叛亲离

入戏太深!为变成《水形物语》里的鱼怪,他切掉鼻耳,众叛亲离

英国那些事儿
2026-09-29 00:41:27
肉眼可见的增重!文班亚马晒肌肉!

肉眼可见的增重!文班亚马晒肌肉!

柚子说球
2026-09-29 23:31:06
我最想不通的就是四太梁安琪了,明明她都66岁了,身家过百亿,怎么在答谢宴穿这么一身衣服?

我最想不通的就是四太梁安琪了,明明她都66岁了,身家过百亿,怎么在答谢宴穿这么一身衣服?

手工制作阿歼
2026-09-30 05:01:27
东方甄选回应网红“溜溜凳”风波:2倍退款不退货

东方甄选回应网红“溜溜凳”风波:2倍退款不退货

界面新闻
2026-09-30 13:50:37
荒谬至极!台湾岛内流传“共产党要感谢日本人”

荒谬至极!台湾岛内流传“共产党要感谢日本人”

海峡导报社
2026-09-30 07:50:03
亚奥理事会官宣评选男女MVP:7金王张展硕+5金王余依婷李冰洁领跑

亚奥理事会官宣评选男女MVP:7金王张展硕+5金王余依婷李冰洁领跑

醉卧浮生
2026-09-30 13:12:20
WNBA历史首次黑八奇迹!自由人2-0爆冷联盟第一进四强 韩旭6+2三分

WNBA历史首次黑八奇迹!自由人2-0爆冷联盟第一进四强 韩旭6+2三分

醉卧浮生
2026-09-30 10:36:32
卢璐讲述刘欢病情细节:从确诊到离世,跟骨病熬了十七个年头

卢璐讲述刘欢病情细节:从确诊到离世,跟骨病熬了十七个年头

笑饮孤鸿非
2026-09-29 22:13:01
我有种强烈预感,要有大事发生!9月29日央视新闻披露:

我有种强烈预感,要有大事发生!9月29日央视新闻披露:

叶老四
2026-09-30 08:41:19
地方武装当保护伞、明目张胆招募,缅甸妙瓦底电诈死灰复燃

地方武装当保护伞、明目张胆招募,缅甸妙瓦底电诈死灰复燃

界面新闻
2026-09-30 09:57:46
中共中央批准:两个省级党委领导班子有调整

中共中央批准:两个省级党委领导班子有调整

上观新闻
2026-09-30 13:31:46
刘欢妻子辟谣网传临终传闻后事图片:我会在适当时机,选择适当窗口公布相关信息

刘欢妻子辟谣网传临终传闻后事图片:我会在适当时机,选择适当窗口公布相关信息

蓬勃新闻
2026-09-30 14:25:54
为啥在大学里精挑细选的男朋友,后来却只能买总价150万的贴息房

为啥在大学里精挑细选的男朋友,后来却只能买总价150万的贴息房

记忆承载
2026-09-30 07:26:40
空姐跪地道歉细节曝光,大连理工大学博士还原真相,东航回应

空姐跪地道歉细节曝光,大连理工大学博士还原真相,东航回应

育学笔谈
2026-09-30 09:48:32
特朗普和万斯差距有多大?就这么说吧,万斯一旦掌权,美国的变化将会天差地别!

特朗普和万斯差距有多大?就这么说吧,万斯一旦掌权,美国的变化将会天差地别!

扶苏聊历史
2026-09-29 15:24:03
25岁画师约稿被网络诈骗后坠亡 同社画师:她单张画才赚250元,事发前一天还在努力画

25岁画师约稿被网络诈骗后坠亡 同社画师:她单张画才赚250元,事发前一天还在努力画

红星新闻
2026-09-30 11:25:05
国足亚运队vs韩国:王钰栋、张玉宁首发,毛伟杰、徐彬、彭啸出战

国足亚运队vs韩国:王钰栋、张玉宁首发,毛伟杰、徐彬、彭啸出战

懂球帝
2026-09-30 12:49:08
按照党中央部署,29个省份正在开展整省试点

按照党中央部署,29个省份正在开展整省试点

政知新媒体
2026-09-29 22:33:11
2026-09-30 14:40:49
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
193文章数 93关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

特朗普贸易顾问讲到中国上头了:加拿大说客滚出美国

头条要闻

特朗普贸易顾问讲到中国上头了:加拿大说客滚出美国

体育要闻

石雨豪:亚运金牌与背后的十年

娱乐要闻

金鹰这夜,演员争辉,有惊喜,反差

财经要闻

中央财政首次贴息房贷 定向支持首套刚需

汽车要闻

多项黑科技加身/预计40万级 方程豹钛9将于四季度上市

态度原创

游戏
亲子
健康
教育
公开课

CDPR官方回应!《巫师3重制》存档丢失解决方法

亲子要闻

孩子以后长多高, 可以用这个公式计算!

刷酸祛痘,为什么有人翻车?

教育要闻

民办本科彻底凉了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版