网易首页 > 网易号 > 正文 申请入驻

真实音频场景,大模型集体挂科!首个原生语音基准MultiChallenge

0
分享至

新智元报道

编辑:LRST

【新智元导读】文本领域的大模型满分选手,换成语音就集体挂科?大模型引以为傲的多轮对话逻辑,在真实人声面前竟然如此脆弱。Scale AI正式发布首个原生音频多轮对话基准Audio MultiChallenge,直接撕开了大模型靠合成语音评测维持的优等生假象。实验显示,强如Gemini 3 Pro在真实场景下的通过率也仅过半数,而GPT-4o Audio的表现更是令人大跌眼镜。

随着实时语音大模型的普及,人们一度以为AI实时伴侣已经跨越了自然交互的最后一道门槛。

然而,大模型在语音对话中表现出的聪明,很大程度上源于评测手段的滞后。

此前,Scale AI推出的MultiChallenge基准凭借对指令保留、推理记忆和自我一致性的严苛考察,被公认为评估大模型逻辑长性的黄金标准。

但长久以来,该基准一直缺少一个真正的音频原声版本。

最近,Scale AI正式补齐了这块拼图,发布Audio MultiChallenge,不仅刷新了语音交互的新高度,更揭开了行业内一个公开的秘密:

由于缺乏原生音频测试集,模型厂商在发布报告时,往往不得不利用T2S(Text-to-Speech)将文本基准转换为语音进行评测。

论文链接:https://arxiv.org/pdf/2512.14865

这种做法虽然让数据看起来很漂亮,却在无形中给模型加了一层过度美化的滤镜。

撕掉语音外壳

为什么TTS测不出真本事?

利用TTS转换来进行评测,实际上是为模型营造了一个完美的无菌环境。

TTS 生成的语音平滑、规律且高度标准化,彻底过滤掉了人类语言中最重要的特质:日常说话时的各种吞吐、重复、琐碎停顿以及临时改口。

当你对AI说:我想定周一,哦不,是周三的票,等下……还是周二吧。

这种充满了逻辑回溯和口语碎片的自然场景,是目前TTS技术极力避免但在现实生活中无处不在的。

过去,模型穿上了一层由合成语音搭建的语音外壳,本质上是在用文本思维处理洁净信号。

而一旦脱离这个外壳,面对Audio MultiChallenge中47名真实说话者录制的原始音频,模型的逻辑链条便会迅速崩塌。

论文直言不讳地指出:模型在合成语音上的得分显著高于真实人声,这证实了干净的合成音频掩盖了模型在现实世界中的失败模式(Masking real-world failure modes)。

Gemini 3 Pro勉强登顶

GPT-4o意外折戟标题

Audio MultiChallenge延续了原版的严苛逻辑,并针对音频特性新增了致命的一击,从指令保留、推理记忆、自我一致性以及核心的Voice Editing(语音编辑) 四个轴向对模型进行综合考核。

根据论文公布的排行榜,目前全球顶尖模型的音频原生能力普遍处于及格线以下:

实验数据揭露了一个惊人的落差:Gemini 3 Pro Preview凭借其推理架构在逻辑深度上维持了领先;而GPT-4o Audio Preview在面对真实人类语音时,表现出的鲁棒性远低于预期,通过率甚至只有Gemini的一半左右。

揭秘三大失败模式

语音逻辑的深层鸿沟

论文通过详细的错误分析,精准捕捉到了模型在音频模态下的三个软肋,这些结论直接指出了大模型在语音交互中的底层Gap:

语音编辑是逻辑黑洞:这是本次基准新增的维度。当用户在说话过程中中途改口或逻辑回溯时,大多数模型会死板地执行听到的第一个指令。该维度的平均通过率仅为17.99%,这意味着模型在听觉上无法有效处理信息的撤回与覆盖。

时长驱动的崩溃:模型表现随着音频总时长增加而稳步恶化。数据显示,当对话累计音频超过8分钟时,模型的自我一致性得分会骤降至 13% 左右。这意味着目前的语音模型在处理长程语音上下文时,状态追踪能力极其薄弱。

音频线索的感知缺失:当任务要求模型识别非语义信号(如背景的环境声、说话人的语气情绪)来辅助推理时,模型表现比纯语义任务下降了 36.5%。这说明模型依然把语音当成脱水的文字在读,而没能真正听懂声音背后的物理世界。

结语

Audio MultiChallenge的发布证明了语音绝不仅是文本的简单投射,包含着实时状态跟踪、情绪理解以及复杂的口语特质处理。

Scale AI的这一记重锤敲醒了业界:如果我们不能撕掉那层精美的语音外壳,解决模型对自然语音中不完美特征的感知断层,那么AGI驱动的自由交互,将永远停留在听懂单词却不懂逻辑的初级阶段。

参考资料:

https://arxiv.org/pdf/2512.14865

秒追ASI

⭐点赞、转发、在看一键三连⭐

点亮星标,锁定新智元极速推送!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
开始动真格!追溯30年倒查来了,这4类人要当心!

开始动真格!追溯30年倒查来了,这4类人要当心!

职场资深秘书
2026-11-21 14:20:04
三ツ橋|女子社又有大物新人

三ツ橋|女子社又有大物新人

孤独的独角兽影视
2026-11-21 09:50:17
新卫星图显示:克里米亚大桥铁路至少三处受损

新卫星图显示:克里米亚大桥铁路至少三处受损

桂系007
2026-11-21 23:59:47
GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

游民星空
2026-11-20 18:43:22
被上亿人当成主食,这是“有毒”的主食,你还会吃吗?

被上亿人当成主食,这是“有毒”的主食,你还会吃吗?

爆炸营养彭鑫蕊
2026-09-27 13:37:55
章泽天33岁生日炸出“神仙同框”!王力宏黄晓明罕见合体,状态绝了

章泽天33岁生日炸出“神仙同框”!王力宏黄晓明罕见合体,状态绝了

圆梦的小老头
2026-11-21 15:22:59
亚马尔:愿用很多换自由,成名后连过普通人的生活都变得奢侈

亚马尔:愿用很多换自由,成名后连过普通人的生活都变得奢侈

懂球帝
2026-11-21 03:01:10
沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

兰姐说故事
2025-08-21 20:05:04
黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

黑龙江畜生公公周永福被判死刑,法庭上嚣张大笑:这辈子值了

纸鸢奇谭
2025-02-06 14:31:24
开拓者公开表示要追求浓眉哥,杨瀚森是时候申请交易了!

开拓者公开表示要追求浓眉哥,杨瀚森是时候申请交易了!

爱体育
2026-11-21 23:41:31
她曾被陈坤陆毅追求,最后却嫁给丑丈夫,如今掌管半个娱乐圈

她曾被陈坤陆毅追求,最后却嫁给丑丈夫,如今掌管半个娱乐圈

手工制作阿歼
2026-11-20 12:36:34
韩国都比日本强,高市来华参加APEC,日媒到底在期待什么?

韩国都比日本强,高市来华参加APEC,日媒到底在期待什么?

大又元
2026-11-21 19:09:16
瓜帅徒弟带不动曼城,英超4轮不胜!马雷斯卡的战术到底是什么?

瓜帅徒弟带不动曼城,英超4轮不胜!马雷斯卡的战术到底是什么?

智道足球
2026-11-21 22:40:39
经济特区的不同命运:深圳成功,珠海、汕头、厦门为何止步不前?

经济特区的不同命运:深圳成功,珠海、汕头、厦门为何止步不前?

月光作笺a
2026-11-20 20:24:42
重磅预警!高盛“恐慌指数”逼近最大值:美股下周恐还有一波大规模抛售

重磅预警!高盛“恐慌指数”逼近最大值:美股下周恐还有一波大规模抛售

财联社
2026-11-21 13:56:13
国际金价暴跌,国内多品牌金饰跟进降价

国际金价暴跌,国内多品牌金饰跟进降价

财湃新闻
2026-11-22 00:55:17
高市早苗摸特朗普后背遭躲闪,日网友痛斥:没资格当首相

高市早苗摸特朗普后背遭躲闪,日网友痛斥:没资格当首相

沧海一粟1155
2026-11-21 08:13:58
研究发现:那些常年吃他汀的人,过了75岁后,大多都变成了这样

研究发现:那些常年吃他汀的人,过了75岁后,大多都变成了这样

新时代的两性情感
2026-11-21 00:17:29
曾率海港夺中超冠军!曝60岁名帅被推荐给蓉城 与郑智李霄鹏竞争

曾率海港夺中超冠军!曝60岁名帅被推荐给蓉城 与郑智李霄鹏竞争

我爱英超
2026-11-21 17:13:47
泽连斯基回应克里米亚大桥被炸:我们的东西,想怎么处置就怎么处置

泽连斯基回应克里米亚大桥被炸:我们的东西,想怎么处置就怎么处置

桂系007
2026-11-20 09:09:12
2026-11-22 01:51:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16735文章数 67242关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
教育
手机
游戏
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

PC Gamer试玩GTA6百小时:双主角出色但任务重复

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版