网易首页 > 网易号 > 正文 申请入驻

能聊天能办事 千问发布Qwen-Audio-3.0-Realtime

0
分享至

今天,千问正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime——一个既要毫秒级响应、又不牺牲推理深度的实时语音模型。它在智商、Agent工具调用、共情对话、双工交互流畅度四条主线上同步升级,力求"又快又聪明"。模型提供推理更强的Plus版本与速度更快的Flash版本,适用于智能客服、教育培训、娱乐互动与情感陪伴等场景。

欢迎体验

阿里云百炼:

Qwen-Audio-3.0-Realtime-Plus:

https://bailian.console.aliyun.com/cn-beijing/?spm=a2c4g.11186623.0.0.4ab7695bvInrXr#/model-market/detail/qwen-audio-3.0-realtime-plus?serviceSite=asia-pacific-china

Qwen-Audio-3.0-Realtime-Flash:

https://bailian.console.aliyun.com/cn-beijing/?spm=a2c4g.11186623.0.0.4ab7695bvInrXr&tab=model#/model-market/detail/qwen-audio-3.0-realtime-flash?serviceSite=asia-pacific-china

又快又聪明:压时延不掉智商

实时语音模型往往为压低时延牺牲推理深度,智商衰减,但Qwen-Audio-3.0-Realtime针对日常对话、简单问答等对时延敏感的场景,能够直接生成回复,毫秒级响应。

在考验“AI会不会答”的语音问答基准VoiceBench 上,以书面化的标准prompt和口语化的prompt提问,Plus版本得分分别为92.5和90.5,仅下降2.0,这意味着模型能扛住真人说话的随意性。在更难的多轮音频对话挑战AudioMultiChallenge基准测试中,Flash版本标准和口语化prompt得分分别为43.6和38.1,仅下降5.5。

今年5月,Preview版本Fun-Realtime-Audiochat在"语音推理能力"指标上曾以97.6% 登顶Artificial Analysis。


能聊天更能办事:

无需明确指令,自行调用工具

文本大模型的Agent能力已相当成熟,但语音模型往往"能聊天不能办事":需要用户明显说出"帮我打开 XX"才能触发工具,并且切回闲聊后容易出现上下文断裂。Qwen-Audio-3.0-Realtime无需明确指令即可自行调用外部工具——调用结果还会自动融入对话记忆,一次调用的结果会被记住,后面几轮追问都能接着用。

例如用户先问"附近有什么川菜馆",再追问"评分4.5以上的哪家最近",模型会自动衔接地图工具上一次的返回结果继续检索。

模型基于FunctionCall标准协议,可以完成MCP、API、知识库的引入。

摆脱机械感:

随语境调整语气、节奏与情感

共情对话是本版本最能改变用户主观体验的部分。Qwen-Audio-3.0-Realtime摆脱了传统语音助手的机械感,可根据对话语境动态调整语气、节奏、音调与情感。在辩论场景中,模型能准确抓取对方论点并快速组织反驳,同时保持恰当的语气强度;在情感陪伴中,则通过语调、节奏与笑声、叹息、犹豫等副语言信号进行共情回应。

在专门考"AI说得像不像人"的S2S语音指令遵循公开基准VStyle上,模型取得SOTA成绩。


像真人一样对话:

边说边听,随时打断插话

双工交互流畅度,意味着模型能边说边听,像真人一样随时打断、插话,而非一问一答的对讲机模式。Qwen-Audio-3.0-Realtime内置"多模态感知的双工控制"子模型,通过分析音频信号、语义内容与说话人声纹特征,来判断如何交谈。

在餐厅、开放工区等嘈杂环境中,它不会被背景噪声误打断;在多人讨论中能锁定主对话对象、忽略旁听者交谈;在多说话人切换时,则能根据语义线索自然过渡。今年5月,Preview版本在对话流畅度指标上曾以97.8%登顶Artificial Analysis。此外,模型的API还预留了audio_prompt字段,用户可上传提前录制的音频样本,锁定声纹,聚焦特定的说话人。


On-Policy Distillation与多教师蒸馏

上述能力的提升,源于模型采用的On-Policy Distillation(在线策略蒸馏)框架——研究团队将文本大模型的完整推理能力蒸馏至语音模型:语音模型一边自己生成回答,一边由文本大模型实时纠正。

同时引入多教师蒸馏策略,确保模型在四条主线上均不偏科:口语多轮偏好教师保障口语化表达与指令遵循,通用教师负责基础问答与推理,Agentic教师锁定工具调用与复杂任务,音频理解教师处理副语言与音频语义信息。

从毫秒级响应到自行调用工具,从共情语气到边说边听,Qwen-Audio-3.0-Realtime想做的,是一个"又快又聪明"、聊起来更像真人的实时语音模型。我们期待看到大家基于它构建的下一代语音交互应用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
7月18日,人社部、财政部关于26年上调退休养老金的通知有公布吗?

7月18日,人社部、财政部关于26年上调退休养老金的通知有公布吗?

小谈食刻美食
2026-07-18 09:10:07
直降10万!大众突然降价,19.99万起

直降10万!大众突然降价,19.99万起

科技堡垒
2026-07-18 10:45:38
一只“北京鸭”,为何让欧盟如此焦虑

一只“北京鸭”,为何让欧盟如此焦虑

环球网资讯
2026-07-18 06:36:12
7月18日俄乌最新:费多罗夫回归?

7月18日俄乌最新:费多罗夫回归?

西楼饮月
2026-07-18 20:41:51
姆巴佩8年换5任女友,世界杯期间必换绝色新欢个个都是绝色佳人

姆巴佩8年换5任女友,世界杯期间必换绝色新欢个个都是绝色佳人

借你一生
2026-07-18 04:17:24
24.99万,逆天啊...

24.99万,逆天啊...

放毒
2026-07-18 17:13:54
尘埃落定!长沙占车位女干部完整后续,试用期副处长前途彻底断送

尘埃落定!长沙占车位女干部完整后续,试用期副处长前途彻底断送

天天热点见闻
2026-07-18 16:42:23
阿根廷主帅斯卡洛尼不满赛事方时间安排

阿根廷主帅斯卡洛尼不满赛事方时间安排

澎湃新闻
2026-07-18 13:44:27
中超最新积分榜:16队积分终于全上双,倒数3队仅差3分

中超最新积分榜:16队积分终于全上双,倒数3队仅差3分

中超伪球迷
2026-07-18 22:41:18
二胎、三胎催生无果,国家换新思路!马光远“新方案”得到支持

二胎、三胎催生无果,国家换新思路!马光远“新方案”得到支持

快乐彼岸
2026-07-18 19:01:46
密春雷再传噩耗!欠钱只是冰山一角,老婆董卿也救不了他

密春雷再传噩耗!欠钱只是冰山一角,老婆董卿也救不了他

范剬舍长
2026-07-18 18:36:34
8人死亡34人失联10人受伤,重庆彭水山体滑坡死伤数据公布,网格员救60余人自己被困后获救

8人死亡34人失联10人受伤,重庆彭水山体滑坡死伤数据公布,网格员救60余人自己被困后获救

Mr王的饭后茶
2026-07-18 00:24:21
邹市明已还清3家银行欠款,冉莹颖:如今还剩不到4000万元债务

邹市明已还清3家银行欠款,冉莹颖:如今还剩不到4000万元债务

椰黄娱乐
2026-07-18 11:35:42
终身禁足的申思,为什么能站在青训场上扇孩子的脸

终身禁足的申思,为什么能站在青训场上扇孩子的脸

行者殷涛
2026-07-18 19:19:50
美企与伊拉克签600亿大单,欲打造霍尔木兹海峡“替代线路”

美企与伊拉克签600亿大单,欲打造霍尔木兹海峡“替代线路”

参考消息
2026-07-18 21:05:43
熊继政 汪晋贤破门,中超倒数第一爆发,2-0胜中超第10,终结2连败

熊继政 汪晋贤破门,中超倒数第一爆发,2-0胜中超第10,终结2连败

侧身凌空斩
2026-07-18 21:55:32
越扒越心寒!冉莹颖根本没把邹市明当家人,2亿家底全送娘家了

越扒越心寒!冉莹颖根本没把邹市明当家人,2亿家底全送娘家了

不似少年游
2026-07-18 16:48:06
演员欧弟宣布与现任妻子全家移居日本,计划花190万元买房,妻女已提前去适应环境

演员欧弟宣布与现任妻子全家移居日本,计划花190万元买房,妻女已提前去适应环境

手工制作阿歼
2026-07-17 10:43:59
王刚也没想到,和他离婚25年的成方圆,如今已经变得让他高攀不起

王刚也没想到,和他离婚25年的成方圆,如今已经变得让他高攀不起

白面书誏
2026-07-18 17:26:43
重庆彭水山体崩塌的发现、预警、目睹和救援者

重庆彭水山体崩塌的发现、预警、目睹和救援者

大风新闻
2026-07-18 11:57:13
2026-07-18 23:00:49
阿里研究院 incentive-icons
阿里研究院
推动商业互联网化
1957文章数 2182关注度
往期回顾 全部

科技要闻

WAIC2026看什么?这份"不迷路"攻略请收好

头条要闻

河南一烤鸭店爆火刷屏网络 每天第一波客人是"汪汪队"

头条要闻

河南一烤鸭店爆火刷屏网络 每天第一波客人是"汪汪队"

体育要闻

德尚是非典型法国人 14年执教留下丰厚遗产

娱乐要闻

大S给具俊晔留遗产是昏头?实际上她清醒得很

财经要闻

股民当街砍博主!韩国股市 终极大屠杀

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

房产
教育
艺术
本地
健康

房产要闻

突然出手!千亩城更+一线江景,世嘉亮出超级四代宅!

教育要闻

江苏本科批投档线公布!孩子的档案投到哪所大学?按这4步判断

艺术要闻

深圳新地标!普联TP-Link留仙洞总部,实景震撼!

本地新闻

十年了,为什么鬼怪CP还能让人美美嗑上?

刮痧也会刮出脑梗?讲个真实案例

无障碍浏览 进入关怀版