网易首页 > 网易号 > 正文 申请入驻

OpenAI 发布三款实时语音大模型:语音交互进入新纪元

0
分享至

2026年5月8日,OpenAI 正式发布三款全新实时语音模型,吹响了语音 AI 赛道的新一轮冲锋号。这一次不是单一的"更自然",而是三款各司其职的产品——推理、翻译、转录,覆盖了语音应用最核心的三个场景。

三款模型,一文读懂 1. GPT-Realtime-2:首款 GPT-5 级推理语音模型

这是今天最受关注的产品。GPT-Realtime-2 内置 GPT-5 级别的推理能力,意味着它不再只是"听到→回应",而是能够在对话进行中同步完成推理、工具调用、上下文管理。

具体能力:

  • 前置短语(Pre-phrasing):智能体可以说"让我查一下"再处理,用户体验更流畅

  • 并行工具调用:同时调用多个工具,并通过"正在查看你的日历"这类提示让过程可感知

  • 上下文窗口从 32K 扩展到 128K:支持更长的连贯会话和复杂任务

  • 五档推理强度:minimal / low / medium / high / xhigh,开发者可灵活平衡延迟与深度

评测数据:

  • Big Bench Audio 音频智能评测,比上一代(GPT-Realtime-1.5)提升15.2%

  • Audio MultiChallenge 指令遵循评测,比上一代提升13.8%

2. GPT-Realtime-Translate:实时翻译,语速同步

实时翻译模型,支持70+ 种输入语言 → 13 种输出语言,翻译速度与说话者同步。

这意味着你可以用普通话说话,对方实时听到法语/日语/西班牙语……不再是"说完等翻译",而是真正的同传体验。

应用场景:

  • 跨境客服:用母语沟通,消除语言障碍

  • 国际会议:实时生成多语言字幕

  • 教育:留学生用母语听课,教师听到即时翻译

  • 旅行/医疗:关键场景下的无障碍沟通

3. GPT-Realtime-Whisper:流式转录,边说边写

专为低延迟设计的流式语音转文字模型。说话的同时,文字已经出现在屏幕上。

应用场景:

  • 即时字幕(直播、会议)

  • 会议记录自动生成

  • 课堂/活动实时文字化

  • 配合语音智能体,实现"边听边理解"

定价:三款模型怎么收费?

模型

定价

GPT-Realtime-2

音频输入 百 万 ( 缓 存 输 入 0.40);音频输出 $64/百万token

GPT-Realtime-Translate$0.034/分钟GPT-Realtime-Whisper$0.017/分钟

翻译和转录的价格已经非常亲民,实时翻译每分钟不到 4 美分,转录每分钟不到 2 美分。

为什么说这是"语音交互新纪元"?

过去要实现一个完整的语音智能体,需要:语音识别(Whisper)→ 文本理解(LLM)→ 语音合成(TTS),三层串联,延迟高、体验割裂。

OpenAI 这次的思路是:让语音模型原生具备推理和行动能力。

现在的语音智能体可以:

  • 理解用户的真实意图和上下文

  • 在对话进行中调用工具(查日历、发邮件、预订会议室)

  • 实时翻译消除语言障碍

  • 边说话边生成文字记录

从"一问一答"进化到"能真正完成工作的语音界面"。

开发者的新武器:Realtime API

三款模型均已上线Realtime API,开发者可通过 WebRTC 快速集成。

关键功能:

  • 远程 MCP 服务器支持:直接连接外部工具(Stripe 支付、数据库等)

  • 图像输入:语音模型也能"看",可以问"这张截图里写的什么"

  • SIP 协议支持:直接打电话,接入公共电话网络

结语

语音正在成为人与软件之间最自然的交互界面。开车时求助、走路时改签、边做事边完成任务——不需要停下来打字。

OpenAI 今天的三款模型,把实时音频从简单的一问一答,升级成能真正完成工作的语音界面。推理、翻译、转录——三剑出鞘,语音 AI 的应用空间被彻底打开。

这场变革,才刚刚开始。

  • OpenAI Platform: platform.openai.com

  • Realtime API 文档: platform.openai.com/docs/guides/realtime

  • Playground 测试: platform.openai.com/playground

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
活神仙啊!于东来回到老家,坐在门前水泥台晒太阳,一身简单装扮,引发网友围观

活神仙啊!于东来回到老家,坐在门前水泥台晒太阳,一身简单装扮,引发网友围观

火山詩话
2026-10-18 17:11:47
神似《龙珠》悟空,法国员工肉身守护店铺,网友:超级赛亚人

神似《龙珠》悟空,法国员工肉身守护店铺,网友:超级赛亚人

ACG萌博士
2026-10-19 14:15:44
网友称“郭敬明剧组烧毁树林,树干呈黑灰色、倒塌在地”,当地回应:政府全程监管,相关画面是布景,剧组没有破坏生态

网友称“郭敬明剧组烧毁树林,树干呈黑灰色、倒塌在地”,当地回应:政府全程监管,相关画面是布景,剧组没有破坏生态

南方都市报
2026-10-19 17:45:38
以色列摧毁了数十座纪念恐怖分子的纪念碑,沙特或重启《亚伯拉罕协议》

以色列摧毁了数十座纪念恐怖分子的纪念碑,沙特或重启《亚伯拉罕协议》

老王说正义
2026-10-18 00:02:18
伍德沃德美股盘前跌超19%

伍德沃德美股盘前跌超19%

每日经济新闻
2026-10-19 19:37:07
美日军演今登场直指台海,解放军提前开干先手已落,四海四舰联动

美日军演今登场直指台海,解放军提前开干先手已落,四海四舰联动

晓旓就是我
2026-10-19 14:46:27
漫威“冬兵”剃光头了!塞巴斯蒂安·斯坦携新片女主亮相伦敦,造型大变样

漫威“冬兵”剃光头了!塞巴斯蒂安·斯坦携新片女主亮相伦敦,造型大变样

粉红冻奶的观影日记
2026-10-18 22:53:29
阿根廷11球+迈阿密29球,39岁梅西职业生涯第14次年度进球40+

阿根廷11球+迈阿密29球,39岁梅西职业生涯第14次年度进球40+

懂球帝
2026-10-19 11:07:59
局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

局势彻底变天了!中日对峙一天天拖下去,越来越多国家终于意识到:中日若兵戎相见,不会像俄乌冲突那样给第三方牟利的机会,而是一场血战

林杰论事
2026-10-03 02:28:50
吹了大半辈子美国!移民俩月就骂"垃圾",袁腾飞还想回国"自首"?

吹了大半辈子美国!移民俩月就骂"垃圾",袁腾飞还想回国"自首"?

社会日日鲜
2026-10-19 06:29:31
激动落泪!坐轮椅2年的英国阿姨试穿杭州造机器人后,成功行走,儿子当场决定买下!网友:这就是科技的意义

激动落泪!坐轮椅2年的英国阿姨试穿杭州造机器人后,成功行走,儿子当场决定买下!网友:这就是科技的意义

环球网资讯
2026-10-18 17:00:19
比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

比尔盖茨表示:他这辈子犯过最大的错误,就是把原本属于微软的移动生态,拱手让给了安卓

元气科技馆
2026-10-10 21:56:30
25万亿到底谁来还?中国最大“老赖”曝光,重振经济的关键说透了

25万亿到底谁来还?中国最大“老赖”曝光,重振经济的关键说透了

三毛看世界
2026-10-13 15:05:55
被停职审查、套现开溜、私生活混乱,董明珠身上标签该真相大白了

被停职审查、套现开溜、私生活混乱,董明珠身上标签该真相大白了

眼底星碎
2026-10-09 12:19:24
一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

音乐时光的娱乐
2026-10-12 12:28:25
全程苦瓜脸,脸僵说话张不开嘴,老戏骨李乃文都带不动这个拖油瓶

全程苦瓜脸,脸僵说话张不开嘴,老戏骨李乃文都带不动这个拖油瓶

老吴教育课堂
2026-10-18 15:31:16
吃相难看!刘欢家属骗局曝光,吴越也深受其害,官媒下场了

吃相难看!刘欢家属骗局曝光,吴越也深受其害,官媒下场了

不似少年游
2026-10-19 14:58:29
一夫一妻制逐渐难维持!社会学家分析:未来3种模式将成为主流?

一夫一妻制逐渐难维持!社会学家分析:未来3种模式将成为主流?

月下守候
2026-10-19 22:46:50
艺术无国界?——亲巴勒斯坦的抗议者要求取消以色列在马德里剧院的舞蹈表演

艺术无国界?——亲巴勒斯坦的抗议者要求取消以色列在马德里剧院的舞蹈表演

老王说正义
2026-10-19 00:03:53
3-4大冷门,奥沙利文遭低排名中国选手淘汰,止步斯诺克北爱尔兰公开赛第一轮

3-4大冷门,奥沙利文遭低排名中国选手淘汰,止步斯诺克北爱尔兰公开赛第一轮

侧身凌空斩
2026-10-20 00:50:46
2026-10-20 03:19:00
君伟说
君伟说
分享职场故事
492文章数 48关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

中国留学生披旭日旗事件最新进展:目前已被遣返

头条要闻

中国留学生披旭日旗事件最新进展:目前已被遣返

体育要闻

从NBA退役10年后,他真去警局上班了

娱乐要闻

奚梦瑶回应重返维密:还是很开心的

财经要闻

黄奇帆之子往事:从广微系到魏桥的跳跃

汽车要闻

不知道二代海鸥多好玩? 上赛道跑两圈 很过瘾的

态度原创

教育
健康
数码
家居
公开课

教育要闻

1359 个市级指标藏在哪里?初中三年铺路地图

看着很健康的人,怎么会突然猝死?

数码要闻

2026网易未来公开课开启:第五期对话王晟

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版