网易首页 > 网易号 > 正文 申请入驻

OpenAI 发布三款实时语音大模型:语音交互进入新纪元

0
分享至

2026年5月8日,OpenAI 正式发布三款全新实时语音模型,吹响了语音 AI 赛道的新一轮冲锋号。这一次不是单一的"更自然",而是三款各司其职的产品——推理、翻译、转录,覆盖了语音应用最核心的三个场景。

三款模型,一文读懂 1. GPT-Realtime-2:首款 GPT-5 级推理语音模型

这是今天最受关注的产品。GPT-Realtime-2 内置 GPT-5 级别的推理能力,意味着它不再只是"听到→回应",而是能够在对话进行中同步完成推理、工具调用、上下文管理。

具体能力:

  • 前置短语(Pre-phrasing):智能体可以说"让我查一下"再处理,用户体验更流畅

  • 并行工具调用:同时调用多个工具,并通过"正在查看你的日历"这类提示让过程可感知

  • 上下文窗口从 32K 扩展到 128K:支持更长的连贯会话和复杂任务

  • 五档推理强度:minimal / low / medium / high / xhigh,开发者可灵活平衡延迟与深度

评测数据:

  • Big Bench Audio 音频智能评测,比上一代(GPT-Realtime-1.5)提升15.2%

  • Audio MultiChallenge 指令遵循评测,比上一代提升13.8%

2. GPT-Realtime-Translate:实时翻译,语速同步

实时翻译模型,支持70+ 种输入语言 → 13 种输出语言,翻译速度与说话者同步。

这意味着你可以用普通话说话,对方实时听到法语/日语/西班牙语……不再是"说完等翻译",而是真正的同传体验。

应用场景:

  • 跨境客服:用母语沟通,消除语言障碍

  • 国际会议:实时生成多语言字幕

  • 教育:留学生用母语听课,教师听到即时翻译

  • 旅行/医疗:关键场景下的无障碍沟通

3. GPT-Realtime-Whisper:流式转录,边说边写

专为低延迟设计的流式语音转文字模型。说话的同时,文字已经出现在屏幕上。

应用场景:

  • 即时字幕(直播、会议)

  • 会议记录自动生成

  • 课堂/活动实时文字化

  • 配合语音智能体,实现"边听边理解"

定价:三款模型怎么收费?

模型

定价

GPT-Realtime-2

音频输入 百 万 ( 缓 存 输 入 0.40);音频输出 $64/百万token

GPT-Realtime-Translate$0.034/分钟GPT-Realtime-Whisper$0.017/分钟

翻译和转录的价格已经非常亲民,实时翻译每分钟不到 4 美分,转录每分钟不到 2 美分。

为什么说这是"语音交互新纪元"?

过去要实现一个完整的语音智能体,需要:语音识别(Whisper)→ 文本理解(LLM)→ 语音合成(TTS),三层串联,延迟高、体验割裂。

OpenAI 这次的思路是:让语音模型原生具备推理和行动能力。

现在的语音智能体可以:

  • 理解用户的真实意图和上下文

  • 在对话进行中调用工具(查日历、发邮件、预订会议室)

  • 实时翻译消除语言障碍

  • 边说话边生成文字记录

从"一问一答"进化到"能真正完成工作的语音界面"。

开发者的新武器:Realtime API

三款模型均已上线Realtime API,开发者可通过 WebRTC 快速集成。

关键功能:

  • 远程 MCP 服务器支持:直接连接外部工具(Stripe 支付、数据库等)

  • 图像输入:语音模型也能"看",可以问"这张截图里写的什么"

  • SIP 协议支持:直接打电话,接入公共电话网络

结语

语音正在成为人与软件之间最自然的交互界面。开车时求助、走路时改签、边做事边完成任务——不需要停下来打字。

OpenAI 今天的三款模型,把实时音频从简单的一问一答,升级成能真正完成工作的语音界面。推理、翻译、转录——三剑出鞘,语音 AI 的应用空间被彻底打开。

这场变革,才刚刚开始。

  • OpenAI Platform: platform.openai.com

  • Realtime API 文档: platform.openai.com/docs/guides/realtime

  • Playground 测试: platform.openai.com/playground

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
48岁王阳骑自行车接女儿,背粉包拿头盔很贴心,6岁molly高瘦漂亮

48岁王阳骑自行车接女儿,背粉包拿头盔很贴心,6岁molly高瘦漂亮

小疯子耶
2026-09-04 04:10:01
最近好多开发商都开始慌了

最近好多开发商都开始慌了

真叫卢俊
2026-09-03 10:45:12
四川一考生远赴211报到,住一晚就退学,学费已缴,本人回应:忽然醒悟了

四川一考生远赴211报到,住一晚就退学,学费已缴,本人回应:忽然醒悟了

育学笔谈
2026-09-03 13:46:33
退休返聘迎来严查!最高罚20万、直接清退,这三个大坑避开

退休返聘迎来严查!最高罚20万、直接清退,这三个大坑避开

天气观察站
2026-09-03 08:35:50
前夫告我不养他妈,法官问我为什么不管,我冷笑一声说:我们离婚快一年了,我凭什么养他妈?法官听完,半天没说话

前夫告我不养他妈,法官问我为什么不管,我冷笑一声说:我们离婚快一年了,我凭什么养他妈?法官听完,半天没说话

晓艾故事汇
2026-09-03 11:41:05
每株都有“剧毒”!有人吃它患上尿毒症,但老一辈基本家家都吃过

每株都有“剧毒”!有人吃它患上尿毒症,但老一辈基本家家都吃过

万象硬核本尊
2026-09-03 18:26:53
51岁黄渤锁骨骨折消息曝光不到6小时,恶心的事情就发生了!

51岁黄渤锁骨骨折消息曝光不到6小时,恶心的事情就发生了!

叨唠
2026-09-04 00:01:53
金鹰奖最大意难平!于和伟演技封神,全网直呼不公平:欠他一个影帝

金鹰奖最大意难平!于和伟演技封神,全网直呼不公平:欠他一个影帝

可乐谈情感
2026-09-04 10:00:08
2026基础养老金迎来调整,人社部给出方向,70岁老人能额外加钱吗

2026基础养老金迎来调整,人社部给出方向,70岁老人能额外加钱吗

陈博世财经
2026-09-03 13:58:49
2-4惨败!8强出6席,就在刚刚,斯诺克爆大冷:19岁小将掀翻51岁大黑马!中国军团仅剩独苗

2-4惨败!8强出6席,就在刚刚,斯诺克爆大冷:19岁小将掀翻51岁大黑马!中国军团仅剩独苗

锐评利物浦
2026-09-04 09:16:10
杨瀚森面临三条路!第一条,留在开拓者,基本没戏

杨瀚森面临三条路!第一条,留在开拓者,基本没戏

林子说事
2026-09-03 10:34:11
罕见!53岁确诊胃梅毒

罕见!53岁确诊胃梅毒

医学界
2026-08-31 18:51:47
终于有人说出了大实话!新加坡前外长杨荣文说:不要看美国动不动就威胁中国、制裁中国,其实美国从根本上不敢与中国开战

终于有人说出了大实话!新加坡前外长杨荣文说:不要看美国动不动就威胁中国、制裁中国,其实美国从根本上不敢与中国开战

故巷笑别w
2026-08-31 17:14:12
一个很残酷的真相:父弱母强的家庭,养出来的孩子,大多是这两种

一个很残酷的真相:父弱母强的家庭,养出来的孩子,大多是这两种

户外阿毽
2026-08-25 00:18:35
在泽连斯基威胁关闭俄罗斯天空后,一些航空公司停止飞往莫斯科的航班

在泽连斯基威胁关闭俄罗斯天空后,一些航空公司停止飞往莫斯科的航班

山河路口
2026-09-03 13:36:23
“孤勇”的雷克萨斯ES:干趴了9成以上的新能源?

“孤勇”的雷克萨斯ES:干趴了9成以上的新能源?

车壹条Pro
2026-09-01 21:48:35
山西:坚决拥护党中央对岳普煜的处分决定

山西:坚决拥护党中央对岳普煜的处分决定

澎湃新闻
2026-09-03 21:15:01
刘强东惊天豪赌,拿下百亿白酒巨头

刘强东惊天豪赌,拿下百亿白酒巨头

跨境派Pro
2026-09-03 15:03:05
教育部到底管不管?学校还在瞎卷,初一孩子要在学校呆14个小时!

教育部到底管不管?学校还在瞎卷,初一孩子要在学校呆14个小时!

可达鸭面面观
2026-09-02 11:18:33
为什么一个54岁无业大叔的手机里,能藏着770个少女的噩梦?

为什么一个54岁无业大叔的手机里,能藏着770个少女的噩梦?

刻面
2026-08-24 15:17:45
2026-09-04 11:28:49
君伟说
君伟说
分享职场故事
485文章数 48关注度
往期回顾 全部

科技要闻

OpenAI深夜王炸!GPT-6 Astra来了

头条要闻

尼泊尔泥石流致1290死 民众拍下山洪吞没山谷建筑过程

头条要闻

尼泊尔泥石流致1290死 民众拍下山洪吞没山谷建筑过程

体育要闻

梅西:巴萨10号与阿根廷10号

娱乐要闻

王宝强冯清八年未领证!真相令人泪目

财经要闻

电池税开征,纯电车利润快归零了

汽车要闻

30.99-39.99万 价格够狠、配置够满、豪华够硬 奇瑞捷豹路虎神行者8上市即爆单

态度原创

本地
旅游
亲子
健康
公开课

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

旅游要闻

“一江一河”金秋夜游只要15元?浦江赏灯、苏河吃月饼全安排

亲子要闻

女性生育力为什么会随年龄下降?Nature Aging研究:卵巢衰老既是卵母细胞数量的变化,也是整个卵巢微环境的变化

脑梗能否取栓,关键看这几点!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版