网易首页 > 网易号 > 正文 申请入驻

OpenAI 发布三款实时语音大模型:语音交互进入新纪元

0
分享至

2026年5月8日,OpenAI 正式发布三款全新实时语音模型,吹响了语音 AI 赛道的新一轮冲锋号。这一次不是单一的"更自然",而是三款各司其职的产品——推理、翻译、转录,覆盖了语音应用最核心的三个场景。

三款模型,一文读懂 1. GPT-Realtime-2:首款 GPT-5 级推理语音模型

这是今天最受关注的产品。GPT-Realtime-2 内置 GPT-5 级别的推理能力,意味着它不再只是"听到→回应",而是能够在对话进行中同步完成推理、工具调用、上下文管理。

具体能力:

  • 前置短语(Pre-phrasing):智能体可以说"让我查一下"再处理,用户体验更流畅

  • 并行工具调用:同时调用多个工具,并通过"正在查看你的日历"这类提示让过程可感知

  • 上下文窗口从 32K 扩展到 128K:支持更长的连贯会话和复杂任务

  • 五档推理强度:minimal / low / medium / high / xhigh,开发者可灵活平衡延迟与深度

评测数据:

  • Big Bench Audio 音频智能评测,比上一代(GPT-Realtime-1.5)提升15.2%

  • Audio MultiChallenge 指令遵循评测,比上一代提升13.8%

2. GPT-Realtime-Translate:实时翻译,语速同步

实时翻译模型,支持70+ 种输入语言 → 13 种输出语言,翻译速度与说话者同步。

这意味着你可以用普通话说话,对方实时听到法语/日语/西班牙语……不再是"说完等翻译",而是真正的同传体验。

应用场景:

  • 跨境客服:用母语沟通,消除语言障碍

  • 国际会议:实时生成多语言字幕

  • 教育:留学生用母语听课,教师听到即时翻译

  • 旅行/医疗:关键场景下的无障碍沟通

3. GPT-Realtime-Whisper:流式转录,边说边写

专为低延迟设计的流式语音转文字模型。说话的同时,文字已经出现在屏幕上。

应用场景:

  • 即时字幕(直播、会议)

  • 会议记录自动生成

  • 课堂/活动实时文字化

  • 配合语音智能体,实现"边听边理解"

定价:三款模型怎么收费?

模型

定价

GPT-Realtime-2

音频输入 百 万 ( 缓 存 输 入 0.40);音频输出 $64/百万token

GPT-Realtime-Translate$0.034/分钟GPT-Realtime-Whisper$0.017/分钟

翻译和转录的价格已经非常亲民,实时翻译每分钟不到 4 美分,转录每分钟不到 2 美分。

为什么说这是"语音交互新纪元"?

过去要实现一个完整的语音智能体,需要:语音识别(Whisper)→ 文本理解(LLM)→ 语音合成(TTS),三层串联,延迟高、体验割裂。

OpenAI 这次的思路是:让语音模型原生具备推理和行动能力。

现在的语音智能体可以:

  • 理解用户的真实意图和上下文

  • 在对话进行中调用工具(查日历、发邮件、预订会议室)

  • 实时翻译消除语言障碍

  • 边说话边生成文字记录

从"一问一答"进化到"能真正完成工作的语音界面"。

开发者的新武器:Realtime API

三款模型均已上线Realtime API,开发者可通过 WebRTC 快速集成。

关键功能:

  • 远程 MCP 服务器支持:直接连接外部工具(Stripe 支付、数据库等)

  • 图像输入:语音模型也能"看",可以问"这张截图里写的什么"

  • SIP 协议支持:直接打电话,接入公共电话网络

结语

语音正在成为人与软件之间最自然的交互界面。开车时求助、走路时改签、边做事边完成任务——不需要停下来打字。

OpenAI 今天的三款模型,把实时音频从简单的一问一答,升级成能真正完成工作的语音界面。推理、翻译、转录——三剑出鞘,语音 AI 的应用空间被彻底打开。

这场变革,才刚刚开始。

  • OpenAI Platform: platform.openai.com

  • Realtime API 文档: platform.openai.com/docs/guides/realtime

  • Playground 测试: platform.openai.com/playground

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“黄总请你去包厢”是误会? 女子就餐遭服务员多次传话 “黄总”身份已查明:系餐厅内一名普通顾客 认错人了

“黄总请你去包厢”是误会? 女子就餐遭服务员多次传话 “黄总”身份已查明:系餐厅内一名普通顾客 认错人了

闪电新闻
2026-07-19 11:36:35
他比毛主席小24岁,毛主席称他“华北第一才子”,61岁终成副国级

他比毛主席小24岁,毛主席称他“华北第一才子”,61岁终成副国级

大运河时空
2026-07-18 14:25:03
月薪6万看云的工作为内定?独家回应

月薪6万看云的工作为内定?独家回应

中国新闻周刊
2026-07-19 11:38:06
要结束了?美国直接炸了伊朗的"命根子",重要性堪比德黑兰

要结束了?美国直接炸了伊朗的"命根子",重要性堪比德黑兰

闻识
2026-07-19 10:54:30
7月16日,陈冠希分享了一张去看世界杯的近照,只见他在观众席穿着球衣戴着眼镜和帽子,与年轻时的痞帅判若两人

7月16日,陈冠希分享了一张去看世界杯的近照,只见他在观众席穿着球衣戴着眼镜和帽子,与年轻时的痞帅判若两人

牛油果生活观
2026-07-19 12:09:43
法国疑再现内讧!31岁中场炮轰:不能接受某些队友的表现 太丢人了

法国疑再现内讧!31岁中场炮轰:不能接受某些队友的表现 太丢人了

风过乡
2026-07-19 09:28:11
消费善良,是最肮脏的生意——韩红为何跌下神坛

消费善良,是最肮脏的生意——韩红为何跌下神坛

谭天论道
2026-07-18 17:45:56
局势失控?美狂轰7小时不留情,伊暗流涌动,内贾德一招暗度陈仓

局势失控?美狂轰7小时不留情,伊暗流涌动,内贾德一招暗度陈仓

健身狂人
2026-07-19 15:03:34
《功夫女足》票房超11亿,向太又“破防”了!62岁的周星驰被她在直播间里,咬牙切齿地阴阳“不知感恩”

《功夫女足》票房超11亿,向太又“破防”了!62岁的周星驰被她在直播间里,咬牙切齿地阴阳“不知感恩”

火山詩话
2026-07-19 10:08:44
阿根廷足协:国家队回国,20日至21日所有比赛暂停

阿根廷足协:国家队回国,20日至21日所有比赛暂停

懂球帝
2026-07-19 02:57:21
毫无体育精神!半决赛6:4,英法贡献一场丑陋比赛,反被夸赞

毫无体育精神!半决赛6:4,英法贡献一场丑陋比赛,反被夸赞

蜜桔娱乐
2026-07-19 07:45:27
突发讣告!他于2026年7月18日在上海去世,终年66岁,令人痛心!

突发讣告!他于2026年7月18日在上海去世,终年66岁,令人痛心!

TVB的四小花
2026-07-19 06:01:56
“黄总请你去包厢” “黄总”到底是谁?官方请尽快查清真相 给公众一个交代!

“黄总请你去包厢” “黄总”到底是谁?官方请尽快查清真相 给公众一个交代!

闪电新闻
2026-07-18 19:26:31
财富自由,4个儿子都走足球路,赋闲在家5年的他,在法国一鸣惊人

财富自由,4个儿子都走足球路,赋闲在家5年的他,在法国一鸣惊人

翰飞观事
2026-07-18 19:16:27
佛得角大使:已收到中国多省邀请,可探讨佛得角队访华可行性

佛得角大使:已收到中国多省邀请,可探讨佛得角队访华可行性

懂球帝
2026-07-19 12:30:05
被批“离谱至极”!法国队0比4落后,姆巴佩在中场休息时与对方球员互换球衣,与对方主帅谈笑风生

被批“离谱至极”!法国队0比4落后,姆巴佩在中场休息时与对方球员互换球衣,与对方主帅谈笑风生

红星新闻
2026-07-19 08:47:16
白丽萍夫妇意外双双离世,知情人曝原因让人惋惜,李嘉格是她学生

白丽萍夫妇意外双双离世,知情人曝原因让人惋惜,李嘉格是她学生

乡野小珥
2026-07-19 09:57:39
迫于决赛两队压力!国际足联被迫妥协,中场秀从30分钟砍至11分钟

迫于决赛两队压力!国际足联被迫妥协,中场秀从30分钟砍至11分钟

夜白侃球
2026-07-19 10:09:10
关键领域!美媒:“中国刚刚抹去了美国的领先优势”

关键领域!美媒:“中国刚刚抹去了美国的领先优势”

环球时报国际
2026-07-19 08:15:31
2026年最蠢的公职人员出现了...

2026年最蠢的公职人员出现了...

细说职场
2026-07-18 19:36:18
2026-07-19 16:00:49
君伟说
君伟说
分享职场故事
466文章数 48关注度
往期回顾 全部

科技要闻

Kimi K3单项登顶 整体落后前沿模型2-3个月

头条要闻

蔡依林长沙两场演唱会卖超7400万 税后报酬或不足90万

头条要闻

蔡依林长沙两场演唱会卖超7400万 税后报酬或不足90万

体育要闻

世界杯决赛,从“澡盆德比”500年前讲起

娱乐要闻

全网都心疼邹市明,再逼他支棱了

财经要闻

任泽平VIP会员自称爆仓巨亏千万

汽车要闻

把中国超跑卖到英国,比亚迪正在被世界看见

态度原创

艺术
房产
手机
健康
军事航空

艺术要闻

2026世界杯终极悬念,纽约大都会人寿体育场将揭晓!

房产要闻

突然出手!千亩城更+一线江景,世嘉亮出超级四代宅!

手机要闻

899元 vivo Y6c 4G开售:展锐T7225芯片 电池5年长寿

刮痧也会刮出脑梗?讲个真实案例

军事要闻

两名美军被伊朗炸死 特朗普:令人难过

无障碍浏览 进入关怀版