网易首页 > 网易号 > 正文 申请入驻

OpenAI 发布三款实时语音大模型:语音交互进入新纪元

0
分享至

2026年5月8日,OpenAI 正式发布三款全新实时语音模型,吹响了语音 AI 赛道的新一轮冲锋号。这一次不是单一的"更自然",而是三款各司其职的产品——推理、翻译、转录,覆盖了语音应用最核心的三个场景。

三款模型,一文读懂 1. GPT-Realtime-2:首款 GPT-5 级推理语音模型

这是今天最受关注的产品。GPT-Realtime-2 内置 GPT-5 级别的推理能力,意味着它不再只是"听到→回应",而是能够在对话进行中同步完成推理、工具调用、上下文管理。

具体能力:

  • 前置短语(Pre-phrasing):智能体可以说"让我查一下"再处理,用户体验更流畅

  • 并行工具调用:同时调用多个工具,并通过"正在查看你的日历"这类提示让过程可感知

  • 上下文窗口从 32K 扩展到 128K:支持更长的连贯会话和复杂任务

  • 五档推理强度:minimal / low / medium / high / xhigh,开发者可灵活平衡延迟与深度

评测数据:

  • Big Bench Audio 音频智能评测,比上一代(GPT-Realtime-1.5)提升15.2%

  • Audio MultiChallenge 指令遵循评测,比上一代提升13.8%

2. GPT-Realtime-Translate:实时翻译,语速同步

实时翻译模型,支持70+ 种输入语言 → 13 种输出语言,翻译速度与说话者同步。

这意味着你可以用普通话说话,对方实时听到法语/日语/西班牙语……不再是"说完等翻译",而是真正的同传体验。

应用场景:

  • 跨境客服:用母语沟通,消除语言障碍

  • 国际会议:实时生成多语言字幕

  • 教育:留学生用母语听课,教师听到即时翻译

  • 旅行/医疗:关键场景下的无障碍沟通

3. GPT-Realtime-Whisper:流式转录,边说边写

专为低延迟设计的流式语音转文字模型。说话的同时,文字已经出现在屏幕上。

应用场景:

  • 即时字幕(直播、会议)

  • 会议记录自动生成

  • 课堂/活动实时文字化

  • 配合语音智能体,实现"边听边理解"

定价:三款模型怎么收费?

模型

定价

GPT-Realtime-2

音频输入 百 万 ( 缓 存 输 入 0.40);音频输出 $64/百万token

GPT-Realtime-Translate$0.034/分钟GPT-Realtime-Whisper$0.017/分钟

翻译和转录的价格已经非常亲民,实时翻译每分钟不到 4 美分,转录每分钟不到 2 美分。

为什么说这是"语音交互新纪元"?

过去要实现一个完整的语音智能体,需要:语音识别(Whisper)→ 文本理解(LLM)→ 语音合成(TTS),三层串联,延迟高、体验割裂。

OpenAI 这次的思路是:让语音模型原生具备推理和行动能力。

现在的语音智能体可以:

  • 理解用户的真实意图和上下文

  • 在对话进行中调用工具(查日历、发邮件、预订会议室)

  • 实时翻译消除语言障碍

  • 边说话边生成文字记录

从"一问一答"进化到"能真正完成工作的语音界面"。

开发者的新武器:Realtime API

三款模型均已上线Realtime API,开发者可通过 WebRTC 快速集成。

关键功能:

  • 远程 MCP 服务器支持:直接连接外部工具(Stripe 支付、数据库等)

  • 图像输入:语音模型也能"看",可以问"这张截图里写的什么"

  • SIP 协议支持:直接打电话,接入公共电话网络

结语

语音正在成为人与软件之间最自然的交互界面。开车时求助、走路时改签、边做事边完成任务——不需要停下来打字。

OpenAI 今天的三款模型,把实时音频从简单的一问一答,升级成能真正完成工作的语音界面。推理、翻译、转录——三剑出鞘,语音 AI 的应用空间被彻底打开。

这场变革,才刚刚开始。

  • OpenAI Platform: platform.openai.com

  • Realtime API 文档: platform.openai.com/docs/guides/realtime

  • Playground 测试: platform.openai.com/playground

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“牛鼻子”校友有了新身份,就职衡水泰华中学科技校长

“牛鼻子”校友有了新身份,就职衡水泰华中学科技校长

趣笔谈
2026-05-06 11:30:03
拒绝特朗普仅 6 天,72 岁成龙连收两大喜讯,江湖地位无人能及

拒绝特朗普仅 6 天,72 岁成龙连收两大喜讯,江湖地位无人能及

橙星文娱
2026-05-08 15:00:51
国米这五人谁敢信?上赛季拖后腿,今年直接成大腿!

国米这五人谁敢信?上赛季拖后腿,今年直接成大腿!

有态度的体育小白
2026-05-09 07:18:11
1940年最完美的暗杀:“23名保镖贴身保护,但脑袋却被人砍掉”

1940年最完美的暗杀:“23名保镖贴身保护,但脑袋却被人砍掉”

纪实文录
2025-05-08 16:15:44
车价,涨了?

车价,涨了?

中国新闻周刊
2026-05-09 21:02:50
有一种蹲叫“随便蹲”,万茜下蹲火爆全网,网友:我认输!

有一种蹲叫“随便蹲”,万茜下蹲火爆全网,网友:我认输!

健身迷
2026-04-14 10:38:40
赤身被吊在房梁上,下体被插上铜棒通电,遗照却一直被日寇供奉着

赤身被吊在房梁上,下体被插上铜棒通电,遗照却一直被日寇供奉着

芳芳历史烩
2026-03-17 22:06:40
学医后才明白,预防骨质疏松最好的习惯,不是晒太阳,而是3件事

学医后才明白,预防骨质疏松最好的习惯,不是晒太阳,而是3件事

垚垚分享健康
2026-05-04 19:15:04
知名港星癌细胞扩散至脑部,闻到身上有尸臭味,剩四分之一条人命

知名港星癌细胞扩散至脑部,闻到身上有尸臭味,剩四分之一条人命

叨唠
2026-03-15 17:36:49
周恩来想调兵却调不动?毛主席当年定下的规矩,让他晚年说出这番话

周恩来想调兵却调不动?毛主席当年定下的规矩,让他晚年说出这番话

文史明鉴
2026-03-23 16:47:14
王暖暖风评翻车?自曝长期遭MCN压榨,网友:想卖一辈子惨吗

王暖暖风评翻车?自曝长期遭MCN压榨,网友:想卖一辈子惨吗

白话历史奇闻
2026-05-09 16:10:07
王平河系列:人不狠,站不稳结局

王平河系列:人不狠,站不稳结局

金昔说故事
2026-05-09 23:39:19
中国境内唯一一支外国军队,赶了50年赶不走,至今仍驻扎在北京

中国境内唯一一支外国军队,赶了50年赶不走,至今仍驻扎在北京

可乐爱微笑
2026-05-07 02:35:38
张军被查创下多个尴尬“纪录”,18年前曾因酒驾被查

张军被查创下多个尴尬“纪录”,18年前曾因酒驾被查

元芳有看法
2026-04-30 09:25:44
美国做了个实验,将3男3女关一起2年,他们出来时,令所有人惊讶

美国做了个实验,将3男3女关一起2年,他们出来时,令所有人惊讶

千秋文化
2026-05-05 20:32:13
县城的出轨率可能超乎你们的想象

县城的出轨率可能超乎你们的想象

微说尘事
2026-05-07 09:03:50
日本人怎么也想不通:上万元的电饭煲,中国是怎么做到卖几十的?

日本人怎么也想不通:上万元的电饭煲,中国是怎么做到卖几十的?

李砍柴
2026-04-22 17:21:23
彻底决裂!皇马更衣室揪出内鬼,全队矛头直指伯纳乌巨星

彻底决裂!皇马更衣室揪出内鬼,全队矛头直指伯纳乌巨星

奶盖熊本熊
2026-05-09 04:42:05
高盛:A股将涨到5300点,高盛重仓26股又涨停。这波被外资赚走了

高盛:A股将涨到5300点,高盛重仓26股又涨停。这波被外资赚走了

风风顺
2026-05-09 07:33:45
去成都涨球了!只要替补出场,球队或者他自己就进球,练出来了!

去成都涨球了!只要替补出场,球队或者他自己就进球,练出来了!

硬腿子聊个球
2026-05-09 23:54:29
2026-05-10 03:04:49
君伟说
君伟说
分享职场故事
424文章数 48关注度
往期回顾 全部

科技要闻

美国政府强力下场 苹果英特尔达成代工协议

头条要闻

演员文章面馆大火后又开酒吧 多位明星到场母亲也现身

头条要闻

演员文章面馆大火后又开酒吧 多位明星到场母亲也现身

体育要闻

成立128年后,这支升班马首夺顶级联赛冠军

娱乐要闻

50岁赵薇脸颊凹陷沧桑得认不出!

财经要闻

多地号召,公职人员带头缴纳物业费

汽车要闻

轴距加长/智驾拉满 阿维塔07L定位大五座SUV

态度原创

教育
数码
旅游
游戏
军事航空

教育要闻

天津女教师怼家长!完整录音曝光,老师很嚣张,饭碗恐不保了

数码要闻

有鸿蒙·更美的——全球首台鸿蒙智选美的智能空调上市

旅游要闻

不用长途奔波!北京城区随处是治愈人心的初夏花海

Windows 11 PC上的Xbox模式不支持多显示器

军事要闻

美伊突然再次交火 伊朗外长:战争准备程度是1000%

无障碍浏览 进入关怀版