网易首页 > 网易号 > 正文 申请入驻

OpenAI 详解规模化低延迟语音 AI 的 WebRTC 架构

0
分享至


作者 | Eran Stiller

译者 | 明知山

OpenAI 近期介绍了 如何为全球规模的低延迟语音 AI 调整 WebRTC。新的架构将传统的媒体终结模型替换为更适合 Kubernetes 和云负载均衡器的中继收发器架构。它将 WebRTC 会话状态保留在专用的收发器层,同时利用轻量级中继来减少公共 UDP 暴露,并让媒体路由更贴近用户。

在这篇文章中,OpenAI 的技术人员 Zhang Yi 和 William McDonald 解释说,实现全球覆盖、快速建立连接以及保障媒体往返时延偏低且稳定是此次架构调整背后的主要制约因素。团队评估了多种媒体会话对外暴露的方案,各类方案在实际运行中各有利弊。

第一种方案是直接对外暴露 UDP 端口,沿用传统 WebRTC 架构模式。但该方案会把运维压力转嫁至基础设施层面,尤其是在 Kubernetes 环境中,大规模的公网端口难以安全管控。为每台服务器单独分配专属端口虽能简化部分路由决策,却依旧会让运维人员面临端口规划困难、端口使用率失衡以及部署发布稳定性差等问题。


选项 1:SFU 方案——将 AI 作为 WebRTC 参与者(来源)

TURN 风格的中继也是一个可行的选项,但它们会在媒体路径中引入更重量级的中间层,所能解决的问题超出了 OpenAI 以一对一为主的模型与用户会话的需求。OpenAI 选择在两层之间划分职责,轻量级中继负责接收传入的数据包并转发,收发器则承载所有有状态的 WebRTC 机制,包括 ICE 协商、DTLS 握手、SRTP 加密以及整体会话生命周期。


选项 2:收发器方案——在边缘终结 WebRTC 并转换为后端协议(来源)

这种职责分离让中继能够保持简单、快速且基本无状态,收发器成为唯一需要理解完整协议的组件。这既避免了后端服务之间重复堆砌复杂逻辑,也不会将复杂逻辑转嫁到客户端层面。作者表示:“新增复杂逻辑最合理的位置是精简的路由层,而非各个后端服务,也不是客户端。”


中继将数据包无状态地转发给收发器(来源)

WebRTC 是实时 AI 业务场景中常用的技术方案。除了低延迟媒体传输外,它还提供 NAT 穿透、加密传输、编解码器协商、抖动缓冲以及回声消除等跨浏览器和移动平台的音频功能。STUN 是这个技术体系的基础组成部分,能够协助终端设备确认自身在网络中的对外地址,并在连通性检测阶段为 ICE 流程提供支撑。

许多团队都会默认使用选择性转发单元(SFU),用来为多方系统集中管理媒体路由和传输策略。但 OpenAI 的工作负载主要是用户与模型之间的一对一会话,相比把模型当作会议架构里的普通参与端,采用收发器设计会更为合适。

这篇文章补充了 OpenAI 在实时语音技术布局中更多基础设施层面的细节,相关功能已在其产品中提供,例如 ChatGPT 语音和 Realtime API。对于搭建交互式媒体系统的架构师而言,这套架构拆分思路更具参考价值:在边缘保留协议行为,将硬会话状态集中在一处,并将复杂性移入薄路由层,而不是将其分散到后端服务中。

查看英文原文

https://www.infoq.com/news/2026/05/openai-voice-ai-scale/

声明:本文由 InfoQ 翻译,未经许可禁止转载。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
俄媒:日本记者辩称“没有时间”前往遭乌袭击学校采访,扎哈罗娃批“你们不是观光客”

俄媒:日本记者辩称“没有时间”前往遭乌袭击学校采访,扎哈罗娃批“你们不是观光客”

环球网资讯
2026-05-27 15:44:11
别再把辛纳捧上天了,这样我们才有机会相信自己能击败他

别再把辛纳捧上天了,这样我们才有机会相信自己能击败他

网球之家
2026-05-27 23:48:50
埃梅里:英超是最难踢的联赛;欧冠决赛?阿森纳和巴黎五五开

埃梅里:英超是最难踢的联赛;欧冠决赛?阿森纳和巴黎五五开

懂球帝
2026-05-27 16:37:11
江西这个“尴尬”的县,明明隶属于江西,好多人却让它回归安徽

江西这个“尴尬”的县,明明隶属于江西,好多人却让它回归安徽

刘小顺
2026-05-27 21:15:26
老婆和别人牵手逛商场,我拍下发给了她爸妈,隔天她哭着让我原谅

老婆和别人牵手逛商场,我拍下发给了她爸妈,隔天她哭着让我原谅

千秋文化
2026-05-03 20:23:25
日本面对中国辽宁舰驶向西太平洋的战略焦虑

日本面对中国辽宁舰驶向西太平洋的战略焦虑

蒋丰看日本
2026-05-27 16:18:25
特朗普这回没绕弯子,华盛顿号直奔辽宁舰,F-35C和歼-35面对面!

特朗普这回没绕弯子,华盛顿号直奔辽宁舰,F-35C和歼-35面对面!

闻识
2026-05-27 15:32:18
《奔跑吧》开播12年来,第一次出现了让节目组措手不及的局面。

《奔跑吧》开播12年来,第一次出现了让节目组措手不及的局面。

瑶子君
2026-05-26 20:13:32
美股存储芯片股大跳水,美光科技涨幅从超过6%收窄至2%以内;台积电股价再创新高;金银下挫,国际油价跳水|美股开盘

美股存储芯片股大跳水,美光科技涨幅从超过6%收窄至2%以内;台积电股价再创新高;金银下挫,国际油价跳水|美股开盘

每日经济新闻
2026-05-27 22:35:09
备战亚洲杯!邵佳一圈定国足名单,国安3将入选,海港申花成赢家

备战亚洲杯!邵佳一圈定国足名单,国安3将入选,海港申花成赢家

体坛鉴春秋
2026-05-27 17:43:52
顾顺章叛变,钱壮飞给李克农留下暗号:天亮已走,母病危,速转院

顾顺章叛变,钱壮飞给李克农留下暗号:天亮已走,母病危,速转院

凉州辞
2026-05-27 17:15:03
DO:阿森纳给热苏斯标价1800万至2000万镑,有多家俱乐部问价

DO:阿森纳给热苏斯标价1800万至2000万镑,有多家俱乐部问价

懂球帝
2026-05-28 03:57:05
马龙带一家旅游,退役官至高位,身家过亿,夏露越来越美

马龙带一家旅游,退役官至高位,身家过亿,夏露越来越美

大西体育
2026-05-27 23:46:03
美股存储芯片股冰火两重天,高通大跌超7%

美股存储芯片股冰火两重天,高通大跌超7%

21世纪经济报道
2026-05-27 22:57:01
全国产化卡-226T直升机完成首飞 将在中国生产 改装成轻型无人机

全国产化卡-226T直升机完成首飞 将在中国生产 改装成轻型无人机

hawk26讲武堂
2026-05-27 11:02:56
女航天员上太空前,为什么要吃避孕药?背后原因或许和你想的不一样

女航天员上太空前,为什么要吃避孕药?背后原因或许和你想的不一样

北纬的咖啡豆
2026-05-27 10:04:56
北京刚淘汰没多久,赵睿开启特训,为后续世预赛做准备!

北京刚淘汰没多久,赵睿开启特训,为后续世预赛做准备!

篮球资讯达人
2026-05-27 23:36:46
把瑜伽裤穿成日常的松弛感美女

把瑜伽裤穿成日常的松弛感美女

只要高兴就好
2026-04-13 14:30:30
艾滋病新增130万!很多人中招很冤枉!在外“5不碰”一定要记死

艾滋病新增130万!很多人中招很冤枉!在外“5不碰”一定要记死

今朝牛马
2025-12-31 19:31:04
中国连夜官宣重磅消息!科技圈集体沉默:这次弯道超车太狠了

中国连夜官宣重磅消息!科技圈集体沉默:这次弯道超车太狠了

Thurman在昆明
2026-05-27 01:28:39
2026-05-28 06:24:49
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
12434文章数 51909关注度
往期回顾 全部

科技要闻

韬定律:全球在卷纳米数 华为换了一把尺子

头条要闻

特朗普警告盟友阿曼:不守规矩会被“炸飞”

头条要闻

特朗普警告盟友阿曼:不守规矩会被“炸飞”

体育要闻

这群老阿姨,是最硬核的马刺球迷

娱乐要闻

王鹤棣风波连累父亲炸串店遭差评?

财经要闻

中国半导体的阳谋

汽车要闻

限时补贴价9.28-10.98万 MG 4X正式上市

态度原创

教育
数码
房产
健康
公开课

教育要闻

千城百县看中国|山东东港:传统文化进校园 浸润童心育新人

数码要闻

别盲目跟风!今年618买笔记本,认准这6款就够了

房产要闻

合生创展前总裁被查!直指房企违规放贷、利益输送等问题

打外泌体会比干细胞更安全吗

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版