英伟达投的AI语音独角兽发两款新模型，半秒内就能实时响应，附实测

智东西
作者 孙小雯
编辑 程茜

智东西10月22日消息，10月20日，英国AI音频独角兽ElevenLabs发布实时语音系列模型Eleven Realtime，包括面向自然交流的Eleven Realtime v1 Mini，以及面向客服、多步骤任务的Eleven Realtime v1 Max。两款模型均支持超过90种语言，可使用ElevenLabs声音库中超过1.7万种音色。

此次发布主打简化语音智能体的搭建和调试。过去，开发者需要分别选择语音识别、大语言模型和语音合成等组件，再调整接话、打断等交互细节。Eleven Realtime统一配置和调优底层组件，开发者选择Mini或Max后，即可围绕具体业务设置角色、知识库和工具，无需再逐项选择底层模型。

实时语音的难点之一，是既要答得对，又不能让用户等太久。据第三方AI评测机构Artificial Analysis的独立测试，Max在Big Bench Audio语音推理评测中以98.8%的正确率位列第三，平均首次音频响应时间为0.57秒。

此次模型发布，智东西测试了其中的Architect搭建助手。从实测体验来看，用语音修改Agent设置比较方便，多项操作无需手动点击。不过，中文口音明显，回复偏长，延迟也较高。

ElevenLabs于2022年成立，从文本转语音起家，逐步将业务扩展至语音识别、音效、音乐和对话智能体。今年2月，公司完成5亿美元（约33.4亿元人民币）D轮融资，估值110亿美元（约734.2亿元人民币）；9月的一笔员工股份交易使其估值达到220亿美元（约1468.4亿元人民币）。投资方既有红杉资本、a16z，也包括英伟达旗下NVentures和LG Technology Ventures等产业资本。

其两位联合创始人Mati Staniszewski和Piotr Dabkowski分别在Palantir和谷歌工作多年，2025年已跻身《福布斯》亿万富翁行列。公司也在考虑IPO，CEO Mati Staniszewski此前透露，希望未来两年至两年半内具备上市条件。

目前，两款模型可通过ElevenAgents平台或Realtime API使用。用户可在平台中创建或打开Agent，选择Realtime模型；开发者也可通过API接入自己的应用。该API兼容OpenAI Realtime规范，目前仅支持WebSocket连接。

产品及演示入口：https://ElevenLabs.io/zh/realtime
Agent搭建入口：https://ElevenLabs.io/app/agents
API接入文档：https://ElevenLabs.io/docs/eleven-agents/guides/openai-realtime-compatibility

一、实测语音修改Agent设置，操作方便，但中文口音明显

为了测试语音搭建Agent是否方便，智东西通过ElevenLabs的Architect搭建助手，尝试用英文修改语言、切换音色，再让助手改用中文交流，并用中文继续修改设置。

首先，我们用英文要求修改Agent的语言设置。Architect理解指令后完成了修改，过程比较顺畅，不需要手动寻找菜单、切换选项。

接着，我们要求它换个声音。这次没能如愿：Architect自身的音色不支持切换，所创建Agent的音色则可以在设置中选择。打开音色库后，可以看到可选声音确实不少。

▲ElevenLabs音色库中的可选声音

随后，我们让Architect改用中文交流。它能听懂要求，但中文带着明显的外国口音，听起来有点“塑料”，部分表达需要仔细听才能明白。

不过，中文指令的执行比较顺利。我们用中文要求修改Agent的语言设置，它也完成了相应修改。

实测下来，通过语音直接修改设置，还是让人有些惊喜。用户说清楚要求，助手就能完成部分配置，省去了寻找菜单、填写表单的操作。

不过，Architect有些“话密”，一个简单要求也可能引出一长串解释，且不易被打断。

▲Architect执行指令时，有时会给出较长的解释

此外，测试中存在较明显的响应等待和偶发卡顿，可能受到网络影响。回复偏长、打断响应不够及时，以及中文语音不够自然，是本次体验中较突出的不足。

注：本次实测范围为Architect搭建助手。运行创建的Agent需要付费购买Token，因此我们没能继续测试Mini、Max的实际对话表现。

二、Mini用于教学和角色互动，Max处理客服及多步骤任务

ElevenLabs在官方演示中展示了两款模型的应用场景。

该公司称，Mini主打低成本的自然对话，适用于AI助手、教学辅导和互动角色；Max则面向客服、潜在客户筛选及多步骤工作流，更适合需要逐步推理、频繁调用工具的任务。

第三方AI评测机构Artificial Analysis对两款模型进行了独立测试。在语音推理评测Big Bench Audio中，Max的正确率为98.8%，Mini为75.9%。该测试通过语音提出1000道题，涉及逻辑判断、物品计数、路径推理等任务，再对模型的口头回答进行评分。

截至10月21日，Max在这一单项中位列第三，仅次于阶跃星辰的StepAudio 3 Realtime（99.7%）和阿里的Qwen Audio 3.0 Realtime Plus（99.2%）。

▲Big Bench Audio语音推理评测排名，Eleven Realtime v1 Max以98.8%的正确率位列第三（图源：Artificial Analysis）

Max的延迟也较低。据ElevenLabs发布公告，Max和Mini在Big Bench Audio测试中的平均首次音频响应时间分别为0.57秒、0.62秒。作为参考，Artificial Analysis官网所列Qwen Audio 3.0 Realtime Plus的同项指标为1.54秒。该指标衡量模型开始发声所需的时间。

在真人参与实时对话的Speech Agent Arena评测中，Max的工具使用任务完成率为87.1%，Mini为60.3%。该指标衡量模型通过正确的工具调用完成任务的比例，Max在这一项上比Mini高出26.8%。

不过，在停顿、打断等接话表现上，Mini的综合成绩略高。在Full-Duplex-Bench（全双工对话评测）中，Artificial Analysis选取停顿处理、轮次交接、用户打断和附和回应四类项目计算加权得分，Mini为95.8%，Max为94.1%。这些项目考察模型能否在用户停顿时继续等待、用户说完后及时接话，以及区分真正的打断和“嗯”“对”等附和声。

三、从配音、转写到实时交互，延续级联架构

此次Realtime发布前，ElevenLabs已分别推出语音合成、语音识别模型，并提供语音Agent搭建服务。

语音合成方面，今年9月，该公司发布文本转语音模型Eleven v4及其低延迟版本v4 Turbo，重点改善情绪表达、声音克隆和多角色对话效果。用户可以用自然语言或标签控制台词的语气、重音，并加入笑声等声音，v4 Turbo则针对语音Agent等低延迟场景优化。

语音识别方面，去年11月推出的Scribe v2 Realtime面向实时转写；今年1月发布的Scribe v2则重点处理长录音和复杂音频，支持说话人区分、词级时间戳，及热词提示。

在单项模型之外，ElevenLabs早在2024年11月就推出了Conversational AI，支持开发者结合知识库、函数和大语言模型创建语音Agent。

技术路线上，Eleven Realtime延续采用级联架构，由语音识别、大语言模型和语音合成等独立组件协同完成对话。该公司认为，这种方式便于分别测试和升级各环节，也能通过中间生成的文字排查错误、约束回答，并接入更强的大语言模型。

不过，该公司也在技术博客中提到，语音转成文字时会丢失部分语调、节奏和情绪信息，需要通过额外建模补充。其优化方向是在保留各组件可控性的同时，改善声音表现、延迟和轮次交接。

定价方面，Realtime API按音频连接时长和Token用量计费。超出套餐额度后，两款模型的音频连接费用均为每分钟0.08美元；Mini每百万输入Token收费0.20美元、输出Token收费6美元；Max分别为1.80美元、9美元。

结语：实时语音加速接入Agent，交互体验仍需打磨

ElevenLabs此次发布Realtime，将语音识别、推理和语音生成组合成可直接选用的实时交互方案。其在改善对话表现的同时，也降低了语音Agent的搭建门槛。

这一赛道已聚集多家大厂。OpenAI的GPT-Realtime、谷歌的Gemini Live，以及阿里的Qwen-Audio-Realtime系列等，都在强化实时语音交互与工具调用能力。尽管技术路线和产品侧重有所不同，但各家目标一致：让用户通过自然对话，推动AI完成具体任务。

要让对话顺畅、任务持续推进，还需要整套系统配合。网络延迟、接话时机和工具执行都会影响使用体验，OpenAI此前也披露了底层网络架构的优化，以减少停顿和打断延迟。

从智东西此次的体验来看，通过语音创建文档、修改设置已经让人惊喜，但响应速度、打断处理及页面切换时的语音连续性仍需打磨。随着模型和产品继续迭代，我们期待这类应用能在连续交流和任务执行中表现得更稳定，让语音成为用户日常工作中真正顺手的操作方式。