网易首页 > 网易号 > 正文 申请入驻

字节Seed最新模型,让豆包学会闭嘴听人说话(骂人也更自然了!)

0
分享至


作者 | 董道力
邮箱 | dongdaoli@pingwest.com

4 月 9 日,字节跳动旗下 AI 研究团队 Seed 发布了新的语音模型 Seeduplex,同步完成了在豆包 App 的全量上线。


语音模型我们已经见过很多了,更新迭代无非是声音更拟人、延迟更低。而 Seeduplex 的亮点不在这些,而是它文章标题里藏着的一个词:Full-Duplex,中文翻译过来叫“全双工”。

这几个字,到底什么意思。

1

豆包学会边说边听

全双工是通信工程里的术语,简单来说,就是通信双方可以同时收发信号,互不干扰。

比如对讲机是半双工,同一时刻只能一个人说话,说完松开按钮对方才能开口,而电话是全双工,两个人可以同时说话,同时听。

豆包此前的语音模型,本质上是对讲机逻辑。架构上"听"和"说"是两个独立状态,不能同时运行。

模型在输出语音的时候,麦克风输入要么被关掉,要么不被处理。判断你是否说完了的,是一个叫 VAD(语音活动检测)的独立模块,检测到声音停了,才切换到"处理"状态,再生成回复。

VAD 只看声音有没有,不懂你在说什么。你停两秒想词,它判定你说完了,旁边有人咳嗽,它判定你开口了。

按字节的技术文档说法,传统半双工系统"使用独立的 VAD 进行机械式音频分割,由于决策仅限于孤立的声学特征或局部文本语义特征,这些系统在复杂环境中容易被带跑,或在用户停顿时触发过早响应"。

Seeduplex 则解决了这个问题。

模型在说话的同时,持续处理麦克风输入,实时判断哪些声音是用户在对它说话,哪些是背景噪音,哪些是停顿思考而不是说完了。

这套判断交由同一个 LLM 统一完成,声学特征和语义上下文同时参与决策,不再是几个独立模块各干各的。和此前豆包使用的半双工框架相比,Seeduplex 的判停 MOS 分提高了 8%,对话流畅度 MOS 分提升了 12%。

(MOS 是通信领域衡量语音质量的主观评测标准,本质上是让真实用户打分,再取平均值。分数越高,代表用户感知到的体验越好。)

具体指标上,判停延迟降低约 250ms,复杂场景下 AI 抢话比例减少 40%,用户想打断时,响应延迟缩短约 300ms,准确率同步提升,复杂声学干扰场景下,误回复率和误打断率降低一半。


字节还做了一组真人对话测试,把 Seeduplex、半双工方案和人人对话放在一起比。判停上 Seeduplex 比半双工提升了 8%。响应打断上甚至略好于人人对话的平均水平,因为真实对话里人也会偶尔反应慢(其实半双工也好于人人)。但整体对话流畅度上,和真人聊天仍有不小的差距。

1

全双工的豆包交互更加自然

说完技术层面的变化,使用场景上,全双工的 AI 语音的边界也有不小扩展。

比如开车时,车里广播和导航同时在响,你顺口问 AI"这条路堵不堵",Seeduplex 能从混杂的声音里分辨出哪句是你说的,直接回答,而不是被导航播报带跑。


在咖啡馆碰到朋友打了个招呼,或者快递员敲门你随口应了一声,AI 能判断出这些话不是对它说的,不会插进来乱回。

练英语口语时,你磕磕绊绊说了半句,停下来想词,改口重说,AI 不会在你停顿的间隙抢话,而是等你把完整的意思说出来,再给反馈。

这几个场景有一个共同点:你不需要专门腾出时间、找安静地方、说完整句子。对话嵌进了日常活动,而不是日常活动为对话让路。

全双工还带来了一种新的交互可能,AI 开始有了"说话间隙"。以前 AI 说话时你只能等,或者出声强行打断,但它停下来不是因为听懂了你想说什么,而是检测到有声音进来了。现在你说"等一下",它能听懂这是打断意图,立刻停下来。

反过来,当你在说话时,AI 也能给出实时的回应信号,比如"嗯""好的",而不是沉默着等你把话说完。

这种你来我往的节奏,是半双工架构物理上做不到的事。

之前的半双工 AI 语音的隐性前提是,用户必须进入"使用 AI 模式"。这个前提把语音 AI 的可用场景锁在了一个很窄的范围里。

全双工解决了这个前提,让用户更愿意和豆包对话了。

1

AI 语音助手的技术分野

全双工语音 AI 的竞争格局,目前有几个方向在跑,技术路线差异很大。

原生音频全双工是走得最远、也最难落地的一条。

代表是法国 AI 实验室 Kyutai 在 2024 年 9 月发布的开源模型 Moshi,用同一个底层模型在并行流上同时对用户音频和系统音频建模,并引入"内心独白"机制,在生成音频的同时预测对齐文本作为内部推理层,顺带获得了流式转写能力。

NVIDIA 今年 1 月发布的 PersonaPlex 在此基础上引入混合提示系统,让模型可以通过文字定义角色、语音嵌入定义声音特征,扮演特定人格。

这个方向的问题是稳定性,学术先驱居多,没有产品化落地。


Thinker-Talker分离架构是另一种实现路径。

阿里 2025 年 3 月发布的 Qwen2.5-Omni 将推理和输出拆成 Thinker 与 Talker 两个组件,前者在文本域完成推理,后者把结果实时转为音频,LLM 生态的长上下文、工具调用、检索注入全部可以复用。

代价是同时听说比双流方案更难实现,端到端延迟高于流式级联管道方案。


流式级联管道(ASR→LLM→TTS)是目前生产环境最普遍的方案。延迟可控在 1 秒以内,工具调用支持最成熟,但本质是轮流制,系统必须等用户说完才能处理,全双工能力无从谈起。

Seeduplex 属于原生音频全双工方向,但解决了其他方案没有解决的问题:在豆包上稳定运行。

学术环境和产品环境的差距,比多数人想象的大。字节在技术文档中提到,落地过程中需要解决的包括高并发下的延迟抖动、音频输入输出卡顿和服务稳定性,这些问题在论文里不存在,在数亿用户面前全会出现。

全双工解决了能不能同时听说的问题,说得多自然还需要改进。

字节自己在文章末尾也承认,与真人对话相比,整体流畅度仍有相当差距。下一步包括多方对话场景优化、引入视觉输入实现听看说联动,以及边听边思考、边听边搜索等方向,每一个都是新的工程难题。

从对讲机到电话,中间有很多年的演化,Seeduplex 是这条路上的一个节点,不是终点。


点个爱心,再走 吧

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
星空体育:勇士3换2惊天交易!特纳+库兹马加盟,库里终获梦寐以求的大中锋

星空体育:勇士3换2惊天交易!特纳+库兹马加盟,库里终获梦寐以求的大中锋

小椰的影视宝库
2026-09-18 14:42:45
彻底撕破脸!阿隆索当众暴怒!切尔西神操作坑惨全队

彻底撕破脸!阿隆索当众暴怒!切尔西神操作坑惨全队

奶盖熊本熊
2026-09-19 07:58:15
许亚军携老婆现身手机店,穿蓝衬衫状态回春,祁厅长风采依旧!

许亚军携老婆现身手机店,穿蓝衬衫状态回春,祁厅长风采依旧!

萧狡科普解说
2026-09-18 14:28:53
俄罗斯学者曾表示:若败给西方,将向中国归还150万平方公里土地

俄罗斯学者曾表示:若败给西方,将向中国归还150万平方公里土地

牛马搞笑
2026-09-16 01:44:34
特朗普要“大开杀戒”?搞不定中俄伊,就要把枪口对准美国盟友?

特朗普要“大开杀戒”?搞不定中俄伊,就要把枪口对准美国盟友?

霁寒飘雪
2026-09-19 11:49:37
19日上午,关于2026年调整退休人员基本养老金的通知尚未公布,中秋节前有可能公布吗?很多人不再相信养老金会上涨

19日上午,关于2026年调整退休人员基本养老金的通知尚未公布,中秋节前有可能公布吗?很多人不再相信养老金会上涨

骑驴追光者
2026-09-19 09:18:26
手机关掉这个开关,瞬间跟新机一样流畅

手机关掉这个开关,瞬间跟新机一样流畅

辉哥说动漫
2026-09-17 01:27:25
老工人直击灵魂拷问:当年领导不拿高薪,为啥国企照样红红火火?

老工人直击灵魂拷问:当年领导不拿高薪,为啥国企照样红红火火?

时尚的弄潮
2026-09-17 11:58:11
“土且不得体!”女中学生坚持内衣外穿,母亲做法让人无语!

“土且不得体!”女中学生坚持内衣外穿,母亲做法让人无语!

世界圈
2026-09-15 15:37:17
首批上手反馈令人失望?iPhone Duo接连翻车,轻掰机身外屏出现闪屏

首批上手反馈令人失望?iPhone Duo接连翻车,轻掰机身外屏出现闪屏

泡泡网
2026-09-17 10:11:45
64岁刘德华再开巡演:人到晚年最顶级的自律,是不服老、不躺平

64岁刘德华再开巡演:人到晚年最顶级的自律,是不服老、不躺平

东方不败然多多
2026-09-19 08:09:09
原来一个人睡觉需要2个枕头!医生:一个用来枕头,另一个用来……

原来一个人睡觉需要2个枕头!医生:一个用来枕头,另一个用来……

人民日报健康客户端
2026-09-17 20:40:12
还有7天中秋节,社会却出现了6个“怪现象”,与往年大不相同!

还有7天中秋节,社会却出现了6个“怪现象”,与往年大不相同!

爱生活的陶哥
2026-09-18 08:42:22
郭士强遭外界广泛质疑!记者:比赛可以输 但无法接受没有赢的机会

郭士强遭外界广泛质疑!记者:比赛可以输 但无法接受没有赢的机会

狼叔评论
2026-09-18 21:40:03
皇马“废太子”,真就带不动强强对话?

皇马“废太子”,真就带不动强强对话?

光辉与阴暗
2026-09-19 12:13:52
“你是中国人? 滚出这个国家!” 澳洲火车站爆发冲突, 男子一句话引爆华人圈!

“你是中国人? 滚出这个国家!” 澳洲火车站爆发冲突, 男子一句话引爆华人圈!

澳微Daily
2026-09-18 12:10:56
鼻毛总是“窜”出来的男人,有什么不同?鼻毛变白,暗示了什么?

鼻毛总是“窜”出来的男人,有什么不同?鼻毛变白,暗示了什么?

熊猫医学社
2026-09-12 11:40:03
《求是》已经严肃指出分配问题:消费疲软的根子究竟在哪?

《求是》已经严肃指出分配问题:消费疲软的根子究竟在哪?

一些小事
2026-09-14 05:41:09
得B级车者得天下!8月燃油B级车销量:迈腾登顶,天籁11,君威16

得B级车者得天下!8月燃油B级车销量:迈腾登顶,天籁11,君威16

小怪吃美食
2026-09-19 11:43:56
特朗普称与丹麦及格陵兰岛达成协议 美国获格陵兰岛永久安全控制权

特朗普称与丹麦及格陵兰岛达成协议 美国获格陵兰岛永久安全控制权

财联社
2026-09-19 06:03:07
2026-09-19 15:28:49
硅星人 incentive-icons
硅星人
硅(Si)是创造未来的基础,欢迎来到这个星球。
3421文章数 10532关注度
往期回顾 全部

科技要闻

要走650亿,智谱的理想越来越贵

头条要闻

媒体:菲有人在"918"招惹中国 等待他们的不会是好果子

头条要闻

媒体:菲有人在"918"招惹中国 等待他们的不会是好果子

体育要闻

好吧,中国男篮辛苦了

娱乐要闻

蔡卓妍小腹凸起疑怀孕?本人没回应

财经要闻

江西首富破产:一张927万商票压垮千亿帝国

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

时尚
数码
亲子
旅游
游戏

今日热点:科学家发现全新猫科物种;白举纲婚礼……

数码要闻

单手也能打游戏!开源分体键盘Tiwaz亮相:自带拇指摇杆

亲子要闻

4岁女儿学骑自行车,学了一个小时还没回,气得自己哭出来了

旅游要闻

周励:马特洪峰纪行

《怪物猎人 荒野》DLC主题怪还在藏!古龙会融入剧情

无障碍浏览 进入关怀版