网易首页 > 网易号 > 正文 申请入驻

豆包AI又进化了!实时音视频模型上线 能看会听还能主动开口

0
分享至

快科技11月19日消息,今日,火山引擎正式上线豆包实时音视频通话模型SeedRealtime 1.0 API服务,实现声音、画面、时序信息与语音表达的端到端融合,支持AI在连续多模态信息流中实时交互,带来边看、边听、边说的全新体验。

据介绍,传统语音交互系统通常需要将ASR语音识别、VLM视觉语言模型、TTS语音合成等多个模块串联工作,容易产生额外延迟和信息损耗。

而SeedRealtime 1.0将声音、画面和表达统一到同一个模型中,不再局限于等待用户提问,而是能够持续理解周围环境的变化,并在合适的时机主动开口,将视觉和听觉信息共同用于实时判断与表达。

在多模态理解方面,SeedRealtime 1.0能够结合画面和语音识别不同人物、理解上下文关系,并根据实际场景给出回应。

例如,在多人聚餐场景中,模型能够结合视觉和语音区分不同人物,记住各自身份,并根据不同需求定制旅行方案。

除了被动回答问题,SeedRealtime 1.0还具备持续环境感知和主动表达能力,能够在发现关键目标、画面变化或任务节点时主动提醒用户。

例如,在咖啡制作场景中,当模型发现用户将整颗咖啡豆倒入萃取手柄时,会主动提醒先研磨咖啡豆;咖啡萃取完成后,还能根据咖啡油脂和出液量,主动提出缩短萃取时长的建议。

在学习场景中,模型能够持续观察翻页画面,在识别到指定章节后及时提醒,并主动报出学习率、动量、权重衰减等训练参数。

在实时对话方面,SeedRealtime 1.0能够感知用户的交流状态和对话节奏,自然完成接话、停顿和回应,同时具备较强的背景噪声过滤能力。

火山引擎表示,相比传统级联模型,SeedRealtime 1.0的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升。

例如,在机场等嘈杂环境中,模型能够过滤无关闲聊,结合此前识别到的航班大屏信息回答用户问题,还能识别指示牌,主动指引旅客前往网约车上车点。

目前,火山引擎已正式开放SeedRealtime 1.0 API服务,开发者可以将其接入语音助手、智能硬件、实时客服及学习辅助等应用场景。

从传统语音问答到实时音视频融合,再到主动感知和表达,SeedRealtime 1.0进一步拓展了AI与真实世界交互的能力边界。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
绝不照单全收!大批留美学者晚年回国养老?人社部对此有明确规定

绝不照单全收!大批留美学者晚年回国养老?人社部对此有明确规定

情感的我
2026-11-20 03:45:05
德州即将成为庇护州,多个城市宣布与ICE停止合作

德州即将成为庇护州,多个城市宣布与ICE停止合作

大洛杉矶LA
2026-11-20 06:34:43
从特区变成“特困”,曾和深圳同为特区,这个城市为何扶不上墙?

从特区变成“特困”,曾和深圳同为特区,这个城市为何扶不上墙?

聚焦最新动态
2026-08-24 00:45:28
金融危机不是要来了,而是已经到来了:最先露馅的是黄金

金融危机不是要来了,而是已经到来了:最先露馅的是黄金

小陆搞笑日常
2026-11-20 16:00:23
WTT最新:国乒双打全军覆没,11名小将单打止步,仅剩6人继续征战

WTT最新:国乒双打全军覆没,11名小将单打止步,仅剩6人继续征战

宝哥精彩赛事
2026-11-20 10:42:10
广东男篮4分险胜浙江男篮过去仅一夜,传来广东男篮徐杰和贝罗卡尔的最新动态,陈家政说的非常实在

广东男篮4分险胜浙江男篮过去仅一夜,传来广东男篮徐杰和贝罗卡尔的最新动态,陈家政说的非常实在

凯丰侃球
2026-11-20 05:01:21
谢霆锋这算官宣吗?满屏都是霍汶希

谢霆锋这算官宣吗?满屏都是霍汶希

喜欢历史的阿繁
2026-11-19 08:59:07
深圳华强北爆火,墨西哥卫生部长现场扫货!外国游客:这里太棒了

深圳华强北爆火,墨西哥卫生部长现场扫货!外国游客:这里太棒了

心灵得以滋养
2026-11-19 19:23:56
迄今为止,天安门城楼上只挂过12个人画像,其中一人仅挂了1天

迄今为止,天安门城楼上只挂过12个人画像,其中一人仅挂了1天

文史达观
2025-05-08 12:39:14
马刺大胜!文班32+11,最后16秒,文班走上去,一把抱住约翰逊

马刺大胜!文班32+11,最后16秒,文班走上去,一把抱住约翰逊

担酒
2026-11-20 11:35:32
19.99万 !特斯拉新车上市!

19.99万 !特斯拉新车上市!

科技堡垒
2026-11-18 08:00:39
历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

历史不会重演,但会惊人相似:中国黄金价格极可能重走2015年老路

浩渺青史
2026-10-17 01:48:48
希拉里公开发声,吐槽中俄美三方会晤

希拉里公开发声,吐槽中俄美三方会晤

健身狂人
2026-11-20 13:25:52
你闻过最难闻的味道是啥?网友:从那之后,再也不敢随便约了

你闻过最难闻的味道是啥?网友:从那之后,再也不敢随便约了

夜深爱杂谈
2026-11-03 18:56:01
这是85岁的李讷近照,注意看她的坐姿,终于明白她为何没去纪念堂

这是85岁的李讷近照,注意看她的坐姿,终于明白她为何没去纪念堂

颜威爱历史
2026-08-30 07:25:09
【油价大跌】超0.84元/升后,全国92,95汽油“4连涨、大涨近1.01元/升”后彻底降温,11月汽柴油“2连跌”中,下次11月26日调价或大降!

【油价大跌】超0.84元/升后,全国92,95汽油“4连涨、大涨近1.01元/升”后彻底降温,11月汽柴油“2连跌”中,下次11月26日调价或大降!

猪友巴巴
2026-11-20 09:45:08
中央统一标准!工龄15年、40年退休,每月养老金差额一目了然

中央统一标准!工龄15年、40年退休,每月养老金差额一目了然

江启
2026-10-30 13:51:41
别人问你退休金,记住一条铁律:先别报数,先说这 1 句

别人问你退休金,记住一条铁律:先别报数,先说这 1 句

普陀动物世界
2026-11-18 05:34:36
特朗普暗示美国可能在两到三年后出售Blackwell芯片

特朗普暗示美国可能在两到三年后出售Blackwell芯片

输在感情刀
2026-11-20 21:03:18
昆明一快餐店内,一男子用加冰可乐猛砸向女顾客面部后乘高铁逃往玉溪,警方:涉事男子蚁某某已到案,疑患有精神类疾病

昆明一快餐店内,一男子用加冰可乐猛砸向女顾客面部后乘高铁逃往玉溪,警方:涉事男子蚁某某已到案,疑患有精神类疾病

环球网资讯
2026-11-20 18:30:15
2026-11-20 22:24:49
快科技 incentive-icons
快科技
一起关注每日科技热点
133420文章数 261289关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

头条要闻

交钱5年房子没盖女子要求退房退款被拒 当地称可换房

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
艺术
数码
本地
房产

长靴,这样穿最舒服!

艺术要闻

被机器人“七弟”爱上的她:艾西瓦娅·雷与印度歌舞片中的女性形象

数码要闻

银昕推出ITX机箱MILO 13:搭载整合安装支架,配备COM开孔

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版