网易首页 > 网易号 > 正文 申请入驻

豆包实时音视频通话模型1.0 API全量上线,可实现边看边听边说全模态实时交互

0
分享至

IT之家 11 月 19 日消息,今天,火山引擎正式上线豆包实时音视频通话模型(SeedRealtime 1.0) API 服务,带来全模态交互的新体验。

据介绍,SeedRealtime 将声音、画面、时序与表达统一到同一个端到端模型中,能在连续的多模态信息流上实时交互,带来“边看、边听、边说”的全新体验。

这大大降低了传统语音级联系统依赖 ASR、VLM、TTS 等多个模块串联带来的延迟叠加和信息损耗。模型不再只是等待用户提问,而能持续理解场景变化,在合适的时机主动开口,把看、听、说纳入同一套实时决策体系,让“听到的”和“看到的”共同参与每一次实时判断与表达。

IT之家注意到,SeedRealtime 原生支持声音、画面与时序信息的深度融合,既能结合场景消解同音词歧义,也能准确理解视觉中的时序指代,让所见、所闻与所说融为一体。

这意味着,在多人、嘈杂、开放的真实环境中,模型不仅能看懂当前画面,还能分清说话对象、理解上下文关系,并基于多模态信息完成更准确的实时判断。无论是多人协同交流、跨语言导览,还是带视觉上下文的实时问答,交互都更自然、更完整。

在多人聚餐场景中,Seed Realtime 1.0 可结合视觉、语音区分自动不同人物,记住各人身份,还能能依据多人不同需求定制旅行方案。

Seed Realtime 1.0 具备持续环境感知与主动表达能力,能够在察觉关键目标出现、画面状态变化或任务节点到来时,主动进行提醒、反馈和补充,让交互从被动响应升级为主动协作。

这种能力让模型可以更好适配真实业务流程。例如在设备操作、学习辅助、任务提醒等场景中,模型能够持续观察当前状态,在合适时机主动介入,而无需用户每一步都显式发问。对开发者而言,这将帮助实时 AI 应用从“会对话”进一步走向“会协助”。

在机器操作场景中,Seed Realtime 1.0 看到用户将整颗咖啡豆倒入萃取手柄,及时提醒咖啡豆需要先研磨;萃取完成后,根据咖啡油脂和出液量,主动给出缩短萃取时长的建议,可在真实场景里自主点评,不用用户一步步提问。

在学习场景中,Seed Realtime 1.0 能持续监控翻页画面,识别到指定章节后快速提醒用户并,并随即报出学习率、动量、权重衰减等关键配置训练参数。

Seed Realtime 1.0 能够实时感知用户的对话状态与交流节奏,在适当时机自然接话、停顿与回应,并具备较强的抗干扰能力,可分辨旁人闲聊与背景噪声,不因干扰误触发。

相比级联模型,Seed Realtime 1.0 的音视频对话节奏问题减少了一半,单次对话能够完整、顺畅交流的概率也有明显提升。这意味着,开发者在构建语音助手、智能硬件、陪伴式应用、实时客服等场景时,有机会获得更接近自然交流的人机互动体验。

在嘈杂交通场景中,Seed Realtime 1.0 能够自动过滤机场内的无关闲聊信息,当用户询问时,调用之前看到的大屏航班信息作答,同时精准识别指示牌,主动指引旅客到达网约车上车点。

在家庭场景中,妈妈在一旁忙着别的事,让 Seed Realtime 1.0 陪女儿学习动物英文。背景里爸爸正在接电话、人声不断,但模型不受影响,始终跟着女孩手指的方向实时纠音、举例造句,出声时不迟疑,受干扰时不跑偏。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
默克尔公开回应:当年若不与普京谈判,如今乌克兰或将不复存在

默克尔公开回应:当年若不与普京谈判,如今乌克兰或将不复存在

流史岁月
2026-11-18 19:15:04
孙骁骁挺二胎孕肚带女儿游迪士尼,坐旋转木马时,任重感慨:从2个人到3个人现在到4个人

孙骁骁挺二胎孕肚带女儿游迪士尼,坐旋转木马时,任重感慨:从2个人到3个人现在到4个人

韩小娱
2026-11-19 15:05:22
你闻过最难闻的味道是啥?网友:从那之后,再也不敢随便约了

你闻过最难闻的味道是啥?网友:从那之后,再也不敢随便约了

夜深爱杂谈
2026-11-03 18:56:01
女童彤彤被生父女友杀害案一审宣判 更多细节披露:多人称被告人散养孩子,其认为“只要小孩子不哭不闹”即可

女童彤彤被生父女友杀害案一审宣判 更多细节披露:多人称被告人散养孩子,其认为“只要小孩子不哭不闹”即可

红星新闻
2026-11-18 20:58:26
更年期与性生活:医学给出的解决方案

更年期与性生活:医学给出的解决方案

精彩分享快乐
2026-11-19 21:00:04
姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

舞指飞扬
2026-11-13 07:42:15
湖人马刺皆输球,火箭队坐收渔利!大胜步行者,距榜首仅1个胜场

湖人马刺皆输球,火箭队坐收渔利!大胜步行者,距榜首仅1个胜场

熊哥爱篮球
2026-11-19 20:33:18
黄仁勋离任,英伟达取消订单,连锁反应来了……

黄仁勋离任,英伟达取消订单,连锁反应来了……

大厂财经社
2026-11-19 17:32:36
美股三大期指,快速拉升

美股三大期指,快速拉升

新浪财经
2026-11-19 15:27:51
南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

纸鸢奇谭
2025-01-17 14:30:03
NBA新秀榜:伦德伯格居首,布泽尔升至第2,阿卡夫第3

NBA新秀榜:伦德伯格居首,布泽尔升至第2,阿卡夫第3

懂球帝
2026-11-19 08:05:00
沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

兰姐说故事
2025-08-21 20:05:04
湿凉凸显!冷空气携阴雨继续影响广东 广州明天最高温仅15℃

湿凉凸显!冷空气携阴雨继续影响广东 广州明天最高温仅15℃

北青网-北京青年报
2026-11-19 14:55:01
伦纳德来了!76人或送走恩比德,小卡詹姆斯联手夺冠

伦纳德来了!76人或送走恩比德,小卡詹姆斯联手夺冠

湖人侃球师
2026-11-19 10:02:20
胜任了,以色列宣布了!

胜任了,以色列宣布了!

故事终将光明磊落
2026-11-18 16:01:07
跑半马猝死的25岁女学霸 害死她的不是跑步,是不拼命就不配活着

跑半马猝死的25岁女学霸 害死她的不是跑步,是不拼命就不配活着

墨言执笔
2026-10-16 17:29:14
乒坛大调整!WTT3位高层接连辞职后,樊振东或将有希望回归国乒?

乒坛大调整!WTT3位高层接连辞职后,樊振东或将有希望回归国乒?

小武侃风云
2026-11-19 21:03:38
APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

三周檀的鲲
2026-11-19 19:55:46
跑得起马拉松,买不起照片,这就是跑者的尴尬

跑得起马拉松,买不起照片,这就是跑者的尴尬

跑者排球视角
2026-11-19 09:11:28
铁饭碗碎了!很多央国企的二三级子公司,降薪裁员比私企还严重!

铁饭碗碎了!很多央国企的二三级子公司,降薪裁员比私企还严重!

细说职场
2026-11-19 16:56:03
2026-11-19 22:11:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380322文章数 607744关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

头条要闻

中美元首举行会晤 特朗普:请中国继续保持强大

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9限时27.39万起 方向盘可折叠 方盒子也能当家用旗舰

态度原创

时尚
数码
旅游
教育
军事航空

0.01分赢下保研,第二天就被室友举报了

数码要闻

JAPANNEXT推6K显示器JN-X6K2:60Hz 300nits,98% DCI-P3

旅游要闻

潍坊超治愈的“9.2公里”,周末来打卡

教育要闻

祝贺!绵阳3名学子获得省级荣誉称号

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版