网易首页 > 网易号 > 正文 申请入驻

阿里Wan Streamer v0.3上线,AI 不但能和你实时视频聊天,还能自由行动

0
分享至

阿里正在内测的 Wan Streamer 产品,又有了更新,现在来到了 v0.3 版本。


Wan Streamer,是阿里万象团队研发的一个实时交互的音视频模型。AI Agent 端能够边听,边看,边思考,边说话,并实时生成视频回应你。

第一次看到时Wan Streamer 时,我惊呆了。

(左为真人,右为AI数字人)

这是直接可以和AI 数字人打视频实时聊天了。

的确是这样,Wan Streamer 的模型侧响应延迟约为0.2 秒,0.35秒的双向网络延迟后,总延迟0.6 秒以内。

可支持亚秒级全双工音视频通信。

实时输出音频+视频,比市面上多数单纯输入语音的模型延时都低,低很多。


不仅如此,Wan Steamer 的AI 数字人还支持边听、边看、边思考、边说话,实时生成视频回应你。

视线、点头、微表情与口型同步。如同真人一样。

对面的 AI,已感觉不出是 AI 了,是真的有人味了。

现在, Wan Streamer来到了v0.3 版本,我们一起回顾下这三个版本。

2026 年 6 月 24 日,发布0.1版本:面向实时交互的端到端基础模型。

(大图为 AI 数字人,小图为真人。下同)

全面介绍了该模型,这是一个实时交互端到端多模态模型,单一Transformer统一处理文本、音频、视频流,实现全双工实时音视频互动。

2026 年 7 月 5 日,发布0.2版本:分辨率更高,延迟不变。让实时画面更清晰。

2026 年7 月 16 日,发布 0.3 版本:保持速度与分辨率的同时,让模型更通用、角色行为更丰富。

这个v0.3 版本里,大模型把AI数字人实时视频,理解为「世界设定 + 事件流」。

啥意思呢?

世界设定:指视频里长期保持一致的场景、角色、画面与声音。也就是不变化的或者变化小的部分。

事件流:指视频里随时间发生的说话、动作、镜头移动、环境变化。随时变化的部分。

也就是,AI 数字人实时视频生成, 会拆解为固定的或变化不大的部分,和随时变化的部分。

世界设定只需载入一次,此后用户输入、智能体说话与行为、音频和视频沿同一时间线持续推进。

这样,v0.3 将 Wan Streamer 从对话模型拓展为更通用的视频学习模型。

这是一种新的理解视频的模式。

视频 = 世界设定 + 事件流。

Wan Streamer要做的,是让合适音视频聊天的AI Agent,像真人一样。

不但能实时音视频聊天,极低延迟。

AI Agent 还能有自己的行为和动作。

比如,对 AI Agent 一边和你聊天,一边演示自己做饭的步骤。

Wan Streamer v0.3 已让这个成为现实。

Wan Streamer从 v0.1 到 v0.3,差不多一周一个版本,迭代非常快。

预计到1.0版本后,会进行公测或对外开放接入。

这对于AI Agent 音视频实时交互,或是一个重大节点。

标志着, AI音视频生成,进入实时交互、 类真人阶段。

这个产品上线后,这对阿里,或许也是个王炸产品。

来源 | 产品笔记(ID:cpbiji)

作者 | 三哥 ; 编辑 | 呼呼大睡

内容仅代表作者独立观点,不代表早读课立场


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
从141到93!巴多萨压哨入围美网正赛 郑钦文从135到123无缘美网正赛

从141到93!巴多萨压哨入围美网正赛 郑钦文从135到123无缘美网正赛

寒律
2026-07-21 00:03:09
金球奖还有戏?梅西领跑本届世界杯球员TOP50:姆巴佩第2 C罗落选

金球奖还有戏?梅西领跑本届世界杯球员TOP50:姆巴佩第2 C罗落选

风过乡
2026-07-21 06:08:51
女子与男子自愿发生性交易,发现避孕套脱落勒索8万,遭拒后诬告男子强奸,被澳门警方拘捕

女子与男子自愿发生性交易,发现避孕套脱落勒索8万,遭拒后诬告男子强奸,被澳门警方拘捕

南方都市报
2026-07-20 23:22:28
再爆料!中山大学院士团队涉嫌论文买卖和造假!

再爆料!中山大学院士团队涉嫌论文买卖和造假!

科研绝技
2026-07-18 22:28:45
真维斯关掉90%的门店后,线上卖了100亿

真维斯关掉90%的门店后,线上卖了100亿

经济观察报
2026-07-20 21:44:23
幸好西班牙赢了!如果阿根廷点球大战赢西班牙,世界杯决赛将蒙羞?

幸好西班牙赢了!如果阿根廷点球大战赢西班牙,世界杯决赛将蒙羞?

陈錈爱体育
2026-07-20 06:47:47
极目深度|内衣商家被诉商标侵权索赔1800万元,一审判赔90万元,商家:店铺已关闭,主要收入来源已中断

极目深度|内衣商家被诉商标侵权索赔1800万元,一审判赔90万元,商家:店铺已关闭,主要收入来源已中断

极目新闻
2026-07-20 22:17:57
男子凌晨点塔斯汀外卖 封签上竟被店员拼出“SB”!

男子凌晨点塔斯汀外卖 封签上竟被店员拼出“SB”!

闪电新闻
2026-07-20 15:11:26
西蒙尼:阿根廷欠迪马利亚一个历史地位,没有他梅西难圆世界杯梦!

西蒙尼:阿根廷欠迪马利亚一个历史地位,没有他梅西难圆世界杯梦!

体育闲话说
2026-07-21 06:05:36
阿根廷队拒绝混采,记者吐槽等了2小时等得怒火中烧;赛后冲突原因公布:阿根廷后卫莫利纳率先拉扯西班牙中场,双方爆发激烈对峙

阿根廷队拒绝混采,记者吐槽等了2小时等得怒火中烧;赛后冲突原因公布:阿根廷后卫莫利纳率先拉扯西班牙中场,双方爆发激烈对峙

扬子晚报
2026-07-20 11:12:13
青春飞扬!亚马尔绽放出朝阳的光芒

青春飞扬!亚马尔绽放出朝阳的光芒

澎湃新闻
2026-07-20 10:08:28
国足有机会吗?南美足联主席提前泄密,2030世界杯确定扩军64队

国足有机会吗?南美足联主席提前泄密,2030世界杯确定扩军64队

全景体育V
2026-07-21 06:55:53
体坛丑闻!嗜赌只是冰山一角,婚内出轨睡有妇之夫,太毁三观

体坛丑闻!嗜赌只是冰山一角,婚内出轨睡有妇之夫,太毁三观

橙星文娱
2026-04-25 11:14:17
一个很脏但有效,能让房子永远归子女的办法

一个很脏但有效,能让房子永远归子女的办法

坠入二次元的海洋
2026-07-18 03:06:40
6000万救命钱流向一家2人公司?韩红基金会这次怕是有点说不清了

6000万救命钱流向一家2人公司?韩红基金会这次怕是有点说不清了

苗苗情感说
2026-07-21 01:00:51
世界杯决赛惨败,功勋主帅突然坦白:我干到12月就走,不想再装下去了

世界杯决赛惨败,功勋主帅突然坦白:我干到12月就走,不想再装下去了

赛场名场面
2026-07-21 00:27:37
消费降级实锤了?华山游客锐减,一家三口光门票索道就花1500

消费降级实锤了?华山游客锐减,一家三口光门票索道就花1500

离离言几许
2026-07-21 04:57:18
美军连续第10晚袭击伊朗

美军连续第10晚袭击伊朗

界面新闻
2026-07-21 07:16:34
英国新首相上任即承诺100%支持泽连斯基,伦敦援乌路线不变

英国新首相上任即承诺100%支持泽连斯基,伦敦援乌路线不变

桂系007
2026-07-20 23:32:20
身家百亿穿99元优衣库?奚梦瑶世界杯晒夫妻合照,这是真·松弛感

身家百亿穿99元优衣库?奚梦瑶世界杯晒夫妻合照,这是真·松弛感

小椰的奶奶
2026-07-20 16:18:41
2026-07-21 08:52:49
互联网早读课 incentive-icons
互联网早读课
专注互联网产品、运营、交互
9775文章数 55211关注度
往期回顾 全部

科技要闻

智谱暴跌,Kimi只是导火索

头条要闻

成龙3年间发文悼念超10位挚友 曾透露已制作"告别歌"

头条要闻

成龙3年间发文悼念超10位挚友 曾透露已制作"告别歌"

体育要闻

65岁肌肉男,世界杯最年长冠军主帅

娱乐要闻

谢霆锋发文确认父亲谢贤去世 享年89岁

财经要闻

AI开始挤泡沫

汽车要闻

首台量产车下线 奕境X9内饰官图发布/配华为乾崑解决方案

态度原创

教育
房产
手机
亲子
公开课

教育要闻

大名县七里店中学2026年七年级招生公告

房产要闻

北师附、人大附、西侨、丘海…招生、划片最新变化来了!

手机要闻

苹果iOS 27 Beta 4更新汇总:国行Siri AI暂未上线

亲子要闻

8个月的宝宝吃辅食,难以下咽的小表情委屈又好笑

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版