阿里通义实验室发布Wan-Streamer v0.2模型

IT之家 7 月 17 日消息，今日，阿里通义实验室发布 Wan-Streamer v0.2 模型，让 AI 像真人一样边听、边看、边回应。

IT之家从官方介绍获悉，它是面向实时双工交互的端到端全模态理解与生成模型，把“听、看、说、演”统一进单个 Transformer 中。

• 极致低延迟：端到端响应延迟 550ms（200ms 模型延迟 + 350ms 网络延迟），
• 画质增强：输出分辨率从 v0.1 的 192×336 提升至 640×368 @ 25FPS，微表情场景细节清晰可见；
• 全模态端到端：原生支持文本、音频、视频的实时理解与同步生成，无需外部模块拼装。

该团队对比了市面上主流的实时交互系统。在响应延迟上，Wan-Streamer 的端到端交互延迟在 0.55s 左右（含网络传输），显著快于常见的实时语音对话模型。

在功能覆盖上，Wan-Streamer 同时具备了视频感知、视频输出、全双工交互、端到端架构且响应延迟控制在 1 秒内。

Wan-Streamer 将用户的文本、音频、视频输入，与智能体的输出，统一映射到同一条因果时间线（Causal Timeline）上。

模型无需等待“一整段话”说完，而是引入了流式单元（Streaming Unit）的概念。大约每 160ms 就会完成一次完整的闭环：

• 感知当前 160ms 的用户音视频输入；
• 更新共享的交互状态与上下文；
• 生成同步的语音和视频 Latent（潜变量）；
• 解码并输出上一单元的音视频响应。

这意味着，AI 不需要等你说完再想，而是在你说话的每一小段时间里，同步完成“感知 → 理解 → 生成 → 解码”。这种原生流式的建模方式，是实现极低延迟与全双工交互的基础。

v0.1 验证了端到端原生流式音视频对话的可行性，但 192×336 的分辨率在视觉上局限于近景特写（Close-up），主要聚焦于面部和嘴型。

v0.2 将输出分辨率大幅提升至 640×368。这不仅仅是像素的增加，更带来了视觉构图与应用场景的质变。

AI 不再只是一个“悬浮的头部”。在 v0.2 的画面中，你可以清晰看到它的视线方向、身体姿态、自然的手势动作，甚至它面前的桌子和周围的房间布局。

分辨率的大幅提升，意味着视频 Latent 生成的计算量显著增加。如果将这些计算任务放在原有的低延迟通路中，200ms 的模型侧延迟底线将被突破。如何在提升画质的同时，不增加用户可感知的延迟？Wan-Streamer v0.2 将模型拆分为两条并行通路，在物理硬件上进行解耦：

思考者：单卡快车道

Thinker 部署在单张 GPU 上，负责所有对延迟敏感的任务：流式音视频感知、语言与状态更新、构建 K/V 缓存（让模型记住上下文），以及音频解码。

它就像对话中的“大脑”，负责快速听懂你的话、记住上下文，并立刻组织语言，保证 200ms 的极低响应。

执行者：多卡 Ulysses 并行

640×368 的高分辨率视频生成计算量极大。在 Wan-Streamer v0.2 中，Performer 被扩展为一个多 GPU 的 Ulysses 式上下文并行集群，专门承担这部分重载计算。

它就像幕后的“渲染团队”。因为高清画面计算量大，系统采用 Ulysses 序列并行机制，将长视频序列切分给多张显卡分工合作、并行去噪。（注：由于音频 Latent 序列较短，切分反而会增加通信开销，因此音频生成不进行序列切分，直接计算）。

时序重叠

更关键的设计在于时序调度。单卡 Thinker 的工作窗口与多卡 Performer 的计算窗口是重叠的。当 Performer 集群在后台处理当前帧的高清视频 Latent 时，Thinker 已经在处理下一帧的用户输入，并解码上一帧的音频。

通过这种“快慢分工、时序重叠”的架构，v0.2 将额外的视觉生成成本从延迟敏感路径中剥离。在包含 350ms 双向网络预算的情况下，总远程交互延迟依然保持在约 550ms。

▲ Wan-Streamer v0.2 延迟保持部署拓扑时序图

只要能用自然语言描述，Wan-Streamer 就能在虚拟世界里把那个 " 角色 " 实时呈现出来，和你面对面交流。没有预设剧本，没有固定角色库 —— 你的想象力就是唯一的边界。

你可以和秦始皇聊统一六国，听李白即兴吟诗、让蒙娜丽莎开口说话，和清明上河图里的路人聊聊宋朝生活，还能问问你家猫主子整天都在想什么......

基于这种高度自由的角色生成能力，Wan-Streamer 典型的应用场景包括：

• 视频通话式 AI 助手：打开摄像头即可面对面交流，适用于口语陪练、面试模拟、心理咨询等需要“在场感”的场景。
• 场景化陪伴与教育：AI 老师可以通过画面“看着”学生的表情判断理解程度；AI 可以在厨房里实时指导做菜的步骤。
• 沉浸式游戏 NPC：游戏中的角色可以拥有表情、肢体语言和实时反应，与玩家进行真正的“面对面”对话。
• 无障碍交互：为听障用户实时生成带精确唇语和手势的视频回应；为视障用户实时描述摄像头捕捉到的周围环境。

让 AI 能够自然地参与实时对话，需要它真正理解用户的话语、读懂表情，并在几百毫秒内给出综合反应。

Wan-Streamer v0.2 是我们在这一方向上的持续探索：通过原生流式架构与分布式推理拓扑，在单一模型的交互循环中同时完成理解与生成，让 AI 的沟通方式进一步逼近真人。

这是一条长期的研究路线，我们将持续迭代 Wan-Streamer，敬请期待。

参考