快手可灵团队MIDAS：压缩比64倍、延迟低于500ms，交互生成新突破

数字人视频生成技术正迅速成为增强人机交互体验的核心手段之一。然而，现有方法在实现低延迟、多模态控制与长时序一致性方面仍存在显著挑战。大多数系统要么计算开销巨大，无法实时响应，要么只能处理单一模态输入，缺乏真正的交互能力。

为了解决这些问题，快手可灵团队（Kling Team）提出了一种名为 MIDAS（Multimodal Interactive Digital-human Synthesis）的新型框架，通过自回归视频生成结合轻量化扩散去噪头，实现了多模态条件下实时、流畅的数字人视频合成。该系统具备三大核心优势：

• 64× 高压缩比自编码器，将每帧压缩至最多 60 个 token，大幅降低计算负荷；
• 低于 500ms 端到端生成延迟，支持实时流式交互；
• 4 步扩散去噪，在效率与视觉质量间取得最佳平衡。

该项研究已被广泛实验验证，在多语言对话、歌唱合成甚至交互式世界建模等任务中表现出色，为数字人实时交互提供了全新解决方案。

• 论文标题：MIDAS: Multimodal Interactive Digital-humAn Synthesis via Real-time Autoregressive Video Generation
• 论文地址：https://arxiv.org/pdf/2508.19320
• 主页地址：https://chenmingthu.github.io/milm/

核心创新

1. 多模态指令控制机制

MIDAS 支持从音频、姿态到文本等多种输入信号。通过一个统一的多模态条件投影器，将不同模态编码到共享潜在空间，形成全局指令令牌，构建 frame-by-frame 的 chunk 注入，引导自回归模型生成语义和空间一致的数字人动作与表情。

2. 因果潜在预测 + 扩散渲染

模型可嵌套任意类似大语言模型的自回归架构，逐帧预测潜在表示，再由一个轻量级扩散头进行去噪和高清渲染。这种设计既保证了生成的连贯性，也大幅降低了计算延迟，适合实时流式生成。

3. 高压缩率自编码器（DC-AE）

为实现高效的自回归建模，团队设计了压缩比高达 64 倍的 DC-AE，将每帧图像表示为最多 60 个令牌，支持分辨率最高达 384×640 的图像重建，并引入因果时序卷积与 RoPE 注意力机制保障时序一致性。

4. 大规模多模态对话数据集

为训练模型，研究者构建了一个约 2 万小时的大规模对话数据集，涵盖单人、双人对话场景，涵盖多语言、多风格内容，为模型提供了丰富的语境与交互样本。

方法概要

• 模型架构：采用 Qwen2.5-3B 作为自回归主干网络，扩散头基于 PixArt-α /mlp 结构。
• 训练策略：引入可控噪声注入，通过 20 级噪声桶和对应嵌入，缓解自回归模型在推理阶段的曝光偏差问题。
• 推理机制：支持分块流式生成，每块 6 帧，可实现 480ms 级别的低延迟响应。

效果展示

1. 双人对话生成

系统可实时处理双人对话音频流，生成与语音同步的口型、表情和倾听姿态，支持自然轮流对话:

双工对话示例

2. 跨语言歌唱合成

在没有显式语言标识的情况下，模型精准实现中文、日文、英文歌曲的唇形同步，生成视频可达 4 分钟无显著漂移:

多语言歌唱合成效果

3. 通用交互世界模型

通过在 Minecraft 数据集上训练，MIDAS 可响应方向控制信号，展现出良好的场景一致性与记忆能力，验证了其作为交互式世界模型的潜力:

Minecraft 环境下的交互生成示例

总结

MIDAS 在双边对话、多语言生成等任务中，MIDAS 均实现实时生成（<500ms 延迟), 并且扩散头仅需 4 步去噪，在效率与质量间取得最佳平衡，支持长达几分钟的连续生成，且质量衰减显著低于基线方法。

MIDAS 不仅为实时数字人生成提供了端到端的解决方案，更探索了多模态自回归模型在交互式媒体生成中的潜力。其模块化设计允许灵活扩展至更多模态与控制信号，为虚拟人直播、元宇宙交互、多模态 AI 智能体等应用奠定了技术基础。

团队表示，未来将进一步探索更高分辨率、更复杂交互逻辑下的生成能力，并推进系统在真实产品环境中的部署。

文中视频链接：https://mp.weixin.qq.com/s/2pfS1zGF8OBeVtjtmosnYw