攻克视频生成难题！合工大、清华、智谱开源「多图像参考生视频」框架Kaleido

近年来，视频生成技术，尤其是基于扩散模型（Diffusion Model）的技术，发展极为迅速，从文本到视频（Text-to-Video，T2V）、图像到视频（Image-to-Video，I2V）等任务不断取得突破。商业化系统（如 Sora、Veo3、Kling、Vidu）已经能生成媲美专业制作的视频内容，极大提升了创作效率，同时降低了成本。

在此过程中，主体到视频（Subject-to-Video, S2V）生成任务开始备受关注。S2V 的目标是：给定一个或多个参考图像，生成主体外观一致、背景可控的动态视频。这种方法结合了文本生成的创造性和图像生成的精准性，适合数字人、虚拟试穿、电商广告、艺术创作等场景。

然而，现有开源 S2V 模型难以在多主体场景中保持主体一致性，也难以实现背景信息的有效解耦。

论文地址：https://arxiv.org/pdf/2510.18573

代码地址：https://github.com/CriliasMiller/Kaleido

为应对这些挑战，来自合肥工业大学、清华大学和智谱的研究团队提出了开源多主体参考视频生成框架——Kaleido，旨在让开源模型在一致性与背景解耦方面达到最优水平。

图｜Kaleido的S2V生成，涵盖单人和多人场景中的人物、物体及可控背景生成。

实验表明，Kaleido 在一致性、保真度和泛化能力方面均优于先前的方法，代表了 S2V 生成领域的重要进展。

图｜S2V 评估（左）和用户研究结果（右）。

研究框架

现有 S2V 方法在保持多主体一致性和处理背景解耦方面仍存在不足，在多图像条件下，这通常会导致较低的参考保真度和语义漂移，可归因于几个因素：

• 训练数据不足且质量不高：包括采样覆盖不足、低质量样本污染，以及惯用的“视频帧取图”方式，使模型倾向于原封不动复制参考图像内容，连不相关的背景都保留，难以泛化。

• 条件注入策略不佳：现有方法在将多参考图像特征引入视频生成时，容易出现主体信息混叠、空间位置冲突，导致生成视频中多主体错误融合或丢失细节。

基于此，研究团队提出新的数据构造流水线及对应的条件注入方案，创新点主要体现在三点：

1.高质量多样化数据构建流水线

• 多类主体采样与细颗粒度过滤（尺寸、模糊度、亮度、类别一致性）。

• 引入跨配样本（Cross-Paired Data） 生成：将主体图像与不相关视频配对打乱背景信息，迫使模型学习主体与背景的解耦。

• 背景擦除与位姿动作增强：利用图像修复与姿态变化扩展主体的表现形式。

2.Reference Rotary Positional Encoding (R-RoPE) 条件注入机制

• 将多参考图像编码后的 token 与视频 token 序列拼接，但在空间–时间坐标上人为偏移，确保模型区分“视频帧”与“参考图片”。

• 避免多主体场景下的 token 混淆，使各主体在生成视频中保持独立与一致。

3.两阶段训练策略

• 在 200 万组数据上进行预训练，建立通用生成能力。

• 之后在 50 万组高质量数据上进行监督微调（SFT），提升主体一致性与背景解耦效果。

实验结果与效果

在多个维度评测中，Kaleido 展现了强大的性能：

• 主体一致性（S2V Consistency）：在测试集中达到 0.723，达到测试模型的最高水平。

• 背景解耦（S2V Decoupling）：得分 0.319，显著优于现有方法，几乎消除了参考背景污染。

• 美学质量与视频平滑度：在 VBench 框架下的美学质量在开源模型中排名第一，视频中的运动平滑性接近闭源模型 Kling。

• 主观评测：用户调查中，Kaleido 在视频质量、主体一致性、背景解耦等方面均获最高平均分。

  
  

更具体地，消融实验表明：

• 有了 Cross-Paired 数据，背景解耦能力显著提升（+0.013 分）。

• R-RoPE 同时在宽与高维度偏移时表现最好，避免了多主体场景下主体混淆。

• 在卡通、动物、复杂人群等多样化场景中，Kaleido 生成的视频均保持主体细节和动态动作合理。

不足与未来方向

虽然 Kaleido 在开源体系中表现突出，但仍存在一些局限性：

• 极端背景与多主体超载场景：在背景异常复杂或主体数量极多时，可能出现细节丢失或轻微身份混淆；

• 长视频一致性：当前模型在长视频中保持主体连续性仍有进一步提升空间。

未来探索方向包括：

• 研究更轻量的多参考条件融合机制，提高推理速度与可移植性；

• 针对长视频生成优化时间一致性；

• 持续扩展开源数据集，使模型覆盖更多风格与主体类型；

• 将 S2V 扩展到多任务统一框架（如视频编辑、虚拟试穿、角色动画），实现“一体化视频生成”。

如需转载，请直接在本文章评论区内留言