从 SFT 到 DPO：视频生成模型后训练为何变成系统工程

大模型的后训练已经从语言走向视频，但视频并没有照搬一套算法就顺利过关。

原因很现实：一次 rollout 的成本更高，评价维度更多，生成结果又横跨空间与时间。画面更清晰，不代表动作更合理；文本对齐提升，也可能伴随主体漂移。Reward 曲线向上，只能说明模型更会满足当前评测器，不能单独证明视频更好。

TeleBoost 技术报告将这件事组织为 SFT、自动反馈 GRPO 和人类偏好 DPO 三个阶段。这个框架透露出的信号很明确：视频后训练已经是一项系统工程。

TeleBoost 三阶段框架

先把底座带到可优化区域

SFT 负责建立可控起点。文本遵循、主体结构、运动方式、镜头语言和基本物理约束，都需要在这个阶段形成较稳定的能力。

强化学习能够选择、放大底座已有的行为，却不擅长凭空补齐底座从未掌握的复杂交互。预训练和 SFT 不稳时，Reward 往往先推动容易得分的视觉特征，真正困难的长时一致性仍停在原地。

数据选择因此比“多放一些高清视频”复杂。动作比例、镜头类型、任务难度和边界样本都会改变模型进入后续阶段时的位置。

多个 Reward 进入同一训练回路

GRPO 围绕相同条件生成多条候选视频，通过自动 Reward 做组内比较。视频没有唯一正确答案，这种相对优化很有吸引力。

问题是，视觉质量、运动、文本对齐、身份保持和物理合理性之间经常冲突。TeleBoost 使用多目标 Reward 栈，并根据训练状态调整样本难度，避免某一个指标长期垄断更新。

多 Reward、先验校正和优势计算共同形成自动反馈训练。

ViPO 与 BPGO 是其中两个组件。前者尝试回答“整体分数应该落到哪些区域和帧”，后者处理“在线 Reward 到底有多可信”。一项负责定位，一项负责信任，但系统还要同时处理数据、调度与评测。

Reward Model 的身份也发生了变化。离线时，它判错只会影响一次排名；在线时，误判会推动策略走向陌生分布，再产生更多类似样本。评测器与模型互相影响，正是后训练不稳定的重要来源。

GPU 调度不只是后台问题

生成视频、执行多个 Reward 推理、更新大模型都很耗资源。串行流程会出现大量等待，TeleBoost 因此将 rollout 和 Reward 计算做协同调度，通过共置与并行提高利用率。

并行 Reward 计算减少串行等待，提高训练链路吞吐。

但吞吐提升也可能改变 batch、组内统计和同步频率。视频后训练中的工程参数，会参与塑造算法实际看到的样本分布。它们已经不能被视为公式之外的纯实现细节。

人类偏好负责收尾

自动指标擅长发现明显错误，未必擅长判断镜头节奏、人物自然度和整体观感。第三阶段通过成对人类偏好做 DPO，让模型学习这些难以写成单一分数的选择。

长视频和大模型给 DPO 带来显存压力。报告提出的 gradient-decoupled DPO 重新安排中间梯度的生命周期，在保持偏好目标的同时降低峰值资源占用。

最终评测仍回到人。TeleBoost 用 Good / Same / Bad 形式，从主体保持、文本对齐、运动和视觉质量等维度比较。在特定的 Wan2.2-I4B 图生视频设置中，报告给出总体胜率 71.18%、偏好率 66.38%。这些结果有明确实验边界，不能当成跨模型的普遍数字。

多维度人类偏好结果。

视频后训练接下来竞争的，可能不只是某个新目标函数。谁能把预训练能力、数据反馈、策略更新、资源系统和人类评测放进一条可归因的闭环，谁才更有机会稳定复现提升。

系统工程不等于不断增加组件

SFT、多个 Reward、GRPO、DPO 和人评全部接上，并不自动形成闭环。真正的闭环要求每次改动都能回答：错误在哪一阶段出现，反馈通过哪条路径进入模型，资源设置是否改变了统计量，提升能否被人类复核。

高质量数据的去向尤其能暴露系统成熟度。底座不会完成指令时，这批数据更适合直接做 SFT；基础能力已经存在、自动规则能清楚区分好坏时，Reward 与 GRPO 才有杠杆；镜头感和自然度难以写成规则时，成对人类偏好更合适。

这三种投入的回报和风险不同。SFT 相对确定，却可能覆盖原有能力；RL 能规模化探索，也会放大评测器盲区；DPO 能表达整体判断，代价是标注规范和偏好漂移。

TeleBoost 把组件放进同一报告的意义，是让这些选择可以被一起讨论。它没有给出一套固定配方，也没有证明更多阶段一定更强。视频后训练进入深水区后，竞争焦点会从“谁先接入某个算法”转向“谁能解释每一份数据和每一次更新为什么出现在这里”。

这也让评测成为系统的入口，而不是训练结束后的展示。若团队不能稳定复现失败、区分自动指标与人类偏好的冲突，再快的训练吞吐也只会让错误反馈循环得更快。

还需要警惕的是，组件越多不代表系统越成熟。真正的标准应当更朴素：这次改动让视频具体好在什么地方，代价是什么，它能否在换数据、换底座后仍被解释。

论文原文与引用

本文解读的论文原题为 *TeleBoost: A Systematic Alignment Framework for High-Fidelity, Controllable, and Robust Video Generation*。

- 发表信息：Technical report；arXiv:2602.07595v1（2026）

Yuanzhi Liang, Xuan'er Wu, Yirui Liu, Yijie Fang, Yizhen Fan, Ke Hao, Rui Li, Ruiying Liu, Ziqi Ni, Peng Yu, Yanbo Wang, Haibin Huang, Qizhen Weng, Chi Zhang, and Xuelong Li. “TeleBoost: A Systematic Alignment Framework for High-Fidelity, Controllable, and Robust Video Generation.” arXiv preprint arXiv:2602.07595, 2026.