GAIR Paper 112 | 打破 Diffusion RL 算力瓶颈！智象未来 ICML 提出「协同演化」新范式

首创 DMSampler 训练闭环，视频生成 1.3B 模型越级击败 14B，训练耗时狂降三分之二

编辑丨岑峰

▎本文核心亮点：

痛点破局： 针对在线 Diffusion RL（扩散模型强化学习）中 rollout 采样成本高昂的瓶颈，提出 DMSampler 框架。

范式颠覆： 打破“先 RL 训练，后蒸馏加速”的传统线性流程，让蒸馏模型作为“低成本采样器”直接进入 RL 训练闭环，实现 Policy 与 Sampler 的协同进化。

巧妙设计： 首创“混合采样（Hybrid Sampling）”策略（前半程 Policy 稳结构，后半程蒸馏提速度），并引入“奖励感知蒸馏”。

惊艳战绩： 在 VBench 视频评测中，使 Wan2.1-1.3B 模型总分逆袭 14B 版本，同时训练时间从 900 小时断崖式降至 288 小时。

项目地址：https://github.com/HiDream-ai/DMSampler

在扩散模型已经成为图像和视频生成绝对底座的今天，研究者们正视图用在线强化学习（online RL），进一步优化审美质量、文本一致性和视频综合表现的极限。

然而，扩散模型的 RL 训练极易面临一个致命的瓶颈：每次 policy rollout 往往要完成较多的去噪步骤，在线采样占据了大量训练时间。过去的 Diffusion RL 工作更多关注 reward 设计和优化算法，却忽视了：限制规模化的不只是奖励信号或优化器，很多时候是 rollout 本身太贵。

最直观的“偷懒”方法是直接减少采样步数（例如从 50 步硬砍到 10 步）。这样确实能加速，但样本质量会随之下降；一旦 reward 模型基于劣化样本进行打分，policy 的更新就会严重偏离真正的高质量分布。

面对这一困局，智象未来（HiDream.ai）在 ICML 2026 录用论文中给出了一个创新解法：DMSampler

图1：传统 Diffusion RL 框架（左）与 DMSampler（右）的概念对比。传统方法每次 RL 更新依赖约 50 步采样；DMSampler 引入共同演化的少步蒸馏采样器，图中给出了 VBench 训练耗时从 900 小时降至 288 小时的对比。

01

让蒸馏模型跟着 policy 一起进化

DMSampler 的核心洞察在于打破了行业的思维定式：蒸馏模型凭什么只作为训练结束后的推理加速器？

传统流程是线性的：先花大代价跑完 RL 训练，然后再把模型压缩成少步版本用于推理。而 DMSampler 彻底改变了这一位置关系，让“蒸馏”也可以进入 Diffusion RL 的训练过程，作为低成本 sampler 参与每一轮 policy 更新。

具体来说，框架维护一个与 policy model 共同演化的 few-step distilled sampler。蒸馏采样器本身通常只需 4 到 8 步，并通过周期性重蒸馏追上更新后的 policy；在实际混合采样中，图像任务使用 7 步，视频任务使用 16 步。

图2：DMSampler 整体框架。左：RL 阶段，蒸馏采样器固定，通过 Hybrid Distillation Sampling 快速生成样本用于 policy 更新；右：蒸馏阶段，更新后的 policy 作为 teacher，通过 Reward-aware Distillation 重蒸馏采样器。

整个框架由两个阶段交替组成。RL 阶段中，蒸馏采样器参数冻结，用混合蒸馏采样（Hybrid Distillation Sampling）快速生成样本；这些样本经 reward model 打分后，用于更新 policy model。论文实验以 DiffusionNFT 作为主要底层优化器，但 DMSampler 改动的是采样环节。

蒸馏阶段中，更新后的 policy model 反过来充当 teacher，对 distilled sampler 进行重蒸馏，使其重新贴近当前 policy 分布。这里的基础对齐来自轨迹分布匹配（TDM），而奖励感知蒸馏（Reward-aware Distillation）则用来保留高 reward 轨迹中的能力。

两阶段循环推进后，policy 通过 RL 获得更好的生成能力，sampler 通过蒸馏同步追上新的 policy 分布，下一轮 RL 又能以更低采样成本继续训练。

02

蒸馏不只是后处理，它可以参与RL训练

传统流程通常把蒸馏放在训练之后：先完成 RL，再把模型压缩成少步版本用于推理。DMSampler 改变了这个位置关系，让蒸馏从“后处理”变成训练闭环的一部分。

在这个框架中，RL 阶段借助蒸馏模型降低 rollout 成本，蒸馏阶段又利用 RL 优化后的 policy 提升蒸馏模型本身。两者不再是先后关系，而是共同演化关系。

这也解释了为什么静态蒸馏模型并不够用。RL 训练过程中，policy 分布会随着 reward optimization 持续变化；如果 sampler 只在起点蒸馏一次，它很快就会与当前 policy 脱节，使 on-policy 训练部分退化为 off-policy 学习，进而影响收敛和最终性能。

03

混合采样：保住结构，提速后半程

在采样策略上，DMSampler 没有把整个去噪链路都交给蒸馏模型。扩散采样的前半程更决定结构、语义布局和主体内容，后半程更多影响纹理与细节。因此，让 policy model 先完成早期去噪，再由蒸馏模型接手后期步骤，可以在保持分布对齐的同时减少计算。

图3：四种采样策略对比。S1=完整 Policy 采样（含 CFG）；S2=纯蒸馏采样（无 CFG）；S3=先 Policy 后蒸馏（采用）；S4=先蒸馏后 Policy。

论文比较了四种策略。S1 使用原 policy model 完成完整采样并启用 CFG，质量强但成本高。S2 全程使用少步蒸馏模型，速度最快但分布漂移明显。S3 先由 policy model 完成早期去噪，再切换到蒸馏模型处理后期步骤，是最终采用的方案。S4 则反过来先用蒸馏模型，早期偏差会影响后续结构，policy model 难以完全修正。

结果显示，S3 在效率和对齐之间最均衡：图像任务从 40 步降到 7 步，视频任务从 50 步降到 16 步，同时保持较高 OCR 表现。

04

奖励感知蒸馏

只让蒸馏模型追上 policy 的平均分布还不够。Diffusion RL 真正要保留的是高 reward 样本背后的能力，而普通蒸馏在压缩分布时可能削弱这部分能力。

DMSampler 在 RL 阶段记录生成样本、初始噪声和对应 reward；进入蒸馏阶段后，框架从中筛选高 reward 轨迹，若没有样本超过阈值，则至少保留 reward 最高的一条。随后，reward-weighted trajectory loss 会让蒸馏模型更重视这些轨迹，权重随 reward 单调增加。

消融实验显示，去掉奖励感知蒸馏后，图像 OCR 从 0.97 降到 0.96，视频 OCR 从 0.50 降到 0.48。提升幅度不夸张，但说明高 reward 轨迹对稳定迭代有实际帮助。

05

少步采样带来加速，性能基本不掉

在文本渲染（OCR）任务上，DMSampler 将图像采样从 40 步降到 7 步、视频采样从 50 步降到 16 步，性能基本保持。与直接减少采样步数（DRS）相比，这一点更明显：DRS1 减半步数并保留 CFG，DRS2 在此基础上关闭 CFG，DRS3 进一步降到 10 步。视频任务对样本质量更敏感，DRS3 的视频 OCR 回到基线水平，而 DMSampler 在 7 步图像采样和 16 步视频采样下仍保持接近完整采样的表现。

▎表1：DMSampler 与直接减步策略的对比。DMSampler⁻为去掉 Reward-aware Distillation 的消融版本。

图4：不同加速策略生成的视频效果对比。DRS 导致明显质量退化，DMSampler 保持高质量。

06

GenEval 综合评测：

从 0.63 提升到 0.96

在 GenEval 基准测试上，DMSampler 取得 Overall 0.96，超过 FlowGRPO 和 DiffusionNFT 的 0.95；相比 Base（SD3.5-M）的 0.63，提升更为明显。作为参照，GPT-4o 为 0.84，Qwen-Image 为 0.91。训练效率方面，论文报告 DMSampler 需要 360 GPU hours，低于 FlowGRPO 的 2000 hours 和 DiffusionNFT 的 480 hours。

▎表2：GenEval 基准测试结果。

07

1.3B 模型超过 14B，

训练时间降至约三分之一

在 VBench 视频评测上，DMSampler 将 Wan2.1-1.3B 的总分从 81.23 提升到 85.00，超过 Wan2.1-14B（83.69），也高于 CausVid（83.88）和 HunyuanVideo（83.43）。在论文给出的 VBench 对比中，DMSampler 相比 DiffusionNFT 将训练时间从约 900 小时降到约 288 小时，同时总分从 84.74 提升到 85.00。

▎表3：VBench 基准测试结果（完整 16 个评测维度，分两组展示）。

（续表3：其余 8 个评测维度）

图5：VBench 生成视频效果对比。

08

不绑定优化器，可作为通用采样模块

DMSampler 并不依赖某一个 RL 优化器。研究者将其分别接入 FlowGRPO 和 DGPO，并在 GenEval 上验证：FlowGRPO 的训练成本从超过 1000 GPU hours 降到 400 hours，GenEval 分数从 0.95 提升到 0.96；DGPO 的训练成本从 240 hours 降到 192 hours，GenEval 分数保持 0.97。

▎表4：DMSampler 接入不同 RL 优化器的效果。

这说明 DMSampler 更像是一个面向在线 Diffusion RL 的采样加速模块。它不改变优化器本身的目标函数，而是降低 rollout 成本，因此可以与不同 RL 方法组合使用。

09

副产品：蒸馏模型也变强了

DMSampler 的主要目标是训练更强的 policy model，但共同演化的蒸馏采样器本身也获得了性能提升。在 VBench 上，该蒸馏模型取得 84.21 的总分和 85.60 的 Quality 分数，超过 CausVid（82.88）、Self Forcing（83.80）和 BLADE（83.38）等蒸馏方法。

▎表5：DMSampler 蒸馏模型与其他蒸馏方法的对比。

传统蒸馏更多追求推理加速，而 DMSampler 的蒸馏采样器会在训练过程中不断吸收 RL 优化后的高 reward 能力。因此，它不仅是加速器，也成为经过 reward 对齐的少步生成器。

图6：DMSampler 蒸馏模型的生成示例。

10

从训练加速到协同进化

整体来看，DMSampler 首次将可训练、共同演化的蒸馏模型作为 Diffusion RL 的采样引擎。它通过双阶段交替训练、混合蒸馏采样和奖励感知蒸馏，将 rollout 采样成本降到更适合在线训练的范围。

这项工作的意义不只在于加速。它提醒社区重新关注 online diffusion RL 中的采样成本，也把蒸馏从训练后的独立步骤前移到 RL 后训练过程中，使 policy 和蒸馏模型在同一闭环里相互促进。

实验中，DMSampler 在 GenEval 上取得 0.96，在 VBench 上取得 85.00，均达到当前最优水平。训练效率方面，GenEval 任务从 DiffusionNFT 的 480 GPU hours 降到 360 GPU hours，VBench 任务从约 900 小时降到约 288 小时。它不绑定特定 RL 优化器，也可以与 FlowGRPO、DGPO 等方法组合使用。

对后续研究来说，DMSampler 的协同进化思路可以迁移到其他需要大量 rollout 的生成模型 RL 场景，也为扩散模型蒸馏与强化学习的结合提供了新的技术参考。

11

重构扩散模型训练的 Pipeline

在 OpenAI 的 Sora 发布后，视频生成模型的 Scaling Law 迫切呼唤更高效的强化学习对齐方法。然而，高昂的在线采样成本一直是悬在所有研究者头顶的达摩克利斯之剑。

智象未来（HiDream.ai）团队入选 ICML 2026 的这篇 DMSampler 论文，不仅仅是提供了一个极具商业价值的加速插件，更是在底层逻辑上重构了扩散模型训练的 Pipeline。

它向整个社区证明了：“蒸馏”的舞台绝不仅仅在训练结束后的边缘推理端。当蒸馏技术被前置、被深度嵌入到强化学习的训练心跳中时，我们或许正在推开一条“低成本普及高质量视频大模型”的全新大门。

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。