网易首页 > 网易号 > 正文 申请入驻

不靠 CFG、DMD、GAN、Drifting 和MeanFlow,如何训练一步生成模型?

0
分享至



只做一次生成器前向,就能得到一张图,这是一步生成追求的效率。但想把采样步数降到 1,难题其实在训练端:怎样用足够稳定、简单的监督信号,让生成分布靠近真实分布?

现有路线各有结构性取舍:

  • 自回归、扩散和流匹配(Flow Matching)模型扩展性强,但前者需按顺序或尺度解码,后两者沿噪声 — 数据路径反复调用网络,都会增加推理时间。
  • 生成对抗网络(GAN)天然支持单次前向推理,但学习信号来自同步训练的判别器,极小极大优化较敏感。
  • 一致性模型(Consistency Models)和分布匹配蒸馏(Distribution Matching Distillation,DMD)可以压缩采样步数,但通常需要噪声 — 时间监督、一致性约束、教师或辅助估计器;DMD 同时依赖固定扩散教师与在线生成分布的 score(对数密度梯度),扩展到较大模型时还需要更多稳定化技巧。



这些路线各有优势,TBSM 并不是要简单否定它们。它把问题改写成了一句更直接的话:能不能训练一个小模型,直接告诉每个生成样本 “该往哪里走”?



  • 论文标题:THREE-BODY SCATTERING FOR GENERATIVE MODELING
  • 论文链接:https://arxiv.org/abs/2607.18198
  • 项目主页与代码:https://github.com/sp12138/TBSM

具体来说,TBSM 在线训练一个轻量级 Tracker,学习从当前生成分布到真实分布(Fake-to-Real)的转移场。对每个生成样本,Tracker 都会独立地给出一个移动方向,生成器只需回归样本沿该方向移动后的位置。

面对约 800M 的像素扩散 Transformer 模型 PixelDiT-XL/16,单个 Tracker 仅有 30M 参数不到,且只在训练时使用。ImageNet-256 上,TBSM 的潜空间和像素空间模型在推理时前向次数(number of function evaluations,NFE)为 1 时,分别达到 Fréchet Inception Distance(FID,越低越好)1.63 和 2.23。



视频链接:https://mp.weixin.qq.com/s/0MFfONowxYytCSTB7PQ9tA

TBSM 方法介绍视频:三样本散射事件产生 Fake-to-Real 局部方向,Tracker 学习这些方向的期望,引导生成器最终实现 NFE=1。



TBSM 一步生成样例

从左到右依次为 MNIST、Fashion-MNIST、CIFAR-10、像素空间 ImageNet-1K,以及 20B 文生图模型的生成结果。

Fake-to-Real 转移场

(即 Tracker 的学习目标)从哪里来?













算法 1:基础三体散射回归

算法 1:三样本事件现场给出移动方向,即瞬时三体散射方向,生成器回归冻结后的目标位置。

不使用 Tracker 时,这就是瞬时散射(Instant Scattering)。严格来说,冻结回归在当前参数处的期望梯度与能量距离梯度一致,但单个即时方向只是该条件期望的一个带噪估计。使用 Tracker 的跟踪散射(Tracked Scattering)则把瞬时散射方向作为在线标签,学习更稳定的方向场。

Tracker 如何学习稳定的 Fake-to-Real 转移场?

单个三样本事件很便宜,但方差较大;换一组真实源和生成源,同一投射体可能收到不同方向。Tracker 学习的正是这些随机观测在给定位置和条件下的平均方向,而不是像 GAN 判别器那样判断真假。





算法 2:完整 TBSM 训练循环





两个参数组成的方法设计图





TBSM 的 rho-lambda 设计图

像素空间图像 Transformer JiT(Just image Transformers)的 B 规模配置 JiT-B 短程实验。Drift 是 Drifting Models 的图中简称;图中 Inception Score(IS)越高越好。四个角点依次对应类 Drift、Tracked Scattering、扩散相关和类 GAN 的结构联系。扩散式训练还需要配对噪声输入、时间条件和相应目标。



算法 3:一个直观的视角去看 TBSM 能学到什么



算法 3:TBSM 的 “类 GAN” 位移类比



从算法 3 和传统风格迁移的视角看,也可以把 Fake 和 Real 理解成两种不同的 “风格”:Tracker 学习二者之间的转移,再指导生成器产生新的 Fake;新的 Fake 又定义下一轮转移场,形成迭代循环。这提供了一种直观、与 GAN-like learned field 相近的理解视角。

从理论落到高维图像

像素欧氏距离未必对应图像语义距离,因此 TBSM 将散射搬到冻结的图像表征空间:真实图像、生成投射体和生成源经过冻结编码器后计算方向与损失,梯度只沿投射体分支回到生成器,源特征保持停止梯度。多个表征空间分别形成损失后再聚合。

像素生成器的输出可直接进入表征网络;潜空间生成器则先通过冻结解码器还原图像。训练结束后,Tracker 和额外表征分支都可移除,只保留生成器及潜空间模型原有的解码器。

单步的 ImageNet 与文生图结果

下表中的 FID 越低越好,Inception Score(IS)越高越好。所有 ImageNet 指标均由 50,000 张生成图像计算,并使用训练集参考统计量;TBSM 的训练和推理均不使用 CFG(Classifier-Free Guidance)。扩散 Transformer(DiT)先生成潜空间表示再解码,PixelDiT 和 JiT 则直接输出图像。



将原本为多步采样训练的 DiT-XL/4 直接限制为 NFE=1 时,FID 为 398.20;这只反映不适配的单步运行方式,不代表正常多步采样的质量。经过 TBSM 训练后,同一架构达到 1.92。



文生图实验从预训练的 20B 参数 Qwen-Image 初始化,随后只用 TBSM 更新生成器和 Tracker。



TBSM 后训练的20B参数文生图模型上的一步生成样例



讨论与展望



结语

TBSM 的核心是从能量距离得到 “真实吸引 — 生成自交互” 的局部方向,再让 Tracker 学习其条件均值。训练完成后,辅助网络退出,生成器只需一次前向;它展示了把分布距离转化为高维生成器可直接学习的样本级运动监督的一条路径。

项目状态:目前已开放 MNIST 最小实现 和 ImageNet-1K 训练、评测代码;后续还计划发布 Qwen-Image-20B 文生图模型的权重和训练代码。

作者介绍:本文第一作者是西湖大学与浙江大学联合培养的三年级博士生孙鹏,研究兴趣是简单有效的生成式AI的训练与推理加速框架。未来希望能在世界模型和视频生成上继续找到合适的 合作者/Mentor 并做出更多有影响力的工作。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大学生烂大街了?错!是这5个专业烂大街了,报一个毁一个

大学生烂大街了?错!是这5个专业烂大街了,报一个毁一个

优墨出品
2026-08-09 14:25:43
ESPN:皇马今夏引援引发质疑,弗洛伦蒂诺正在回到过去的做法

ESPN:皇马今夏引援引发质疑,弗洛伦蒂诺正在回到过去的做法

懂球帝
2026-08-11 20:00:29
萧劲光弥留之际手指毛主席像,众人不解,张震:他要当毛主席的兵

萧劲光弥留之际手指毛主席像,众人不解,张震:他要当毛主席的兵

海佑讲史
2026-08-11 23:14:43
甘国亮庆祝76岁生日罕露脸,腰板挺直依旧儒雅,同性密友紧靠在旁

甘国亮庆祝76岁生日罕露脸,腰板挺直依旧儒雅,同性密友紧靠在旁

树娃
2026-08-10 16:11:55
英国成伊斯兰国家了?斯塔默宣布:穆斯林是现代英国的标志性面孔

英国成伊斯兰国家了?斯塔默宣布:穆斯林是现代英国的标志性面孔

步论天下事
2026-05-10 10:36:05
韩国多家券商,下调三星、SK海力士目标价

韩国多家券商,下调三星、SK海力士目标价

第一财经资讯
2026-08-11 20:30:26
胡梅尔斯:因凡蒂诺想私吞世界杯,门票价格让我“很难过”

胡梅尔斯:因凡蒂诺想私吞世界杯,门票价格让我“很难过”

懂球帝
2026-08-11 22:18:15
中日韩人均身高对比:日本仅164.5cm,韩国166cm,中国我没想到

中日韩人均身高对比:日本仅164.5cm,韩国166cm,中国我没想到

铭记历史呀
2026-07-27 08:34:17
中方接到消息,又一场战争逼近?东北亚或暴雷,朝鲜军方已经介入

中方接到消息,又一场战争逼近?东北亚或暴雷,朝鲜军方已经介入

无月可归辛
2026-08-11 20:27:10
国少日本籍主帅点评:中国球员基础牢固,但比赛能力不足,董路发文含蓄指责孙继海

国少日本籍主帅点评:中国球员基础牢固,但比赛能力不足,董路发文含蓄指责孙继海

冷桂零落
2026-08-11 18:49:02
回到过去杀掉祖父,物理定律不会拦你——但你永远不会成功

回到过去杀掉祖父,物理定律不会拦你——但你永远不会成功

心中的麦田
2026-08-10 16:34:34
《九门》6位美女颜值排名,陈瑶第4,宣璐第3,第1实至名归

《九门》6位美女颜值排名,陈瑶第4,宣璐第3,第1实至名归

娱君坠星河
2026-08-11 23:20:04
最牛美女处长,1000天和男上司开房410次,临时工晋升财务副处长

最牛美女处长,1000天和男上司开房410次,临时工晋升财务副处长

三石记
2026-06-26 07:16:19
斯诺克中国公开赛:张安达险胜赵心童 希金斯出局

斯诺克中国公开赛:张安达险胜赵心童 希金斯出局

新华社
2026-08-12 00:33:19
为何俄罗斯宁愿割让500多万平方公里的领土,也不愿舍弃克里米亚

为何俄罗斯宁愿割让500多万平方公里的领土,也不愿舍弃克里米亚

纪史行者
2026-08-09 08:47:12
DeepSeek招土木工程师

DeepSeek招土木工程师

第一财经资讯
2026-08-11 21:28:39
从卡顿到秒开:50台设备后抛弃SQLite改用PostgreSQL的三大理由

从卡顿到秒开:50台设备后抛弃SQLite改用PostgreSQL的三大理由

摸鱼算法
2026-08-11 02:49:29
警钟:月嫂、月子中心托管,正在悄悄毁掉孩子,让安全感缺失!

警钟:月嫂、月子中心托管,正在悄悄毁掉孩子,让安全感缺失!

小武侃风云
2026-06-28 07:47:51
意媒:拉韦扎尼怒批迈尼昂不配当米兰队长

意媒:拉韦扎尼怒批迈尼昂不配当米兰队长

懂球帝
2026-08-11 23:32:11
让孩子疯狂长脑子的4项运动,越练越聪明

让孩子疯狂长脑子的4项运动,越练越聪明

婷妈alan
2026-08-10 12:40:17
2026-08-12 04:23:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13733文章数 142718关注度
往期回顾 全部

科技要闻

AI大战变天:扎克伯格突然回头

头条要闻

网红"雅典娜"失踪3年 好友:她被李姓女网友诱骗至境外

头条要闻

网红"雅典娜"失踪3年 好友:她被李姓女网友诱骗至境外

体育要闻

NBA老顽童,抽着大麻喝着小酒告别了

娱乐要闻

“雅典娜”确认被害 细节令人发指!

财经要闻

AI泡沫的剧本,是2008年的次贷危机?

汽车要闻

闪充/天神之眼B/云辇-C 2027款海豹06售9.99万元起

态度原创

本地
教育
手机
健康
时尚

本地新闻

黄州一夜,苏轼写给普通人的月光

教育要闻

低分照样上本科 孩子高考不到四百分,一定要了解湖北专升本

手机要闻

iQOO Z11S再预热,宁德新能源联合研发电池

心血管专家破解猝死八大谣言

时速60公里,“慢”车去南非

无障碍浏览 进入关怀版