网易首页 > 网易号 > 正文 申请入驻

不靠 CFG、DMD、GAN、Drifting 和MeanFlow,如何训练一步生成模型?

0
分享至



只做一次生成器前向,就能得到一张图,这是一步生成追求的效率。但想把采样步数降到 1,难题其实在训练端:怎样用足够稳定、简单的监督信号,让生成分布靠近真实分布?

现有路线各有结构性取舍:

  • 自回归、扩散和流匹配(Flow Matching)模型扩展性强,但前者需按顺序或尺度解码,后两者沿噪声 — 数据路径反复调用网络,都会增加推理时间。
  • 生成对抗网络(GAN)天然支持单次前向推理,但学习信号来自同步训练的判别器,极小极大优化较敏感。
  • 一致性模型(Consistency Models)和分布匹配蒸馏(Distribution Matching Distillation,DMD)可以压缩采样步数,但通常需要噪声 — 时间监督、一致性约束、教师或辅助估计器;DMD 同时依赖固定扩散教师与在线生成分布的 score(对数密度梯度),扩展到较大模型时还需要更多稳定化技巧。



这些路线各有优势,TBSM 并不是要简单否定它们。它把问题改写成了一句更直接的话:能不能训练一个小模型,直接告诉每个生成样本 “该往哪里走”?



  • 论文标题:THREE-BODY SCATTERING FOR GENERATIVE MODELING
  • 论文链接:https://arxiv.org/abs/2607.18198
  • 项目主页与代码:https://github.com/sp12138/TBSM

具体来说,TBSM 在线训练一个轻量级 Tracker,学习从当前生成分布到真实分布(Fake-to-Real)的转移场。对每个生成样本,Tracker 都会独立地给出一个移动方向,生成器只需回归样本沿该方向移动后的位置。

面对约 800M 的像素扩散 Transformer 模型 PixelDiT-XL/16,单个 Tracker 仅有 30M 参数不到,且只在训练时使用。ImageNet-256 上,TBSM 的潜空间和像素空间模型在推理时前向次数(number of function evaluations,NFE)为 1 时,分别达到 Fréchet Inception Distance(FID,越低越好)1.63 和 2.23。



视频链接:https://mp.weixin.qq.com/s/0MFfONowxYytCSTB7PQ9tA

TBSM 方法介绍视频:三样本散射事件产生 Fake-to-Real 局部方向,Tracker 学习这些方向的期望,引导生成器最终实现 NFE=1。



TBSM 一步生成样例

从左到右依次为 MNIST、Fashion-MNIST、CIFAR-10、像素空间 ImageNet-1K,以及 20B 文生图模型的生成结果。

Fake-to-Real 转移场

(即 Tracker 的学习目标)从哪里来?













算法 1:基础三体散射回归

算法 1:三样本事件现场给出移动方向,即瞬时三体散射方向,生成器回归冻结后的目标位置。

不使用 Tracker 时,这就是瞬时散射(Instant Scattering)。严格来说,冻结回归在当前参数处的期望梯度与能量距离梯度一致,但单个即时方向只是该条件期望的一个带噪估计。使用 Tracker 的跟踪散射(Tracked Scattering)则把瞬时散射方向作为在线标签,学习更稳定的方向场。

Tracker 如何学习稳定的 Fake-to-Real 转移场?

单个三样本事件很便宜,但方差较大;换一组真实源和生成源,同一投射体可能收到不同方向。Tracker 学习的正是这些随机观测在给定位置和条件下的平均方向,而不是像 GAN 判别器那样判断真假。





算法 2:完整 TBSM 训练循环





两个参数组成的方法设计图





TBSM 的 rho-lambda 设计图

像素空间图像 Transformer JiT(Just image Transformers)的 B 规模配置 JiT-B 短程实验。Drift 是 Drifting Models 的图中简称;图中 Inception Score(IS)越高越好。四个角点依次对应类 Drift、Tracked Scattering、扩散相关和类 GAN 的结构联系。扩散式训练还需要配对噪声输入、时间条件和相应目标。



算法 3:一个直观的视角去看 TBSM 能学到什么



算法 3:TBSM 的 “类 GAN” 位移类比



从算法 3 和传统风格迁移的视角看,也可以把 Fake 和 Real 理解成两种不同的 “风格”:Tracker 学习二者之间的转移,再指导生成器产生新的 Fake;新的 Fake 又定义下一轮转移场,形成迭代循环。这提供了一种直观、与 GAN-like learned field 相近的理解视角。

从理论落到高维图像

像素欧氏距离未必对应图像语义距离,因此 TBSM 将散射搬到冻结的图像表征空间:真实图像、生成投射体和生成源经过冻结编码器后计算方向与损失,梯度只沿投射体分支回到生成器,源特征保持停止梯度。多个表征空间分别形成损失后再聚合。

像素生成器的输出可直接进入表征网络;潜空间生成器则先通过冻结解码器还原图像。训练结束后,Tracker 和额外表征分支都可移除,只保留生成器及潜空间模型原有的解码器。

单步的 ImageNet 与文生图结果

下表中的 FID 越低越好,Inception Score(IS)越高越好。所有 ImageNet 指标均由 50,000 张生成图像计算,并使用训练集参考统计量;TBSM 的训练和推理均不使用 CFG(Classifier-Free Guidance)。扩散 Transformer(DiT)先生成潜空间表示再解码,PixelDiT 和 JiT 则直接输出图像。



将原本为多步采样训练的 DiT-XL/4 直接限制为 NFE=1 时,FID 为 398.20;这只反映不适配的单步运行方式,不代表正常多步采样的质量。经过 TBSM 训练后,同一架构达到 1.92。



文生图实验从预训练的 20B 参数 Qwen-Image 初始化,随后只用 TBSM 更新生成器和 Tracker。



TBSM 后训练的20B参数文生图模型上的一步生成样例



讨论与展望



结语

TBSM 的核心是从能量距离得到 “真实吸引 — 生成自交互” 的局部方向,再让 Tracker 学习其条件均值。训练完成后,辅助网络退出,生成器只需一次前向;它展示了把分布距离转化为高维生成器可直接学习的样本级运动监督的一条路径。

项目状态:目前已开放 MNIST 最小实现 和 ImageNet-1K 训练、评测代码;后续还计划发布 Qwen-Image-20B 文生图模型的权重和训练代码。

作者介绍:本文第一作者是西湖大学与浙江大学联合培养的三年级博士生孙鹏,研究兴趣是简单有效的生成式AI的训练与推理加速框架。未来希望能在世界模型和视频生成上继续找到合适的 合作者/Mentor 并做出更多有影响力的工作。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
港媒评苹果首款折叠iPhone Duo:席卷全球的工程灾难 盘点列出七宗罪

港媒评苹果首款折叠iPhone Duo:席卷全球的工程灾难 盘点列出七宗罪

快科技
2026-10-27 12:28:11
携中械加入北约?武契奇刚下台就生变数,普京致电反对,中方咋办

携中械加入北约?武契奇刚下台就生变数,普京致电反对,中方咋办

李健政观察
2026-10-24 09:31:59
又大胜23分!该队这样打下去,别说雷霆,连火箭也要担心了

又大胜23分!该队这样打下去,别说雷霆,连火箭也要担心了

篮球大视野
2026-10-26 14:35:34
1936年,朱德当面批评刘伯承搞小圈子,两人激烈交锋;刘伯承拍案怒斥:只认原则,不认派系

1936年,朱德当面批评刘伯承搞小圈子,两人激烈交锋;刘伯承拍案怒斥:只认原则,不认派系

人生录
2026-10-24 00:05:16
特朗普为何痴迷帮俄?撕掉最后一块遮羞布

特朗普为何痴迷帮俄?撕掉最后一块遮羞布

维美丽心甜
2026-10-26 19:30:11
清晨,全线拉升!美联储,重磅来袭

清晨,全线拉升!美联储,重磅来袭

证券时报
2026-10-27 07:54:06
羞死人了!42岁女子原以为绝经,B超查出已怀孕五周,家中长子在读高中,生或不生陷入两难

羞死人了!42岁女子原以为绝经,B超查出已怀孕五周,家中长子在读高中,生或不生陷入两难

火山詩话
2026-10-25 06:38:20
升糖大户被揪出,是米饭的12倍!升糖超快5种主食,很多人不知道

升糖大户被揪出,是米饭的12倍!升糖超快5种主食,很多人不知道

荷兰豆爱健康
2026-10-25 04:15:46
布泽尔成为NBA首位生涯前3战场均15+10+5的青少年球员

布泽尔成为NBA首位生涯前3战场均15+10+5的青少年球员

北青网-北京青年报
2026-10-26 14:48:05
倒计时开始!65岁奥巴马重出江湖,希拉里爆料:特朗普是普京傀儡

倒计时开始!65岁奥巴马重出江湖,希拉里爆料:特朗普是普京傀儡

乐天闲聊
2026-10-26 13:55:15
不忍了,洪秀柱喊话大陆!

不忍了,洪秀柱喊话大陆!

有态度的何总
2026-10-25 14:33:27
大妈入日籍后,依然领着国内的退休金,社保局上门后结局暖哭邻居

大妈入日籍后,依然领着国内的退休金,社保局上门后结局暖哭邻居

童童聊娱乐啊
2026-10-27 09:17:51
1年卖出 32 亿!这个中国最“土”的饮料,打败可口可乐还要多久?

1年卖出 32 亿!这个中国最“土”的饮料,打败可口可乐还要多久?

铭记历史呀
2026-10-27 01:13:00
19岁亚马尔快哭了!短短24小时:输给皇马 无缘金球 一脸失望

19岁亚马尔快哭了!短短24小时:输给皇马 无缘金球 一脸失望

叶青足球世界
2026-10-27 09:05:28
哈文现状:定居纽约富人区,靠丈夫遗产和女儿很潇洒,没有再婚

哈文现状:定居纽约富人区,靠丈夫遗产和女儿很潇洒,没有再婚

东方不败然多多
2026-10-27 10:26:39
勇士爆冷20分大胜掘金,库里8中8,伦德伯格爆发31分,约基奇低迷

勇士爆冷20分大胜掘金,库里8中8,伦德伯格爆发31分,约基奇低迷

老梁体育漫谈
2026-10-27 12:34:31
1979年党中央采取行动抓捕许世友儿子,许世友得知后称赞抓得好抓得妙!

1979年党中央采取行动抓捕许世友儿子,许世友得知后称赞抓得好抓得妙!

大运河时空
2026-10-26 06:45:05
两性关系的六个层次:多数人止于第三层,极少数人走到第六层

两性关系的六个层次:多数人止于第三层,极少数人走到第六层

青苹果sht
2026-10-24 06:38:27
蒙牛:终止与姆巴佩的全部合作,对伤害中国人民感情的言行坚决抵制

蒙牛:终止与姆巴佩的全部合作,对伤害中国人民感情的言行坚决抵制

上观新闻
2026-10-27 11:29:28
一句“老登”吵上热搜,小鹏副总裁抛出百万悬赏,涉事00后产品经理还将登台

一句“老登”吵上热搜,小鹏副总裁抛出百万悬赏,涉事00后产品经理还将登台

极目新闻
2026-10-26 14:28:19
2026-10-27 13:23:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14312文章数 142751关注度
往期回顾 全部

科技要闻

Anthropic最硬气招股书,先把丑话说在前头

头条要闻

上海女子继承2亿遗产 结婚才1年的丈夫起诉离婚分财产

头条要闻

上海女子继承2亿遗产 结婚才1年的丈夫起诉离婚分财产

体育要闻

世界上最无趣的前锋,拿下了金球奖

娱乐要闻

8登春晚毛宁,57岁唱涛声依旧无人问津

财经要闻

金价跌回8字头

汽车要闻

云辇-M上车 第二代海豹07让驾驶者也能爱上的家用车

态度原创

教育
健康
数码
家居
手机

教育要闻

那条河面积大?难倒了数学老师

查不出猝死风险?可能是项目没做对

数码要闻

首创双路冰河风冷系统!一加Ace 7系列提供终身风扇免费清洁保养

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

麒麟9050 Pro产能提速!华为Mate XT 2京东开放购买:不用再抢了

无障碍浏览 进入关怀版