网易首页 > 网易号 > 正文 申请入驻

独家|DeepSeek联手清华等的新论文:把AI生图从4步压到1步

0
分享至



国庆假期前,“大肥鲸鱼”终于密集发新消息了。

9月29日晚,DeepSeek正式发布Harness v0.2预览版,也正式有了入口,而新版重点补齐了桌面端的日常使用体验。



官方还首次公布了该产品数据。

DeepSeek 称,目前约 60% 的 Harness 用户使用了第三方插件。按官方模型 API 用户口径统计,Harness 已经成为其用户中日活和日均会话数最高的 Coding Agent 产品。同时还首次披露了未来产品路线,包括

加入个性化的长期记忆、实现浏览器与其它 GUI 软件的自动化操作、支持远程与移动端使用等功能。

此外,DeepSeek还债知乎上公布了弹性计算 (DSec)技术的论文细节。

然而,对于开发者来说,其实分关注DeepSeek Harness什么时候有“眼睛”,能实现多模态和图片生成等,补齐开源AI全模态体系。 9月29日,智能纪元AGI独家获悉,清华大学人工智能学院、复旦大学、DeepSeek、字节Seed、北京大学、北京智源人工智能研究院(BAAI)等团队联合发表论文“统一一步视觉生成分布训练”。 研发人员提出MGFlow(混合梯度流 Mixture Gradient Flow),使得统一分布式训练以实现一步式视觉生成。




论文中表示,利用视觉空间的分布式训练,引入统一的理论框架MGFlow,将分布建模与匹配差异分开,减少生图流程,并通过Wasserstein梯度流将全局目标与点特征更新相连接,以可调节的粒度在全局矩和基于样本的表示之间用高斯混合模型来建模特征分布,并解决混合表达能力本身无法解决的模态崩溃问题。 在ImageNet上,MGFlow显著优于FD-Loss基线,实现了最先进的结果。对于文本到图像生成,MGFlow对FLUX.2 4B进行后训练,使其成为一个一步生成器,在GenEval和PickScore上都优于原始的四步的模型。 本论文通讯作者是清华大学人工智能学院助理教授刘淼,参与作者当中包括DeepSeek AI研究团队成员、浙江大学的周俊康(junkang zhou),清华大学的Chi Zhang、Shi Haoyang等。 根据其信息,Junkang Zhou是浙江大学计算机科学与技术专业的一名本科生,研究和工程工作专注于构建高效、可扩展的多模态大型语言模型(MLLM)预训练和强化学习系统,今年8月加入DeepSeek 多模态LLM系统团队,之前曾在字节跳动Seed Infra团队实习。



事实上,AI模型生图和画画,大家都熟。

敲一句提示词,模型要跑几十步迭代,一点点把噪声擦掉,慢慢浮现图片。效果很美,但代价摆在明面上:速度慢,算力开销大。

而无论是AI研究人员,还是开发者、行业人士、普通用户都一直有个梦想:不再抽卡、一步生成。

不需要来回迭代,神经网络向前跑仅仅一次,直接吐出完整成品图像。

这件事很难。

早期的一步模型,很容易出现崩坏:细节糊掉、物体种类丢失、色彩错乱。

为什么?不是网络本身不够强,很多时候问题不出在像素,而出在分布监督。

如今,这件事似乎有了新的办法。

这次,多个团队发表的论文当中,提出现在一套叫“分布训练”的技术路线。它放弃“生成图片和某一张真实图片像素对齐”。换了一套玩法:把图片扔进一个冻结好的编码器,变成高维空间里面的一个个点。

换句话说,利用这个技术,我们不去管单张图好不好,而是让一整批生成图片的点云分布,尽量贴近真实图片的点云分布。

这是群体层面的监督,不靠一对一的对标。

这条路线诞生了两个代表性方案。

其中,FD‑Loss,选择用单个大高斯罩住全部特征点。优点:计算简单,稳定好用。缺点:一个大袋子装所有,只能抓全局均值、整体方差。复杂数据有一大堆子模式,比如猫、狗、飞机、花,全部揉在同一个高斯里面。细粒度的多模态信息直接被抹平。相当于只看全班平均分,看不到每个小组的差异。

另一条路,Gaussian‑kernel Drifting。它走向另一个极端,不用全局大包,落到每一个样本。用核函数,让样本之间互相吸引、排斥。它可以捕捉细碎的局部结构。但代价来了:太盯着局部样本,丢失全局协方差信息。还容易踩坑——模式坍塌。部分类别的样本直接消失不见。

而新的论文当中提出了统一理论框架,适用MGFlow工具,并把分布训练这件事,拆成四个零件:采样样本、冻结编码器、分布模型、差异度量,以及研发出Wasserstein梯度流。

简单来说:我们手里有一团真实数据云,一团AI生成的数据云。两者之间存在差距。梯度流,就是告诉每一个离散的点,该往哪个方向挪,让两团云慢慢重合。



结论在于,大名鼎鼎的FD‑Loss、Drifting,不是两套完全无关的算法。它们只是这个通用框架下,选了不同的“分布模型”和“差异度量”。

  • FD‑Loss:分布模型选【单个高斯】,差异度量选【W2最优传输】
  • Drifting:分布模型选【样本核密度KDE】,差异度量选【KL散度】

以前大家把两者当成两套完全独立的手艺。现在一张图纸,把两者全部收纳进来。理论打通之后,中间档位就可以制造出来。

于是,高斯混合模型登场。

不用一个高斯全包,也不用落到每一个样本。我们使用一堆小高斯,拼在一起拟合真实特征。K个组件,各自负责一部分子模式。粒度可以自由调。这就是MGFlow的底座。

到这里会产生一个直觉:只要高斯混合组件变多,模型表达能力变强,问题就该迎刃而解。

但现实给研究组浇了一盆冷水。

仅仅把模型表达能力变强,不够。

当各个子模式分得很开的时候,会出现“分数失明”现象。哪怕AI生成出来,某一类物体数量严重偏少。梯度更新信号会变得微弱。算法看不到这个bug,不会主动把样本补回来。于是依旧模式崩塌。光靠增加组件数量治标不治本。

问题根源不是“描述能力不够”,是样本分配和组件之间缺少硬性约束。

研究团队的解法分成两块。

第一块:LP线性规划质量约束分配。

预先拿真实图片,离线训练一套固定不动的高斯混合。每个小高斯组件,天然占有固定的权重,代表这一类模式本该占多少比例。

训练每一批生成样本的时候,不交给网络自己随便分配样本到各个组件。而是解一个线性规划。强制:分给每个组件的样本总质量,严格等于真实世界该模式的权重。

打个比方:现实世界图片里面,猫占5%。那训练过程,分配给“猫组件”的样本总量就强制锁死5%。不许偷偷缩水。

杜绝“某一类模式悄悄变少消失”。

第二块:配对组件更新。

做完分配之后,不让各个组件自由乱配对。生成的第k个组件,就老老实实对齐真实侧第k个组件。

论文实现了两条分支路线:MGFlow‑W2:基于最优传输W2距离做配对;MGFlow‑KL:基于KL分数场做配对更新。

不要全局笼统的场,要组件对组件的定向修正。再配合分层多分辨率策略,可以同时启用K=1、4、16多种组件配置,粗粒度全局约束和细粒度局部约束一起生效。

还有一处工程细节值得一提。

过去,FD‑Loss损失归一化会跟着当前生成质量动态变化。生成效果烂的时候,难拟合的特征维度权重会被自动压低。

而MGFlow改用真实训练集与验证集之间固定差值作为归一化系数,不给模型摆烂的机会。



做文生图任务的时候,还有额外巧思:不单单匹配图像特征。把图片特征和文本特征拼接到一起,直接对齐图文联合分布,以此强化提示词和画面的匹配度。

实验测试当中,分成两大块:ImageNet类条件生成,以及基于FLUX.2 4B的文生图。

ImageNet当中,MGFlow‑KL、JiT‑H,对比FD‑Loss基线,分别提升23%、38%。



有意思的一点:MGFlow‑KL压根没有直接去优化评价指标,但在没有参与训练的编码器特征空间,同样拿到更好分数。

重头戏是FLUX.2 4B文生图。原版FLUX.2‑klein,需要4步迭代。GenEval分数0.794,PickScore21.85。

团队拿MGFlow做后训练,只训练1000步,得到纯一步版本。开启图文联合匹配之后,GenEval冲到0.900,PickScore 21.98。

换句话说,利用新的技术跑后训练,只跑一次的AI生图,效果超过原版四步模型。

这是相当有冲击力的结果。

当然,它不是没有代价,比如组件K不能无限加大,否则计算开销分高,而且统计估计会不稳。所以实际工程中,要在表达能力和计算开销之间做权衡。

而这篇工作的启示在于,很多AI生成领域的进步,并不来自把网络堆得更大。

这篇论文就是典型例子:主干模型完全不变,改动全部落在损失与分布匹配逻辑上。对已经训练完成的生成大模型,做后训练微调,就可以把多步模型改造为高性能一步生成器。

一步生成,不是要彻底干掉迭代式扩散。而是打开另一扇门,意味着低延迟场景、端侧部署、大批量快速渲染,单步推理会拥有巨大实用价值。

过去大家在做分布训练的时候,容易陷入二选一:要么全局大高斯,要么纯样本级核方法。MGFlow在两者中间,踩出一条可行通路。

未来,我们或许会看到越来越多经过类似方案改造的生成模型,一张prompt输入,网络只算一次,高质量图像立刻输出。

所以,AI生图不一定非要几百万的成本,有时候,一步其实就能完成生图任务。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
菲律宾弹劾案检方愿撤回银行记录采纳请求,只要莎拉承认三件事

菲律宾弹劾案检方愿撤回银行记录采纳请求,只要莎拉承认三件事

梁濆爱玩车
2026-09-28 20:14:50
还打什么?41金中国拿30金,港台再拿3金,日韩抢8金抢到头破血流

还打什么?41金中国拿30金,港台再拿3金,日韩抢8金抢到头破血流

刘哥谈体育
2026-09-28 00:02:49
为何说梅毒病是最脏的病?医生详细讲解,隔着屏幕都感到头皮发麻

为何说梅毒病是最脏的病?医生详细讲解,隔着屏幕都感到头皮发麻

医学科普汇
2026-09-21 18:20:11
派出所深夜来电:你爸伤了人,我:我爸已经死了8年了

派出所深夜来电:你爸伤了人,我:我爸已经死了8年了

罪案洞察者
2026-01-31 09:29:16
孙俪这篇写给刘欢的悼文,看完直接破防了。

孙俪这篇写给刘欢的悼文,看完直接破防了。

荆楚寰宇文枢
2026-09-27 20:51:35
裴轶是北理工最受学生欢迎老师,还入选法学会“青年英才”培养计划,是金子哪里都会发光

裴轶是北理工最受学生欢迎老师,还入选法学会“青年英才”培养计划,是金子哪里都会发光

汉史趣闻
2026-09-29 09:29:11
4颗止痛药撑完最后一战!林雨薇深夜宣布退役,真相太心酸

4颗止痛药撑完最后一战!林雨薇深夜宣布退役,真相太心酸

老塕是个手艺人
2026-09-29 07:38:03
西方媒体直呼"可怕":中国正在成为第一个能消灭沙漠的国家

西方媒体直呼"可怕":中国正在成为第一个能消灭沙漠的国家

一簌月光
2026-09-15 04:10:08
日本:引进中国人,韩国人,甚至越南人都可以,但绝对不引进印度人和穆斯林!

日本:引进中国人,韩国人,甚至越南人都可以,但绝对不引进印度人和穆斯林!

步论天下事
2026-09-28 10:50:23
国企下场收二手房!看懂底层逻辑,别稀里糊涂当了接盘侠

国企下场收二手房!看懂底层逻辑,别稀里糊涂当了接盘侠

流苏晚晴
2026-09-15 12:18:56
亚运会丨第20届亚洲运动会·看点(9月30日)

亚运会丨第20届亚洲运动会·看点(9月30日)

新华社
2026-09-29 22:49:23
“酱油大王”走下神坛?昔日百亿帝国,如今一家三口成了老赖

“酱油大王”走下神坛?昔日百亿帝国,如今一家三口成了老赖

花小猫的美食日常
2026-09-24 04:56:29
36年后再丢冠!刘国梁被骂上热搜,他到底给国乒埋了多少雷?

36年后再丢冠!刘国梁被骂上热搜,他到底给国乒埋了多少雷?

曹老师评球
2026-09-29 22:19:16
法国两老人首次来中国旅游,回国后邻居问:中国真的这么好吗?

法国两老人首次来中国旅游,回国后邻居问:中国真的这么好吗?

千秋历史
2026-06-04 19:26:07
女子骗钱不还向AI“求教”,如何避免成为诈骗犯?AI“支招”她依样画葫芦,结果是:坐牢

女子骗钱不还向AI“求教”,如何避免成为诈骗犯?AI“支招”她依样画葫芦,结果是:坐牢

法网恢恢
2026-09-29 22:28:02
继刘涛高圆圆翻车后,董璇《征途》宋美龄一出,观众直呼选角太差

继刘涛高圆圆翻车后,董璇《征途》宋美龄一出,观众直呼选角太差

陈述影视
2026-09-28 22:28:27
国务院安委办:今年烟花爆竹旺季安全生产形势复杂严峻,安全监管任务十分艰巨

国务院安委办:今年烟花爆竹旺季安全生产形势复杂严峻,安全监管任务十分艰巨

澎湃新闻
2026-09-29 20:02:03
准备买车的一定要忍住!因为明年的油车和电车或将迎来史诗级升级

准备买车的一定要忍住!因为明年的油车和电车或将迎来史诗级升级

白米饭怎么吃
2026-09-29 07:43:39
曝交易!你好,杜伦!奇才冲击NBA争冠格局

曝交易!你好,杜伦!奇才冲击NBA争冠格局

篮球实战宝典
2026-09-29 19:37:51
穿衣自由还是博眼球?孙千活动造型引发网友两极讨论

穿衣自由还是博眼球?孙千活动造型引发网友两极讨论

星Xin辰大海
2026-09-28 15:54:20
2026-09-30 03:08:49
智能纪元AGI
智能纪元AGI
专注科技、科学、商业产业报道
2644文章数 10613关注度
往期回顾 全部

科技要闻

82亿美元收购!李飞飞将与苏姿丰并肩做AI

头条要闻

空姐双膝下跪“还被要求踹一脚” 现场画面流出

头条要闻

空姐双膝下跪“还被要求踹一脚” 现场画面流出

体育要闻

石雨豪:亚运金牌与背后的十年

娱乐要闻

赌王四房婚礼,何超琼带三房成员现身

财经要闻

央行调整完善若干货币政策工具

汽车要闻

搭华为乾崑ADS 5/设计风格换新 2027款纵横G700售30.49万起

态度原创

本地
时尚
健康
公开课
军事航空

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

老板,我的脑子好像忘在家里了

洗脸越勤,痘痘反而越多?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗最高领袖最新发声:伊朗现已变得独立、强大

无障碍浏览 进入关怀版