网易首页 > 网易号 > 正文 申请入驻

训练快4倍!ArcFlow用「非线性」魔法实现FLUX/Qwen推理40倍加速

0
分享至



在生成式 AI 的浪潮中,我们见证了从 Stable Diffusion 到 FLUX、Qwen-Image 等大规模扩散模型的画质飞跃。然而,这种飞跃并非没有代价。为了从纯噪声中 “雕刻” 出清晰的图像,这些模型通常需要进行40 到 100 步(NFE)的迭代去噪。这种延迟使得模型很难真正应用于实际的实时生成或大规模服务。

于是,“少步生成”(Few-step Generation)成为了必争之地。对于原本教师模型曲折的生成轨迹,目前的少步加速方案(如 Progressive Distillation, Distribution Matching 等)都在试图做同一件事:把弯路拉直,一步到达终点

然而,原本高维空间的生成轨迹极其复杂,强行 “拉直” 会导致轨迹上的几何失配(Geometric Mismatch)。这直接导致了少步生成时的结构崩坏和细节丢失。

有没有一种方法,既能快,又能顺应原本蜿蜒的生成轨迹?

复旦大学与微软亚洲研究院带来的ArcFlow给出了答案:如果路是弯的,那就学会 “漂移”,而不是把路修直。



  • 论文地址:https://arxiv.org/abs/2602.09014
  • 项目代码:https://github.com/pnotp/ArcFlow

一、 困境:为什么 “走直线” 难以学习?

在扩散模型中,教师模型(Pre-trained Teacher)的生成过程本质上是在高维空间中求解微分方程并进行多步积分。由于图像流形的复杂性,教师模型原本的采样轨迹通常是一条蜿蜒的曲线,其切线方向(即速度场)随时间步不断变化。

为了加速,现有的蒸馏方法(如 Progressive Distillation, Instaflow 等)尝试将这个轨迹压缩成一步直线抵达。它们的逻辑是:既然走曲线慢,那就训练学生模型,把起点(噪声)和终点(图像)之间连成一条直线。如果学生能学会走这条直线,那推理不就只需要一步了吗?

这种策略带来了两个致命问题:

1.几何失配(Geometric Mismatch):教师模型原本的权重是基于曲线轨迹训练出来的。强行让学生模型去拟合一条直线,相当于让它 “背叛” 教师原本的生成先验。这种几何上的不匹配,导致学生模型很难学,或者学出来的东西结构崩坏。

2.学习成本高:为了强行扭转轨迹,学生模型往往需要进行全参数微调(Full Fine-tuning)。这不仅训练慢、显存开销大,而且容易导致 “灾难性遗忘”,破坏大模型原本优秀的泛化能力。

所以我们经常看到:很多蒸馏后的模型,虽然速度快了,但生成质量不稳定,甚至对复杂的 Prompt 理解能力下降。

如果不强制拉直,我们还能怎么快起来?

二、 洞察:速度场不是随机的,它是连续的

ArcFlow 团队重新审视了教师模型的轨迹,根据 ODE 的理论规律,在相邻的时间步之间,去噪的速度方向并不是跳跃式变化的,而是存在极强的相关性。这就像一辆赛车在过弯道,下一秒的方向和速度,很大程度上取决于当前秒的状态和惯性。既然教师模型的轨迹本身就是连续变化的,为什么我们不直接去建模这种 “变化规律”,而不是强行把它改成直线呢?

如果我们能找到一种参数化方法,能够描述这种 “弯曲” 的趋势,那么学生模型就不需要费力去把路拉直,而是可以顺着教师的势能,用极少的步数 “滑” 向终点。

基于这个核心洞察,ArcFlow 诞生了。



三、 ArcFlow 的三大杀手锏



1. 动量参数化(Momentum Parameterization):给生成过程加个 “惯性”

为了捕捉上述的 “速度连续性”,ArcFlow 引入了物理学中经典的 “动量”(Momentum)概念。

在传统方法中,模型在每个时间步独立预测速度。而在 ArcFlow 中,我们将速度场建模为多个连续动量过程的混合。通俗来说,模型不仅预测当前的 “速度”,还预测了一个 “动量因子”(Momentum Factor)。这个因子描述了速度随时间衰减或增强的趋势。这就好比我们知道了物体的初速度和受力情况(动量),哪怕不看中间过程,我们也能通过物理公式直接预判它未来的轨迹是弯曲的还是笔直的。

这一设计让 ArcFlow 能够地构建非线性轨迹。在 2-4 步的极少步数下,这种非线性轨迹比生硬的直线能更精确地贴合教师模型的原始路径。

2. 解析求解器(Analytic Solver):数学层面的 “零误差”

既然已经用 “动量公式” 完美定义了速度随时间的演变规律,那么这条轨迹的积分就是可解析的

也就是说,我们可以推导出一个闭式解(Closed-form Solution)。

这意味着,ArcFlow 不需要像传统求解器那样通过离散步去拟合轨迹。它只需要一次前向传播,就能通过数学公式,精确无误地计算出任意时间间隔后的终端状态。

这种数学层面上的 “零误差” 积分,是 ArcFlow 能够实现高精度流匹配的关键。它消除了传统蒸馏方法中的离散化噪声,让生成的图像细节清晰。

3. 极简训练策略:<5% 参数的 LoRA 微调

这是最让开发者兴奋的一点。

正如前文所说,传统方法因为要 “强行拉直” 轨迹,不得不重写整个模型的参数。而 ArcFlow 选择 “顺势而为”,它的非线性轨迹天然契合教师模型的预训练分布。

因此,ArcFlow 不需要破坏教师模型原本的参数。实验证明,仅需通过 LoRA 微调不到 5% 的参数(主要是为了适应新的动量预测头),就能实现完美的轨迹对齐。

这种策略带来了两大红利:

  • 训练收敛极快:相比 TwinFlow 等全量微调方法,ArcFlow 的收敛速度快了超过 4 倍
  • 保留教师先验:最大程度继承了 FLUX/Qwen 原本庞大的知识库,不像其他蒸馏模型那样容易出现崩坏或画质劣化。

四、 实验数据

团队在Qwen-Image-20BFLUX.1-dev这两个目前最强的开源模型上进行了验证。结果表明,ArcFlow 在速度、质量和效率上实现了的平衡。

1. 推理速度

从原始的 50-100 步迭代,直接压缩至2 步(2 NFE)。在相同硬件上,实现了超过 40 倍加速。

2. 画质表现

在 Geneval、DPG-Bench 等基准测试中,ArcFlow 在 2 步设定下的 FID 和语义一致性得分大部分优于或持平目前的 SOTA 方法。





视觉对比:

从论文展示的效果图来看,在同样的 2 步推理下,其他线性蒸馏方法生成的图像容易出现背景模糊、物体结构扭曲(如折断 / 重影的剑、模糊的背景),尤其是在不同的初始噪声下,其他方法容易出现生成模式相似、多样性坍缩的情况。而 ArcFlow 生成的图像不仅清晰度高,而且保留了教师模型原本的丰富细节和画面多样性。



3. 训练效率

得益于更精准的轨迹拟合和 LoRA 策略,ArcFlow 的训练曲线令人赏心悦目。在相同迭代步数下,ArcFlow 的 FID 分数和画面质量大幅领先。对于没有大规模算力的实验室或个人开发者来说,这大大降低了复现和定制的门槛。





4. 更多效果展示







五、 总结

ArcFlow 提出了一种新的少步蒸馏的解决思路:相较于 “把曲线拉直” 的 “蛮力”,不如顺应原本的模型特征空间,用参数去描述其复杂性。通过动量参数化解析求解器,ArcFlow 避免了不稳定的对抗性目标函数和全参数训练,从而实现了更快的收敛速度和更高效的蒸馏过程。这为未来的高效生成模型研究提供了一个极具潜力的方向。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
男子称常遭“炸街”折磨,凌晨被吵醒刺死19岁骑行辅警一审判死刑,死者父母索赔413万法院判赔10万

男子称常遭“炸街”折磨,凌晨被吵醒刺死19岁骑行辅警一审判死刑,死者父母索赔413万法院判赔10万

大风新闻
2026-08-11 22:28:05
复旦王水牛的瓜,尺度太炸了

复旦王水牛的瓜,尺度太炸了

大张的自留地
2026-08-11 15:15:21
挥泪斩马谡!曝皇马“亿元先生”将转投曼联!德荷两大国脚“空降”

挥泪斩马谡!曝皇马“亿元先生”将转投曼联!德荷两大国脚“空降”

头狼追球
2026-08-11 18:11:13
19岁俄少女被诱骗进缅甸电诈园,拒绝从事诈骗遭殴打虐待,自称惊险游河逃入泰国;俄罗斯大使馆已介入

19岁俄少女被诱骗进缅甸电诈园,拒绝从事诈骗遭殴打虐待,自称惊险游河逃入泰国;俄罗斯大使馆已介入

扬子晚报
2026-08-11 11:23:58
打奉陪到底,中方连下3条禁令,堵死所有后路,对华鹰派急着访华

打奉陪到底,中方连下3条禁令,堵死所有后路,对华鹰派急着访华

南宗历史
2026-08-12 00:26:56
10万订单沦为 “纸面数据”?问界M6热销仅一月,销量近乎腰斩

10万订单沦为 “纸面数据”?问界M6热销仅一月,销量近乎腰斩

玩车专家1
2026-08-11 19:59:30
印尼经济崩盘,国内矛盾激化,普拉博沃铤而走险,想拿华人开刀

印尼经济崩盘,国内矛盾激化,普拉博沃铤而走险,想拿华人开刀

浯江孤舟
2026-08-11 11:02:22
震惊消息传出!穆杰塔巴恐成最短任期领袖,下任继承者引关注

震惊消息传出!穆杰塔巴恐成最短任期领袖,下任继承者引关注

老谢谈史
2026-08-12 01:01:46
“撞脸”张雪峰的烧烤老板走红不到一周,恶心一幕发生,造假被扒

“撞脸”张雪峰的烧烤老板走红不到一周,恶心一幕发生,造假被扒

別甾虛僞
2026-08-10 22:05:38
科学周刊 | 现代科技如何“解封”2300多年前的战国秦酒?淡蓝色的液体,保存有7斤多,一共检测到了2400多种化合物,味道嘛……

科学周刊 | 现代科技如何“解封”2300多年前的战国秦酒?淡蓝色的液体,保存有7斤多,一共检测到了2400多种化合物,味道嘛……

大风新闻
2026-08-11 20:12:05
154亿票房无人起身,5.7分烂片全场起立,百花奖撕开遮羞布

154亿票房无人起身,5.7分烂片全场起立,百花奖撕开遮羞布

阿废冷眼观察所
2026-08-12 03:45:30
上海暴雨,浇醒的不只是房价,更是“伪中产”的体面

上海暴雨,浇醒的不只是房价,更是“伪中产”的体面

茶韵浮生
2026-08-11 18:47:10
2026年了,为什么国家突然要再扫一年黑?

2026年了,为什么国家突然要再扫一年黑?

李博世财经
2026-08-11 09:51:22
内蒙古一辆警车价值百万,却贴着国产车标,糊弄谁呢?

内蒙古一辆警车价值百万,却贴着国产车标,糊弄谁呢?

News脑洞
2026-08-11 16:19:41
WTT瑞典大满贯:男单头号种子一轮游!莫雷加德0-3惨败止步64强

WTT瑞典大满贯:男单头号种子一轮游!莫雷加德0-3惨败止步64强

全言作品
2026-08-12 01:56:03
张雪大概率是真伤心了!德比斯8月12号就要来中国行了,他对此没有说任何一点与德比斯有可能相见互动的消息

张雪大概率是真伤心了!德比斯8月12号就要来中国行了,他对此没有说任何一点与德比斯有可能相见互动的消息

火山詩话
2026-08-11 15:49:00
女追男,当晚男开玩笑说女“腿毛扎”不欢而散,事后被告强奸,一审判8个月

女追男,当晚男开玩笑说女“腿毛扎”不欢而散,事后被告强奸,一审判8个月

不掉线电波
2026-08-11 07:35:31
伊朗最高领袖连夜签了6张任命状:71岁老将一人身兼两个关键职位,他前面两任全死于空袭

伊朗最高领袖连夜签了6张任命状:71岁老将一人身兼两个关键职位,他前面两任全死于空袭

网易新闻出品
2026-08-11 18:56:48
广东24岁美女姜小柔去世!砸观音荒地钉八字,知情人曝死因属横祸

广东24岁美女姜小柔去世!砸观音荒地钉八字,知情人曝死因属横祸

米果说识
2026-08-11 10:12:53
为什么红军到了陕北,就安全了?原因很现实,6个原因

为什么红军到了陕北,就安全了?原因很现实,6个原因

纪史行者
2026-08-10 21:21:43
2026-08-12 06:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
13733文章数 142718关注度
往期回顾 全部

科技要闻

AI大战变天:扎克伯格突然回头

头条要闻

郭兰英逝世 曾演唱《我的祖国》《南泥湾》

头条要闻

郭兰英逝世 曾演唱《我的祖国》《南泥湾》

体育要闻

NBA老顽童,抽着大麻喝着小酒告别了

娱乐要闻

“雅典娜”确认被害 细节令人发指!

财经要闻

AI泡沫的剧本,是2008年的次贷危机?

汽车要闻

闪充/天神之眼B/云辇-C 2027款海豹06售9.99万元起

态度原创

健康
家居
房产
游戏
公开课

心血管专家破解猝死八大谣言

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

突发,崖州湾又有大动作!

淘宝百亿补贴 港版PS5轻薄款降至3600元:可冲了?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版