北京
让文本模型写一句话，它逐词写一遍就完了。让视频模型生成五秒钟的猫趴在窗台上，它要把整段画面画很多遍。每一稿都比上一稿少一点噪点。
就是这一件事，撑起了视频生成的大部分GPU开销。这里不谈数学，只讲清三件事：工作量是怎么叠上去的，可调的杠杆在哪，以及为什么每根杠杆都得配一次质量检查。这段话是说给那些为开源视频和图像模型付费、做规划或跑推理的人听的。
从噪声里画出来
今天大多数开源图像和视频模型是扩散模型，或者用流匹配方法训练的近亲。两者的工作方式在这里是一样的：从纯噪声出发，也就是一块和输出同形状的随机雪花点，然后在提示词引导下每次去掉一点噪声，直到只剩画面。每去一次噪声，就是一个去噪步。这个思路可以追溯到2015年的一篇论文，DDPM在2020年证明了它能生成高质量图像。
每一步都是一次对大神经网络的完整前向计算。网络不会只碰画面里变化的那部分，它每次都把整段片段读一遍、重写一遍。
所以一段片段的成本大致是：单次前向的成本 × 每一步的前向次数 × 步数。多数步骤只需要一次前向，引导（下文会讲）会让它变成两次。后面说的所有东西，都落在这三项里的一项上。
乘数一：步数
步数少，前向次数就少。常见两条路。一是更好的采样器，用同一个模型迈更大的步子，DPM-Solver是公开的例子。二是蒸馏，走得更远：工程师训练第二个模型，用比原模型更少的步数达到同样的结果，渐进蒸馏是这种方法早期公开的案例。
蒸馏有代价。蒸馏出来的模型是另一个模型，可能丢掉细节、光线或多样性。信它之前，得拿它的输出和原模型比一比。
乘数二：每次前向的规模
一段片段太大，没法直接按原始像素处理。所以现代模型在更小的潜空间形式里干活：训练时一个编码器学会把片段压进这个形式，生成时模型在小空间里去噪，最后由解码器把结果还原成帧。潜空间扩散让这套做法成了标准。
在网络内部，潜空间片段会沿空间和时间被切成小块，每块变成一个token。当前很多视频模型是处理这些token的Transformer，DiT论文最早为图像引入了这个设计。
关键在这里：注意力是Transformer里让每个token看到其他所有token的部分，它的计算量随token数量的平方增长，而前向的其余部分只是线性增长。片段token数翻倍，注意力的工作量大约变成四倍。所以片段越长、越清晰，注意力在每次前向里占的份额就越大。一段更长或更清晰的片段，成本远高于又短又小的片段，原因就在这。
控制单次前向规模的杠杆有三个：
- 注意力内核。内核是在GPU上完成一次计算的小程序，按GPU显存的工作方式写出来的注意力内核，花在搬数据上的时间更少，FlashAttention是公开的例子。
- 更低的精度。权重和激活值可以用更少的位数表示，搬的数据更少，新GPU每秒能做的低精度运算也更多，FP8格式的论文描述了其中一种常见选择。
- 算子融合。两个各自读写显存的小步骤，常常能合成一个只读一次的步骤。
这三样都会轻微改变模型内部的数值，所以每一样也都需要做质量检查。
乘数三：引导能让每一步翻倍
很多模型用无分类器引导来更贴近提示词。常见形式下，每一步要跑两遍网络：一遍带提示词，一遍不带，然后让模型从不带的那边朝带的那边移动。这会让每一步的工作量翻倍。有些蒸馏模型不需要引导，也就省掉了第二遍，同样，输出可能因此改变。
步骤之外的部分
步骤通常占了大部分工作量，但不是全部：
- 解码器。最后一步之后，解码器把潜空间片段还原成帧。对又长又清晰的视频，解码器可能把GPU显存用尽，分块解码、一次处理一部分，能把占用控制在预算内。
- 文本编码器。它把提示词变成数字，每段片段只跑一次，相比去噪步骤耗时很少，但它的权重可能占用大量显存。
- 加载模型。大视频模型的权重能占掉GPU的一大块，每个请求都重新加载会浪费大量GPU时间，所以服务栈会让模型常驻、保持热态。
该带走什么
如果你为扩散推理付费，对任何一套配置问三个问题：
- 每份输出要多少步，模型是否经过蒸馏以减少步数？
- 每次前向有多大，按帧数、分辨率和精度算，注意力内核是否匹配这块GPU？
- 引导开着吗，这个产品真的需要它吗？
每个答案都指向一根杠杆，每根杠杆也都会改变输出。这就是为什么每一次提速都要和原模型的输出做对比。这也是Deep Variance在做的事：为生产环境的扩散负载搭建自动调优的推理栈，针对实际运行它的GPU调每个模型，并把每项改动拿去和原模型比对。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
