高效又高质量！Token-Shuffle 革新图像生成方式

IT之家 4 月 26 日消息，科技媒体 marktechpost 昨日（4 月 25 日）发布博文，报道称 Meta AI 创新推出 Token-Shuffle，目标解决自回归（Autoregressive，AR）模型在生成高分辨率图像方面的扩展难题。

IT之家注：自回归模型是一种用于时间序列分析的统计方法，主要用于预测数据序列中的未来值。该模型的核心思想是当前的值与过去的值之间存在线性关系，因此可以用变量自身的历史数据来预测当前或未来的值。

在语言生成方面，自回归模型大放异彩，近年来也被广泛探索用于图像合成，然而在面对高分辨率图像时，AR 模型遭遇瓶颈。

不同于文本生成仅需少量 token，图像合成中高分辨率图片往往需要数千个 token，计算成本随之暴增。这让许多基于 AR 的多模态模型只能处理低中分辨率图像，限制了其在精细图像生成中的应用。

尽管扩散模型（Diffusion Models）在高分辨率上表现强劲，但其复杂的采样过程和较慢的推理速度也存在局限。

Token-Shuffle 的核心机制与优势

Meta AI 推出的 Token-Shuffle 方法直击 token 效率问题。它通过识别多模态大语言模型（MLLMs）中视觉词汇的维度冗余，提出了一种创新策略：在 Transformer 处理前，将空间上相邻的视觉 token 沿通道维度合并，推理后再恢复原始空间结构。

这种 token 融合机制大幅降低了计算成本，在保持视觉质量的同时，让自回归模型能够高效处理最高 2048×2048 分辨率的图像。Token-Shuffle 无需改动 Transformer 架构，也无需额外预训练编码器，操作简单且兼容性强。

具体而言，Token-Shuffle 包含 token-shuffle 和 token-unshuffle 两个步骤。输入准备阶段，空间相邻 token 通过 MLP（多层感知机）压缩为单个 token，减少 token 数量。

以窗口大小 s 为例，token 数量可减少 s² 分之一，显著降低 Transformer 的计算量（FLOPs）。此外，该方法还引入了针对自回归生成的 classifier-free guidance（CFG）调度器，动态调整引导强度，优化文本-图像对齐效果。

实验成果与未来潜力

Token-Shuffle 在 GenAI-Bench 和 GenEval 两大基准测试中展现了强大实力。在 GenAI-Bench 上，基于 2.7B 参数的 LLaMA 模型，Token-Shuffle 在“困难”提示下取得 VQAScore 0.77，超越其他 AR 模型如 LlamaGen（+0.18）和扩散模型 LDM（+0.15）。

在 GenEval 中，其综合得分为 0.62，为 AR 模型树立了新标杆。用户评估也显示，尽管在逻辑一致性上略逊于扩散模型，但 Token-Shuffle 在文本对齐、图像质量上优于 LlamaGen 和 Lumina-mGPT。

IT之家附上参考地址