AI 生成像素画3篇硬核论文：从扩散模型到精灵图自动生成

AI 生成像素画3篇硬核论文：从扩散模型到精灵图自动生成

文本概览：全文约 4,119 字，阅读约 11 分钟。

像素画最近几年的热度有目共睹。不只是复古游戏和独立开发者在用，连主流视觉设计领域也开始重新拥抱这种"低分辨率、有限色板"的美学。

但问题是：画一张高质量的像素画依然很吃功夫——每一颗像素的位置、每一种颜色的搭配，都需要画师反复推敲。

2024 到 2025 年间，陆续有几篇重量级论文把像素画的自动生成往前推了一大步。

今天我就挑三篇最有代表性的，用大白话讲清楚它们各自解决了什么问题、技术路线是什么、以及对我们实际做项目有什么启发。

一、SD-πXL：用扩散模型直接生成像素画（SIGGRAPH Asia 2024）

论文：SD-πXL: Generating Low-Resolution Quantized Imagery via Score Distillation 作者：Alexandre Binninger, Olga Sorkine-Hornung 发表：SIGGRAPH Asia 2024（东京） 论文地址：arxiv.org/abs/2410.06236[1] 代码：github.com/AlexandreBinninger/SD-piXL[2]

这是三篇里分量最重的一篇。

SIGGRAPH Asia 是计算机图形学领域的顶级会议，能在这里发表的论文，技术扎实度和实验规模都是经过严格检验的。

核心思路

SD-πXL 的思路非常直接：既然 Stable Diffusion 能生成高清照片，那能不能让它直接生成像素画？

问题的难点在于，Stable Diffusion 的生成过程是连续的浮点数运算，而像素画是离散的——每一格只能是一种颜色，不能是"介于红色和橙色之间的某种中间值"。

作者的办法是：在生成流程里插入一个可微分的量化模块。具体来说：

1. 输入：用户给一个文字提示词（prompt），或者一张参考图，再指定输出分辨率（比如 64x64）和色板颜色数（比如 16 色）。
2. 生成器：用一个 H × W × n 的张量来表示整张图，其中 n 是色板里的颜色数量。每个像素位置都有一个 softmax 概率分布，表示它属于哪种颜色的概率。
3. Gumbel-softmax 重参数化：softmax 出来的结果是连续的概率值，不能直接当作离散的像素颜色。作者用了 Gumbel-softmax 技巧，让这个过程变得"足够离散"，同时保留反向传播的能力。说人话就是：既能让模型端到端训练，又能让最终输出的像素足够"硬"、足够 crisp。
4. Score Distillation Sampling（分数蒸馏采样）：这是从 DreamFusion 等 3D 生成工作里借来的技术。核心思想是让预训练好的大模型（Stable Diffusion）充当一个"裁判"，指导生成器往"看起来更像真实像素画"的方向优化，而不是从零开始训练一个全新的生成模型。

• 文字生成像素画：输入 "a cute cat in pixel art style"，直接输出对应提示词的像素画。
• 图像转像素画：上传一张照片，转换成指定分辨率和色板的像素风格版本，同时保留原图的语义特征（比如猫还是猫，不会变成狗）。
• 自定义色板：支持 Lospec 等社区色板，也可以自己定义颜色集合。
• 实体制造：论文还展示了把生成结果用于乐高马赛克、珠绣和刺绣设计的案例。

这是目前把扩散模型和像素画结合得最自然、效果也最接近人类画师水平的方案。

二、基于 CycleGAN 的图像到像素画转换

论文：Image-to-pixel-art Translation Based on CycleGAN 核心创新：SID（Signed Inception Distance）评估指标 + 嵌套 U-Net 生成器 + 结构组合损失

这篇论文走的是另一条路线：不生成全新的像素画，而是把已有的普通照片转换成像素画风格。

CycleGAN 是什么

CycleGAN 是图像风格迁移领域的经典框架。它的核心能力是：在没有成对训练数据的情况下，学会把 A 域的图像转换成 B 域的风格。比如把马变成斑马、把夏天风景变成冬天、把照片变成油画——都不需要"同一张图的马版本和斑马版本"这样的成对数据。

这篇论文把 CycleGAN 用在了"照片 → 像素画"这个任务上。

这篇论文的创新点

1. SID（Signed Inception Distance）新指标

传统评估生成图像质量的指标（比如 FID）主要是衡量生成图和真实图在特征空间上的分布差异。但对于像素画来说，这个指标有个问题：它没办法区分"风格对了但结构乱了"和"结构对了但风格不对"的情况。

SID 指标的设计思路是：不仅看"像不像"，还要看轮廓和结构是否保持完整。这对于像素画转换尤其重要——一张风景照片变成像素画之后，树应该还是树、房子应该还是房子，不能因为风格化而把物体的边界搞糊了。

2. 嵌套 U-Net 生成器

普通 U-Net 是编码器-解码器结构，用 skip connection 保留细节。这篇论文用的是嵌套 U-Net（Nested U-Net），在原始 U-Net 的 skip connection 之间再插入额外的卷积模块，让网络能更好地捕捉多尺度的结构信息。

3. 结构组合损失

除了 CycleGAN 原本的对抗损失和循环一致性损失，作者还加入了一个专门针对轮廓完整性的损失项。简单说就是：转换前后的图像，在边缘检测器眼里应该长得差不多。

一句话评价

如果你手头有一堆普通照片或概念设计图，想批量转换成像素画风格，这条技术路线比从零生成更可控、更稳定。

三、像素画角色精灵自动生成（Graphical Models 2024）

论文：Pixel art character generation as an image-to-image translation problem 作者：Flávio Coutinho, Luiz Chaimowicz 发表：Graphical Models（ScienceDirect），2024 DOI：10.1016/j.gmod.2024.101213[3] arXiv 版本：A Missing Data Imputation GAN for Character Sprite Generation[4]

这篇论文解决的是一个非常具体的游戏开发痛点：角色精灵图（sprite sheet）的自动生成。

游戏开发的实际痛点

一个 2D 游戏角色通常有 4 个朝向（前、后、左、右），每个朝向又有行走、攻击、受伤等好几套动画。

画师画完正面行走帧之后，还要逐个画出背面、左面、右面的对应帧。

这个过程重复性极高，但又不能交给不懂像素画规律的自动化工具随便处理——不然角色会"变形"或"气质不对"。

核心思路

作者把问题重新定义为"缺失数据插补"（Missing Data Imputation）：

假设你已经画好了角色正面、背面、左面的所有帧，只剩下右面没画。那么右面的每一帧，就是"已知三面信息的条件下，缺失的那一面"。这本质上是一个条件生成问题。

论文用的是 GAN（生成对抗网络）框架，但在基础架构上做了两个关键改进：

1. 色板表示层（Palette Representation Layer）

普通图像生成网络直接操作 RGB 值。但像素画的核心特征之一就是有限色板——一张图可能只用 8 到 32 种颜色。作者在网络中加入了一个专门的层，让模型在色板索引空间（而不是 RGB 空间）里操作。这样做有两个好处：一是生成的结果天然满足"有限色板"的约束；二是模型更容易学会像素画特有的颜色搭配规律。

2. 直方图损失函数（Histogram Loss）

这个损失函数的作用是：让生成图像的颜色分布与目标域（真实像素画）的颜色分布保持一致。比如真实像素画里某种肤色出现频率很高，那生成结果里这种肤色也应该以相近的频率出现。直方图损失直接对颜色分布做约束，避免了某些颜色被过度使用或完全缺失的问题。

实验结果

论文测试了三种缺失场景：缺 1 个朝向、缺 2 个朝向、缺 3 个朝向。结果显示：当可用参考图像越多时，生成质量越接近直接用完整数据集训练的效果。

也就是说，只要你已经画了角色的一部分，AI 就能合理地"补完"剩余部分。

一句话评价

对于游戏开发者来说，这篇论文的意义在于：它证明了一个角色的多个朝向之间确实存在可学习的映射规律，

AI 可以帮画师承担大量重复劳动。

三篇论文的对比总结 维度 SD-πXL CycleGAN 像素画转换 角色精灵图生成任务类型文字/图像 → 像素画生成 照片 → 像素画风格迁移 已知朝向 → 缺失朝向补全核心模型Stable Diffusion + SDS CycleGAN + 嵌套 U-Net GAN + 色板表示层关键技术Gumbel-softmax 量化 SID 指标 + 结构损失 直方图损失 + 缺失数据插补输入prompt / 参考图 普通照片 已有角色精灵图（部分朝向）输出控制分辨率 + 色板可指定 风格可控、结构保留 自动补全缺失朝向最适用场景从零创作像素画 批量转换素材风格 游戏角色动画制作 对实际项目的启发

如果你是像素画爱好者或独立游戏开发者，这三篇论文的技术路线可以这么用：

• 概念设计阶段：用 SD-πXL 快速出大量草图，探索不同风格和色板组合，找到方向后再人工精修。
• 素材批量处理：用 CycleGAN 转换路线，把现有的概念设计图、摄影素材批量转换成像素画风格的背景或道具。
• 角色动画制作：用角色精灵图生成方案，先人工画好一个朝向的关键帧，让 AI 辅助生成其余朝向，画师再修正细节。

三篇论文的共同点是：它们都没有试图"取代画师"，而是把 AI 定位在"处理重复劳动"和"快速探索方案"的角色上。

参考资料

arxiv.org/abs/2410.06236: https://arxiv.org/abs/2410.06236

github.com/AlexandreBinninger/SD-piXL: https://github.com/AlexandreBinninger/SD-piXL

10.1016/j.gmod.2024.101213: https://doi.org/10.1016/j.gmod.2024.101213

A Missing Data Imputation GAN for Character Sprite Generation: https://arxiv.org/abs/2409.10721