原画、概设、氛围参考？细说AI在游戏2D美术中的应用

以下文章来源于腾讯游戏学堂 ，作者Ocarina user6001

前言

文中将会介绍当前AI在2D美术中的应用与在游戏美术中落地使用的可能性，并收集整理了当下辅助2D美术创作流程中的一些值得关注的AI应用。希望能为艺术家和美术从业者提供更多的灵感和帮助。

一、插画自动生成

今天有很大基数的AI绘画创作者们，他们的绘画水平其实很高，他们借助AI不是为了得到一个非常具体的精细度很高的绘画成品。他们想要的其实是AI给他们提供一个思路，可能是构图上的，可能是颜色上的，可能是更加摸棱两可的画面感受，然后他们再在这些基础之上进行自己的创作。

1.1 应用场景

• 概念图辅助设计，为前期角色设计、场景概念设计、服装设计、武器设计、海报设计等提供设计参考

• 相同风格衍生作品、风格迁移等。

1.2 上手难度

• 上手难度几乎为零，以Midjourney为例(见视频)，进入Midjourney Discord社区newbies板块，输入/imagine+描述语句发送。即可快速生成预览图。

• 文章头图来自作者初学Midjourney5分钟后的成果，所有内容相关链接放在文末。

1.3 应用案例

1.3.1 Midjourney

Midjourney是Disco Diffusion的原作者Somnai所加入的AI艺术项目实验室。可以通过字段生成概念设计图，目前已开放Beta测试版，已经能做到极为细致的概念设计图。

[ 上图为创作者使用midjourney输入如下一段话生成promote: "Earthquake,tsunami, tornado, volcano eruption, destruction of city, cinematic" ]

[ 上图为创作者使用midjourney输入如下一段话生成promote: "dark fantasy thief, full body, wearing leather armor suit, belts, strap, pockets on chest, white light smoke" ]

[ 国内艺术家Whimmy的AI创作作品 ]

[ 光子工作室群3D艺术家 陈麒宇老师的作品 ]

除此之外，目前不少AI绘画还有频繁更新的midjourney社区，公开的创作思路和源代码给社区和创作者带来无穷无尽的化学反应。

社区作品：

1.3.2 Dell-e-2

DALL·E 2 是一个新的人工智能系统，可以根据自然语言的描述创建逼真的图像和艺术。

美术同学可以尝试同样风格不同位置的风格迁移，为创作提供更多灵感和布局参考

• 通过使用文字关键词绘画

[ promote: Teddy bears, mixing sparkling chemicals as mad scientists,in a steampunk style ]

• 通过为绘画生成相同风格的变体

• 通过为绘画指定位置添加相同风格物件

1.3.3 ArtBreeder

Artbreeder，前身为 Ganbreeder，是一个协作的、基于机器学习的艺术网站。使用 StyleGAN 和 BigGAN 模型，该网站允许用户生成和修改面部、风景和绘画等类别的图像。通过混合图片绘制新的图片,为创作提供可能性和不同的风格参考方向

1.3.4 NVIDIA CANVAS

把笔触变成写实风格的风景。

Nvida canvas提供了图层和类型笔刷用于通过简单的笔触绘制真实地形图片。

1.3.5 Style Transfer

将一种风格的图像内容优化为特定其他风格的内容类似ArtBreeder，将两张图像混合，可用于场景设定风格的测试及参考

1.3.6 Stable Diffusion

Stable Diffusion中可以通过输入拼合的素材图生成完整的概念设计图，可以用于辅助场景构图等使用场景。

二、资产贴图生成

2.1 应用点

• 真实图片转Substance资产

• 提高贴图分辨率

• 快速制作天空盒

2.2 生成天空盒

GauGAN360 能将粗糙的涂鸦生成真实感的8K、360 度全景图。

2.3 配合AI绘制PBR贴图

2.3.1 Dream-Texture

• 可以使用简单的文本提示创建纹理、概念艺术、背景资源等。提供了多种选项（如使用“无缝”选项创建完美平铺且没有可见接缝的纹理贴图）定制化生成贴图

• 在现有纹理上快速创建变体

尝试 AI 图像生成

2.3.2 其他实践

• 结合Photoshop、DALL-E 2\midjourney、Gigapixel AI、Substance 3D Sampler/Designer 和 Marmoset Toolbag ，MVDIA的材质艺术家演示了如何通过AI辅助，从照片图片到材质的工作流程。

三、2DAnimation 绑定与动画制作

3.1 应用点

• 2D表情动作映射，2D 动画绑定等

3.2 Nvidia Vid2Vid Cameo

该模型基于生成式对抗网络 (GAN) 绘制面部动作，以捕捉实时运动，进而将该运动传输至虚拟角色。经过 18 万个视频的训练，该网络学会了如何识别 20 个关键点以对面部运动进行建模，即编码眼睛、嘴、鼻子、眉毛等部位的位置。

3.3 Creature：Auto Rigging 2D Humanoid Characters

Creature可为2D数字内容添加流畅的动画及自动2D绑定、2D FK/IK等。其中的Smart AI Rig功能只需提供角色姿势，按一下按钮即可对角色进行绑定和设置权重。

总结

赖于深度学习的发展和AI创作社区的兴起，截至今日AI在辅助美术创作领域有了很大的进步。经过调研，我们发现AI辅助逐渐有了转化成生产力潜力，人工智能的进步带来了新算法和高性能工具，为艺术家提供了一种新的创作和反思视角，让我们看到在游戏美术中使用AI的更多可能性。它所展现的实际效果也值得被创作者和开发者们重视。

在辅助2D创作设计时，也为我们提供了另一种思路，帮助艺术家提高创作效率和从一些繁琐的工作中解放出来。或许它会成为未来创作者的一个常备工具库，总之让我们期待它能带来的更多可能性！