火遍TikTok的JK姐妹花，竟然是UE+AI制作的三渲二？！

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

最近TikTok上火了一对日本JK双胞胎姐妹花，姐妹俩能火速出圈的原因→舞蹈实在是太过软萌可爱，看着看着心都化了；其二，她们背靠庞大的二次元军团！

是的！这对名叫HinaHima的姐妹花是动漫人物，是日本KaKa Creation公司去年11月推出的动漫TikToker项目的主角，随着两姐妹跳舞系列视频的发布，也收获了不少关注。

在制作这些跳舞视频时，背后团队KaKa Creation还利用到了Stable Diffusion AI。

最值得一提的是制作过程中，KaKa Creation在确保生成大量高质量内容的同时,还解决了AI使用中可能产生的版权问题。

KaKa Creation是一家利用AI来制作动画以及提供内容服务开发的公司，其目标是利用AI技术赋能创作者,拓展创作的可能性。

这对JK双胞胎姐妹的形象，由知名动画《Love Live! Nijigasaki High School Idol Club》的角色设计师横田拓己操刀，在制作动画的过程中尝试引入虚幻引擎(Unreal Engine)和AI技术。

为了避免版权和抄袭问题，实现“清白制作”，KaKa Creation团队自主开发了名为LoRA的学习模型，来记录特定角色细节，并在此基础上确立了一套行之有效的AI驱动动画制作流程。

下面就让我们一起来看一下，这对萌翻一众网友的姐妹花是如何诞生的吧。

利用AI的动画制作流程

01

KaKa Creation公司之所以启动这个"双胞胎TikToker"项目,目的之一是利用AI技术来减少动画制作的工作量。

如今动画创作变得越来越贴近大众生活,将AI技术引入到动画制作，也许会进一步推动这种趋势,让动画创作变得更加民主化和大众化；因此，他们希望通过这个项目来实践AI在动画制作中的应用。

但要制作一部完整动画作品太过庞大和复杂，难以全面尝试AI技术，最终他们选择了在TikTok上发布简短的舞蹈动画视频。

经过一番对如何将AI技术融入数字化动画制作流程的探索后，KaKa Creation决定在后期制作环节引入AI技术。

先用3D角色制作舞蹈动画,舞蹈动作使用动作捕捉，然后使用AI工具加工成手绘画作的风格。由于将3D场景与最终的2D画面合成时,调整的成本很高，而恰好Stable Diffusion在控制角色物体变形和抖动方面都非常出色，它可以在3D画面转化为手绘画作风格过程中既保证质量又降低制作成本。

使用AI的工作流程是：在Maya中创建基础资产，在UE中构建场景渲染后,使用Stable Diffusion进行画面风格加工。

资产准备和整体制作过程

02

将异常情况降至最低

主要使用到的制作工具是Maya、Unreal Engine和Stable Diffusion，在项目启动后,角色制作和各阶段的技术验证是同时进行的。

负责角色模型制作的坂本圭司表示，由于需要用AI进行后期加工，所以与通常的模型制作相比，需要尽量地减少模型中的细节元素。在忠实再现角色原始设计的基础上,添加一些控制动作的设置；但表情部分，只制作了一些最基本的表情形态,避免过于复杂的模型细节影响AI后期加工的效果。

在测试阶段,KaKa Creation团队也得到了一些反馈,对部分内容进行了调整（比如测试时发现头发和裙子等部位的运动过于剧烈导致抖动，为了更好地表现大幅度动作，减少了节点数量）。

至于为什么要使用UE,技术人员也给出了解释：虽然目前动画制作现场很少引入UE，但其在模拟运动、灯光等方面的功能非常出色；且团队可以利用AI自动修正其存在的物体穿模等问题。

另外，为了在利用AI技术的同时还能规避侵犯版权的风险，KaKa Creation还自主开发了名为"LoRA"的学习模型,可在Stable Diffusion内使用,能够记录和学习特定角色的细节特征。

为了避免训练数据不足导致质量受限，除了利用手绘的插画外，还准备了500多张3D模型渲染图作为训练数据集,实现了在不破坏模型形状的情况下进行风格转移。

横田拓己负责角色设计

以下是由横田拓己为双胞胎中的姐姐Hima设计的角色形象。

专为AI加工设计的角色模型和纹理

通常创建模型时，为了不让它在动画中看起来太单薄，都会使用“赘肉”建模。而在这个项目中，因为后期会用到AI处理，因此采用了直线式轮廓，同时也为了防止修改时出现皱纹等问题，去除了凸起细节。

另外，纹理也只制作了颜色和固定阴影，面部只保留了基本的表情和嘴巴形状。

Hina模型

Hina头发部分骨骼驱动

Hima模型

Hima头发部分骨骼驱动

纹理

纹理

FacialTarget

UE中的模拟

1.Chaos RBAN (Rigid Body Animation Node)的基本物理设置界面。Mass(质量)和Damping(阻尼)的调整占了页面大部分区域，但也为每个单独的身体(为计算而简化的3D网格)设置了不同的质量值。

2.导入动画数据后的时间线界面。在模拟效果还不理想时,可以在这里进一步调整和补偿。

3.Animation Blueprint的一部分。在使用Chaos RBAN系统进行基础物理模拟后，团队还大胆使用了一个名为Kawaii Physics的插件，是一个能够提供“伪物理”效果的第三方插件， 比基础的物理模拟系统有更多的拓展和控制能力。

虽然这一做法并不常规， 但在物理模拟和动画方面仍有很大的实验空间。

4.Movie Render Queue（用于渲染动画和视频的任务管理系统）。 在这里，可以通过输入额外的特殊参数,从而对角色进行一些变形处理。

Stable Diffusion后期加工

因为是用3D渲染的CG作为输入,再由Stable Diffusion生成AI风格的动画帧,所以工作过程中主要使用了Stable Diffusion的"img2img"（以图像作为输入,再基于该输入图像生成新的AI图像的功能）选项卡下的批量处理功能。

在测试和调试过程中,需要对文件进行各种操作（比如查看、移动、重命名等）,因此在工作时总是显示文件资源管理器界面。此外，团队还使用了自制的Python工具,用于简单制作mp4文件、重命名文件等。

使用Stable Diffusion生成动画的演示范例

保证质量的学习模型【LoRA】

在这个项目中，KaKa Creation团队为LoRA模型提供了500多个不同的学习数据（包括这些角色的不同视角、动作姿势等细节数据）,让LoRA模型充分学习和记录下这些角色的独特特征。

通过大量类似的学习数据输入,LoRA模型能够在AI生成图像时,更准确地重现和保持角色的完整形象,防止出现形体失真或是局部特征被破坏的情况,从而保证了生成内容的质量。

LoRA模型概念图

除了质量保证,团队采用这种大规模记录学习模型的方式,还有一个重要作用,那就是避免AI生成的内容与现有作品过于相似,从而规避了侵犯版权的风险。

通过LoRA模型对自家角色特征的大量学习记录,AI生成的内容不仅能够高度还原自家角色,而且不会抄袭或模仿现有其他作品的元素,也就确保了AI应用的原创性和合规性。

减少动画帧之间的抖动

在使用AI将3D渲染内容转换成2D风格的时候，团队遇到了一大挑战，就是如何减少动画帧之间的抖动。

他们综合运用LoRA模型和Stable Diffusion的其他功能和参数设置,试图最大程度保留细节并减少抖动,但由于这两者之间存在一定矛盾和权衡,仍需要多次试验和调整,以寻找最佳平衡点。

这里已经进行了抑制抖动的设置，但从结果来看仍然有些不尽人意

从这个角度来看生成的画作风格更接近于CG渲染画面

最近呈现的效果

可能会有一些轻微抖动，但更能营造出类似传统手工上色动画的手绘画风

好啦，以上就是JK双生姐妹花HinaHima背后的故事~

如果你们意犹未尽，友情指路两姐妹的TikTok↓

https://www.tiktok.com/@hinahimaa

end

这样的动画/绑定师，花多少钱能请来？TQL

爱了爱了！RTX4090上UE5实时渲染的虚拟人