NeurIPS 2021 | Garment4D：如何从点云序列中重建衣物

随着元宇宙概念的兴起，与人体相关的研究在这两年也是非常受关注。在人体相关的研究中，衣物，由于其形状与动态高度复杂，所以一直都是研究的焦点与难点。

本文聚焦于衣物的三维重建，明确了衣物重建的五大要点，从而选择了点云序列作为输入，并依此设计了衣物数据集的注册，以及衣物重建管线。

本文相关论文Garment4D: Garment Reconstruction from Point Cloud Sequences已发表于NeurIPS 2021，数据集与源代码现已开源。

作者丨MMLab@NTU

在人体相关的研究与应用中，衣物一直都是绕不开的课题。衣物的重建技术对于元宇宙的一些应用，例如虚拟试衣，虚拟现实/增强现实，或是影视中的视觉特效都是极为关键的。本文作者认为，一个实用且符合工业界图形管线的衣物重建算法，需要符合下面的五个要点。

1.无歧义：重建的衣物在尺寸与形状上不能有歧义。通常来说，从单目图片进行三维重建都会被歧义性所困扰，所以本文选择从点云输入中进行重建。

2.可分离：重建的衣物需要能与人体分离。最近一些通过隐函数进行人体与衣物重建的方法虽然能够对人体与衣物进行相对细节的重建，但是衣物与人体无法分离，这就限制了进一步的应用空间。

3.可解释性：重建的衣物需要有强的可解释性，也即每个片面的定点都要能找到与某个模板模型的对应关系。这个性质对于重贴纹理等下游应用是关键的。而大部分的隐函数方法都不具备这样的性质。也因此，本文选择基于参数化衣物模型进行重建。

4.宽松衣物重建：不仅重建贴身衣物，而且需要能重建裙子等宽松的衣物类型。之前的工作例如SMPL+D系列，通常只能重建衬衫裤子等贴身衣物，对于裙子这样的宽松衣物束手无策。但是在现实应用中，衣物的种类繁多，绝不仅限于贴身衣物重建。

5.动态重建：捕捉衣物的动态形状的能力。之前的工作仅限于单帧衣物的重建，忽略了衣物在与人体和环境的互动过程中的动态的重建。这对于高质量的衣物重建也是极为关键的。因此本文选择从点云的序列当中去重建衣物，且捕捉衣物的动态。

1

参数化衣物模型与数据注册

基于上述五个要点，本文选择构建参数化的衣物模型来辅助重建，以获取可分离性与可解释性。本文提出的参数化衣物模型包含三个部分：

1. T Pose下的衣物建模（Canonical Garment Model）。与常用的人体参数化模型一致，本文也采用PCA降维算法对数据集中对齐后的T Pose衣物的顶点坐标进行降维压缩，最终每个衣物的形状都可以用一个低维向量表示。

2. 差值线性混合蒙皮（Interpolated Linear Blend Skinning）。接着需要将T Pose的衣物形变到不同姿势下。以往的工作通常会取最近邻的人体面片顶点的混合权重作为衣物面片顶点的混合权重，但是考虑到我们需要对于宽松衣物进行重建，因此本文提出对于最近的K个人体面片顶点的混合权重进行差值。

这样蒙皮（skin）之后的衣物面片能够避免出现如下图所示的锯齿状。

3. 偏移量预测（Displacement Prediction）。参数化衣物模型的最后一步就是对于蒙皮（skin）之后的面片的每个顶点最终再预测一个偏移向量。因为如上图所示，差值线性混合蒙皮算法虽然能够一定程度上使衣物形变到对应姿势下，但是还会存在穿模等情况，并且也无法捕捉动态，因此本文在这里加入了偏移量预测，以增加模型的灵活程度。最终整个参数化人体模型可以由如下公式表示

基于这样的参数化衣物模型，大量未对齐的衣物数据集需要经过注册的处理才能适用于本文的框架。如下图所示，每一种衣物都被对齐到对应的模板模型上，再经过三角重心差值算法（barycentric interpolation）来重新网格化（re-mesh）。最终进行PCA降维，得到注册后的衣物数据集。

2

衣物重建管线

如上图所示，本文提出的衣物重建管线与参数化衣物模型相对应，分为两个部分，第一个部分为T Pose下的衣物重建（Canonical Garment Reconstruction），第二部分为不同姿势下的衣物重建（Posed Garment Reconstruction）。

对于第一个部分，本文首先对输入的点云进行语义分割，得到需要重建衣物的点云后直接回归PCA参数，得到T Pose下的衣物。第二部分，首先对于第一步得到的衣物进行差值线性混合蒙皮得到一个最终重建衣物的初始化，接着通过图卷积网络预测每个顶点的偏移量。最终通过transformer综合时序信息来优化动态重建效果。

3

实验结果

本文在大型衣物生成数据集CLOTH3D，以及真实数据集CAPE上进行实验，结果如下所示。Garment4D在所有衣物种类，数据集，指标上都超过了基线方法。

为了让大家更直观地理解Garment4D的重建管线，下面给出了重建中每个步骤的可视化

4

总结

本文提出了一个全新的基于点云序列的衣物重建方案，达成了无歧义，可分离，可解释，可重建宽松衣物，可捕捉衣物动态的五个目标。并且通过实验证明了其对于基线方法的优势，以及在真实数据上的有效性与鲁棒性。本文代码与注册后的数据集均已开源，欢迎大家前去试用～

项目主页：https://hongfz16.github.io/projects/Garment4D.html

论文链接： https://www.aminer.cn/pub/61a884c06750f82b17638b57

数据集与代码：https://github.com/hongfz16/Garment4D

写在最后

Garment4D是由MMLab@NTU（主页：https://www.mmlab-ntu.com/）团队提出，本实验室现有博士后职位空缺，有GAN或者neural rendering方面经验者优先，可随时入职，欢迎志同道合的小伙伴加入我们！

有意者请联系：ziwei.liu@ntu.edu.sg