分享 | 通过循环中的模型拟合学习重建三维人体姿势和形状

SPIN这篇文章结合了基于回归和基于优化的方法来进行3D人体的姿态和形状估计。在训练时用一个网络回归SMPL的参数，该网络回归的结果可以作为迭代拟合模块的初始值，而迭代拟合模块的结果又可以作为前面回归模块的监督。

基于模型（model-based）的人体姿态估计方法可以分为两种：基于优化的方法和基于回归的方法。

基于优化的方法（optimization-based methods）：将参数化的人体模型（如SMPL）迭代地拟合到2D关键点上。优点是最后得到的3D人体模型可以和图片上的人体有比较精确的对齐，缺点是速度慢而且对初始化比较敏感。代表性的方法是SMPLify。

基于回归的方法（regression-based methods）：用网络直接从图像回归人体模型的参数（比如SMPL的shape和pose参数）。优点是速度快，倾向于生成比较合理的人体，缺点是不能和原图有精确的对齐，而且需要大量的训练数据。代表性的方法有HMR。

基于优化和基于回归的人体姿态估计

算法流程

pipeline

算法的整体流程如上图，其实SPIN可以看出HMR和SMPLify的组合。训练时，首先通过一个网络（类似于HMR）回归出SMPL的参数，用回归出的参数来初始化迭代拟合模块（即SMPLify），SMPLify迭代地将人体模型拟合到2D关键点上，其拟合的结果用来显式的监督前面的回归网络。两个模块可以相互促进，SMPLify拟合的结果越好，对于网络回归的监督就越好，而网络回归的参数越好，对SMPLify的初始化就越好，又有助于SMPLify拟合出更好的结果，形成了self-improving的循环。

回归网络

类似于HMR，网络回归SMPL参数 和相机参数 。

通过SMPL参数可以得到人体关节点3D坐标，从而可以得到2D投影：

通常的，可以用投影损失来进行弱监督：

优化过程

迭代拟合的过程参考了SMPLify，将SMPL模型拟合到当前图片对应的2D标注上。损失函数如下：

SPIN

如上面所描述的，在一轮训练中，一张图片经过回归网络得到模型参数 ，用其来初始化迭代拟合模块。如果像SMPLify原文里那样用平均姿态来作为拟合的起始状态，优化通常会非常慢，而这里用回归的结果作为初始值就会快上不少。拟合的结果表示为 ，则可以对网络进行3D参数的监督：

可以看到SPIN的优化过程只用到了2D标注，所以此方法可以在不使用任何3D标注的情况下进行训练（当然如果有3D标注的数据效果会更好）。相比于HMR只用2D关键点投影损失的弱监督来训练网络，SPIN利用SMPLify拟合出的结果进行显式的3D监督，显著的提升了网络回归的效果。

总结

• SPIN结合了基于优化和基于回归的方法来进行3D人体姿态估计，优化模块和回归模块形成了self-improving的循环。

• 相比于HMR用投影损失的弱监督，SPIN利用SMPLify拟合出的3D模型参数进行显式的监督可以显著提升效果。

• 可以在没有任何3D标注数据的情况下进行训练。

参考文献

1.SPIN https://arxiv.org/pdf/1909.12828.pdf

2.SMPLify https://arxiv.org/pdf/1607.08128.pdf

3.HMR https://arxiv.org/pdf/1712.06584.pdf

来源：知乎

作者：一止

｜深延科技｜

深延科技成立于2018年1月，中关村高新技术企业，是拥有全球领先人工智能技术的企业AI服务专家。以计算机视觉、自然语言处理和数据挖掘核心技术为基础，公司推出四款平台产品——深延智能数据标注平台、深延AI开发平台、深延自动化机器学习平台、深延AI开放平台，为企业提供数据处理、模型构建和训练、隐私计算、行业算法和解决方案等一站式AI平台服务。