PSHuman开源！只需一张照片，360度重建人体3D模型

3D建模技术在许多领域非常重要，尤其是逼真的全身人物建模。虽然近年来取得了巨大进步，但现有方法在通过单个摄像头的图像（正面图或结合预测的背面图）重建全身模型时，仍存在很多问题。这主要是因为单视角图像重建本身是个非常棘手的问题，加上人物的复杂遮挡（比如手臂挡住身体），使效果很难令人满意。

为了解决这些问题，香港科技大学提出了一种叫PSHuman的新框架。这个方法利用了一个多视角扩散模型的“先验知识”来更好地重建人物。如果直接用多视角扩散技术去处理单视角图像，结果往往会出现很大的几何扭曲，尤其是在生成的面部细节上。为了解决这一问题，设计了一种跨尺度扩散方法，这种方法能同时兼顾整体身体形状和局部面部特征的细节，生成的结果既细致又真实，没有几何上的畸变。（链接在文章底部）

01 技术原理

给定一张全身人物照片，PSHuman可以分两步重建出带有真实纹理的3D人物模型：简单来说，这两步结合了多视角生成和3D雕刻技术，让PSHuman可以高效地从一张照片中“雕刻”出带真实纹理的3D人物！

1. 身体+面部增强，结合SMPL-X的多视角生成：首先，系统会把输入的照片和一个预测的人体骨架模型（SMPL-X）送入一个“多视角图像扩散模型”。这个模型会生成6个不同角度的全身图片和高精度的局部面部图片，从而确保全身和脸部细节都尽可能真实。

2. 基于SMPL-X的显式人物雕刻：接下来，系统利用生成的法线图（显示3D形状细节）和颜色图（纹理细节），通过可微分的渲染技术来调整、变形和重新细化SMPL-X模型，从而得到完整逼真的3D人物模型。

现在，有很多方法会用到法线信息来做人体重建。不过，大部分方法会用隐式函数（比如MLP）来把法线特征映射成隐式表面。虽然这种方法在某些情况下有效，但经常会导致几何细节不够精细。即便像ECON里用到了BiNI，生成的几何形状依然存在明显的质量下降问题。

02 实际效果

动漫人物多试图重建：

和其他基于模板的方法一样，PSHuman也面临一个常见问题：姿态估计的误差会逐步影响后续的视图生成和重建。

https://github.com/pengHTYX/PSHuman
https://arxiv.org/pdf/2409.10141
https://penghtyx.github.io/PSHuman/

欢迎交流～，带你学习AI，了解AI