生物力学人体模型！开源方法HSMR精准估计人体姿态

得克萨斯大学提出了HSMR（人体骨架和网格恢复），这是第一个端到端的方法，用于从 单张图像恢复SKEL参数。HSMR在极端姿态和视角下表现出强大的鲁棒性，提供生物力学准确的人体姿态估计，同时仍能与最相关的最先进方法（回归SMPL参数的方法）匹敌。（链接在文章底部，可在线体验）

与最先进的3D人体姿态估计方法相比，HSMR模型在标准基准测试上取得了具有竞争力的表现，同时在极端的3D姿态和视角下显著优于它们。这一结果突出了使用具有现实自由度的生物力学骨架在强健姿态估计中的优势。此外，还展示了以往模型常常违反关节角度限制，导致不自然的旋转。相比之下，HSMR方法利用生物力学合理的自由度，能够更真实地估计关节旋转。

01 技术原理

HSMR的一个关键设计选择是采用SKEL参数化人体模型，该模型基于生物力学精确的骨架设计。使用基于Transformer的架构，输入为一张人体图像，模型估计SKEL模型的姿态参数q和形状参数β。在训练过程中，通过迭代更新伪地面真值，以监督模型，旨在提高其质量。为此，优化HSMR的估计结果，使其与地面真值的2D关键点对齐（SKELify）。优化输出的参数将在未来的训练迭代中作为监督目标。

HSMR的一个局限性是仅使用伪地面真值进行训练。尽管迭代优化提高了伪地面真值的质量，但网络仍然可以从更精确的3D标签中受益。此外，观察到在时间重建中存在一些不可避免的抖动。相信后续工作可以解决平滑SKEL运动的恢复问题。

02 演示效果与对比

在3D人体姿态估计方面，HSMR方法与最先进的人体网格恢复方法相匹配，同时在具有挑战性姿态和非传统视角的案例中超越了它们。此外，展示了以往SMPL回归方法未能遵守生物力学约束，导致关节角度限制被严重违反。

SMPL的关节旋转不自然的示例。SMPL使用球形关节表示膝盖，这使得像HMR2.0这样的网格恢复方法可能生成无效的旋转。可视化了来自HMR2.0的示例（浅绿色），在这些示例中膝盖以不自然的方式弯曲。相比之下，HSMR的输出（浅蓝色）则遵循了生物力学约束。

https://github.com/IsshikiHugh/HSMR
https://arxiv.org/pdf/2503.21751
https://huggingface.co/spaces/IsshikiHugh/HSMR

欢迎交流～，带你学习AI，了解AI