CVPR 2024 | 平滑与精度协同的人体运动优化算法

北京邮电大学与EVOL创新团队共同提出人体姿态序列后处理算法SynSP，对姿态估计算法识别到的人体姿态序列进行优化。该方法发现了序列优化目标：平滑和精度，两个优化方向之间的差异可以为算法提供序列的置信度信息，进一步地优化识别到的人体姿态序列。该论文 SynSP: Synergy of Smoothness and Precision in Pose Sequences Refinement 已被 CVPR 2024 接受。

论文题目： SynSP：Synergy of Smoothness and Precision in Pose Sequences Refinement 论文链接： https://github.com/InvertedForest/SynSP/blob/main/main.pdf

一、背景和动机

利用现有的人体姿态估计算法估计人体姿态序列往往会遇到各种误差。人体运动优化算法旨在优化来自姿态估计算法的人体姿态序列，同时确保最小的计算开销和延迟。之前的研究主要集中在两个任务目标之间的平衡，即平滑和精度，然而我们注意到，这两个目标之间的紧张关系可以提供关于预测姿态序列的额外置信度线索。反过来，这些提示能够帮助网络优化低质量的人体姿态。为了利用这种质量信息，本文提出一种运动优化网络SynSP，在人体运动序列优化任务中实现平滑和精度的协同。

下面我们具体探究两个任务目标（平滑和精度）与置信度之间的关系。一个人体运动优化算法有两个loss：精度loss_p和加速度loss_a，分别用于监督人体姿态关节点位置和关节点加速度，所以我们可以通过调整这两个loss的权重比例来使得网络侧重精度或者平滑。

阐述 图一：动机

图一(a)的横坐标就代表了这一loss权重比例，纵坐标分别是MPJPE error（精度误差）和Accel error（加速度误差），那么在横坐标为0.5和5的两个位置，网络的输出就分别侧重平滑和精度。此时，我们可以获得这两个输出的差值，即图一(b)的蓝色线条Diff2。我们同时可以得到估计人体姿态序列与真实序列的差值，即Diff1，代表真实的输入误差，可见Diff1和Diff2有一定的相关性。

我们在Human3.6M和3DPW数据集上计算了Diff1和Diff2之间的Pearson相关系数。基于我们的实验，Pearson相关系数的均值为0.48(大于0.3视为相关)，说明两个有不同侧重的输出序列之间的差值(Diff2)可以在不知道真实值的情况下作为预测序列质量的指标。

二、方法

我们使用了transformer结构来处理时序序列信息，主要由两个阶段：Base Stage和Refinement Stage组成，首先，在Pose Similarity Encoding I的指导下，Base Decoder可以同时利用个体信息和全局信息生成两个分支，分别偏向于平滑和精度；接下来，这两个分支可以生成姿态质量编码，以及更精确的Pose Similarity Encoding II，这进一步帮助Refinement Decoder生成优化结果。

Pose Similarity Encoding计算了输入的多个姿态之间的相似度。它主要帮助多视角情况下的辅助定位，利用相似的姿态来修复当前的姿态。此外，这一编码也降低了对错误姿态的注意力。

3.2 Base Decoder

我们在Base Decoder最后一层并行了两个decoder layer来输出带有不同侧重的优化姿态序列，用于产生置信度信息。

3.3 Refinement Decoder

Pose Similarity Encoding可以被Base Decoder产生的优化姿态序列进一步优化。我们使用了Pose Quality Encoding和优化后的Pose Similarity EncodingII对Refinement Decoder的注意力进行了引导，对序列进行进一步的优化。

三、实验结果

SynSP以8窗长的输入长度在多个数据集中实现了SOTA的性能，目前的方法多是32或者100+的窗长，此外SynSP还通过并行运算加速了一些算法的处理速度，大大降低了后处理的延迟。

四、总结

SynSP利用置信度信息，在人体运动优化领域中以最低的时延、最小的窗长实现了SOTA的性能。除了这一领域外，目前大多数任务存在具有一定对抗关系的优化目标，通过这一对抗关系让网络对输入数据进行一定的置信度评估，进而利用这一信息去优化输出，也是我们后面的探索方向。

EVOL创新团队介绍 赵健，中国电信人工智能研究院多媒体认知学习实验室（EVOL Lab）负责人、青年科学家，西北工业大学光电与智能研究院研究员、博导，博士毕业于新加坡国立大学，研究兴趣包括多媒体分析、临地安防、具身智能。 共发表CCF-A类论文60余篇，含一作T-PAMI×2（IF: 24.314）、IJCV×3（IF: 13.369），第一发明人授权国家发明专利5项。相关技术成果在百度、蚂蚁金服、奇虎360等6个科技行业领军企业得到应用，产生了显著效益。曾入选中国科协及北京市科协“青年人才托举工程”，主持国自然青年科学基金等项目6项。曾获吴文俊人工智能优秀青年奖（2023）、吴文俊人工智能自然科学奖一等奖（2/5，2022）、新加坡模式识别与机器智能协会（PREMIA）Lee Hwee Kuan奖、ACM Multimedia唯一最佳学生论文奖（一作，1/208，CCF-A类会议，2018），7次在国际重要科技赛事中夺冠。 担任北京图象图形学学会理事，国际知名期刊《Artificial Intelligence Advances》、《IET Computer Vision》编委，《Pattern Recognition Letters》、《Electronics》特刊客座编辑，VALSE资深领域主席，ACM Multimedia 2021分论坛主席，CICAI 2022/2023领域主席，CCBR 2024论坛主席，中国人工智能学会/中国图象图形学学会高级会员，“挑战杯”大学生科技作品竞赛评委，中国人工智能大赛专家委委员等。 GitHub主页： https://zhaoj9014.github.io 学院主页： https://iopen.nwpu.edu.cn/info/1252/4626.htm

llustration From IconScout By Delesign Graph

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（

www.techbeat.net

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈