无需外貌，凭骨架识人！南洋理工首发「3D骨架行人重识别」全景综述

新智元报道

【新智元导读】3D骨架行人重识别通过分析人体骨骼结构和运动模式，实现无需外貌的精准身份识别。此技术隐私友好，计算效率高，适用于安防、医疗和机器人等领域，尤其在复杂环境中更具优势。南洋理工大学团队发布了首篇系统综述，全面总结了其发展与应用前景。

在安防监控、医疗健康和具身智能等场景中，目标身份的精准识别始终是机器视觉领域的核心技术。

传统基于外观/图像的行人重识别模型依赖人脸、衣着、颜色纹理等特征来进行识别，但在换装或暗光等复杂真实场景下，识别性能往往大幅衰减甚至失效。这类方法通常需要高质量图像输入、对外观敏感且计算成本高，更引发隐私担忧。

在此背景下，基于3D骨架的行人重识别（SRID）技术应运而生。

当前主流的深度传感器或姿态估计算法可以将行人简化为一个只有几十个关节点的「火柴人」，这种人体表示所需数据量小、隐私友好、对视角变化不敏感且不受外观干扰。

每个人的骨骼物理结构比例（如身高、臂长、腿长）和长年累月形成的运动步态模式（如步幅、步频、关节角度等运动参数）都可是独一无二的生物特征信息。通过对骨架序列的深度特征提取，AI可实现高效、隐私地识别目标。

图1. 3D骨架行人重识别（SRID）任务概览

从时间线上看，首个使用手工特征的SRID研究可以追溯到2014年。

图2. SRID研究的起源与技术发展时间线

南洋理工饶浩聪博士所在研究团队是该领域的先驱探索者之一，于2020年提出了首个基于深度学习的骨架行人重识别范式。

如今，他们从全局视角出发，发布了该领域首篇系统性全景综述。目前，该综述已被国际人工智能顶会 IJCAI 2026 接收，相关研究资源已全面开源。

论文链接：https://arxiv.org/pdf/2401.15296

资源仓库： https://github.com/Kali-Hac/3D-SRID-Survey

三大建模范式实现「看骨识人」

综述将现有的AI模型 「读骨」技术精炼为三大核心建模流派：

• 手工特征建模（传统派）：靠人类专家手动计算测量学属性（如骨骼长度）、几何属性以及步态的时空参数（如步幅、速度）来分辨不同人。代表性工作包括Matteo Munaro等人(ICRA 2014) 提出的13个关键骨架描述子等。

• 序列建模（时序派）：把人的连贯动作姿势看成一串可以解码和编码的序列，用 LSTM 等时序模型直接从原始骨架序列中寻找姿态演变的模式和步态运动的语义。代表性工作包括Haocong Rao等人(TPAMI 2022) 提出的自监督步态编码框架CAGEs等。

• 图建模（关系派）：基于人体关节的物理或运动连接，把人体表示为一张动态「拓扑图」 ，重点让AI模型学习身体部位之间的相互关系和协同联动，比如步态模式里的手足的协同模式。代表性工作包括CTR-GCN (ICCV 2021)、SM-SGE (ACMMM 2021)等。

图3. SRID模型的系统分类法结构图，涵盖骨架建模、学习范式、评估基准及未来挑战

轻量隐私友好

赋能跨学科应用

综述在 BIWI、IAS-Lab、KS20、CASIA-B、3DGait等基准数据集上进行了横向测评。最新的基于深度学习的SRID模型（如 Hi-MPC 和图模型 MoCos）的性能显著超越了传统的手工特征方法。其计算开销极低，如SimMC仅0.15M参数量，可潜在地部署于智能手机、传感器等算力受限的边缘设备上。

图4. SRID模型在准确率与计算效率（参数量与GFLOPs）上在KS20上的多维对比

图5. 不同基准数据集上各方法的性能(Rank-1准确率)、参数量及特性对比

SRID 技术的终点，绝不仅仅是安防领域的行人识别与监控。得益于其隐私友好、轻量、对视角变化不敏感且不受外观干扰等核心优势，综述指出了它在三大核心前沿方向的跨界潜力：

• 医疗健康（AI数字医生）：人的步态与生理心理状态高度相关。预训练的 SRID 模型可被迁移用于预测帕金森综合征等神经退行性疾病，甚至辅助进行精神状态评估和中风康复评估。文章在 3DGait 数据集上的案例研究证明了这些模型的巨大潜力。

• 具身智能（机器人之眼）： SRID 可作为智能体Agent的基础语义链接。不需要处理复杂的背景图像，Agent只需「看懂」骨架，就能进行虚拟化身运动重定向、精准预判以人为中心的意图，实现丝滑的手势交互控制。

• 安防认证：骨架特征对外貌变化具有极强的鲁棒性，这将有助于在保护隐私的前提下进行跨模态身份验证，并在缺乏视觉细节的场景中支持异常事件检测。

图6. SRID在医疗健康、具身智能与安防认证三大核心领域的跨学科应用图谱

综述的第一作者饶浩聪博士在南洋理工大学百合卓越联合研究中心（LILY Research Centre）担任新加坡国家人工智能计划博士研究员（AI Singapore PhD Fellow）期间完成这项工作，通讯作者为新加坡工程院院士、IEEE Fellow、南洋理工大学苗春燕教授。

参考资料：

https://arxiv.org/pdf/2401.15296

编辑：LRST