分享丨机器人辅助穿衣过程中用户上肢运动实时追踪方法

随着学会的队伍不断发展壮大，分支机构的发展愈发完善，丰富多彩的分支活动与学术分享也频频呈现。疫情期间，CAAI认知系统与信息处理专委会积极倡导学会“疫情防控不放松，学习充电不间断”的理念，邀请年轻学者结合本专委会自身领域研究精选相关文献进行研究与再解读，与大家分享《机器人辅助穿衣过程中用户上肢运动实时追踪方法》。

1、论文背景

机器人可以为残疾人或老年人的日常生活提供极大帮助，比如说机器人辅助穿衣。然而穿衣过程中，用户上肢的突然动作可能导致穿衣任务的失败，甚至为用户带来危险。使用视觉传感器实时追踪用户上肢运动（user posture tracking）非常困难，因为衣服和机器人都对用户造成了遮挡。例如，使用开源骨骼追踪框架（OpenNI Skeleton Tracker [1]）和深度学习方法OpenPose [2]，均无法实施准确的追踪用户上肢运动。

为了解决上述问题，我们提出了一种多传感器信息融合的人体骨骼实时追踪方法。本文研究主要包括以下三点：第一，我们通过高斯隐变量模型（Gaussian Process Latent VariableModel，GP-LVM），将运动上肢的高维运动映射至低维度的隐变量空间中（latent space）。该空间可以针对不同用户的不同上肢残疾特点，建立个性化用户辅助模型（personalized user model）。第二，我们在隐变量空间中使用贝叶斯网络（Bayesian networks），该网络融合了机器人和用户之间力的信息，以及机器人末端位置信息，进而实时追踪人体上肢运动。第三，我们使用层级多任务控制（hierarchical multi-task control)，使机器人既可以基于力的信息自动改变运动轨迹从而保证用户安全，又可以完成穿衣任务。

图1 Baxter机器人辅助残疾人穿衣

2、系统概述

如图2所示，我们要求健康用户穿着绷带来模拟上肢残疾情况。我们将采集用户上肢随机运动的数据，将其映射至二维隐变量空间中建立个性化用户模型。在该二维空间中，我们采用基于概率的粒子滤波方法（particle filter），完成多传感器信息融合（机器人与用户间力的信息，机器人末端执行器位置信息），从而实现用户上肢运动的实时准确追踪。在我们之前的研究中 [3], 我们将机器人穿衣动作描述为两个层级任务：高层级任务即机器人根据力的信息调整运动轨迹，从而实时减小用户的受力情况，确保用户的舒适与安全；低层级任务即通过PD控制完成从瘦-肘-肩关键的穿衣轨迹，该轨迹由本文的用户上肢追踪方法实时更新。

图2 系统概括图

图3展示了完整的穿衣过程。当用户在穿衣过程抬起胳膊时，机器人也相应改变轨迹来减少受力情况，并实时运行至新的肘关节和肩关节位置。

图3 机器人穿衣过程

图4 展示了在低维隐变量空间内粒子滤波的过程。我们根据力和位置的信息为每个粒子赋予新权重，从而循环更新。图中颜色越浅代表权重越高。

图4 低维隐变量空间内粒子滤波

3、实验分析

本文首先对隐变量空间个性化用户模型进行分析，如图5所示。该模型有一下3个特点：第一，该模型可以描述不同用户的不同上肢残疾特点。图5里面不同颜色即代表不同残疾情况的运动空间；第二点，低维空间极大减小了粒子滤波的计算量；第三点，该个性化模型权衡了用户残疾上肢运动的可达性 (reachability) 和用户偏好（preference）。

图5 低维空间个性化用户模型图

本文还进行了一些列对比试验，其中包括了与只用视觉方法追踪的误差比较，如图6所示。本文所提出的方法产生了3.3cm的误差，是视觉追踪误差的六分之一。

6 误差分析与对比

本文在20名用户上完成了相关实验测试。每个用户进行50次试验并模拟不同的残疾类型，如图7所示。

图7 20名用户实验验证

4、分析与结论

本文提出了一种利用多传感器信息在低维隐变量空间中实时追踪用户运动的方法。该方法为在物理人机交互（physical human-robot interaction）中，当人体运动被严重遮挡而无法用单一视觉信息完成追踪的问题，提供了一种解决方案。

参考文献：

[1] http://wiki.ros.org/openni_tracker

[2] Cao, Zhe, et al. "Realtimemulti-person 2d pose estimation using part affinity fields." Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition. 2017

[3] Zhang, Fan, Antoine Cully, andYiannis Demiris. "Personalized robot-assisted dressing using user modelingin latent spaces." 2017 IEEE/RSJ International Conference on IntelligentRobots and Systems (IROS). IEEE, 2017.

该文得到了英国皇家工程学会的资助

论文链接：https://ieeexplore.ieee.org/abstract/document/8685136

专家介绍

张帆

现为英国帝国理工学院PersonalRobotics Lab博士生，分别于2014和2016年在哈尔滨工业大学机器人技术与系统国家重点实验取得学士和硕士学位。博士期间研究课题为机器人辅助穿衣，方向包括人体运动追踪，衣服的识别与抓取等。课题导师是Yiannis Demiris教授，英国皇家工程学院前沿技术主席（Royal Academy of Engineering Chair in Emerging Technologies）。博士期间在TRO，ICRA，IROS等国际学术期刊和会议发表学术文章，并被泰晤士报，彭博社等报导。

“CAAI认知系统与信息处理专委会” 2014年成立，每年组织中国科学热点论坛、机器人工程赛、人工智能热点研讨会等多项特色活动，成功召开了多届认知系统和信息处理国际会议(ICCSIP)。第五届认知系统和信息处理国际会议(ICCSIP 2020)将于2020年12月18-20号在中国珠海横琴岛召开，希望推动认知、心理、智能、机器人等领域的融通交汇。此外，还将特别设立科技抗疫专题，欢迎各界人士依托此平台为全球科技抗疫贡献力量。

欢迎注册中国人工智能学会认知系统与信息处理专业委员会：

http://app01.cast.org.cn:7001/cast/reg.jsp?sid=E66

同时2019年创办了“Cognitive Computation and Systems”国际期刊，目前已经出版了四期，并正式被EI Compendex检索，且无需版面费。

期刊投稿网址：

http://digital-library.theiet.org/content/journals/ccs