SIGS优硕风采 | 吕伟杰：基于关键点的参数化零件堆叠场景6D位姿估计研究

编者按

2022年，清华大学深圳国际研究生院共有52篇论文荣获清华大学优秀硕士学位论文，其中29篇为我院专职教师指导。本系列推送将展示我院获奖同学的科研成果风采。

论文中文标题：基于关键点的参数化零件堆叠场景6D位姿估计研究

论文英文标题: Research on 6D Pose Estimation for Parametric Shapes in Stacked Scenarios Based on Keypoints

作 者：吕伟杰

指导教师：曾龙

学 科：机械工程

学习感言：细节决定高度，尽力而为。

获得荣誉：2022年清华大学优秀硕士学位论文、2021年度清华大学综合优秀一等奖、2020年度清华大学深圳国际研究生院综合优秀一等奖、第七届清华大学深圳国际研究生院专业实践三等奖

研究背景/选题意义/研究价值

智能制造技术的进步带动了机器人相关产业的蓬勃发展，工业领域对智能机器人的需求也越来越大。但在生产制造流程中，目前生产线大部分是人工生产线，其中大量重复性、机械性的劳动，如数控机床加工、产品装配等环节的零件上料和下料工作，大多是人工完成的。随着视觉感知技术的进步和人口红利的减弱，机器人产业规模越来越大，推动人工生产线升级为自动化和柔性化生产线。基于机器视觉的场景理解技术和机械臂抓取技术是实现自动化与柔性化生产线的核心技术，让基于视觉引导的机械臂代替工人完成大量重复性、机械性和危险性的工作。

图1 参数化零件及堆叠场景

同时，工业领域的非结构化作业环境，如零件堆叠场景，对3D视觉引导的机械臂抓取技术提出了更高需求。如图1所示，工业零件一般是参数化零件，即零件由一组形状参数描述的参数化模板实例化获得。不同于传统非参数化零件的抓取，机械臂在抓取参数化零件时，通常仅知道零件所属的参数化模板，而其具体的参数值是未知的。所以，堆叠场景中零件之间的严重遮挡，以及同系列参数化零件尺寸的多样性和未知性特点，都给机械臂抓取任务带来了巨大的挑战。

因此，针对参数化零件堆叠场景的6D位姿估计任务，在学术层面上，本文提出了基于关键点重构的参数化零件6D位姿估计网络，并构建了开源的参数化零件堆叠场景工业数据集；在工程层面上，本文将位姿估计网络和数据仿真技术，初步应用到基于3D视觉的工业零件柔性上下料装置上，可完成真实堆叠场景的零件6D位姿估计任务，有助于推动人工生产线升级为柔性生产线。

主要研究内容

首先，本文提出了基于稀疏关键点重构的参数化零件6D位姿估计网络（ParametricNet），如图2所示。该网络在预测零件6D位姿时，可以通过学习一个参数化模板的部分零件，来泛化到同模板下未知的参数化零件。同时，本文构建了一个开源的参数化零件堆叠场景工业数据集（Parametric数据集），如图3所示，为参数化零件6D位姿估计研究提供了数据支撑和度量标准。在公开的Siléane数据集上，ParametricNet在平均精度（AP）指标中，比最优方法平均提升了14%。在Parametric数据集上，ParametricNet的参数化零件学习和泛化能力在平均精度均值（mAP）指标中，分别比最优方法平均提升了7%和9%。

图2 ParametricNet网络结构

图3 Parametric数据集

其次，本文针对参数化零件堆叠场景的实际抓取问题，对ParametricNet进行了关键点选择优化和关键点预测优化。关键点选择优化和关键点预测优化可以分别解决关键点和关键点组的几何唯一性问题，以及关键点预测不精准和混淆问题。在Parametric数据集上，优化后的ParametricNet的参数化零件学习和泛化能力均提升了5%。在参数化零件堆叠场景的实际抓取实验中，ParametricNet可以引导机械臂高效完成未知参数化零件的抓取和分拣，具有很强的抓取泛化能力，如图4所示。

图4 堆叠场景实际抓取实验

最后，本文将ParametricNet初步应用到基于3D视觉的工业零件柔性上下料装置上。主要搭建了面向实际工业生产场景的位姿估计系统，包括离线仿真训练平台和在线真实推理平台。应用效果表明，基于仿真数据训练的ParametricNet，可以泛化到真实场景的语义分割、个体分割、关键点预测和零件6D位姿估计任务中，位姿估计精度和耗时都基本满足工业零件柔性上下料的要求。

论文主要创新点

1、本文提出了基于关键点重构的参数化零件6D位姿估计网络（ParametricNet），具有不错的非参数化物体学习能力、参数化零件学习和泛化能力，有效解决了参数化零件堆叠场景的6D位姿估计问题。

2、本文构建了一个开源的参数化零件堆叠场景工业数据集（Parametric数据集），为参数化零件6D位姿估计研究提供了数据支撑和度量标准。

3、本文深入分析和优化了ParametricNet在实际工业零件堆叠场景上性能，并初步验证了其在基于视觉的工业零件柔性上下料装置上的效果，具有较好的工程应用前景。

学位论文相关学术成果

1、发表论文

[1] Zeng L, Lv W J, Dong Z K, et al. PPR-Net++: Accurate 6-D Pose Estimation in Stacked Scenarios[J]. IEEE Transactions on Automation Science and Engineering, 2021, 1(1): 1-13.

[2] Zeng L, Lv W J, Zhang X Y, et al. ParametricNet: 6DoF Pose Estimation Network for Parametric Shapes in Stacked Scenarios[C]. IEEE International Conference on Robotics and Automation, 2021: 772-778.

2、发明专利

[1] 曾龙, 吕伟杰, 张欣宇. 面向工业零件6D位姿估计的方法及计算机可读存储介质: 中国, CN112017226A[P]. 2020-12-01.

[2] 曾龙, 吕伟杰, 陶佳琪, 等. 物体位姿识别方法、装置及计算机存储介质: 中国, CN112164115A[P]. 2021-01-01.

[3] 吕伟杰, 杨国润, 王哲. 一种数据匹配方法、装置、电子设备以及存储介质: 中国, CN113705669A[P]. 2021-11-26.

来源|培养与学位办

素材提供|吕伟杰

编辑|林洲璐

审核|陈超群

排版|何柳

中文微信公众号：清华大学深圳国际研究生院

英文微信公众号：Tsinghua SIGS

新浪微博：@清华SIGS