【IEEE T-RO】关键点引导的无人机6D位姿估计及域自适应

现有的无人机视觉检测通常关注于2D图像检测，本文提出了一种新型无人机6D姿态估计方法，命名为MAV6D。

该方法能够检测目标无人机的3D边界框并估计它的3D位置和3D姿态。无人机的姿态与它的运动状态动态耦合，能够帮助我们更好地估计其运动。

由于目前仍缺乏公开可用的无人机6D位姿数据集，本文提出了一种自动化数据收集方法并提供了一个高质量的无人机位姿数据集； 为了提高检测方法在不同环境下的适用性和鲁棒性，本文还 提出了一种基于自训练的无监督领域自适应方法。

本文近期已被国际机器人顶刊IEEE Transactions on Robotics录用发表。

01

本文主要贡献

下面我们来详细介绍一下本文的贡献。

贡献1：关键点引导的无人机6D位姿估计方法

我们所提出的MAV6D方法由两部分组成。第一部分是利用提出的质心点引导的关键点定位网络（见图2）来定位预设3D关键点在图像中的2D投影位置；第二部分是联立2D-3D关键点对，利用PnP方法计算出目标无人机相对于观测相机的3D位置和3D姿态。

值得注意的是，无人机的预设3D关键点需要我们提前定义，如图3所示。对于任何给定的四旋翼无人机，定义了九个关键点，包括一个质心点和八个角关键点。

图 3 预定义的无人机3D关键点

贡献2：无人机位姿数据集及实验

我们提出了一种自动化数据采集系统，该系统由运动捕捉系统（如VICON）、单目相机和无人机组成。每个组成部分坐标系定义如图4所示。为了生成准确的位姿标签，必须精确校准VICON、相机和无人机之间的坐标系转换关系。我们采用重投影误差最小化方法来计算相机到无人机的变换矩阵。通过优化从VICON获取的3D点坐标和这些点在图像中的2D投影坐标之间的关系，来获得相机坐标系到无人机坐标系的精确变换矩阵。

利用标定好的坐标系，使用大疆Phantom 4和大疆Mavic 2作为目标无人机，我们收集了超过57000张图像和对应的位姿，它们来自129个视频片段。数据集的部分样本如图5所示。目前，该数据集已开源。

图4 自动化数据收集系统

接下来，利用收集的数据集来评估方法性能，将所提方法与YOLO6D、ROPE和EfficientPose进行比较。从表1中可以看出，所提方法具有更好的表现。

贡献3：基于自训练的域自适应方法及实验

为了使无人机6D位姿估计方法在不同环境中都能正常工作，我们提出了一种基于自训练的无监督域自适应方法，见方法1。该方法主要由混合域数据构建、伪标签生成和关键点定位网络重训练三部分组成。它的核心思想是通过在关键点定位网络的训练数据中不断添加目标域的伪标签数据，使网络的知识能够从源域迁移至目标域，从而实现在目标域中估计无人机的6D位姿。

从图6中可以看出，经过该方法处理后，MAV6D方法在室外环境中的性能有了显著提升。另外，我们还在室外测试了光照强度、遮挡、动态背景、多目标等多种因素对MAV6D方法性能的影响，效果见图7-图10。

实验结果表明：1）光照强度不低于2200 lx时，方法性能影响不大；2）MAV6D在动态背景和多无人机的情况下均能取得较优异的性能；3）当遮挡超过50%时，MAV6D的估计结果会逐渐偏离真值。

方法1 基于自训练的无监督域自适应方法

图6 有无域自适应方法处理后的 MAV6D 方法性能 对比

图9 动态背景情况下的检测效果

图10 不同光照强度下的检测效果

贡献4：位姿测量增强目标运动估计

在前期的实验中我们发现，利用线性卡尔曼滤波方法估计和跟踪目标无人机的状态（包括速度和位置）时，如果仅使用3D位置信息，那么估计结果会出现明显的响应滞后。

为了解决这个问题，我们提出了一种基于位姿的卡尔曼滤波方法。该方法将无人机6D位姿估计方法获得的姿态信息作为真值引入到目标无人机的系统状态转移方程中，增加了卡尔曼滤波方法的非线性表达能力。

采集自真实环境中的实验数据验证了该方法的有效性，见图11。该方法不仅有效解决了线性卡尔曼滤波方法在跟踪高速运动无人机的状态时出现的响应滞后问题，而且还提高了状态估计精度。这有利于实现高机动的无人机集群。

图11 KF与Pose-KF的位置和速度估计延时对比

02

总结

在这项研究工作中，我们已经针对已知无人机的6D位姿估计问题开展了深入研究。不仅提出了无人机6D位姿估计方法和域自适应方法，而且还公开了自动化位姿数据收集方法和数据集。然而，在许多应用中，还存在估计未知无人机6D位姿的需求。目前，该问题还未得到充分探索。欢迎感兴趣的朋友一同在该问题上继续深耕。

论文相关信息

论文信息：Y. Zheng, C. Zheng, J. Shen, P. Liu and S. Zhao*, "Keypoint-Guided Efficient Pose Estimation and Domain Adaptation for Micro Aerial Vehicles," IEEE Transactions on Robotics, vol. 40, pp. 2967-2983, 2024.

数据集链接：

https://github.com/WestlakeIntelligentRobotics/MAV6D

论文IEEE官网链接：

https://ieeexplore.ieee.org/document/10530350

doi号：10.1109/TRO.2024.3400938