【技术】肖雄武课题组攻克困难条件下无人机高精度实时摄影测量技术

肖雄武课题组攻克困难条件下无人机高精度实时摄影测量技术

近日，武汉大学测绘遥感信息工程全国 重点实验室肖雄武 副教授 课题组在 困难条件下的无人机 高精度 实时摄影测量 领域 取得多项 突破性 进展， 系列 成果 于今年 4 月和 5 月 相继在地球科学一区 T OP 期刊 IEEE Transactions on Geoscience and Remote Sensing (TGRS) 、国际摄影测量与遥感学会会刊 ISPRS Journal of Photogra mmetry and Remote Sensing (ISPRS ) 发表。

发表在 TGRS 的成果“ RTO-LLI: Robust Real-time Image Orientation Method With Rapid Multilevel Matching and Third-times Optimizations for Low-overlap Large-format UAV Images ” （ RTO-LLI ：基于 快速多层 次 匹配与三重 位姿 优化的 低重叠 / 大幅面 影像 高鲁棒性 实时定位 定向方法 ）， 肖雄武副教授 为第一作者，肖雄武 、 硕士生张子浩 为通讯作者。

无人机实时摄影测量 ， 是指 ： 在无人机飞行过程中，实时 获取中 / 高分辨率 无人机影像（例如 1 秒钟获取一张或多张中高分辨率的无人机影像） 和 GNSS 定位数据 （例如 1 秒钟获取若干次 G NSS 数据） ，并 同步使用机载处理器或云服务器 或 地面 计算单元 （如 一台千元级的 普通笔记本电脑） 在线 实时处理新获取的数据 ，实时动态完成 新获取 影像 的鲁棒 匹配、相对定向、高精度位姿解算 ，实时动态生成 三维点云、 无人机摄影测量 4D 产品 （ 要求： 从获取数据到同步解算影像高精度位姿、实时动态生成摄影测量产品，其整个过程的 处理 延时应 小于 1 秒钟 ）。实时摄影测量技术 ， 对于推动无人机 测绘 产品 的实时 / 准实时 生产 、 智能信息提取与 快速遥感制图 、 高效的大规模 实景三维构建、战场环境实时感知、数字 孪生等 领域 具有重要意义。

对于大幅面相机 ，在相同飞行高度下可以覆盖更大的区域，从而 可 提高航测效率； 而在相同作业效率要求下，大幅面相机则可以在保持同样重叠度的前提下，使无人机飞行高度更低，从而获取分辨率更高的影像。 对于 降低影像重叠度 ， 可以增大摄 影基线，从而可以显著提高无人机的飞行速度，进而大幅提升航测 效率。 因此，对大幅面和低重叠度 等困难条件下的无人机序列影像 开展实时摄影测量研究 ，具有重要的实际价值。 然而， 低重叠大像幅无人机影像的实时摄影测量处理存在诸多困难与 挑战 ， 包括 ： （1）影像 幅面大 ， 大幅 增加了 实时处理的 数据量和计算工作量，对 采用 低成本处理器 的 在线 实 时摄影测量 处理提出了挑战，需要更高效的算法。 （2）影像重叠度低 ，容易造成 匹配点对的覆盖区域少 ，实时匹配 与实时相对定向困难、精度低，给高精度的实时位姿重建 带来很大困难。总体而言，目前尚 没有 公开发布且 可靠实用的 低重叠度大幅面影像实时摄影测量 解决方案 。

为了克服上述挑战，课题组 给出了无人机实时摄影测量的基本定义 、 无人机实时摄影测量中“低重叠度”“大幅面” 的概念， 详细介绍了 SLAM 与无人机实时拼图、无人机实时摄影测量 与实时测绘 的发展 历程， 面向无人机在线实时获取的低重叠和大幅面无人机序列影像 ，创新性 提出了一种 基于快速多层次匹配与三重位姿优化的高鲁棒性实时匹配与实时定位定向方法 。 （1） 首先，设计了 一种 适用于低重叠大幅面影像的实时处理初始化方法，以确保SLAM初始化的高成功率。 （2） 其次，提出了一种由粗到精的多层次 图像匹配与三重位姿优化的高精度实时 位姿解算方法 。 （3） 最后，综合上述过程 ， 设计了一 套 面向 低重叠大幅面影像的 高鲁棒性 实时 匹配与实时定位定向系统 RTO-LLI （ RTO-LLI 系统原理，如图1） 。

图1 面向低重叠度和大幅面影像的高鲁棒性实时匹配与实时定位定向方法

大量实际测试和 实验 表明： 该 方法实现了 面向 低 重叠度 和 大幅面无人机影像的 高鲁棒性和高精度实时 位姿解算 。 主要实验结论有： ①RTO-LLI算法，在千元级低成本处理器上 能够以超过每秒1.5帧/秒的速度完成 高精度实时 位姿解算，满足无人机摄影测量任务的实时性 要求 ，其处理效率要大幅度优于 PhotoScan 、 OpenMVG 、 Colmap 等传统 离线 处理方法 ； ② RTO-LLI是唯一 一 种在四种不同类型场景下重复50次实验都能成功完成实时 处理 任务的方法，其鲁棒性远远优于其他经典SLAM方案； ③ RTO-LLI解算的轨迹误差小于轨迹长度的1/2000，平均投影误差小于1.5像素，几乎与传统离线方法相当。 ④ RTO-LLI方法 能够满足 低重叠 大幅面无人机影像 实时摄影测量的效率、鲁棒性和精度要求 。

图2 不同摄影测量算法对不同场景数据的平均处理耗时对比

图3 不同实时处理算法对多套数据在50次重复实验中鲁棒性对比

该 研究 受国家自然科学基金、国家重点研发计划、 湖北省 自然科学基金、装备智能运用教育部重点实验室开放基金 等项目的资助。

T GRS 论文链接 ： https://doi.org/10.1109/TGRS.2025.3559983

发表在 ISPRS 的成果“ A novel real-time matching and pose reconstruction method for low-overlap agricultural UAV images with repetitive textures ” （ 一种 面向 低 重叠无人机 农业重复纹理 影像的实时匹配与 高精度 实时 位姿重建方法 ）， 肖雄武副教授 为第一作者，肖雄武 、博士生屈文虎 为通讯作者。 该研究聚焦于当前农业遥感影像处理中普遍存在的“重叠率低、纹理重复、实时性差”三大技术 难题，提出了一套从 影像初始化到高精度实时 重建的全流程解决方案。

农业无人机遥感影像是精准农业的重要数据来源，具有飞行效率 高、获取灵活等优势，能够为农作物监测、病虫害防治、耕作决策等提供精细化时空信息支持。尤其在大田作物种植场景中，低重叠航线设计与影像大幅面覆盖范围广的特点可显著 减少 航飞耗时 与图像数量， 大幅 提高作业效率。然而，由于农田遥感影像常呈现重复纹理 、水体弱纹理等视觉特性，且图像之间重叠区域较少，导致现有 的 位姿估计 与 三维重建方法在此类场景下常出现初始化失败、跟踪中断与重建漂移等问题，严重制约了低成本、高效率的农业无人机应用。

具体而言， 面向低 重叠 、大幅面 农业 重复纹理 影像的实时三维重建 主要 面临三大挑战： （1） 计算复杂度高：基于SLAM 的方法依赖于提取和匹配大量特征进行姿态估计。来自大幅面 图像的高分辨率数据 显著 增加了计算负荷，使得在 计算资源受限 条件下 的 实时处理具有挑战性 ； （2） 重复纹理导致特征误匹配 ： 农田场景中常见的规律种植 行结构易 造成特征聚集与冗余，严重影响匹配鲁棒性和位姿估计精度； （3） 低重叠图像中的稀疏特征对应：视觉SLAM初始化需要足够的“具有足够视差的双视图对应”来恢复初始相机姿态和3D地图点。在低重叠农业场景（<50% 三度 视觉重叠）中，连续 帧 之间缺乏鲁棒匹配会导致初始化失败，特别是在重复纹理下。 （4）由于不依赖任何地面控制点， 在跟踪过程中，缺乏持久的三视图几何约束会进一步降低姿态估计的准确性， 容易 导致 S LAM 系统中断或 重建结果精度很低 。

针对 上述 挑战， 课题组提出了一种 面向低 重叠度 大幅面 农业遥感 影像 的实时匹配与高精度实时位姿 重建方法。该方法融合自适应地图初始化策略、全局纹理感知的关键点提取机制、多模态跟踪切换策略 与混合优化结构， 具有以下技术亮点： （1） 鲁棒性 动态初始化机制：针对农业场景中低 影像 重叠率（ 三度重叠 低于50%）导致的初始化失败问题，提出多模型并行估计与特征逐步匹配策略，显著提升 了低重叠度重复纹理影像的 初始化成功率 ； （2） 全局纹理感知特征提取算法：结合特征响应更新与 四叉树筛选 机制，增强了关键点在重复纹理中的均匀性与稳定性 ； （3） 自适应图像跟踪策略： 根据帧间匹配 质量动态切换4种跟踪模式，确保在视角剧烈变化或纹理匮乏场景下的稳健追踪 ； （4） 局部—全局混合优化机制：构建多因子 图结构 进行局部调整，同时引入面向大基线农业影像的闭环检测策略，实现长期重建误差抑制； （5） 大幅面无人机图像的实时处理：模块化并行处理框架有效地处理高分辨率无人机数据。四个并行线程——特征提取、姿态跟踪、局部优化和全局优化——提高了计算效率，而几何约束投影匹配确保了高质量的特征对应。

图4 面向低重叠度农业重复纹理影像的高精度实时匹配与实时位姿重建方法

实验结果表明 ：① 该系统是当前唯一能在 千元级低成本处理器 上实现 对 低重叠大幅面农业遥感影像 进行在线 实时处理的算法， 对低重叠度大幅面农业遥感影像的 处理速度可达 3.4 帧 / 秒， 且 实时摄影测量精度 能够保持在 较高 水平 （ 实时处理精度优于 1.1 像素 ） ，满足 无人机 农业 遥感 实时 摄影测量 需求 。 ② 相较 于 Agis oft Metashape （ 选择 Fast M ode ）， 其 处理速度 仍然 提高了约 4 倍，在满足农业遥感对实时性要求的同时，显著提升了重建完整性与轨迹精度。 ③ 与当前主流 的视觉 SLAM 系统（如 ORB-SLAM3 、 OpenVSLAM 等）和 SfM 软件（如 Agis oft Metashape 、 COLMAP 等）相比，该方法在多组 实际 农业数据集上均表现出更优的 鲁棒性与实时性，验证了其在农田监测 、 作物管理和精准农业等场 景中的应用潜力。

图5 课题组方法与几种经典实时重建算法对第二套农业遥感数据的鲁棒性测试结果对比

图6 课题组提出实时处理系统与一些经典视觉SLAM系统的精度对比

（提出系统的绝对误差，要显著低于一些现有的经典SLAM系统）

该 研究 受国家自然科学基金、国家重点研发计划、 湖北省 自然科学基金 、 湖北省楚天学者计划 等项目的资助。

I SPRS 论文 链接： https://doi.org/10.1016/j.isprsjprs.2025.05.009

据悉，肖雄武课题组近年来积极 投身实时测绘与 灾害遥感 快速 制图领域 。课题组肖雄武副教授 于 2 017-2018 年牵头攻克了无人机实时摄影测量中的“非实时传输”“难实时处理”“依赖控制点”三大难题，自主研制完成了我国首套无人机实时测绘系统 ( 及时图 ) ， 2 019 年 1 月— 3 月在武汉、北京等地相继开展了多次实际测试，能够在线实时生成测区点云和实时 D SM /DEM/DOM ， 2 019 年申请无人机实时测绘国家发明专利 3 项（均获得授权）。 2 022 年， 课题组 牵头 指导的“及时图——高精度实时 无人机 测绘系统开创者”项目获得第八届中国国际“互联网 + ” 大赛 总决赛金奖，以国赛小组第 1 名 夺金 、金奖排位赛全国第 5 名创造了武汉大学本科生组的最高成绩纪录。

来源：自然资源部测绘标准化研究所