【技术】一种无人机图像的三维表面重建方法

摘要

为解决现有三维重建方法中几何信息与辐射信息耦合程度不足，导致重建结果受动态物体和阴影影响较大的问题，提出了一种融合语义分布与神经辐射场的无人机图像三维表面重建方法。通过类别信息嵌入，将语义分布融入神经辐射场模型中，与辐射信息共同接受优化，完成语义与成像特性恢复的良性互动，实现了面向高保真三维重建和物方属性信息提取的几何-语义一体化处理。实验结果表明，融合语义分布后的神经辐射场模型，光线状态重建效果更加合理，在新视角渲染、地物属性探测与DSM重建任务中，其性能均得到了有效提升，在提高三维表面重建的同时能够更好地辅助下游任务(如动态物体检测、阴影识别)等。

引用

[1] 李力,张永生,江志鹏,等. 融合语义分布与神经辐射场的无人机图像三维表面重建方法[J]. 测绘科学技术学报, 2025, 41 (04): 372-380.

引言

本文提出一种融合语义分布图和神经辐射场的三维表面重建方法，旨在使用现有的地物识别技术为神经辐射场的构建提供语义分布先验知识，帮助后者优化各类辐射测量值。由于本文专注于在完全未知的测区进行辐射-几何测量，因此采用的地物识别算法应当具备两个条件，即标签系统的普遍适用性和算法本身的泛化性。为此，使用被广泛认可的无人机图像分割数据集UAVid [13] 作为训练集，采用Rein [14] 高效参数化微调策略训练得到的DINOv2 [15] 视觉基础模型作为图像识别基础模块，而后可对本文涉及场景图像进行预测，产生语义分布图(包括静态物体如建筑物、路面、植被以及瞬态物体如车辆等)。在得到语义分布图后，将其嵌入到神经辐射的重建过程中。嵌入过程分两个方面进行：1)光线聚类编码：旨在使每一根光线包含所属物体信息。在每一次光线采样过程中，按照每一个点所属的类别对其嵌入类别编码，使模型具备基本的跨类别识别能力。2)语义分布上下文编码：旨在采用自编码器掩码学习策略，使用专属模块试图恢复一部分被遮挡的语义分布图，从而抽取空间分布信息，并和神经辐射场的特征进行组合编码。

除此之外，由于NeRF每次只对单根光线进行处理，只能学习到局部信息，而忽略像素周围的邻域信息。为此，提出一种空间语义分布上下文编码方法来使模型在学习到局部信息的同时能够获取到邻域信息从而提升模型的辐射和集合精度。最后，本文计划采用所提方法，对其在无人机图像的辐射测量水平与DSM重建精度的提升进行验证。

主要图表

图1 本文方法实现流程图

图2 各类方法视角渲染结果对比

图3 各类方法三维重建结果对比

图4 各类辐射探测结果

结束语

本文提出了一种将语义分布与神经辐射场相结合的无人机图像三维表面重建方法。该方法首先利用视觉基础模型对测区图像进行分割，并根据无人机成像模型实现辐射场点云的采样。随后，将地物分割属性通过局部光线和上下文特征两种方式融合进神经辐射场的渲染过程中。实验结果表明，融合语义特征后，光线状态的重建效果更加合理，在视角渲染任务和三维重建任务中均表现良好，并能够输出更高质量的地物状态信息。未来，需要深入探讨地物属性的评估和利用方式，以期实现更大的应用价值。

来源：测绘科学技术学报 转自：测绘学术资讯