窑炉砌筑机器人轻量化耐火砖识别与定位算法研究

摘 要：针对焦炉砌筑机器人自动化抓取中耐火砖识别与定位精度要求高，砌筑现场设备计算资源有限等问题，提出了一种轻量化耐火砖识别与定位算法。首先，针对因干砌耐火砖排列紧密导致误检或漏检的问题，通过多边界特征随机合成方法增强自制耐火砖数据集，并在YOLOv8模型中嵌入全局注意力模块(GAM)和引入损失函数Wse-loUv3,以提高特征提取能力与锚框质量;其次，针对设备计算资源有限的问题，通过基于参数幅值的剪枝算法对模型进行剪枝处理，以降低模型的计算量和参数量;然后，基于二维识别信息，融合一种基于点云数据的轻量化深度信息阈值分割算法获取的定位深度信息，以完成耐火砖的精准识别与定位;最后，通过搭建焦炉砌筑机器人实验平台，进行测试验证。实验结果表明，本算法的识别平均精度均值达到98.83%,参数量和浮点计算量分别达到了0.211M和0.856G,较YOLOv8模型平均精度均值增加了0.21个百分点，参数量和浮点计算量分别减少了92.99%和89.56%。测量深度信息在800mm~1000mm时平均相对测量误差为0.28%。本算法能在保证识别与定位精度的同时，降低了设备对计算资源的要求，为焦炉砌筑机器人实现自动化应用提供技术支持。

引 言

耐火砖是一种可用于建造焦炉的关键建筑材料，单块耐火砖重量在5~40kg,一座大型焦炉的用砖型号约为760种，用砖量约为6600吨。随着现代建筑方法(MMC)中制造自动化、机器人化的发展以及建筑业的“制造业化”,实现焦炉砌筑的自动化也刻不容缓。目前，受焦炉砌筑材料与工艺所限，需采用人工提前对耐火砖进行干砌，然后才能实施自动化砌筑。由于耐火砖之间大多为“榫卯”结合，导致耐火砖之间排列紧密且边界特征不明显，容易出现将两块耐火砖识别为一体等错误，导致抓取失败，发生坠落，砸坏墙体等现象。抓取深度信息测量值会直接影响后续砖块自动化砌筑定位，需保证耐火砖不会在砌筑时挤压泥浆而影响砌筑精度或悬空掉落。同时，砌筑现场设备计算资源有限。因此，针对干砌耐火砖的自动化抓取提出一种轻量化且具有高适应性、高精确性等特点的识别与定位算法至关重要。

近年来，目标识别算法中具有代表性的是YOLO系列算法,YOLO系列算法将输入图形生成相同尺寸的网格，分别预测每个网格中物体的位置信息与置信度，通过置信度来判断目标物体是否在网格中，检测速度快。最新一代算法YOLOv84能满足一般目标物体识别的准确率与检测速度要求。但面对紧密排列的目标，要想获得更高的准确率，还需对其进行一定改进。SHUAI等基于YOLOv5提出了一种复杂背景下多物种茶苗检测与采摘点定位方法，通过引入CBAM⁶注意机制，增强模型的特征提取和特征整合能力。实验结果显示，CBAM的嵌入，使mAP@0.5提升达到3.5%。彭炫等在YOLOv5的基础上引入CPP-CBAM注意力机制和SIOU损失函数以识别复杂环境下棉花顶芽，提升了准确率。虽然改进后算法的目标识别精度高，但结构较为复杂，计算量大，对建造现场的设备计算资源提出了更高要求。LIU等9通过替换YOLOv5中部分网络结构来完成轻量化目标检测，其改进模型参数量与浮点计算量分别减少了52.53%和54%。张建华等[通过轻量化网络结构对YOLOv4模型进行改进以对工件进行识别，在检测精度略有降低的前提下，其改进模型参数量降低了87.10%。虽然YOLOv8模型已较为轻量，通过更换网络中的部分结构能更一步轻量化，但对于建造现场设备而言，还有一定改进空间。

由于砖块抓取深度对后续自动化砌筑中砖块的放置深度有直接影响，基于识别基础的精准定位是完成砌筑机器人自动化抓取的保证。席云飞等[基于双目相机，通过立体匹配方法计算出了准确的IC零件的测量深度。杨秋影等针对双目结构光相机存在的点云缺失的问题，通过一种基于单双目融合的方法对场景中的深度进行估计，并对信息融合处理，以得到最终深度估计值，测量精度高。张日红等提出使用YOLOv5s模型识别百香果采摘点，并以该点深度信息作为定位数据，其定位精度高，但其定位点较为固定，而各型号耐火砖无法提取出合适的固定定位点。基于以上基础，现通过多边界特征随机合成方法增强自制耐火砖数据集，并通过引入全局注意力模块(GAM)、损失函数Wise-IoUv3对YOLOv8模型进行改进，提升识别中的特征提取能力与识别精度，使模型能更好识别紧密排列的耐火砖;通过一种基于参数幅值的剪枝算法对模型进行剪枝，实现模型的轻量化，从而得到YOLOv8-GWL模型，以对耐火砖进行精准识别，并降低建造现场设备部署难度;通过预设焦炉砌筑机器人中四指型夹持机构抓取点位对应的抓取框，辅助抓取二维定位，避免抓取偏移;在识别与二维定位的基础上，结合一种基于点云数据的轻量化深度信息阈值分割算法，以适应各种砖型定位深度信息的获取，避免深度信息匹配错误。进而实现耐火砖的自动化识别与定位，为实现焦炉砌筑机器人自动化砌筑提供一定的支持。

整体思路

本文以紧密排列的干砌耐火砖作为研究对象，试图通过轻量化机器视觉系统对待自动化砌筑中的耐火砖进行单次扫描，即可完成快速精准的识别以及定位其在砌筑机器人中的空间位置，以实现自动化抓取。本文算法流程如图1所示。

图1 本文算法流程图

目标识别

2.1 YOLOv8改进型网络结构设计

2.1.1改进后YOLOv8网络架构

由于耐火砖识别与定位精度要求较高，且YOLOv8基于卷积神经网络(CNN)模型，但CNN本质还是在于局部处理，目标检测的冗余通道较多，对于现场设备计算需求过高。基于上述问题，本文提出基于YOLOv8模型添加注意力机制并对损失函数进行改进，再通过模型剪枝的方法对模型进行裁剪，使模型能保证精度的同时，还能大幅减小模型大小与计算量。改进后YOLOv8的结构与详细模块分别如图2与图3所示。其中，改进或增加部分使用粗边框进行标注。

图2 改进后YOLOv8网络结构图

图3 网络详细结构图

2.1.2全局注意力机制(GAM)

注意力机制可以使模型对图像中的有效信息增加关注度，抑制无效信息，对模型的特征提取能力有一定增强效果。因此对于紧密排列的耐火砖检测效果的提升，注意力机制扮演着重要角色。为此本文提出将GAM嵌入到YOLOv8骨干网络和颈部网络的最后一层后，以提高算法在低分辨率下对耐火砖目标的敏感度。GAM是一个轻量级的组件，其通过缩减信息损失并放大全局维度交互的机制来增强网络的性能。GAM模块基于CBAM模式，采用通道-空间注意力机制两个模块运作，并对其重新设计。GAM结构如图4所示。图中C、H、W分别为特征图的通道数、高和宽。

图4 GAM结构图

其中通道注意力子模块运用3D排列来保留三维的信息，并采用多层感知机(MLP)放大跨维的通道-空间依赖关系，如图5所示。其中Sigmoid为激活函数。

图5 通道注意力子模块

空间注意力子模块通过两个7×7的卷积层(conv)融合空间信息，如图6所示。相较于CBAM模块，其删减了池化过程，避免最大池化使信息量减少而对模型产生负面影响。

图6 空间注意力子模块

2.1.3 Wise-IoU(WIoU)损失函数

边界框定位损失直接决定了模型的目标定位能力。YOLOv8的边界框回归损失计算使用了CIoU,如式(1)所示。

其中：IoU为预测框与真实框的交并比，p(b,b)为预测框与真实框的欧氏距离，b与b分别为预测框与真实框的中心点坐标，c为预测框与真实框外围最小矩形框的对角线距离。β为权重参数，v为衡量宽高比一致性的参数，β、v分别如式(2)、式(3)所示。

其中w/h与分别为预测框与真实框的宽高比。

从式(3)可以得出，CIoU使用长宽比作为损失函数的惩罚因子之一，如果真实框和预测框的长宽比相同，但宽度和高度的值不同，则惩罚项不能反映这两个框之间的实际差异。且CIoU公式的计算涉及反三角函数，会增加模型算术功率的消耗。

与CIoU损失函数相比，Wise-IoU损失函数对样本质量加以分析，提出了动态聚焦机制，通过离群度来对锚框进行调节，使得脱离普通质量的低质量锚框对模型影响力减少，从而使模型泛化能力加强。综合考虑，本文的边界框回归损失使用Wise-IoUv3以增强算法对目标的定位能力，如式(4)~式(6)所示。

式中：RwloU为预测框与真实框中心点连接的归一化长度;α和δ为设定超参数;β与锚框的梯度增益相关，其随着LIou变化，使损失函数能动态调整梯度增益分配策略，避免低质量锚框产生的有害梯度，其相关尺寸如图7所示。

图7 由预测框(短虚线)与真实框(长虚线)共同构成的最小外接矩形(实线)

2.1.4模型剪枝

神经网络是一种典型的过参数化机器学习方法，其模型中包含许多冗余的参数，为了减少运行神经网络的内存限制和计算限制就要对模型进行压缩。EVCI等表明如果适当选择分层稀疏性，简单地根据权重大小对模型进行剪枝会是一种很有效的非结构化剪枝方案。例如，GALE等通过广泛的超参数调整评估了基于幅值剪枝(Magnitude-based Pruning,MP)算法的性能，结果表明，与使用更复杂重要性分数的剪枝算法相比，MP算法具有相当或更好的性能。

因此，为实现模型轻量化，本文采用一种基于参数幅值的剪枝算法对模型进行剪枝，其通过对网络中所有权重及其全局排名进行学习，并基于层自适应幅值的剪枝分数(LAMP)进行剪枝，如式(8)所示。剪枝算法原理如图8所示。

式中W为权重张量，u为索引，W[u]为索引u映射的W的项。

图8 剪枝算法原理

一旦计算出LAMP分数，即会全局修剪具有最小LAMP分数的连接，直到满足所需的全局稀疏性约束，该过程相当于通过自动选择分层稀疏度来执行MP。

针对LAMP分数的全局剪枝与针对幅值分数W[u]的全局剪枝并不相同。其在每一层中，都存在一个LAMP分数为1的连接，这是最大的LAMP分数。换句话说，LAMP在每一层中至少会保留一个连接存活，而只考虑权重大小分数的全局剪枝则不存在同样的情况。且与普通MP类似，LAMP分数没有任何需要调整的超参数，并且可以通过基本张量运算轻松实现，因此，只需很少的计算代价即可完成LAMP分数的计算。

2.2 目标识别实验及分析

2.2.1数据集制作

本文实验所用数据集均为自建，使用相机进行数据采集，拍摄了1000张照片，部分图像如图9所示。其中5种具有代表性的耐火砖型号分别为：重量较大且不方便定位的S8028、S8034,使用量较大的S8023和S8009,形状较为复杂的S8035。为防止因数据过少而导致模型过拟合，使用了边缘增强、膨胀、腐蚀、随机噪声等4种图像处理方法进行扩充。边缘增强如图10(b)所示。是使用Sobel算子进行边缘提取，与原图像各以50%的权重相加，图像整体亮度明显下降;膨胀处理如图10(c)所示。可以使图像的色彩更为融合，使识别对象在色彩层面更明显，弱化纹理，降低背景干扰;腐蚀处理如图10(d)所示。可以使识别对象在纹理层面更明显，弱化色彩，降低背景干扰;添加随机噪声如图10(e)所示。可以模拟实际应用中的粉尘环境或是其他偶发的图像质量下降的情况，增强模型的鲁棒性。扩充后数据集共计5000张图像。

图9 部分数据采集图像

图10 部分数据扩充图像

在考虑数据集扩充后，还考虑了边界特征数据的扩充，以提高干砌耐火砖紧密排列在一起时的识别精度。本文通过LIANG等所提出的多边界特征随机合成的方法对数据进行扩充，其可以在少量扩充数据的情况下，提高边界特征的权重，其方法流程如图11所示。首先，从训练集中随机选择四幅图像作为基础数据，接着，在每幅图像中随机选取目标并进行裁剪，调整裁剪后图像的尺寸以便于合成。然后随机生成合成图像的中心，并以分割出的四个尺寸随机裁剪调整尺寸后的图像的四个角，拼接合成为一张图像。

图11 多边界特征随机合成

本文将扩充后的数据集使用Labellmg标注工具手动标注图像数据。标记图像的标签类别根据耐火砖型号划分。并按7:2:1的比例随机划分，分别得到训练集、验证集、测试集。

2.2.2标定

本文首先通过Vantage激光跟踪仪对砌筑机器人中的桁架机器人进行了校准工作，如图12(a)所示。然后通过张正友标定法对桁架机器人中采用的型号为RVC-P2600的3D相机进行了内参标定。最后采用九点标定法进行了桁架机器人与相机的手眼标定，如图12(b)所示。其中相机采用眼在手上(Eye-in-Hand,EIH)安装方式。将九点标定板固定在抓取平面上，在保持每次拍照时相机与桁架机器人原点的位置关系不变时拍照，并处理拍照图片得到九个中心点像素坐标。手动控制夹具带动标定针末端点按顺序运动至标定板九个目标点，并记录桁架机器人坐标系中的坐标，从而得到九组对应坐标。运用坐标变换求解转换矩阵H,得到像素坐标和桁架机器人基坐标之间的关系。

图12 标定

计算的转换矩阵H结果如式(9)所示。

本文还针对不同砌筑层以及不同厚度的耐火砖，进行多组标定，并将转换关系储存，以便于后续抓取调用。

2.2.3实验环境与评价指标

本文实验所用操作系统为Windows11,GPU型号为NVIDIA GeForce GTX 3060,GPU加速库CUDA11.0。训练参数设置如下：使用SGD优化器来优化训练过程，动量设置为0.9,权重衰减设置为0.0005,Batch Size设置为16,执行训练迭代300轮。

为了验证改进策略的效果，本文采用准确率(Precision,P)、召回率(Recall,R)与IoU阈值设置为0.5的平均精度均值(mean Average Precision,mAP@0.5)为基本评价指标，计算方法如式(10)~式(14)所示。选用模型参数量(Params)与浮点计算量(Floating Point operations,FLOPs)作为模型大小以及模型复杂度的评价指标。

式中，TP为正确预测耐火砖型号的样本数;FP为错误预测耐火砖型号的样本数;FN为未被预测出耐火砖型号的样本数;N为类别总数。AP值是指P-R曲线的面积，mAP是通过对所有类别的AP进行平均而获得的。

2.2.4消融实验

为验证改进策略的效果，本文设计了消融实验，实验结果如表1与图13所示。本文提出的改进算法YOLOv8-GW的P、R与mAP@0.5的值分别为98.90%、99.63%与99.47%,相比于原始的YOLOv8算法分别提升了1.15、0.51与0.85个百分点，边界框损失Box_loss也从0.175降低到了0.141,定位误差更小。具体来看，在YOLOv8中添加GAM后，与原始模型相比，P与mAP@0.5分别得到了1.11与0.5个百分点的提升，反映出GAM使模型在低分辨率下能更好地理解图像中紧密排列的耐火砖之间的关系，使耐火砖正类样本预测准确性得到了提高。在边界框回归损失中引入WIoU,通过更智能的样本分配策略提高了模型的定位能力，模型泛化能力得到了加强，使P得到了1.25个百分点的提升。实验结果证明了本文所提出的改进策略的有效性。

表1 消融实验结果

图13 YOLOv8模型改进前后指标变化曲线对比图

2.2.5改进模块有效性分析

为测试本文改进模块的有效性和通用性，将注意力机制GAM与经典的CBAM、DA(Deformable Attention)、CPCA(Channel PriorConvolutional Attention)、SimAM(Simple AttentionMechanism)等注意力机制进行对比;将损失函数WIoU与YOLO原始模型的CloU和经典的SIoU与EIoU(Eficient-IoU)等损失函数进行对比。本次实验将这5种注意力机制与3种损失函数分别引入YOLOv5与YOLOv8算法框架中，并基于自制耐火砖数据集进行实验对比测试，实验的评价指标结果如表2与表3所示。最优值以粗体显示。

表2使用不同注意力机制的模型性能对比

表3 使用不同损失函数的模型性能对比

由表2与表3可知，分别嵌入GAM与WIoU的YOLOv5和YOLOv8相较原始模型算法，在P、R与mAP@0.5等三个指标均有了一定提升，表明其能有效增强YOLO算法的性能。相比在YOLOv5和YOLOv8算法中分别加入其他4种注意力机制模块与3种损失函数的改进算法，GAM与WIoU的嵌入在多数指标中处于领先位置，这表明其对YOLO算法目标检测的效果的提升相比其他注意力机制与损失函数更为优秀。

2.2.6模型剪枝

为实现模型在建造现场的部署，现使用一种基于参数幅值的剪枝算法对其进行剪枝。图14~图16分别为设定不同剪枝率下模型的mAP@0.5、Params、FLOPs变化趋势，可知设定剪枝率为0.92时能在保障检测精度的前提下，有效压缩模型，因此本文选择该剪枝后模型为最终模型YOLOv8-GWL。其mAP@0.5较YOLOv8模型高0.21个百分点，为98.83%,Params下降了92.99%,FLOPs下降了89.56%,分别达到了0.211M和0.856G,满足耐火砖精准识别和建造现场设备轻量化的要求。剪枝前后模型的评价指标结果如表4所示。其中L表示轻量化，可知剪枝后同等参数量下，改进模型较YOLOv8-L模型的mAP@0.5高0.72个百分点，证明了改进方法的必要性。剪枝前后通道数对比如图17所示。剪枝后模型检测实例如图18所示。

图14 不同剪枝率下模型mAP@0.5变化趋势

图15 不同剪枝率下模型Params变化趋势

图16 不同剪枝率下模型FLOPs变化趋势

表4 剪枝后模型的评价指标对比

图17 剪枝前后通道数量对比

图18 剪枝后模型检测实例图

目标定位

3.1 抓取二维信息预设

因相机拍照角度固定，又砖块排列与尺寸已预知，如图19所示为干砌耐火砖抓取参数示意，抓取框点位信息(粗框)依据砖型的排列方式与四指型夹持机构夹持宽度进行预设。如图20(b)所示。本文设定识别图像左上角坐标为原点，视觉识别框左上角坐标为(u,v),识别框长宽分别为L和W,设定抓取框中心点坐标为(u+L/2,v+W/2)。如图20(c)所示。抓取框参数信息结合识别结果一起输出。可见识别的预测框拟合精度高，通过标定的坐标转换能精准反馈耐火砖抓取框中心点与抓取位置的信息，完成抓取二维定位，并能避免抓取偏移。

图19 干砌耐火砖抓取示意

图20 二维定位识别结果

3.2 轻量化深度信息阈值分割算法设计

本文基于识别结果与3D相机获取的点云数据提出了一种轻量化深度信息阈值分割算法，用来提取深度信息。其中点云数据提取流程效果如图21所示。

图21 点云数据提取流程

首先将图像识别的预测框参数(图21(b))提取出来，作为点云处理依据对相机采集的点云数据(图21(c))裁减(图21(d))。运用体素下采样(图21(e))进行点云滤波，减少点云数量，以轻量化数据。通过半径滤波(图21(f))进行去噪与过滤，筛选掉噪声点，以免对后面的数据处理产生干扰，也极大减少了数据处理量。

然后提取点云深度信息为数组Z,定义数组中非零最小值为Z,耐火砖砖舌(用于砖块“榫卯”结合而凸出部分)厚度系数为Zc,两者相加为分割阈值T。计算公式如式(15)~式(17)所示。

以Th对Z进行分割，将小于Th的深度信息值保留，得到新的数组ZT,取ZT的平均值作为提取出的深度信息。为验证算法的可靠性，表5为人工测量的深度信息与该算法所得深度信息进行对比的结果。

表5 实际与算法测量的深度信息对比

实际测试中，由算法计算出的平均相对误差为0.28%,最大相对误差为0.35%,能够满足精准定位要求。最小相对误差为0.2%,其原因可能是受到了人工测量误差、轻量化深度信息阈值分割算法的计算误差或相机自身参数的影响。但该误差在许用范围内，能满足自动化砌筑中深度信息定位要求。

3.3 干砌耐火砖抓取的识别与定位实验

为验证本文所述干砌耐火砖识别与定位算法的可行性和有效性，本文搭建了焦炉砌筑机器人实验平台，由桁架机器人、3D相机、四指型夹持机构、PC端、控制柜构成，如图22所示。干砌耐火砖抓取的识别与定位效果如图23所示。其中耐火砖摆放为干砌状态，通过YOLOv8-GWL算法对待抓取耐火砖进行识别，确认待抓取型号，配合预设置抓取信息，完成识别与二维定位。使用轻量化深度信息阈值分割算法提取深度信息，与识别和二维定位信息进行融合处理，完成待抓取耐火砖识别与定位(图23(a))。将数据反馈给四指型夹持机构，使其四指打开距离能满足抓取要求，以避免抓取失败，并移动至抓取位置(图23(b)),进行精准抓取(图23(c))。在将耐火砖夹起后，底部保护装置可正常开启(图23(d)),能满足焦炉砌筑机器人自动化砌筑中识别与定位需求。

图22 焦炉砌筑机器人实验产台

图23 干砌耐火砖抓取识别与定位

结 论

1)目标识别算法基于YOLOv8,嵌入GAM并引入Wise-IoUv3,在自制的耐火砖数据集上，Precision、Recall与mAP@0.5的值分别提高了1.15、0.51与0.85个百分点，分别达到98.90%、99.63%与99.47%。通过剪枝后，虽然mAP@0.5下降为98.83%,但较YOLOv8模型，mAP@0.5高0.21个百分点，参数量下降了92.99%,FLOPs下降了89.56%,分别达到了0.211M与0.856G,能满足耐火砖的精准识别以及建造现场设备部署的需求;

2)轻量化深度信息阈值分割算法通过识别结果对点云数据进行分割，对剩下点云数据进行滤波与去噪处理，避免干扰并降低计算量，接着通过阈值分割方法提取出深度信息，其在800 mm~1000 mm距离内的平均相对误差为0.28%,最大相对误差为0.35%。结合识别与二维定位信息，能满足耐火砖的定位需求;

3)轻量化YOLOv8的目标识别算法与轻量化深度信息阈值分割算法相结合能够准确完成干砌耐火砖抓取的识别与定位，避免了抓取偏移与深度信息匹配错误，并依靠其轻量化特性，可为实现焦炉砌筑机器人自动化砌筑提供一定技术支持。

作者单位：1.武汉科技大学 冶金装备及其控制教育部重点实验室

2.武汉科技大学 机械传动与制造工程湖北省重点实验室

3.五冶集团上海有限公司 焦化工程建造标准研究所