基于深度学习的绝缘子缺陷检测研究（四）

*点链接报名第九届“泰迪杯”数据挖掘挑战赛

源丨第八届“泰迪杯”数据挖掘挑战赛获奖作品

基于深度学习的绝缘子缺陷检测研究（一）

基于深度学习的绝缘子缺陷检测研究（二）

基于深度学习的绝缘子缺陷检测研究（三）

七、目标检测数据预处理

7.1 数据采集

原始数据集大小为 40，这对目标检测任务来说数据量太少，为了得到较优的模型训练结果，本文首先将原始的数据集进行了扩充。采集了 200 张图片数据，经过人工筛选最终有 46 张图片符合要求，初始数据扩充到 86 张。

7.2 人工标注

由于采集到的 46 张图片数据没有掩膜图像，为了不影响模型的训练效果和便于后续进一步提取绝缘子，本文针对这些图像采用人工标注的方法，得到其掩膜图像。使用的标注工具为开源软件 Labelme，其界面如图 19 所示。

图 19 Labelme 软件界面

7.3 绝缘子提取

为了提高模型的训练精度，剔除背景对模型训练的影响。本文采用公式（3）， 利用掩膜图像对原始图像中的绝缘子进行了提取，将绝缘子从图片中分割出来， 再放入模型中进行训练。

其中，img 表示原始图片像素值，mask 表示掩膜图片像素值，new _ img 表示提取绝缘子后图片的像素值。效果图如图 20 所示：

图 20 提取绝缘子前后图片对比

7.4 数据增强

经过上述处理后，数据集被扩增到了 86 个，但是对目标检测任务来说还远远不够。故在采用数据增强的方法对数据集进行进一步的扩增。数据增强方法为对原始图片分别进行随机平移，旋转 90 度、180 度、270 度，沿 x 轴翻转，沿 y 轴翻转，颜色通道变换，将数据集扩增了 8 倍。如图 21 所示

图 21 目标检测数据增强对比图

数据集大小变化如下：

表 7 目标检测数据集大小变化

八、目标检测

8.1 YOLO v3 算法基本原理

YOLO（you only look once，YOLO）文献[6]是一种基于深度神经网络算法的对象识别和定位算法，将目标检测归类于回归问题，将图片划分为若干网格，在每个网格上通过候选框预测，最终输出每个候选框预测的类别概率和坐标。其特点是运行速度快，可以用于实时系统。在保持速度优势的前提下，提升了预测精度，尤其是加强了对小物体的识别能力。这与绝缘子缺陷检测的应用极为契合。

在基本的图像特征提取方面，YOLO v3 采用了 Darknet-53 网络结构，如图 22 所示，它含有 53 个卷积层，同时借鉴残差网络(residual network)[1]，在卷积层之间设置了快捷链路(shortcut connections)。

图 22 Darknet-53 网络结构

Darknet-53 网络采用 256×256×3 作为输入，每个残差组件（residual）有 2 个卷积层和一个快捷链路，如图 23 所示。

图 23 残差组件

通过引入残差组件，将前若干层的数据输出直接跳过中间层而引入到后面数据层的输入部分，后层的输入特征将有一部分来自其前面某一层的线性贡献。

8.2 目标检测技术路线

图 24 目标检测技术路线

九、实验及结果分析

9.1 评价指标

在此任务中将精度定义为，测试集中检测出来的缺陷框总数占总缺陷框的比重。具体公式如下所示。

其中，ACC 指的是精确度，Test _ Num 指的是测试集中检测出来的缺陷框总数， Total _ Num 指的是总缺陷框数量。

绝缘子自爆区域评价采用 IOU，IOU 表示产生的候选框（Candidate Bound） 与原标记框（Ground Truth Bound）的交叠率或者说重叠度，也就是它们的交集与并集的比值。相关度越高该值。最理想情况是完全重叠，即比值为 1。

9.2 实验过程及结果分析

通过对数据集进行扩增，本文共获得 688 张可供训练的绝缘子图片。数据集中包含一串或多串绝缘子，可根据绝缘子是否存在缺陷的情况将其标注为正样本或负样本。进一步将数据集按 9:1 划分，其中训练集占 90%，测试集占 10%。

本文的实验环境如表2 和表3 所示，训练阶段采用异步随机梯度下降法(SDG)， 动量项设置为 0.9，权值的初始学习率设置为 0.001，衰减系数设置为 0.0005，采用多尺度训练，历时 2 天，模型的整体损失值稳定在 4.0 左右， 模型的预测示例如图 25 所示。

图 25 模型预测结果示例

YOLO v3 模型与 SSD 模型测试结果对比如表 8 所示，可见 YOLO v3 算法不论是在精度还是 IOU 值大小上均超过 SSD 算法，故 YOLO v3 算法更适合绝缘子的缺陷检测任务。

表 8测试结果及算法对比

本文也做过直接将没有分割出绝缘子的原始图片放入模型中训练，结果如表9 所示，由表可知，将绝缘子从原始图片中分割出来，大大提高了模型检测的精度和检测 IOU 值。

表 9是否分割出绝缘子结果对比

十、总结与展望

10.1 本文工作总结

本文首先分析了现阶段电力系统人工巡线的弊端和无人机电力巡检的应用研究价值，然后对国内外对航拍图像中绝缘子“自爆”特征识别的研究现状做了说明，介绍了本课题的研究意义与价值，以航拍图像中输电线路的绝缘子“自爆”现象为研究目标。在传统计算机视觉及图像处理相关技术的绝缘子“自爆”特征识别算法的比较基础上，巧妙的采用语义分割与目标检测结合的方式，大大提高了绝缘子“自爆”检测的精度。

本文所做的工作主要包括以下三个方面：

1.分析了传统的人工巡检存在的一些问题，然后针对这些问题，提出了用无人机电力巡检结合图像处理与机器学习（深度学习）的方法，对图片进行标注。

2.本文首先直接将原始图像放入 YOLO v3 模型中进行模型的训练，发现训练出来的模型在测试集上的精度较低，原因是无人机拍摄的绝缘子图片存在背景复杂、背景与绝缘子的区分度低、绝缘子种类繁多、数据集覆盖面窄等问题。针对这些问题本文提出先将绝缘子从原始图片中分割出来， 然后再利用 YOLO v3 模型进行训练。

3.将绝缘子从原始图片中分割出属于图像分割中的语义分割，经过多个模型的对比本文使用的语义分割模型是 U-Segnet-Pro，这个模型是在 U- Segnet 的基础上增加网络深度并加入残差块构成。在经过语义分割后的图片除了含有绝缘子外，还有一些其他的“杂点”，为了得到更加纯净的绝缘子串，再采用连通区域面积滤波对图片进行小连通区域的剔除。得到分割出来的掩膜图后，结合原始图像即可将绝缘子分割出来。最后将分割后的绝缘子图片带入 YOLO v3 模型中训练即得到精度较高绝缘子“自爆” 检测模型。

10.2 未来工作展望

虽然本文训练出来的模型在测试集上取得了不错的效果，但想要真正使用到实际生活中，仍然具有一定的局限性。主要有以下三个方面：

1.使用本文提出来的方法对绝缘子“自爆”进行检测，需要先使用图像分割模型将绝缘子从原始图像中分割出来，再利用目标检测模型进行检测。相比传统的检测方法而言，模型的实时性较低，所以这是未来要研究和解决的一个问题。

2.在本文的第五个部分连通区域检测中，进行连通区域面积阈值分割时，有少量的图片，并不能刚好只剩下绝缘子部分，会含有部分背景区域，这个背景区域可能对模型的训练结果产生一定的影响，未来在阈值取值部分可进行深入研究。

3.输电线路所处环境复杂多变，本文提出的绝缘子“自爆”检测模型，所使用的数据集都是比较清晰、明亮的数据，使用这种数据训练出来的模型的鲁棒性不高，在阴雨天，或者是光线较暗的恶劣环境下对模型的精度会有一定的影响。所以提出能够在恶劣环境仍然具有较好适应性和稳定性的识别算法问题是未来研究的一个方向。

参考文献

[1]Deep residual learning for image recognition. He K,Zhang X,Ren S,et al. IEEE Conference on Computer Vision and Pattern Recognition . 2016

[2]U-Net:Convolutional Networks for Biomedical Image Segmentation.

Ronneberger O,Fischer P,Brox T. . 2015

[3]Fully convolutional networks for semantic segmentation. Long J,Shelhamer E,Darrell T. IEEE Transactions on Patern Analysis and Machine Intelligence . 2014

[4]SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. Vijay Badrinarayanan, Alex Kendall, Roberto Cipolla, Senior Member, IEEE . 2016

[5]U-SEGNET: FULLY CONVOLUTIONAL NEURAL NETWORK BASED AUTOMATED BRAIN TISSUE SEGMENTATION TOOL. Pulkit Kumar,Pravin Nagar,Chetan Arora,Anubha Gupta,Indraprastha Institute of Information Technology-Delhi (IIIT-Delhi), Delhi, India . 2018

[6]YOLOv3: An Incremental Improvement. Joseph Redmon, Ali Farhadi,University of Washington.2018

[7]王兵,李文璟,唐欢.改进 Yolo v3 算法及其在安全帽检测中的应用[J/OL].计算机工程与应用:1-11[2020-05-

03].http://kns.cnki.net/kcms/detail/11.2127.TP.20200225.1117.002.html.

[8]鞠默然,罗海波,王仲博,何淼,常铮,惠斌.改进的 YOLO V3 算法及其在小目标检测中的应用[J].光学学报,2019,39(07):253-260.

[9]张凯航,冀杰,蒋骆,周显林.基于 SegNet 的非结构道路可行驶区域语义分割[J]. 重庆大学学报,2020,43(03):79-87.

[10]杨凯,孙志毅,王安红,刘瑞珍,王银,孙前来,康晓丽.基于 YOLO 网络系统的材料缺陷目标检测方法研究[J/OL].系统科学学报,2020(03):70-75[2020-05- 03].http://kns.cnki.net/kcms/detail/14.1333.n.20200224.1123.028.html.

[11]林志成, 缪希仁, 江灏, 陈静, 刘欣宇, 庄胜斌.基于深度卷积神经网络的输电线路防鸟刺部件识别与故障检测[J/OL].电网技术:1-11[2020-05-03].https://doi.org/10.13335/j.1000-3673.pst.2019.1775.

[12]张焕坤,李军毅,张斌.基于改进型 YOLO v3 的绝缘子异物检测方法[J].中国电力,2020,53(02):49-55.

[13]罗元,王薄宇,陈旭.基于深度学习的目标检测技术的研究综述[J].半导体光电,2020,41(01):1-10.

[14]王孝余,韩冰,李丹丹,罗军,黄胜,张杰.基于视觉的绝缘子缺陷检测方法[J].计算机工程与设计,2019,40(12):3582-3587.

[15]杨文斌. 基于深度学习的图像语义分割关键技术与方法研究[D].南京邮电大学,2019.

[16]黄友文,游亚东,赵朋.融合卷积注意力机制的图像描述生成模型[J].计算机应用,2020,40(01):23-27.

[17]崔振超. 基于 Unet 的舌体分割算法[C]. 中国中西医结合学会诊断专业委员会.中国中西医结合学会诊断专业委员会第十三次全国学术研讨会论文集.中国中西医结合学会诊断专业委员会:中国中西医结合学会,2019:8.

[18]汪志文. 基于深度学习的高分辨率遥感影像语义分割的研究与应用[D].北京邮电大学,2019.

[19]卢秋芬. 基于机器视觉竹条缺陷识别技术研究[D].福建农林大学,2019.

[20]鞠默然,罗海波,王仲博,何淼,常铮,惠斌.改进的 YOLO V3 算法及其在小目标检测中的应用[J].光学学报,2019,39(07):253-260.

[21]吕易航. 航拍图像中绝缘子串检测、分割与自爆故障识别方法研究[D].郑州大学,2019.

[22]苏健民,杨岚心,景维鹏.基于 U-Net 的高分辨率遥感图像语义分割方法[J].计算机工程与应用,2019,55(07):207-213.

[23]唐静. 基于深度学习的结直肠病理辅助诊断方法研究[D].东南大学,2018.

[24]袁兵. 基于全卷积神经网络的图像分割算法的研究及应用[D].电子科技大学,2018.

[25]温佩芝,苗渊渊,周迎,冯丽园.基于卷积神经网络改进的图像自动分割方法[J].

计算机应用研究,2018,35(09):2848-2852.

[26]熊杰. 航拍图像的绝缘子自爆特征识别研究[D].电子科技大学,2016.

附录

1.SSD 算法简介：

SSD 算法，其英文全名是 Single Shot MultiBox Detector。从名字可看出SSD 是属于 one-stage 方法的多框预测。SSD 是以 VGG16 为基础模型，然后在 VGG16 的基础上增加了卷积层以此来获得更多的特征图，把这些特征图用于后续的检测。SSD 网络模型如下图所示。

2.SSD 的基本步骤：

1.输入一幅图片，让图片经过卷积神经网络（CNN）提取特征，并生成feature map。

2.抽取其中六层的 feature map，然后再 feature map 的每个点上生成 default box（各层的个数不同，但每个点都有）。

3.将生成的所有 default box 都集合起来，全部丢到 NMS（极大值抑制）中， 输出筛选后的 default box，并输出。

- 本篇完 -

DIG MORE

量化投资

小白21天押金打卡 丨 零基础线上特训营 丨 初阶线上特训营 丨 多因子策略线上特训营 丨 线上分析实战研修班 丨 五一/暑假线下实训营

人工智能

云实习项目（机器学习预测方向）

数据挖掘

线上特训营

认证培训

AQF量化金融分析师 丨 CGFT特许全球金融分析师