基于改进YOLOv4,的综采工作面目标检测

王科平， 连凯海， 杨艺， 费树岷

（1. 河南理工大学 电气工程与自动化学院，河南 焦作 454003；
2. 河南理工大学 河南煤矿装备智能检测与控制重点实验室，河南 焦作 454003；
3. 东南大学 自动化学院，江苏 南京 210096）

煤炭作为我国最丰富的能源资源，是国家能源安全的“压舱石”[1-4]。随着人工智能技术的不断发展，基于计算机视觉的深度学习算法在提升煤炭开采效率、保障采煤安全及煤炭智能化开采等方面发挥的作用愈发重要[5-9]。目标检测是计算机视觉技术的重要分支，针对综采工作面关键设备及人员的目标检测算法，是煤炭智能化开采信息感知的重要内容[10]。

目前，应用于煤矿井下的目标检测常用算法有传统目标检测算法和基于卷积神经网络（Convolutional Neural Networks，CNN）的目标检测算法[11]。传统目标检测算法通过人工提取特征实现目标检测，如赵谦[12]提出了一种基于小波分解的Canny 边缘检测算法对井下员工进行检测，程健等[13]针对带式输送机视觉场景复杂、视频图像质量差等问题，采用改进的高斯混合模型提取视频背景，实现视频背景分离，从而实现煤矸石检测和识别。但上述算法复杂度高，不具有普适性，易受环境影响，且无法适应待检测目标的大幅度动作，稳定性很差。随着深度学习的兴起，基于CNN 的目标检测算法被应用到综采工作面智能化建设中。与传统目标检测算法相比，基于CNN 的目标检测算法可以自适应地提取深层信息，具有泛化能力强、稳定性高等特点。李伟山等[14]以Faster RCNN 为基础，对候选区域网络结构进行改进并加入特征融合技术，构建了一种金字塔结构的煤矿井下行人检测算法。刘备战等[15]提出了一种具有层级相连结构的RetinaNet 算法，可实现井下人员检测。付燕等[16]使用YOLOv3 算法设计了一种井下工作人员持续检测系统。任志玲等[17]提出了一种改进的CenterNet 算法，可对煤矿胶带运输异物进行准确识别。但上述算法大多仅针对简单场景，且检测目标单一。而综采工作面常见的是多个检测目标出现在同一场景，且常伴有煤尘干扰、目标运动、光照干扰等，导致采集的视频图像质量较差，检测精度难以保证；
另外，基于CNN 的目标检测算法大多网络结构复杂、参数多、计算量大[18]，不利于综采工作面工业部署的实际应用。

本文提出了一种基于改进YOLOv4 的综采工作面目标检测算法。为解决井下复杂环境下目标难以检测问题，在YOLOv4[19]模型基础上，融合CNN 的高效局部信息聚合能力和残差自注意力（Residual Self-Attention，RSA）模块的长距离依赖信息获取能力，在确保局部上下文信息质量的同时加强全局信息的获取，增强待检测目标的显著度，进而提升检测精度；
为减小综采工作面目标检测模型的工业部署难度，引入深度可分离卷积来简化模型，以减少模型参数量和计算量。

1.1 改进YOLOv4 模型

为准确从综采工作面复杂环境中检测到所需目标，借鉴Google 提出的BoTNet[20]设计思想，本文提出轻量级改进YOLOv4 模型。该模型主要由特征提取网络CSPDarkNet53、空间金字塔池化（Spatial Pyramid Pooling，SPP）模 块、路 径 聚 合 网 络（Path Aggregation Network，PANet）模块构成，结构如图1所示（Conv 为卷积，dw 为深度可分离卷积，Conv_dw_ Conv 表示分别进行卷积、深度可分离卷积、卷积操作）。特征提取网络CSPDarkNet53 融合了RSA 模块，在提取局部特征的同时增强全局信息获取 能 力；
SPP 模 块 利 用13×13、9×9、5×5 和1×1 这4 个不同尺度的最大池化对特征进行处理，以增大特征感受野，丰富特征图表达能力；
PANet 模块引入深度可分离卷积，简化网络的同时加强了特征融合，有利于多样化特征的提取。

图1 改进YOLOv4 模型结构Fig. 1 Improved YOLOv4 model structure

1.2 融合RSA 模块的CSPDarkNet53

针对综采工作面复杂环境，原有CSPDarkNet53网络仅能捕获局部信息，无法获取长距离依赖信息，可能导致网络提取过多的冗余信息而不能提取到关键信息，减弱语义信息和位置信息的依赖关系，进而导致误检、漏检现象产生。RSA 模块主要通过局部之间的关系来引入权重，分别在通道、空间2 个层面，通过计算每个单元（通道与通道之间、像素与像素之间）的值，来加强局部信息间的联系，进而掌握长距离依赖信息，从而增强待检测目标的显著度。因此，在CSPDarkNet53 中引入RSA 模块，既可以发挥CNN 参数共享及高效局部信息聚合优势，又能充分利用自注意力获取全局信息能力，增强图像关键目标特征表达能力，进而提高特征提取网络聚集关键信息的能力。

RSA 模块结构如图2 所示。

图2 RSA 模块结构Fig. 2 Residual self-attention module architecture

输入特征图经过3 次1×1 逐点卷积进行单点特征提取，分别得到查询Q、键K、值V。Q与K相乘得到局部关系矩阵，并加入垂直、水平位置嵌入矩阵Rh和Rw，分别从垂直、水平2 个方向逐元素求和，之后再与Q交互，得到相对位置编码Srel，以增强网络对输入特征图位置信息的感知能力。局部关系矩阵与相对位置编码求和后通过softmax 操作与V相乘，可得

式中：A为自注意力；
为超参数，其作用是防止分子向量点积后结果过大，确保softmax 梯度稳定性。

RSA 模块对输入特征图先进行1 次下采样操作以减小特征图尺寸，之后将输入支路分成主分支和短连接分支。主分支的特征图通过多个由1×1 卷积和自注意力模块堆叠而成的残差结构对输入特征图进行上下文信息处理和聚合，以获得融合全局信息的主分支输出，增强特征表达能力。主分支输出经过1×1 卷积后与短连接分支的特征图拼接，得到输出特征图。

1.3 深度可分离卷积

为了提升网络检测性能，引入深度可分离卷积[21]替代传统卷积，如图1 中绿色模块所示。深度可分离卷积通过串联深度卷积和逐点卷积的方式提取特征信息。先使用深度卷积逐通道独立进行卷积计算来过滤空间信息，再串联逐点卷积来映射通道信息。这种将空间信息与通道信息相结合的方式既提取了关键特征，又大大减少了计算量和参数量。

传统卷积是将通道数为M的输入特征图与相应的N个卷积核进行卷积操作，其计算量为

式中：Dk为 卷积核大小；
Dw，Dh分别为输出特征图的宽和高。

深度可分离卷积过程如图3 所示，将通道数为M的输入特征图与相应的M个卷积核进行深度卷积，再用N个1×1 卷积核对深度卷积得到的特征图进行逐点卷积，其计算量为

图3 深度可分离卷积操作Fig. 3 Depthwise separable convolution operation

深度可分离卷积与传统卷积的计算量比值为

本文输入图像大小为416×416×3，假设经过通道数为16 的3×3 卷积，最后输出16 个特征图，则N2与N1比值约为1∶6。利用深度可分离卷积后，计算量和参数量大幅度减少，提高了特征提取网络的运算速度，节约了运算成本。

实验平台为Ubuntu18.04 操作系统，硬件配置：Intel Xeon Gold 6146 CPU，12 核24 线 程；
显 卡 为6 块RTX 2080Ti，显存72 GB；
内存250 GB。网络基于PyTorch 框 架 实 现， 并 调 用OpenCV， CUDA，cuDNN 库。在网络训练过程中，设定输入图片尺寸为416×416，训练轮次为100，1 轮训练处理16 张样本图片，初始学习率为0.001，采用等间隔学习率调整方法（StepLR），设置调整间隔（step_size）为1，动量（momentum） 为0.92， 权 值 衰 减（weight_decay） 为0.000 5。当网络连续多个训练轮数（epoch）的损失差值在0.01 以内振荡时，则完成网络训练，得到最优的模型权重。

2.1 数据集制作与评价

实验数据集来自某煤炭开采公司调度室存储的各个角度摄像视频，将视频中包含工作面关键设备及人员的选取出来进行剪辑、拼接，使用视觉目标标注工具（Visual Object Tagging Tool，VOTT）对处理过的视频图片进行标注处理。

为了使神经网络模型更好地适应井下工作面复杂环境，数据集涵盖各种情况下的工作面关键设备及人员，包括采煤机、滚筒、线槽、刮板输送机、大煤块、护帮板和行人等7 类，共29 569 张图片。数据集分为训练集、验证集及测试集，其中23 951 张图片用于训练模型，2 661 张图片用于验证模型，2 957 张图片用于测试模型。

本文采用目标检测常用的评价指标：平均精度（Average Precision， AP） 、 平 均 精 度 均 值（mean Average Precision，mAP）、参数量、浮点运算次数（Floating-point Operations，FLOPs）和模型大小。AP和mAP 越大，则检测精度越高；
参数量、FLOPs 和模型大小越小，则检测性能越好。

mAP 与查准率和召回率密切相关。查准率是指在所有正样本中，被检测为正确的设备及人员所占比例；
召回率是指在所有真实目标中，被模型正确检测的设备及人员所占比例。

式中：p为查准率；
nTP为被检测为正确目标的关键设备及人员数量；
nFP为被误测为正确目标的非关键设备及人员数量；
r为召回率；
nFN为漏检的样本数量。

以查准率为横坐标，召回率为纵坐标，绘制p（r）曲线。该曲线在坐标轴上的面积即AP。

式中PAP为AP。

根据各个类别的p（r）曲线在坐标轴上的面积，求取mAP。

式中：PmAP为mAP；
c为工作面关键设备及人员的类别数；
PAPd为第d（d=1，2，…，c）个类别的AP。

2.2 模型对比

为验证本文改进YOLOv4 模型的优势，选取YOLOv3，CenterNet，YOLOv4 这3 种井下常用目标检测模型与改进YOLOv4 模型进行对比实验。YOLOv3， CenterNet， YOLOv4 模 型 分 别 使 用DarkNet53，ResNet50，CSPDarkNet53 作为骨干特征提取网络。

不同模型在井下综采工作面数据集上的mAP见表1。可看出改进YOLOv4 模型的mAP 最高，达92.59%，且改进YOLOv4 模型在综采工作面各个关键设备及人员上的检测精度均为最高。

表1 不同模型在井下综采工作面数据集上的检测结果Table 1 Test results of different models on data set of underground fully-mechanized mining face

不同模型检测性能对比见表2。由于改进YOLOv4 模型使用了大量深度可分离卷积结构，使得模型大小、参数量及计算量得到改善。由表2 可知：与YOLOv4 模型相比，改进YOLOv4 模型的大小压缩了123.1 MB，参数量减少了30.86×106，FLOPs 减少了10.42×109，mAP 提升了1.85%；
与CenterNet 模型相比，改进YOLOv4 模型的参数量和模型大小不相上下，但在FLOPs 和mAP 上有较大提升，FLOPs减少了3.66×109，mAP 提升了4.8%；
与YOLOv3 模型相比，改进YOLOv4 模型的参数量减少了28.45×106，模型大小压缩了113.3 MB，FLOPs 减少了13.3×109，mAP 提升了5.68%。上述结果表明改进YOLOv4 模型在参数量、计算量和mAP 上具有更优的平衡。

表2 不同模型检测性能对比Table 2 Comparison of detection performance of different models

将不同模型在测试集上进行验证，部分结果如图4 所示。

图4 不同模型检测结果Fig. 4 Detection results of different models

由图4 可知：第1 组实验，由于煤尘干扰造成待检测目标与背景环境灰度值较为接近，导致YOLOv3、CenterNet 及YOLOv4 模型均没有检测出行人，而改进YOLOv4 模型可以较好地检测出目标；
第2 组实验，受光照影响，图像亮度分布不均匀且场景中包含各个尺寸大小的目标，改进YOLOv4 模型对大中小各个尺度目标的检测均比YOLOv3、CenterNet 及YOLOv4 模型具有更好的准确性；
第3 组实验，采煤机滚筒高速运动造成获取的图像较为模糊，改进YOLOv4 模型相较于其他3 种模型提取到了采煤机的轮廓特征，完整地检测出了目标。上述结果表明改进YOLOv4 模型能够在煤尘干扰、光照不均、运动模糊等复杂场景下表现出较好的检测性能，具有更好的鲁棒性。

2.3 消融实验

通过消融实验进一步验证改进YOLOv4 模型的有效性，结果见表3。由表3 可知：YOLOv4 模型仅加入深度可分离卷积后，虽然mAP 略有下降，但大大缩减了参数量；
增加RSA 模块后，相较于仅加入深度可分离卷积模块，mAP 提升了2.34%，相较于YOLOv4 模型参数量降低了约1/2，满足工业部署的要求。

1） 在YOLOv4 模型CSPDarkNet53 网络中加入RSA 模块，在提取局部特征的同时增强了全局信息获取能力，提升了待检测目标的显著度，进而防止多目标在同一场景下误检、漏检现象的发生。

2） 在YOLOv4 模型中引入深度可分离卷积替代传统卷积，减少了模型参数量和计算量，使得模型轻量化，有利于模型的工业部署。

3） 与YOLOv3，CenterNet，YOLOv4 模型 相比，改进YOLOv4 模型的检测精度最高， mAP 达92.59%，且在参数量、计算量和mAP 上具有更优的平衡，能够在煤尘干扰、光照不均、运动模糊等条件下表现出较好的检测性能。

猜你喜欢卷积工作面深度基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02深度理解一元一次方程中学生数理化·七年级数学人教版(2020年11期)2020-12-14从滤波器理解卷积电子制作(2019年11期)2019-07-04深度观察艺术品鉴证.中国艺术金融(2018年8期)2019-01-14深度观察艺术品鉴证.中国艺术金融(2018年10期)2019-01-08深度观察艺术品鉴证.中国艺术金融(2018年12期)2018-08-26基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20单轨吊机车在煤矿综采安(撤)工作面中的应用当代化工研究(2016年7期)2016-03-20综采工作面过陷落柱防治及其对策河北能源职业技术学院学报(2015年3期)2015-02-27一种基于卷积神经网络的性别识别方法电视技术(2014年19期)2014-03-11

推荐访问:工作面 改进 检测