Multi task detection method for operating status of belt conveyor based on DR-YOLOM
-
摘要:
煤矿井下带式输送机运行状态的检测是带式输送机安全运行的关键，但现有检测方法大多只能处理单一检测任务，难以实现多任务同时检测。针对现有技术难以实现综合检测的现状，提出一种基于改进YOLOM的带式输送机运行状态多任务检测方法：使用单一网络同时完成大尺寸煤块识别、输送带边缘检测和煤流状态检测3项任务。相较于各任务使用单独模型的方法，将3个不同的颈部和头部集成到具有共享主干的模型中，可以节省大量计算资源和推理时间。首先，在低照度和多尘雾的运输巷道内，采集图像语义信息薄弱使得模型对目标语义信息的提取能力较差。因此利用扩张式残差模块（DWR）替换主干网络P6层和P8层C2f模块中的Bottleneck结构，在减少参数量的同时增强模型提取多尺度上下文语义信息的能力。其次，针对模型需进行目标识别和分割不同类型任务的需求，采用具有跳层连接结构的高效层聚合网络（RepGFPN）优化特征融合部分，在控制模型参数数量和推理速度的同时极大提高模型对不同检测任务的检测精度；最后，为应对3种标签形状各异的检测任务，引入Inner-CIoU损失函数，弥补CIoU损失函数在不同检测任务中泛化能力较弱的不足。为验证DR-YOLOM算法的适用性和鲁棒性，选用U-net和DeepLabV3+网络模型与DR-YOLOM多任务检测模型分割任务的分割效果进行对比分析，采用Faster RCNN和Yolov8进行目标检测效果对比，同时进行模型改进前后的损失函数与精度曲线对比。结果表明，相较于主流的单一检测算法，DR-YOLOM多任务检测算法有更好的综合检测能力，并且该算法可以在维持少量参数量的同时，保证高的目标识别精度、分割精度以及合适的推理速度，其中大尺寸煤块识别的mAP50为90%，输送带边缘分割和煤流分割的mIoU分别为78.7%，96.6%，模型参数数量为4.43 M，推理速度可以达到40 fps，对比基础模型mAP50、mIoU分别提高了1.3%、0.7%、2.1%。为验证DR-YOLOM算法的实用性，使用巡检机器人在实验室进行视频数据采集，并用DR-YOLOM多任务检测算法对其采集的视频数据进行检测。实验结果表明，DR-YOLOM多任务检测算法能够满足带式输送机运行状态的多任务检测要求。
Abstract:The detection of the operating status of underground belt conveyors in coal mines is the key to the safe operation of belt conveyors. However, most detection methods for the operating status of belt conveyors can only handle a single detection task, making it difficult to achieve simultaneous detection of multiple tasks. A multi task detection method for the operation status of belt conveyors based on DR-YOLOM is proposed to address the current difficulty in achieving comprehensive detection with existing technologies. A single network is used to simultaneously recognize large-sized coal blocks, detect belt edges, and detect coal flow status. Compared with using a separate model for each task, integrating three different necks and heads into a model with a shared backbone can save a lot of computing resources and inference time. Firstly, the image semantic information collected in low illumination and dusty transportation tunnels is weak, which makes the model's ability to extract target semantic information poor. Therefore, the Bottleneck structure in C2f modules of the backbone network P6 and P8 layers is replaced with an Extended Residual Module (DWR), reducing the number of parameters while improving the model's ability to extract multi-scale contextual semantic information. Secondly, as the model requires target recognition and segmentation of different types of tasks, an efficient layer aggregation network (RepGFPN) with skip layer connection structure is adopted to optimize the feature fusion part, greatly improving the detection accuracy of the model for different detection tasks while controlling the number of model parameters and inference speed; Finally, to address the detection tasks of three different label shapes, the Inner CIOU loss function is introduced to compensate for the weak generalization ability of the CIoU loss function in different detection tasks. In order to verify the applicability and robustness of the DR-YOLOM algorithm, U-net and DeepLabV3+network models were selected to compare and analyze the segmentation performance of the DR-YOLOM multi task detection model. Faster RCNN and Yolov8 were used to compare the performance of object detection, and the loss function and accuracy curve before and after model improvement were compared. The results show that compared to mainstream single detection algorithms, DR-YOLOM multi task detection algorithm has better comprehensive detection ability, and this algorithm can ensure high target recognition accuracy, segmentation accuracy, and appropriate inference speed with a small number of parameters. Among them, the mAP50 for large-scale coal block recognition is 90%, the mIoU for belt edge segmentation and coal flow segmentation are 78.7% and 96.6%, respectively, and the number of model parameters is 4.43 M. The inference speed can reach 40 frames per second, which is 1.3%, 0.7%, and 2.1% higher than the basic models mAP50 and mIoU, respectively. Finally, in order to verify the practicality of the DR-YOLOM algorithm, an inspection robot was used to collect video data in the laboratory, and the DR-YOLOM multi task detection algorithm was used to detect the collected video data. The experimental results show that the DR-YOLOM multi task detection algorithm can meet the requirements of multi task detection for the operation status of belt conveyors.
-
0. 引 言
作为煤炭生产和消费大国，煤炭的安全开采和高效运输已成为我国煤炭产业发展的核心挑战。带式输送机作为煤炭运输系统的核心装备，其智能化是煤炭安全高效运输的重要保障[1]。为保证煤炭的高效开采，带式输送机长期处于高负荷状态运行，由此引发的故障将影响煤炭生产效率，甚至造成人员伤亡。因此对带式输送机运行状态进行多任务检测，能够有效预防故障发生，对确保煤矿带式输送机安全、高效运行具有重要意义[2]。
随着深度学习方法和计算机视觉技术的迅速发展，诸多国内学者开始使用基于机器视觉的方法对煤矿井下带式输送机运行状态进行实时检测。吴利刚等提出一种基于改进YOLOv5的轻量化神经网络，对带式输送机运输过程中的大尺寸煤块识别进行实时监测[5]。高涵等为解决现有异物检测算法提取语义信息能力差的问题，使用基于低层级特征增强与Transformer机制的异物检测算法提高了对带式输送机上细长异物的检测精度[6]。杨志方等使用基于双流信息融合的语义分割网络模型去实现带式输送机的输送带跑偏检测[7]。李纪栋等采用机器视觉方法对带式输送机的输送量进行识别，随后根据输煤量对带式输送机运输速度进行调控[8]。代伟等提出一种基于双目视觉深度感知的带式输送机煤量检测方法，有效解决了带式输送机输煤量计算较难的问题[9]。韩涛等提出了基于多任务卷积神经网络(MT-CNN)的带式输送机输煤量和跑偏检测方法，可使输煤量检测和跑偏检测这2个任务共享同一个网络底层结构和参数，实现输煤量和跑偏的准确、快速检测[10]。
从基于深度学习和机器视觉的监测方法来看，前人已经提出了很多单一任务检测的方法，比如Fast RCNN和YOLO系列经常被用于带式输送机异物或者输送带撕裂等目标的检测，FCN、U-Net和DeepLab网络经常被用于带式输送机的输送带边缘检测和煤流状态的检测[11]。这些带式输送机运行状态检测方法大多只能处理单一检测任务，想要实现多任务同时检测，需要使用多个网络模型共同完成，这也对硬件设施提出了更高的要求。
近年来，多任务检测模型在自动驾驶领域应用广泛，且因其高效性而成为研究热点。考虑到煤矿井下带式输送机通常涉及各种子任务（带式输送机输送带跑偏检测、异物识别和煤流动态监测）且受边缘设备的计算资源限制，使得多任务模型在带式输送机运行状态检测方面的优势变得尤为突出[12-13]。因此笔者提出一种基于改进的YOLOM带式输送机运行状态多任务检测方法，使用单一网络同时完成大尺寸煤块识别、输送带边缘检测和煤流状态检测，与每个任务使用单独的模型相比，将3个不同的颈部和头部集成到具有共享主干的模型中可以节省大量计算资源和推理时间，满足带式输送机运行状态的多任务检测要求。
对于YOLOM算法，笔者做了以下改进:
1）在低照度和多尘雾的运输巷道内采集的图像语义信息薄弱，使得模型对目标语义信息的提取能力差，因此利用扩张式残差模块（DWR）替换主干网络P6层和P8层C2f模块中的Bottleneck结构，在减少参数量的同时提高模型提取多尺度上下文语义信息的能力；
2）针对模型需要进行目标识别和分割不同类型任务的需求，使用具有跳层连接结构的高效层聚合网络（RepGFPN）优化特征融合部分，在控制模型参数数量和推理速度的同时极大提高模型对不同检测任务的检测精度；
3）为应对3种标签形状各异的检测任务，引入Inner-CIoU损失函数，弥补CIoU损失函数在不同的检测任务中泛化能力较弱的不足。
1. YOLOM算法原理
YOLOM是近几年提出的多任务检测模型，该网络由1个共享的骨干特征提取网络（Backbone）、3个颈部网络（Neck）以及头部网络（Head）3部分组成。
骨干网络：该网络模型采用了YOLOv8的骨干网络，与YOLOv5相比，以梯度流更丰富的C2f模块替换了C3模块，同时还实现了轻量化[14]。在骨干网络之后，该网络模型使用SPPF模块来增加感受野，与SPP相比减少了计算需求，这些特征随后被引导至各个颈部网络。
颈部网络：该网络模型使用了3个颈部网络，其中1个用于目标检测任务，2个用于分割任务。对于目标检测头，该网络模型采用YOLOv8中的路径聚合网络（PANet）结构，该结构由FPN和PAN组成，FPN自上而下提取特征层信息，将上层特征和下层特征融合，提升网络对于不同尺度目标的能力，PAN自下而上提取特征层信息，获取位置信息，将低层细节与高层语义特征相结合，丰富了整体特征表示[15]；对于分割颈，该网络模型采用了特征金字塔网络（FPN）结构，以特征金字塔为基础结构，自上而下每层进行2倍上采样操作，能够产生多尺度的特征表示[16]。
头部网络：该网络模型沿用了YOLOv8中的头部网络结构，采用的是只有分类和回归分支的解耦头，并且不再采用基于锚框（Anchor-Base）的策略，转而使用的是无锚框（Anchor-Free）策略，在损失函数方面抛弃了交并比（IoU）匹配方式，使用了Task-Aligned Assigner正负样本匹配的方式[17]。分类和回归分支的损失值计算分别采用二元交叉熵损失（BCE）和分布聚焦损失（DFL）加完整交并比损失（CIoU）的方式。
2. 带式输送机运行状态多任务检测方法
本研究主要对煤矿井下带式输送机的运行状态进行同步检测，涉及的任务包括大尺寸煤块识别、输送带边缘检测和煤流状态检测。为实现带式输送带异常工况的同步检测，提出一种基于改进的DR-YOLOM多任务检测模型。DR-YOLOM网络模型架构如图1所示。
其中用于输送带边缘检测和煤流状态检测的分割网络和用于大块异物识别的目标检测网络共享骨干特征提取网络，这使得两者在特征提取过程中共享特征信息。不同的是分割网络和目标检测网络使用不同的特征增强网络，去适应不同的任务。进一步地，提取特征信息后，分别使用目标检测头和分割头进行大块异物识别、输送带边缘线分割和煤流状态分割。而由于带式输送机边缘检测的特殊性，最后采用霍夫变换直线检测法得到清晰简明的左右输送带边缘检测线。
2.1 改进YOLOM多任务检测模型
由于煤矿井下带式输送机作业环境恶劣，大多数情况下处于低照度和多尘雾工况。为解决在恶劣工况下模型检测效果差的问题，以多任务检测模型YOLOM网络为基础模型，提出一种融合扩张式残差模块和高效层聚合网络结构的DR-YOLOM多任务检测算法。具体改进如下：1）在主干网络P6层和P8层的C2f模块中，使用扩张式残差（DWR）模块替换Bottleneck结构，能够有效提取多尺度上下文信息。2）采用具有跳层连接结构的高效层聚合网络（RepGFPN）结构优化特征融合部分，通过融合来自相邻上下层以及同一层级的不同尺度特征，实现了更高的精度。3）使用辅助边界框计算损失以加速边界框回归的Inner-IoU去优化损失函数，弥补CIoU损失函数在不同的检测任务中的泛化能力较弱的问题。DR-YOLOM网络模型的具体结构如图2所示。
2.1.1 特征提取优化
YOLOM的主干网络Backbone由CBS模块、C2f模块和SPPF模块组成，其中C2f模块中含有很多Bottleneck结构，将这些Bottleneck残差模块进行串接可以实现不同尺度特征的提取及融合[18]。但Bottleneck残差模块的缺点也很明显，这些模块使得网络会在同一个位置叠加大量信息，在获取关键特征过程中产生很多冗余特征，可能会造成关键信息的流失。带式输送机运行状态的多任务检测在低照度和多尘雾环境下进行，信息的流失将严重降低多任务检测的精度。而DWRSeg中的扩张式残差（DWR）模块根据不同空洞率空洞卷积的特征组合，有效提取多尺度上下文信息，然后融合由多尺度感受野生成的特征图，有效防止带式输送机输送带边缘、煤流形状和大尺寸煤块的信息丢失。Bottleneck结构如图3所示。
DWR模块以残差方式设计，在残差内部，采用2步法有效提取多尺度上下文信息，然后融合由多尺度感受野生成的特征图[19]。该模块应用于网络的深层，多分支结构用于适应一层中不同大小感受野的要求。对于每个分支，首先使用一个普通的3×3卷积结合一个批处理归一化（BN）层和一个ReLU层来完成特征提取，得到具有不同区域大小的区域残差特征RR；然后将RR特征分成3组，分别采用多速膨胀率的膨胀深度卷积来对不同大小的区域特征进行形态学过滤，这被称为语义残差SR；随后在特征图上执行BN，并使用逐点卷积合并所有特征图，生成与输入特征图相对应的最终残差；最后将最终残差添加到输入特征图中，以构建更强和更全面的特征表示。DWR模块结构如图4所示。
2.1.2 特征融合优化
YOLOM在目标检测颈中采用路径聚合网络（PAN）结构，如图5a所示，这种特征融合的结构忽略了不同尺度特征之间冲突信息的存在，仅将不同尺度的特征图进行叠加或相加操作，忽视不同分辨率特征图在特征融合中的贡献差异，最终降低检测性能[20]。在分割颈中采用特征金字塔网络（FPN）结构，如图5b所示，但FPN存在明显的劣势，其将深层的强语义特征传递下来，仅融合相邻层的特征图，得到融合后的特征图缺少跨层的特征融合,只增强了深层的语义信息，而缺乏浅层的定位信息，使得分割性能差[21]。因此，为加强各尺度特征信息的整合、解决长距离的梯度消失问题、减少网络层级之间的信息损失问题，本研究采用具有跳层连接结构的高效层聚合网络（RepGFPN）结构优化所提模型的目标检测颈和分割颈，如图5c和5d所示。
RepGFPN在GFPN的基础上改进而来，GFPN采用Queen-Fusion强化特征之间的融合，增强了特征复用及特征表达能力，但是Queen-Fusion包含大量的上采样和下采样操作来实现不同尺度特征的融合，存在特征冗余现象，且过多的节点堆叠导致运算效率降低[22]。而RepGFPN在颈部的特征融合模块中，通过灵活控制不同尺度下的通道数量以及采用具有整合重新参数化机制和高效层聚合网络的连接来升级CSPNet，即CspStage融合模块[23]。CspStage模块融合来自相邻上下层以及同一层级的不同尺度特征，实现了更高的精度，融合模块CspStage结构示意图如图6所示。
2.1.3 损失函数优化
YOLOM网络计算边界框的回归损失采用的是CIoU Loss，其中CIoU的计算公式如下：
$$ {\mathrm{CIoU}} = {\mathrm{IoU}} - \frac{{{\rho ^2}\left( {b,{b^{gt}}} \right)}}{{{c^2}}} - \alpha \nu $$ (1) $$ \alpha = \frac{\nu }{{1 - {\mathrm{IoU}} + \nu }} $$ (2) $$ \nu = \frac{4}{{{\pi ^2}}}{\left( {{{\tan }^{ - 1}}\frac{{{w^{gt}}}}{{{h^{gt}}}} - r\;{{\tan }^{ - 1}}\frac{w}{h}} \right)^2} $$ (3) 其中，$IoU$为预测框与真实框的交集除以二者的并集；$ b、{b}^{gt} $为预测框和真实框的中心点；$\rho $为两个中心点之间的欧氏距离；$c$为能够同时包含预测框与真实框的最小外接矩形的对角线长度；$\alpha $为权重系数；$\nu $用来衡量预测框和真实框之间的宽高比的一致性；$ {w}^{gt}、{h}^{gt} $分别为真实框的宽和高，$ w、h $分别为预测框的宽和高。
最终CIoU Loss的计算公式如下：
$$ {L_{{\mathrm{CIoU}}}} = 1 - {\mathrm{IoU}} + \frac{{{\rho ^2}\left( {{b^A},{b^B}} \right)}}{{{c^2}}} + \alpha \nu $$ (4) 但CIoU仅能反映长宽比的差异，并不是长宽分别与其置信度的真实差异[24]，所以在带式输送机运行状态的多任务检测应用场景中，由于3种任务的尺度变化很大，使得CIoU Loss具有一定的局限性。
为弥补CIoU损失函数在不同的检测任务中的泛化能力较弱且收敛速度较慢的不足，引入使用辅助边界框计算损失以加速边界框回归的Inner-CIoU损失函数去计算边界框回归损失[25]。在Inner-CIoU中，通过引入尺度因子ratio，可以控制辅助边框的尺度大小去计算损失，可以克服CIoU在泛化能力方面的局限。如图7所示，分别为较小和较大尺度下的Inner-IoU计算方式的示意图。
将Inner-IoU应用至CIoU损失函数中的计算方式如下所示：
$$ b_l^{gt} = x_c^{gt} - \frac{{{w^{gt}} * {\mathrm{ratio}}}}{2},b_r^{gt} = x_c^{gt} + \frac{{{w^{gt}} * {\mathrm{ratio}}}}{2} $$ (5) $$ b_t^{gt} = y_c^{gt} - \frac{{{h^{gt}} * {\mathrm{ratio}}}}{2},b_b^{gt} = y_c^{gt} + \frac{{{h^{gt}} * {\mathrm{ratio}}}}{2} $$ (6) $$ {b_l} = {x_c} - \frac{{w * {\mathrm{ratio}}}}{2},{b_r} = x_c^{gt} + \frac{{w * {\mathrm{ratio}}}}{2} $$ (7) $$ {b_t} = {y_c} - \frac{{h * {\mathrm{ratio}}}}{2},{b_b} = y_c^{gt} + \frac{{h * {\mathrm{ratio}}}}{2} $$ (8) $$ \begin{gathered} {\mathrm{inter}} = \left( {\min \left( {b_r^{gt},{b_r}} \right) - \max \left( {b_l^{gt},{b_l}} \right)} \right) * \\ \left( {\min \left( {b_b^{gt},{b_b}} \right) - \max \left( {b_t^{gt},{b_t}} \right)} \right) \end{gathered}$$ (9) $$ {\mathrm{union}} = \left( {{w^{gt}} * {h^{gt}}} \right) * {\left( {{\mathrm{ratio}}} \right)^2} + \left( {w * h} \right) * {\left( {{\mathrm{ratio}}} \right)^2} - {\mathrm{inter}} $$ (10) $$ {\mathrm{IoU}}^{{\mathrm{inner}}} = \frac{{{\mathrm{inter}}}}{{{\mathrm{union}}}} $$ (11) $$ {L_{{\mathrm{Inner - CIoU}}}} = {L_{{\mathrm{CIoU}}}} + {\mathrm{IoU}} - {\mathrm{IoU}}^{{\mathrm{inner}}} $$ (12) Inner-CIoU通过尺度因子ratio控制辅助边框的大小，实现对于带式输送机运行状态不同任务检测的动态调整，使得模型具有更好的泛化能力。
2.2 感兴趣区域提取
在检测图像中，带式输送机的待检区域在竖直方向上贯穿图像，在水平方向上摄像头远处的待检区域较窄，占据图像宽度的30%，带式输送机两旁的背景区域和巷道的顶部区域图像特征较为复杂，且输送带边缘检测在摄像头远景处的拟合准确度较差；摄像头近处的待检区域较宽，占据图像宽度的70%，带式输送机两旁的背景区域和巷道的顶部区域图像特征较为简单。所以本研究在图像检测前对待检区域进行感兴趣区域提取（ROI），使其宽度保持不变，高度取为图像底部到图像中点的距离。ROI提取如图8所示。
2.3 输送带边缘直线提取算法
本研究使用YOLOM中的实例分割模块对带式输送机输送带边缘图像进行分割，提取输送带边缘特征信息。虽然通过深度学习得到了输送带边缘的特征，但提取到的特征是一个分割区域，不是像素点为1的直线，且后续研究者不能根据分割区域去进行跑偏检测，也不能区分左右边缘线。为了更好地适应输送带边缘检测线为直线的情况，提高输送带边缘检测的鲁棒性，本研究采用霍夫变换直线检测法提取符合要求的直线，从而得到清晰简明的输送带边缘检测线。输送带边缘分割图如图9所示。
带式输送机输送带边缘检测线提取的具体方案：首先将感兴趣区域图像的中间垂直线作为界限，从图像的中间垂直线分别向两侧搜索，对左侧的边缘像素点集中每个点的$\rho $和$\theta $在对应的位置加一，最后找到点集中的最大值，其坐标值$\left( {{\rho _0},{\theta _0}} \right)$对应图像空间中所求的输送带左侧边缘直线。同理可得输送带右侧边缘直线。为了提高程序运行速度，在进行输送带边缘线检测时，将左侧边缘像素点集的$\theta $限制为0°～80°，右侧边缘像素点集的$\theta $限制为100°～180°。输送带边缘检测线提取结果如图10所示，为了方便观察，在此处设置输送带左侧边缘直线显示为蓝色，右侧显示为红色。
3. 实验与结果分析
3.1 实验环境和参数配置
实验平台的操作系统为Ubuntu18.04，使用的CPU型号为Intel(R)Xeon(R)Silver4210R，GPU型号为Tesla V100-PCIE-32GB，Python编译器版本为Python3.7.13，深度学习框架为PyTorch1.8.1,CUDA版本为CUDA10.2。训练参数设置见表1。
表 1 训练参数设置Table 1. Training parameter setting参数 数值 epochs 300 batch 8 imgsz 640 workers 8 lr 0.01 optimizer SGD weight_decay 0.0005 momentum 0.937 3.2 图像数据集制作
所使用的煤矿井下异物数据集来源于中国矿业大学智能检测与模式识别研究中心煤矿专用视频AI分析数据集CUMT-BelT，该数据集采集自矿井下输送带的运输环境，实验选取数据集CUMT-BelT中的大块图像数据集，共采集图片1 400张，包含训练图像1 100张和测试图像300张[26]。因为模型是多任务检测模型，所以需要对数据集进行多次标注，先使用Labelimg图像标注软件对图像中大块异物进行标注，作为模型目标检测标签，记作large_det；其次使用Labelme图像标注软件对图像中带式输送机输送带的左右边缘进行标注，作为模型分割标签，记作belt_edge；最后同样使用Labelme图像标注软件对图像中带式输送机上煤流的形状进行标注，作为模型另一分割标签，记作coal_flow。其中带式输送机输送带边缘和煤流形状的分割标签如图11所示。
矿井环境复杂难以普及照明，因此带式输送机运行状态实时监控系统主要面临低照度以及多尘雾的双重干扰[27]。如果多任务模型在此类恶劣工况下识别准确度不足，则可能无法及时检测到带式输送机运行状态。为了测试多任务模型在该类恶劣环境下的运行状态识别效果，需要低照度和多尘雾环境下的测试数据集进行验证。但井下恶劣环境的图像数据获取困难，因此本研究对原始的数据集分别使用图像合成雾增强算法和图像亮度暗化处理算法生成在多尘雾和低照度条件下的2组数据集，随后将3组数据集合，并根据7∶2∶1的比例将3组数据集随机划分为训练集、验证集、测试集。数据集扩充图像如图12所示。
3.3 评价指标
实验使用召回率（Recall）和平均精度均值（mAP）作为带式输送机上大块异物检测任务的评估指标。对于分割任务，使用平均交并比（mIoU）来评估带式输送机煤流和输送带边缘的分割任务。除了检测模型的准确度以外，还使用FPS来评估改进模型的检测速度，同时还提供了每个模型的参数数量作为评估结果之一。在煤矿井下带式输送机运行状态检测任务中，需要在边缘设备上部署模型，这些设备通常具有有限的计算资源。因此，要确保模型是轻量级的，且显示实时性也至关重要。
3.4 消融实验
为了验证所提出的DR-YOLOM网络模型的检测效果，本研究以YOLOM算法为基础网络，在基准算法上逐步优化，首先使用DWR模块改进基础网络上的C2f模块，随后采用RepGFPN特征融合网络改进基础网络的特征融合部分，最后引入Inner-CIOU损失函数，分别进行训练和测试。使用不同工况的测试数据集对各个算法按照3.1节中的实验设置进行训练，不同工况测试数据集下的消融实验结果见表2，表中√代表使用该改进方法。
表 2 不同工况测试数据集下的消融实验结果Table 2. Results of ablation experiments under different working condition test datasets基础网络 C2f_DWR RepGFPN Inner-CIOU R mAP50 mIoU 参数量/M FPS/s large_det belt_edge coal_flow √ — — — 0.853 0.886 0.779 0.942 3.64 50 √ √ — — 0.869 0.895 0.784 0.965 3.61 45 √ — √ — 0.862 0.899 0.786 0.963 4.33 43 √ √ √ √ 0.872 0.9 0.787 0.966 4.31 40 从表2中可以看出，原模型在加入C2f_DWR模块后，模型召回率、mAP50和mIoU分别提高了1.6、0.9、0.5和2.3个百分点，并且其参数量有所降低，原因在于Bottleneck残差模块使得网络会在同一个位置叠加大量的信息，在获取关键特征过程中产生很多冗余特征，而DWR模块以残差方式设计，能够有效避免这种情况。其次采用RepGFPN特征融合网络改进基础网络的特征融合部分后，可以看出模型召回率、mAP50和mIoU分别提高了0.9、1.3、0.7和2.1个百分点，但其参数量和推理速度显著升高，原因在于RepGFPN网络跨尺度的连接方式使得模型层数加深，预测过程前向传播时间显著增加，但也在可接受范围内。最后，将所有改进方案添加到基础模型，并且引入Inner-CIOU损失函数后，可以看到模型召回率、mAP50和mIoU都有所提升，但其参数量和推理速度相比原模型提高不少，该现象归因于使用RepGFPN特征融合网络更换原模型颈部所致。实验结果表明，加入C2f_DWR模块、更换颈部网络为RepGFPN网络和引入Inner-CIOU损失函数可以在少量增加模型内存占用量的前提下，提高整个检测网络的识别精度，并且整体的推理时间为40 fps也能满足带式输送机运行状态的多任务检测要求。
3.5 对比实验
3.5.1 与主流模型对比
为了验证DR-YOLOM多任务检测模型的实用性，选择成熟的单一任务检测网络模型与DR-YOLOM多任务检测模型进行对比。选用U-net和DeepLabV3+网络模型与DR-YOLOM模型分割任务的分割效果进行对比，Faster RCNN和Yolov8用于对比目标检测的效果。不同算法检测的实验结果见表3。
表 3 不同算法检测的实验结果Table 3. Experimental results of different algorithm detection基础网络 参数量/M R mAP50 mIoU FPS/s large_det belt_edge coal_flow U-net 24.89 — — 0.813 — 39 DeepLabV3+ 5.81 — — — 0.973 70 Faster R CNN 137.09 0.995 0.993 — — 20 Yolov8 3.0 0.842 0.93 — — 112.7 DR-YOLOM 4.31 0.872 0.9 0.787 0.966 40 根据表3可以看出，对于带式输送机输送带的边缘分割和煤流分割任务，DR-YOLOM网络模型的mIoU值低于U-net和DeepLabV3+网络模型，DR-YOLOM模型的推理速度高于U-net模型低于DeepLabV3+模型，但DR-YOLOM模型的参数数量更少，更适合带式输送机运行状态实时检测任务的轻量化要求，并且mIoU值降低的数值和推理速度也在可接受范围内。对于带式输送机大尺寸煤块的目标检测任务，Faster RCNN网络模型的mAP50比DR-YOLOM>模型高9.3%，虽然其检测精度非常高，但是该网络模型的参数量是DR-YOLOM模型的30多倍，并且推理速度只有20 fps，这不仅给边缘设备带来了巨大的压力，还难以满足实时检测任务的需求。其次，Yolov8网络模型对大尺寸煤块识别的召回率是最低的，但该模型的推理速度比其他模型（包括所提出的模型）快很多。对于本研究需要同时检测的3种任务来说，Yolov8网络模型需要在边缘设备上部署3个独立的模型，这意味着将1个检测模型与2个分割模型组合到1个边缘设备中，总计900万个参数。这比DR-YOLOM模型的参数量高出2倍多，给具有有限计算资源的边缘设备带来了巨大的挑战。通过以上对比可以看出，提出的DR-YOLOM多任务检测模型更适用于带式输送机运行状态的多任务检测。
5种主流检测算法的实验结果如图13所示。DR-YOLOM多任务检测算法可以同时检测3个任务，而其他4种主流检测算法只能同时检测1个任务。与其他算法相比，DR-YOLOM多任务检测算法在多任务检测上效率更高。DR-YOLOM多任务检测算法的参数量为4.31 M，分别比U-net、DeepLabV3+和Faster RCNN少20.58、1.5和132.78 M，仅比Yolov8多1.31 M。DR-YOLOM多任务检测算法的检测速度40 fps，比U-net和Faster RCNN分别高出1和20 fps。虽然DeepLabV3+和Yolov8的检测速度高于DR-YOLOM多任务检测算法，但DeepLabV3+和Yolov8只能同时检测1个任务。
如图14所示，图14a展示了U-net对带式输送机输送带的边缘分割效果，图14b展示了DeepLabV3+对带式输送机煤流状态的分割效果，图14c展示了Faster RCNN模型对带式输送机大尺寸煤块的检测结果，图14d展示了Yolov8模型对带式输送机大尺寸煤块的检测结果，图14e展示了DR-YOLOM网络模型对带式输送机s输送带边缘、煤流状态和大尺寸煤块的检测结果。通过对比可以发现，传统的检测模型只能进行单一任务检测，而DR-YOLOM网络模型可以进行多任务同时检测。
3.5.2 模型改进前后损失值对比
图15为基于YOLOM模型改进前后不同任务的训练CIoU Loss损失曲线对比图。模型在引入Inner-CIoU损失函数后，3个检测任务的损失值在100轮左右时趋于收敛，最终分别收敛于0.56、0.62、0.92。通过基础模型与改进模型损失曲线的对比，可以看出DR-YOLOM模型的损失曲线有更快的收敛速度、更低的损失值。
![]()
图 15 模型改进前后损失曲线对比Figure 15. Comparison of loss curves before and after model improvement3.5.3 模型改进前后识别精度对比
图16为模型改进前后带式输送机上大块异物检测任务的平均精度均值（mAP50）曲线对比图，图17为模型改进前后带式输送机煤流和输送带边缘分割任务的平均交并比（mIoU）曲线对比图。从对比曲线图中可以看出，采用RepGFPN特征融合网络改进基础网络的特征融合部分后，模型的mAP50和mIoU曲线收敛得更快，曲线趋于平缓，基本没有出现震荡现象；与基础模型相比，DR-YOLOM模型的mAP50和mIoU分别提高了1.3、0.7和2.1个百分点。
![]()
图 16 模型改进平均精度均值曲线对比Figure 16. Comparison chart of average accuracy mean curve for model improvement![]()
图 17 模型改进前后平均交并比曲线对比Figure 17. Comparison chart of average intersection to union ratio curve before and after model improvement3.5.4 模型改进前后可视化对比
使用图像合成雾增强算法和图像亮度暗化处理算法生成2组图像，以模拟煤矿井下低照度和多尘雾的情况，测试结果如图18所示。为了更直观的展示出改进模型的分割效果和检测效果，图18a、图18d和图18g展示了在不同工况下YOLOM基础模型没有进行输送带边缘直线提取的预测效果图，图18b、图18e和图18h展示了在不同工况下YOLOM基础模型进行输送带边缘直线提取后的预测效果图，图18c、图18f和图18i展示了在不同工况下DR-YOLOM改进模型的预测效果图。从图18a、图18d、图18g和图18b、图18e、图18h的对比可以看出，没有进行输送带边缘直线提取的检测图就不能区分输送带左右边缘检测线，且YOLOM算法对输送带边缘检测获得的是一个分割掩码，并不能作为直线去做后续的输送带跑偏验证，这说明了本研究进行输送带边缘直线提取的必要性。从图18b、图18e、图18 h和图18c、图18f、图18i的对比可以看出，DR-YOLOM改进模型在不同工况下能够精准识别出图中的3个大尺寸煤块，并且有较高的置信度，而YOLOM基础模型在多尘雾工况下只能识别出图中的2个大尺寸模块，并且在正常工况和低照度工况下，对图中最远处的大尺寸煤块识别精度非常低；从煤流的分割效果可以看出，DR-YOLOM改进模型的分割效果要比YOLOM基础模型的分割效果要好很多，这说明使用扩张式残差模块优化基础网络模型的有效性。从总体情况看，DR-YOLOM多任务检测算法能够更好地满足带式输送机运行状态的多任务检测要求。
![]()
图 18 不同工况下的检测效果Figure 18. Detection effect diagram under different working conditions3.6 实验验证
3.6.1 实验部署
为验证DR-YOLOM算法的实用性，使用防爆矿用巡检机器人搭载本安型“双光谱”摄像仪采集带式输送机运行状态的视频数据，并将采集到的数据传输到上位机。随后将DR-YOLOM算法及运行环境部署到上位机，使用该算法处理巡检机器人采集的视频数据。巡检机器人安装在挂轨上，位于带式输送机的正上方，对输送机的运行状态进行检测。带式输送机运行状态多任务检测实验平台如图19所示。
![]()
图 19 带式输送机运行状态多任务检测实验平台Figure 19. Multi task detection experimental platform for operating status of belt conveyor由于煤矿井下大多情况处于低照度，所以笔者选择在晚上进行视频数据采集，随后使用DR-YOLOM算法进行视频检测。视频采集过程如图20所示。
3.6.2 实验结果与分析
实验截取视频检测中的几帧图像进行展示，如图21和图22所示。从2组图中可以看出，DR-YOLOM多任务检测算法可以在低照度环境下同时进行大尺寸煤块识别，输送带边缘以及煤流状态的检测。通过图21和图22的对比可以看出，没有进行输送带边缘直线提取的视频检测结果就不能区分皮输送带左右边缘检测线，且笔者所提算法对输送带边缘检测获得的是一个分割掩码，并不能作为直线去做后续的输送带跑偏验证；而从进行输送带边缘直线提取的效果图中可以看到清晰简明的左右输送带边缘检测线。说明本研究进行输送带边缘直线提取的必要性，以及DR-YOLOM算法在暗光环境下的实用性。
![]()
图 21 低照度环境下输送带边缘分割的视频检测结果Figure 21. Video detection results of belt edge segmentation in low illumination environments![]()
图 22 低照度环境下输送带边缘直线提取的视频检测结果Figure 22. Video detection results of belt edge straight line extraction in low illumination environments为了验证所提算法在多尘雾环境下的实用性，我们使用合成雾算法对视频图像进行加雾处理。如图23所示，从图中可以看出DR-YOLOM多任务检测算法可以在多尘雾环境下同时进行大尺寸煤块识别，输送带边缘以及煤流状态的检测。
从总体情况看，DR-YOLOM多任务检测算法在低照度和多尘雾环境下能够满足带式输送机运行状态的多任务检测要求。其模型参数量只有4.31 M，不仅可以部署于煤矿监控系统，也可以部署在井下巡检机器人等小型嵌入式设备上，为井下人员的安全生产提供良好的保障。
4. 结 论
1）由于煤矿井下带式输送机作业环境恶劣，大多数情况下处于低照度和多尘雾工况。为解决在恶劣工况下模型检测效果差的问题，笔者以多任务检测模型YOLOM网络为基础模型，提出一种融合扩张式残差模块和高效层聚合网络结构的DR-YOLOM多任务检测算法。
2）为实现带式输送机异常工况的同步检测，使用一种基于改进的DR-YOLOM多任务检测模型同时完成大尺寸煤块识别、输送带边缘检测和煤流状态检测，与每个任务使用单独模型相比，将3个不同的颈部和头部集成到具有共享主干的模型中可以节省大量计算资源和推理时间，满足带式输送机运行状态的多任务检测要求。
3）选用U-net和DeepLabV3+网络模型与DR-YOLOM多任务检测模型分割任务的分割效果进行对比实验，选用Faster RCNN和Yolov8的目标检测效果进行对比分析。结果表明，笔者提出的DR-YOLOM多任务检测模型更适用于带式输送机运行状态的多任务检测。
4）为验证DR-YOLOM算法的实用性，使用巡检机器人在实验室进行视频数据采集，并使用DR-YOLOM多任务检测算法对其采集的视频数据进行检测。实验结果表明，提出的多任务检测算法能够满足带式输送机运行状态的多任务检测要求。
-
![]()
图 15 模型改进前后损失曲线对比
Figure 15. Comparison of loss curves before and after model improvement
![]()
图 16 模型改进平均精度均值曲线对比
Figure 16. Comparison chart of average accuracy mean curve for model improvement
![]()
图 17 模型改进前后平均交并比曲线对比
Figure 17. Comparison chart of average intersection to union ratio curve before and after model improvement
![]()
图 18 不同工况下的检测效果
Figure 18. Detection effect diagram under different working conditions
![]()
图 19 带式输送机运行状态多任务检测实验平台
Figure 19. Multi task detection experimental platform for operating status of belt conveyor
![]()
图 21 低照度环境下输送带边缘分割的视频检测结果
Figure 21. Video detection results of belt edge segmentation in low illumination environments
![]()
图 22 低照度环境下输送带边缘直线提取的视频检测结果
Figure 22. Video detection results of belt edge straight line extraction in low illumination environments
表 1 训练参数设置
Table 1 Training parameter setting
参数 数值 epochs 300 batch 8 imgsz 640 workers 8 lr 0.01 optimizer SGD weight_decay 0.0005 momentum 0.937 
下载: 导出CSV
表 2 不同工况测试数据集下的消融实验结果
Table 2 Results of ablation experiments under different working condition test datasets
基础网络 C2f_DWR RepGFPN Inner-CIOU R mAP50 mIoU 参数量/M FPS/s large_det belt_edge coal_flow √ — — — 0.853 0.886 0.779 0.942 3.64 50 √ √ — — 0.869 0.895 0.784 0.965 3.61 45 √ — √ — 0.862 0.899 0.786 0.963 4.33 43 √ √ √ √ 0.872 0.9 0.787 0.966 4.31 40
下载: 导出CSV
表 3 不同算法检测的实验结果
Table 3 Experimental results of different algorithm detection
基础网络 参数量/M R mAP50 mIoU FPS/s large_det belt_edge coal_flow U-net 24.89 — — 0.813 — 39 DeepLabV3+ 5.81 — — — 0.973 70 Faster R CNN 137.09 0.995 0.993 — — 20 Yolov8 3.0 0.842 0.93 — — 112.7 DR-YOLOM 4.31 0.872 0.9 0.787 0.966 40
下载: 导出CSV
-
[1] 王国法,杜毅博,徐亚军,等. 中国煤炭开采技术及装备50年发展与创新实践:纪念《煤炭科学技术》创刊50周年[J]. 煤炭科学技术,2023,51(1):1−18. WANG Guofa,DU Yibo,XU Yajun,et al. Development and innovation practice of China coal mining technology and equipment for 50 years:Commemorate the 50th anniversary of the publication of Coal Science and Technology[J]. Coal Science and Technology,2023,51(1):1−18.
[2] 周坪,马国庆,周公博,等. 智能化带式输送机健康监测技术研究综述[J]. 仪器仪表学报,2023,44(12):1−21. ZHOU Ping,MA Guoqing,ZHOU Gongbo,et al. Health monitoring technology for the intelligent belt conveyor:A review[J]. Chinese Journal of Scientific Instrument,2023,44(12):1−21.
[3] 王海军,王洪磊. 带式输送机智能化关键技术现状与展望[J]. 煤炭科学技术,2022,50(12):225−239. WANG Haijun,WANG Honglei. Status and prospect of intelligent key technologies of belt conveyor[J]. Coal Science and Technology,2022,50(12):225−239.
[4] 马宏伟,毛清华,张旭辉. 矿用强力带式输送机智能监控技术研究进展[J]. 振动 测试与诊断,2016,36(2):213-219,396. MA Hongwei,MAO Qinghua,ZHANG Xuhui. Intelligent monitoring technology study process for steel cord conveyor belt in coal mine[J]. Journal of Vibration,Measurement & Diagnosis,2016,36(2):213-219,396.
[5] 吴利刚,陈乐,吕媛媛,等. 基于轻量化的输送带块煤实时监测方法[J]. 煤炭科学技术,2023,51(S2):285−293. WU Ligang,CHEN Le,LYU Yuanyuan,et al. Real time monitoring method for lightweight conveyor belt lump coal[J]. Coal Science and Technology,2023,51(S2):285−293.
[6] 高涵,赵培培,于正,等. 基于特征增强与Transformer的煤矿输送带异物检测[J]. 煤炭科学技术,2024,52(7):199−208. GAO Han,ZHAO Peipei,YU Zheng,et al. Coal mine conveyor belt foreign object detection based on feature enhancement and Transformer[J]. Coal Science and Technology,2024,52(7):199−208.
[7] 杨志方,张立亚,郝博南,等. 基于双流融合网络的运输机皮带跑偏检测方法[J/OL]. (2023−05−30) [2024−04−23]. http://kns.cnki.net/KCMS/detail/detail.aspx? filename=MTKJ20230526004&dbname=CJFD&dbcode=CJFQ. YANG Zhifang,ZHANG Liya,HAO Bonan,et al. Detection method of conveyor belt deviation based on double-stream fusion network[J/OL]. China Industrial Economics,2023:1−10. (2023−05−30) [2024-04-23]. http://kns.cnki.net/KCMS/detail/detail.aspx? filename=MTKJ20230526004&dbname=CJFD&dbcode=CJFQ.
[8] 李纪栋,蒲绍宁,翟超,等. 基于视频识别的带式输送机煤量检测与自动调速系统[J]. 煤炭科学技术,2017,45(8):212−216. Li Jidong,Pu Shaoning,Zhai Chao,et al. Coal quantity detection and automatic speed control system for belt conveyors based on video recognition[J]. Coal Science and Technology,2017,45(8):212−216.
[9] 代伟,赵杰,杨春雨,等. 基于双目视觉深度感知的带式输送机煤量检测方法[J]. 煤炭学报,2017,42(S2):547−555. DAI Wei,ZHAO Jie,YANG Chunyu,et al. Detection method of coal quantity in belt conveyor based on binocular vision depth perception[J]. Journal of China Coal Society,2017,42(S2):547−555.
[10] 韩涛,黄友锐,张立志,等. 基于图像识别的带式输送机输煤量和跑偏检测方法[J]. 工矿自动化,2020,46(4):17−22. HAN Tao,HUANG Yourui,ZHANG Lizhi,et al. Detection method of coal quantity and deviation of belt conveyor based on image recognition[J]. Industry and Mine Automation,2020,46(4):17−22.
[11] ZHANG M C,JIANG K,CAO Y S,et al. A new paradigm for intelligent status detection of belt conveyors based on deep learning[J]. Measurement,2023,213:112735. doi: 10.1016/j.measurement.2023.112735
[12] WANG J Y,JONATHAN WU Q M,ZHANG N. You only look at once for real-time and generic multi-task[J]. IEEE Transactions on Vehicular Technology,2024,73(9):12625−12637. doi: 10.1109/TVT.2024.3394350
[13] 邵蓉波,肖立志,廖广志,等. 基于多任务学习的测井储层参数预测方法[J]. 地球物理学报,2022,65(5):1883−1895. SHAO Rongbo,XIAO Lizhi,LIAO Guangzhi,et al. Multitask learning based reservoir parameters prediction with geophysical logs[J]. Chinese Journal of Geophysics,2022,65(5):1883−1895.
[14] 李茂,肖洋轶,宗望远,等. 基于改进YOLOv8模型的轻量化板栗果实识别方法[J]. 农业工程学报,2024,40(1):201−209. LI Mao,XIAO Yangyi,ZONG Wangyuan,et al. Detecting chestnuts using improved lightweight YOLOv8[J]. Transactions of the Chinese Society of Agricultural Engineering,2024,40(1):201−209.
[15] 孙龙,张荣芬,刘宇红,等. 监控视角下密集人群口罩佩戴检测算法[J]. 计算机工程,2023,49(9):313−320. SUN Long,ZHANG Rongfen,LIU Yuhong,et al. Mask wearing detection algorithm for dense crowds from a monitoring perspective[J]. Computer Engineering,2023,49(9):313−320.
[16] 刘凤春,张靖,薛涛,等. YOLO-VDCW:一种新的轻量化带钢表面缺陷检测算法[J]. 中国冶金,2024,34(6):125−135. LIU Fengchun,ZHANG Jing,XUE Tao,et al. YOLO-VDCW:A new lightweight surface defect detection algorithm for strip steel[J]. China Metallurgy,2024,34(6):125−135.
[17] 樊红卫,刘金鹏,曹现刚,等. 低照度尘雾下煤、异物及输送带早期损伤多尺度目标智能检测方法[J]. 煤炭学报,2024,49(S2):1259−1270. FAN Hongwei,LIU Jinpeng,CAO Xiangang,et al. Intelligent multi-scale target detection method for early damage of coal,foreign objects,and conveyor belts under low illumination dust and mist[J]. Journal of China Coal Society,2024,49(S2):1259−1270.
[18] 陈伟,江志成,田子建,等. 基于YOLOv8的煤矿井下人员不安全动作检测算法[J]. 煤炭科学技术,2024,52(S2):267−283. CHEN Wei,JIANG Zhicheng,TIAN Zijian,et al. etection algorithm for unsafe actions of underground personnel in coal mines based on YOLOv8[J]. Coal Science and Technology,2024,52(S2):267−283.
[19] WEI H R,LIU X,XU S C,et al. DWRSeg:Rethinking efficient acquisition of multi-scale contextual information for real-time semantic segmentation[J/OL]. (2022−12−02) [2024−04−23]. https://arxiv.org/abs/2212.01173.
[20] 裴少通,张行远,胡晨龙,等. 基于ER-YOLO算法的跨环境输电线路缺陷识别方法[J]. 电工技术学报,2024,39(9):2825−2840. PEI Shaotong,ZHANG Hangyuan,HU Chenlong,et al. The defect detection method for cross-environment power transmission line based on ER-YOLO algorithm[J]. Transactions of China Electrotechnical Society,2024,39(9):2825−2840.
[21] 侯公羽,陈钦煌,杨振华,等. 基于改进YOLOv5的安全帽检测算法[J]. 工程科学学报,2024,46(2):329−342. HOU Gongyu,CHEN Qinhuang,YANG Zhenhua,et al. Helmet detection method based on improved YOLOv5[J]. Chinese Journal of Engineering,2024,46(2):329−342.
[22] LIU S,QI L,QIN H F,et al. Path aggregation network for instance segmentation[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway,NJ:IEEE,2018:8759-8768.
[23] XU X Z,JIANG Y Q,CHEN W H,et al. DAMO-YOLO:A report on real-time object detection design[J/OL]. (2022−11−23) [2024−04−23],https://arxiv.org/abs/2211.15444?context=cs.CV.
[24] 王媛彬,韦思雄,吴华英,等. 基于改进YOLOv5s的矿井下安全帽佩戴检测算法[J/OL]. (2024−03−23) [2024−04−24]. http://kns.cnki.net/KCMS/detail/detail.aspx?filename=MTKJ20240320006&dbname=CJFD&dbcode=CJFQ. WANG Yuanbin,WEI Sixiong,WU Huaying,et al. Detection algorithm of helmet wearing in underground mine based on improved YOLOv5s[J/OL]. China Industrial Economics,(2024−03−23) [2024−04−24]. http://kns.cnki.net/KCMS/detail/detail.aspx?filename=MTKJ20240320006&dbname=CJFD&dbcode=CJFQ.
[25] ZHANG H,XU C,ZHANG S J. Inner-IoU:More effective intersection over union loss with auxiliary bounding box[J/OL]. (2023−11−06) [2024−04−24],https://arxiv.org/abs/2311.02877.
[26] 程德强,徐进洋,寇旗旗,等. 融合残差信息轻量级网络的运煤皮带异物分类[J]. 煤炭学报,2022,47(3):1361−1369. CHENG Deqiang,XU Jinyang,KOU Qiqi,et al. Lightweight network based on residual information for foreign body classification on coal conveyor belt[J]. Journal of China Coal Society,2022,47(3):1361−1369.
[27] 方崇全. 煤矿带式输送机巡检机器人关键技术研究[J]. 煤炭科学技术,2022,50(5):263−270. FANG Chongquan. Research on key technology of inspection robot for coal mine belt conveyor[J]. Coal Science and Technology,2022,50(5):263−270.
计量
- 文章访问数: 3
- HTML全文浏览量: 8
- PDF下载量: 14
