Real time counting method for coal mine drill pipes based on deep learning
-
摘要:
煤矿井下环境特殊，钻机工作场景复杂多变，存在强光、水汽、遮挡等因素干扰钻机识别效果，易出现误检漏检现象；同时钻机工作时钻机尾部常出现卡顿和无效运动等异常行为，影响钻杆计数准确性。针对上述问题，基于深度学习技术提出了一种煤矿钻杆实时计数方法，由基于AM-NT优化的钻机识别模型Drill-YOLOv8和基于两级判定区域的钻杆计数推理算法Pipe-Count 2部分组成。首先，从煤矿井下真实监控录像中采集钻机工作录像视频，标注并构建煤矿钻杆计数图像数据集CMDPC；然后，构建改进的钻机识别模型Drill-YOLOv8，引入Triplet注意力提升主干网络对钻机目标的特征提取能力，改进Slim-Neck网络结构平衡模型精度和复杂度，设计DDA Head模块替换检测头结构以提升模型头部对钻机目标多维度信息的关注度；最后，设计以两级判定区域统计钻机尾部有效运动次数为原理的钻杆计数推理方法Pipe-Count，依据Drill-YOLOv8检测器结果自动适应生成两级判定区域，使用ByteTrack实现钻机尾部目标追踪，通过判定区域更新钻机尾部运动状态，从而间接实现钻杆实时计数。在CMDPC数据集上的试验表明：改进的Drill-YOLOv8模型在mAP@0.5和mAP@[0.5:0.95]指标分别提升3.0%和2.7%，有效解决了强光、水汽和遮挡环境下钻机头部和钻杆目标误检漏检问题，检测速度为86帧/s；计数推理算法Pipe-Count的加权平均误计率为2%，面对多场景数据表现出良好的鲁棒性，且处理速度达到40帧/s，满足实时计数要求。
Abstract:The underground environment of coal mines is special, and the working scene of drilling rigs is complex and variable. There are often factors such as strong light, water vapor, and obstruction that interfere with the recognition effect of drilling rigs, which can easily lead to false or missed detections; At the same time, abnormal behaviors such as lagging and ineffective movement often occur at the tail of the drilling rig during operation, which affects the accuracy of drill Pipe Counting. A real-time counting method for coal mine drill pipes based on deep learning technology is proposed to address the above issues. It consists of two parts: the drill recognition model Drill-YOLOv8 optimized based on AM-NT and the drill pipe counting inference algorithm Pipe Count based on two-level judgment regions. Firstly, collect the working video of the drilling rig from the real monitoring footage of the coal mine underground, annotate and construct the Coal Mine drill Pipe Counting image dataset CMDPC; Then, an improved drilling rig recognition model Drill-YOLOv8 is constructed, which enhances the feature extraction ability of the backbone network for drilling rig targets by introducing triplet attention. The Slim-Neck network structure is improved to balance the accuracy and complexity of the model, and the DDA Head module is designed to replace the detection head structure to enhance the attention of the model head to the multi-dimensional information of drilling rig targets; Finally, a pipe count inference method called Pipe Count is designed based on the principle of calculating the effective number of movements at the tail of the drilling rig using a two-level polygon judgment area. Based on the results of the Drill-YOLOv8 detector, a two-level judgment area is automatically generated, and ByteTrack method is used to track the target at the tail of the drilling rig. By updating the motion status of the tail of the drilling rig through the judgment area, real-time counting of the drilling rig is indirectly achieved. Experiments on the CMDPC dataset show that the improved Drill-YOLOv8 model performs well in mAP@0.5 The mAP @ [0.5:0.95] index has increased by 3.0% and 2.7% respectively, effectively solving the problem of false detection and missed detection of drilling head and drill pipe targets under strong light, water vapor, and occlusion environments, and the detection speed has reached 86 frames per second; At the same time, the weighted average error rate of the counting inference algorithm Pipe Count is 2%, showing good robustness against multi scene data, and the processing speed reaches 40 frames per second, meeting real-time counting requirements.
-
Keywords:
- drill pipe count /
- drilling identification /
- deep learning /
- regions decide /
- attention mechanism
-
0. 引 言
钻场打钻是煤矿瓦斯治理的关键环节之一，确保实际打钻进尺与设计参数一致是煤矿瓦斯抽采达标的重要保障[1-2]。现在各煤矿井下打钻现场已按照“一钻一视频”要求安装了打钻监控摄像头，实现了打钻、退钻全过程实时监控录像。为保证瓦斯抽采过程中钻孔深度达到要求，常采用钻杆数量作为判断钻孔深度的主要指标，准确统计钻杆数量，对于煤矿瓦斯治理与安全生产具有重要意义[3]。现有的钻杆计数基本采用人工方式，通常由井上监测监控人员观察井下监控视频和回放打钻录像统计钻杆数量，工作量大且效率低。随打钻测量技术的发展，煤矿企业开始使用定向钻机获取钻孔数据[4-5]，但成本高短期内难以取代普通钻机。近年来，计算机视觉快速发展，图像识别技术逐渐应用于煤矿打钻视频识别中。董立红等[6]以改进的Camshift算法为基础，结合设定的锚点和时间间隔判断，实现钻杆计数功能；彭业勋[7]提出了一种改进的Harris角点检测算法，结合金字塔光流法跟踪钻机目标完成计数任务；张国华[8]使用改进的KCF算法追踪钻机，根据其运动轨迹波峰计数；方杰等[9]通过分析钻机目标运动轨迹实现钻杆计数。以上方法使用传统计算机视觉算法特定场景计数，鲁棒性差。高瑞等[10]使用图像分类方法，识别工人卸杆动作统计钻杆数量；杜京义等[11]倡导在识别工人卸钻动作时考虑时序信息，实现准确计数。但以上2种方法容易漏检并导致错误计数。宗占强[12]提出使用AlexNet网络分类识别钻机装钻和打钻动作；张栋等[13]改进MobileNetV2模型，通过识别装钻杆、打钻杆、卸钻杆和停机4种工作状态实现钻杆计数。以上2种方法过于依赖分类器性能，模型泛化能力不强。吴鑫艺[14]结合改进RFB算法和孪生网络的目标追踪算法实现计数功能；张栋[15]提出改进YOLOX的钻机目标检测方法以提升钻机检测速度和精度。以上2种方法只检测单目标类别，对打钻过程中的钻机信息提取不足，且在面对复杂环境时检测精度不能满足现场需求。
为提升煤矿复杂环境下钻机识别效果、降低钻杆计数误差、实现实时计数，笔者提出注意力机制与网络轻量化的模型优化方法，构建改进的钻机识别模型Drill-YOLOv8；设计两级判定区域方法构建辅助钻杆计数推理算法Pipe-Count；结合识别模型和推理算法提出一种基于深度学习技术的煤矿钻杆实时计数方法。
1. 数据集构建与评价指标
1.1 数据集构建
采集并构建山西晋煤集团沁秀煤业有限公司岳城煤矿井下钻场煤矿钻杆计数数据集（Coal Mine Drill Pipe Counting Dataset，CMDPC）。CMDPC数据集由14个不同场景下的43段钻机视频组成，每段视频时长1 h。
编写Python程序对43段视频进行处理。首先，将视频隔帧存储为视频帧图像；然后，对高度重复的图像进行清洗处理，得到包含14个场景的4 737张图像；最后，使用LabelImg目标检测标注工具对图像进行标注，存储为YOLO格式，得到CMDPC数据集。CMDPC数据集共标注5个类别，分别为钻机本体、钻机尾部、钻机头部、钻杆和工作人员，如图1所示；为防止数据泄露，以场景为单位划分训练集与验证集，将因环境干扰造成检测难度增大的5个场景中973张图像用于模型验证与测试，剩余9个场景中3 764张图像用于模型训练。
1.2 评价指标
本文使用类别平均精度（mean of Average Precision，mAP）、参数量Parmeters、模型的计算成本GFLOPs、每秒钟可处理的图像帧数FPS作为钻机识别算法的评价指标。mAP指标包括mAP@0.5和mAP@[0.5:0.95]；其中mAP@0.5表示在IOU阈值为0.5时mAP的值，mAP@[0.5:0.95]表示IOU阈值在[0.5:0.95]区间等步长取10个值时mAP的平均值。
mAP与FPS的计算如下：
$$ P = \frac{{{\mathrm{TP}}}}{{{\mathrm{TP + FP}}}} $$ (1) $$ R = \frac{{{\mathrm{TP}}}}{{{\mathrm{TP + FN}}}} $$ (2) $$ {\mathrm{AP}} = \sum\limits_{k = 1}^N {P(k)\Delta R(k)} $$ (3) $$ {\mathrm{mAP }}= \frac{1}{n}\displaystyle\sum_{i = 1}^n {{\mathrm{A}}{{\mathrm{P}}_i}} $$ (4) $$ {\mathrm{FPS}} = \frac{{1\;000}}{{{t_{{\mathrm{pre}}}} + {t_{ {\mathrm{infer}}}} + {t_{{\mathrm{post}}}}}} $$ (5) 式中：P（Precision）为精度；R（Recall）为召回率；AP（Average Precision）为针对单个类别，模型在不同置信度阈值下的精度和召回率曲线下的面积，反映该类别检测的准确性。APi为第i个类别的AP值。mAP为所有类别AP的平均值，用于综合评估模型在多类别检测任务中的整体精度。TP为识别正确的正样本数量；FP为误检为正样本的数量；FN为漏检的正样本数量；N为样本数量；k为每个样本点的索引；n为数据集类别个数；$ {t_{{\mathrm{pre}}}} $、$ {t_{{\mathrm{infer}}}} $、$ {t_{{\mathrm{post}}}} $分别为推理过程中图像预处理、推理、后处理阶段所用时间，s。
2. 基于AM-NT优化YOLOv8的钻机识别模型
2.1 YOLOv8模型
YOLOv8模型结构如图2所示，是由输入Input，主干网络Backbone，颈部网络Neck和检测头Head组成的深度卷积神经网络。其中，Input选用Mosaic数据增强方法，提升模型泛化能力；Backbone负责从输入钻机图像中提取高层次的语义特征，包含多个卷积和残差模块，构建了深层次的特征提取器；Neck整合调整由Backbone提取的特征，将不同层次的特征融合，提升网络对钻机图像的感知能力；Head将目标进行定位和分类，获得最终检测结果。
2.2 基于AM-NT优化的钻机识别模型
煤矿井下钻杆计数任务中不同尺度、视角、光线与遮挡情况下钻机的运动轨迹是准确计数的关键，通用的YOLOv8模型很难准确关注到钻机的各种状态。此外，其主干网络对钻机多维度特征的提取能力不足；在颈部网络中采用的C2F残差块结构复杂、各通道间没有信息交互且计算参数量大，影响识别速度；检测头对钻机特征关注度较弱，对不同尺度钻机目标的泛化能力不强。
为确保检测速度的情况下，提高模型对钻机视频识别的精度，提出一种新的模型优化方法：注意力机制与网络轻量化（Attention Mechanisms and Network Lightweighting，AM-NT）。AM-NT由3部分组成：Triplet注意力模块、Slim-C2F模块和DDA Head模块，分别对应YOLOv8主干网络、颈部网络和检测头的优化，目标是在不同阶段的网络中增加注意力机制，同时在特征融合阶段加强特征信息并降低计算量。本文基于AM-NT对YOLOv8进行改进，构建基于AM-NT优化YOLOv8的钻机识别模型Drill-YOLOv8。
2.2.1 Triplet注意力模块
为使网络在特征提取阶段就关注与钻机目标相关的信息，有效地传递钻机特征到高层次网络，在主干网络末端引入Triplet注意力模块[16]。Triplet注意力将钻机特征图映射成为C（通道）、H（高度）、W（宽度）3个维度的张量，设计3个分支分别为其中2个维度构建信息关联，以少量的计算成本实现维度间的信息依赖。Triplet注意力结构如图3所示，模块将输入张量Tensor分别送入3个分支，每个分支分别建立其中2个维度的联系。
1） HC分支用于建立高度维度和通道维度的信息关联。此分支输出XHC的计算过程可表示为
$$ {{\boldsymbol{X}}_{{\boldsymbol{HC}}}} = T_W^{ - 1}({\boldsymbol{X}} \sigma [{\mathrm{Conv}}({\mathrm{ZPool}}[{T_W}({\boldsymbol{X}})])]) $$ (6) 式中：$ \sigma (·) $为Sigmoid激活函数；$ {\mathrm{Conv}}(·) $为由二维卷积层和批归一化层组成的卷积操作；$ {\mathrm{ZPool}}(·) $为Z池化操作；$ {T}_{W}(·) $为沿W轴旋转进行通道交换；$ {T}^{-1}(·) $为$ T(·) $的逆向操作。
2） CW分支用于建立通道维度和宽度维度的信息关联，实现细节与HC分支相似。此分支处理过程表示为
$$ {{\boldsymbol{X}}_{{\boldsymbol{CW}}}} = T_H^{ - 1}({\boldsymbol{X}} \sigma [{\mathrm{Conv}}({\mathrm{ZPool}}[{T_H}({\boldsymbol{X}})])]) $$ (7) 3） HW分支用于建立高度维度和宽度维度的信息关联。由于输入X的形状符合权重计算的要求，所以不经旋转操作直接由X处理得HW分支的输出XHW，由式表示为
$$ {{\boldsymbol{X}}_{{\boldsymbol{HW}}}} = {\boldsymbol{X}} {\mathrm{Conv}}(\sigma [{\mathrm{ZPool}}({\boldsymbol{X}})]) $$ (8) 4） 对3个分支的输出特征图进行加和取平均运算，最终输出融合多维度钻机信息的特征图Y：
$$ {\boldsymbol{Y}} = \frac{1}{3}({{\boldsymbol{X}}_{{\boldsymbol{HC}}}} + {{\boldsymbol{X}}_{{\boldsymbol{CW}}}} + {{\boldsymbol{X}}_{{\boldsymbol{HW}}}}) $$ (9) 2.2.2 Slim-Neck颈部网络
为了减轻模型复杂度，受Hulin Li的GSConv[17]启发，提出一种优化的轻量级卷积模块Slim-C2F，并在模型的Neck部分进行应用。
GSConv利用通道混洗解决DWConv卷积过程中各通道之间没有信息交互而导致精度下降的问题，并凭借DWConv的通道稀疏卷积计算操作相对普通卷积操作减少模型参数和运算数量的优势实现轻量化。通过对GSConv结构优化，采用一次聚合策略和跨阶段策略设计得到Slim-C2F模块。如图4a所示，首先，将输入特征图F经过卷积调整通道数后得到特征图F0和F1；然后，将F1送入GS Bottleneck结构，依次通过卷积核大小为1×1和3×3的GSConv得到F2，同时将F1的通道数缩小一半得到F3，将F2和F3相加得到F4；最后，拼接F0和F4聚合特征得到输出特征图。
Slim-C2F模块降低了计算和网络结构的复杂性，但保持足够精度。为尽可能发挥颈轻量化的优势，将颈部网络中全部C2F模块替换为Slim-C2F模块，得到Slim-Neck网络，如图4b所示。
2.2.3 DDA Head模块
因YOLOv8网络的检测头对钻机目标不同尺度和形态中间层次特征的关注度不足，面对部分新的钻机布置场景时所表现得泛化能力较差。受统一动态检测头部模块启发[18]，以级联的三重注意力机制感知钻机目标不同维度的特征，结合深度监督策略[19]和解耦合头部结构[20]，设计DDA Head模块强化模型对钻机目标的检测效果。
如图5所示，DDA Head模块由输入、统一注意力结构、辅助训练头和主检测头组成。选取网络较浅层和网络深层的特征金字塔作为输入。较浅层特征用于辅助训练；深层特征图首先映射为一个由L、S、V组成的三维张量T，然后送入统一注意力结构中提取有效特征。统一注意力结构对输入张量的3个维度分别施加不同的注意力机制，依次在空间维度进行空间感知、在层级维度进行尺度感知、在通道维度进行任务感知，之后将3个维度的注意力机制级联在一起，使不同的注意力机制彼此之间关注到的特征信息相互补充。将深层特征送入主检测头进行预测生成及反向传播，辅助训练头以聚焦中间层特征得到的损失信息协助主检测头进行模型的参数更新。
在统一注意力机制结构中，尺度感知模块根据不同尺度的语义信息动态融合特征，空间感知模块关联物体的几何变换与不同层级的特征，任务感知模块关联表示任务与不同通道的特征，通过跨维度学习特征提升检测性能。过程中对输入张量施加连续的3个注意力机制，每个注意力机制只关注1个特定的维度，可由计算式表示为
$$ {\boldsymbol{W}}(T)={\alpha }_{V}({\alpha }_{S}({\alpha }_{L}({\boldsymbol{T}})·{\boldsymbol{T}})·{\boldsymbol{T}})·{\boldsymbol{T}} $$ (10) 式中：W(T)为统一注意力函数；T为经映射后的三维特征张量；$ {\alpha }_{V}(·) $、$ {\alpha }_{S}(·) $和$ {\alpha }_{L}(·) $分别为施加在通道、空间和层级3个维度的注意力函数。
辅助训练头结构在训练时对网络中间部分生成的较浅层特征图计算损失，然后进行反向传播，协助主检测头进行辅助检测头结构之前各网络层参数的更新。由于辅助训练头关注了较浅层网络的特征，因此可以在训练过程中提供额外的监督信息，加强了网络关注不同深度特征的能力。辅助训练头只在训练过程中生效，因此辅助训练头结构只通过增加训练成本来提升模型的检测性能，不影响模型的推理速度。
3. 基于区域判定的钻杆计数算法
大量分析井下打钻作业监控录像，发现钻机尾部周期性往返运动，以完成进钻或退钻工作；结合目标检测和追踪算法设计基于两级多边形判定区域的钻杆计数推理算法（Drill pipe counting inference algorithm based on two-level polygonal decision regions，Pipe-Count）。Pipe-Count算法采用Drill-YOLOv8作为检测器，ByteTrack[21]作为追踪器，两级判定区域作为判定规则，流程如图6所示。
![]()
图 6 两级多边形判定区域的钻杆计数推理算法流程Figure 6. Algorithmic flow of drill pipe counting inference for two-level polygonal decision regionsPipe-Count算法载入视频后由Drill-YOLOv8模型识别目标钻机并得到坐标信息。由钻机整体和头部位置，将钻机区分为左朝向和右朝向2种作业状态。在左朝向的作业状态中钻机头部在整体的左侧，规定钻机尾部向左侧运动为前进动作，向右侧运动为后退动作。右朝向作业状态相反。确定作业朝向后，生成两级判定区域。以右朝向为例，两级判定区域示意如图7所示。
2个判定区域置于钻机尾部的运动路径上，判定区域的位置、形状、宽、高由图7中红色标注的8个顶点坐标定义。由钻机整体、头部和尾部的坐标信息计算判定区域的宽度Pw和区域中心线的横坐标Lx，计算式如下：
$$ {P_w} = \left\{ \begin{gathered} \frac{{{{({t_{x2}} - {t_{x1}})}^2}}}{{m({b_{x2}} - {h_{x2}})}},{h_{x1}} + {h_{x2}} \lt {b_{x1}} + {b_{x2}} \\ \frac{{{{({t_{x2}} - {t_{x1}})}^2}}}{{m({h_{x1}} - {b_{x1}})}},{h_{x1}} + {h_{x2}} \geqslant {b_{x1}} + {b_{x2}} \\ \end{gathered} \right. $$ (11) $$ {L_x} = \left\{ \begin{gathered} {h_{x2}} + \frac{{{t_{x2}} - {t_{x1}}}}{2} + {P_w},{h_{x1}} + {h_{x2}} \lt {b_{x1}} + {b_{x2}} \\ {h_{x1}} - \frac{{{t_{x2}} - {t_{x1}}}}{2} - {P_w},{h_{x1}} + {h_{x2}} \geqslant {b_{x1}} + {b_{x2}} \\ \end{gathered} \right. $$ (12) 式中：$ {b_{x1}} $、$ {b_{x2}} $、$ {h_{x1}} $、$ {h_{x2}} $、$ {t_{x1}} $、$ {t_{x2}} $分别为钻机整体、头部、尾部检测框左上顶点的横坐标和右下顶点的横坐标；$ m $为区域宽度的缩放系数。得到区域宽度$ {P_w} $和中心线横坐标$ {L_x} $后，引入朝向变量$ d $调整2个判定区域的分布次序，由以上数值计算出区域顶点的具体坐标。考虑到井下真实作业场景的复杂性，为满足特殊作业场景对判定区域分布的特殊要求，引入2个偏移量$ {b_{\mathrm{m}}} $和$ {b_{\mathrm{s}}} $依据具体需求调整区域位置和分布。区域顶点坐标见表1，其中h为视频图像的高度。
表 1 判定区域顶点坐标Table 1. Vertex coordinates for the judgment area区域 顶点 X轴坐标 Y轴坐标 一级后退判定区域 A Lx+d×(3/2)×Pw+bm−d×bs 0 B Lx+d×(1/2)×Pw+bm−d×bs 0 C Lx+d×(1/2)×Pw+bm−d×bs h D Lx+d×(3/2)×Pw+bm−d×bs h 二级前进判定区域 E Lx−d×(3/2)×Pw+bm+d×bs 0 F Lx−d×(1/2)×Pw+bm+d×bs 0 G Lx−d×(1/2)×Pw+bm+d×bs h H Lx−d×(3/2)×Pw+bm+d×bs h 计算出具体坐标后，创建一个宽高与图像一致的全零二维Numpy数组，将坐标按序号顺序传入fillPoly函数，向顶点坐标围成的多边形区域填充像素值。在空白掩码中对后退判定区域用像素值1填充，对前进判定区域用像素值2填充，用作后续钻杆计数判定。判定掩码如图8所示。
两级判定区域生成后，逐帧对图像中检测到的目标进行处理，具体处理流程如下：
1）使用ByteTrack目标追踪算法作为追踪器得到钻机作业时各目标的类别、位置和置信度等信息，确定目标各自的唯一标识，并将边界框、标签和轨迹点等信息绘制到图像上。在各目标的追踪信息中提取出钻机尾部的坐标用于钻机运行状态的判断。定义前进数组和后退数组，用于更新钻机尾部的运动状态。
2）获取钻机尾部追踪框的中心坐标，如果判断掩码在该坐标上的像素值为1，即钻机尾部击中后退判定区域，则将其标识加入后退数组，认为此时钻机尾部处于后退状态，若此时钻机尾部的唯一标识也存储在前进数组中，则可认为钻机尾部是由前进状态转换成为后退状态，做了1次有效的往返运动，将退钻有效运动次数加1，并将标识从前进数组中移除。
3）如果判断掩码在钻尾中心坐标上的像素值为2，即钻机尾部击中前进判定区域，将标识添加到前进数组，认为此时钻机尾部处于前进状态；若钻机尾部的标识也存储在后退数组中，则将该标识从后退数组中移除。
4）如果判断掩码在该坐标上的像素值为0，即钻机尾部击中空白区域，此时不改变钻机尾部的运动状态。
5）统计钻机尾部的有效运动次数，结合钻机工作规律推算当前帧的进尺数和钻杆数量。当采用不同规格钻杆时，将钻杆长度设置为预设参数，使用有效运动次数与预设参数相乘即可得到对应钻杆规格的进尺数。最后将信息绘制在视频帧中进行可视化展示。
在打钻过程中时常发生因卡钻等异常情况导致的钻机尾部做无效运动。当无效运动为小幅运动时，钻机尾部不会经轨迹两端的判定区域更新状态，可避免此次异常进尺计入有效进尺。当无效运动具有与正常进尺相似幅度时，两级判定区域方法难以区分，此时将ByteTrack目标追踪算法赋予目标的追踪ID用于辅助验证，若钻杆ID并未改变，认为此时并未拧卸钻杆，不计入有效运动次数。由两级判定区域方法和目标追踪算法结合降低钻机尾部做无效运动导致的计数误差。
4. 试验与结果分析
4.1 钻机识别试验
4.1.1 对比试验
为定量验证Drill-YOLOv8模型的性能，在CMDPC数据集上设计对比试验，将Drill-YOLOv8与一些工程中常用的目标检测模型进行比较，在相同试验环境下将各模型训练300个轮次，对比结果见表2。
表 2 在CMDPC数据集上Drill-YOLOv8与其他模型的对比试验结果Table 2. Experimental results comparing Drill-YOLOv8 with other models on the CMDPC dataset由表2对比试验结果可知，Drill-YOLOv8在各评价指标上相较其他模型有明显优势，其中在mAP@0.5上，依次对比其他模型分别提升4.1%、5.2%、9.3%、7%、1.9%和1.2%，在mAP@[0.5:0.95]上分别提升10.1%、7.3%、20.4%、10.6%、1.4%和7%；Drill-YOLOv8在参数量和计算成本指标上相较YOLO系列经典模型均有不同程度的减少，相较轻量化BI-YOLO模型分别提升0.4×106和0.9×109；Drill-YOLOv8的FPS相较检测速率最快的BI-YOLO仅降低30帧/s。由于煤矿井下视频监控帧率通常仅为25帧/s，而本文Drill-YOLOv8模型检测速度达到86帧/s，故接入实时监控流检测时可以满足现场检测要求。
基于上述分析可知，Drill-YOLOv8模型在CMDPC数据集上的检测精度高于其他模型，且模型参数量和计算成本较低，能满足钻机目标实时检测要求。由图9可视化结果可知，Drill-YOLOv8模型明显改善了原始模型在遮挡、强光和水汽等复杂环境下误检漏检问题，在复杂环境下能表现出更好的检测性能，具有良好的鲁棒性。
![]()
图 9 YOLOv8模型（左侧）与Drill-YOLOv8模型（右侧）在复杂环境下检测效果对比Figure 9. Comparison of detection effects between YOLOv8 model (left) and Drill-YOLOv8 model (right) in complex environments4.1.2 消融试验
为了验证Drill-YOLOv8模型中各模块对整体性能的贡献程度，在CMDPC数据集上设计8组消融试验进行定量分析。以YOLOv8原始模型为基准，逐步累加改进的Slim-Neck模块、Triplet注意力机制模块和DDA Head模块，模型在相同试验环境下训练300个轮次后进行对比，试验结果见表3。
表 3 Drill-YOLOv8模型的消融试验结果Table 3. Ablation experimental results of Drill-YOLOv8 modelYOLOv8 Slim-Neck Triplet DDA Head mAP@0.5/% mAP@[0.5:0.95]/% 参数量/106 GFLOPs/109 FPS/(帧·s−1) √ × × × 87.8 68.5 3.0 8.1 142 √ √ × × 87.6 69.7 2.8 7.3 130 √ × √ × 88.5 70.5 3.0 8.1 136 √ × × √ 88.8 69.8 3.7 9.0 106 √ √ √ × 88.4 68.9 2.8 7.3 117 √ √ × √ 88.6 71.2 3.5 8.1 90 √ × √ √ 89.2 71.1 3.7 9.0 96 √ √ √ √ 90.8 71.2 3.5 8.2 86 由消融试验结果可知，Drill-YOLOv8模型对钻机目标检测的mAP@0.5和mAP@[0.5:0.95]分别达到90.8%和71.2%，相较YOLOv8分别提升3.0%和2.7%，改进效果明显。3个改进模块组合起来时表现出了良好的协同性，相较于未全部组合的试验mAP@0.5指标提升高于1.6%，证明3个模块之间学习的信息相互适应和补充。Drill-YOLOv8参数量较基准模型仅增加0.5×106，增加约16.7%，计算成本仅增加0.1×109，增加约1.2%，以有限的参数量和计算成本为代价，显著提升模型检测性能。
4.1.3 影响因素验证试验
为了验证钻机新旧程度与巷道背景颜色对检测结果的影响，从验证集和新采集数据中选取符合相应条件的图像数据进行验证试验，其中选取成色较新的3台钻机在4个不同场景下作业的图像322张；磨损较严重的6台钻机在6个不同场景下作业的图像627张；目标与背景颜色不易区分的图像410张；目标颜色与背景差异明显的图像539张。数据试验结果见表4。
表 4 影响因素验证试验结果Table 4. Validation experiments results of influence factor影响因素 数据数量 mAP@0.5/% Yolov8 Drill-YOLOv8 钻机较新 322 88.7 91.1 钻机老化 627 88.1 90.6 与背景颜色相近 410 85.7 87.2 与背景差异明显 539 89.6 91.3 验证试验结果表明，钻机新旧程度对检测结果的影响有限，深度学习检测模型可以良好的同时学习钻机目标不同磨损程度的特征，对不同新旧程度的钻机目标可以做到准确检测。此外，由结果可知，目标颜色与巷道背景是否容易区分对检测结果的影响较大。当钻机目标与背景不易区分时，Drill-YOLOv8相较基线模型检测精度提升2.5%，目标与背景区别明显时模型检测精度提升1.7%，达到91.3%。
4.2 钻杆计数试验
为验证Pipe-Count计数算法的有效性，设计6组试验。从煤矿井下钻机工作录像视频中选取不同作业场景下的视频文件，分别由Pipe-Count算法与人工对打钻过程进行钻杆计数。将Pipe-Count算法计数结果与人工计数结果比较，计算得到误计率$ E $和加权平均误计率$ {E_{{\mathrm{avg}}}} $，以加权平均误计率作为评价计数算法的指标，误计率和加权平均误计率的计算方法如下：
$$ E = \frac{{\left| {a - b} \right|}}{a} \times 100\% $$ (13) $$ {E}_{{\mathrm{avg}}}={\displaystyle \sum_{q=1}^{M}\frac{{E}_{q}{b}_{q}}{{\displaystyle \sum _{p=1}^{M}{b}_{p}}}} $$ (14) 式中：$ a $为人工计数结果；$ b $为算法计数结果；M为试验数量，即表5中的6个视频（6个试验）；p、q分别为6个试验中的第p和第q个试验；$ {E_q} $为第$ q $个试验的误计率。
为缩短试验耗时，使用Shotcut软件删减视频中钻机空闲的片段，将工作时的视频片段拼接后进行10～20倍速的加速处理，同时保持原始帧率输出MP4格式视频文件。由图10可知，经算法处理过的6个视频均按各自钻机工作朝向正确生成两级判定区域，其中图10c、图10e和图10f为检测器未训练过的新场景数据。
6个试验使用相同的钻机识别与钻杆计数算法，使用同一模型权重和推理参数进行计数任务，根据各场景钻机的位置和角度分别调整偏移量$ {b_{\mathrm{m}}} $和$ {b_{\mathrm{s}}} $用于微调判定区域位置。试验在相同环境下运行至视频文件处理完毕，6个试验视频与图10依次对应，试验结果见表5。
表 5 计数试验结果Table 5. Results of counting experiments视频 时长/s 打钻类型 有效运动/次 算法计数/根 人工计数/根 误计率/% 1 265 退钻 292 97 99 2.02 2 310 退钻 167 55 56 1.79 3 428 退钻 34 11 10 10.00 4 179 退钻 150 50 51 1.96 5 222 进钻 51 17 17 0 6 306 进钻 51 17 17 0 各组试验的计数过程中钻机尾部均未出现漏检和误检，避免了检测器性能对计数结果的影响。由计数试验数据可知，前4个试验钻机处于退钻状态，平均误计率约为3.94%，经观察发现在退钻过程中，Pipe-Count计数算法可以区别出钻机尾部大部分的无效运动，但存在钻机尾部做与有效运动一致的动作后并未退出钻杆和钻机尾部卡住无法做完整有效运动的2种异常状态，受此影响Pipe-Count计数算法在退钻场景中计数会存在少量误计。Pipe-Count计数算法在2个进钻场景中计数准确率达到100%，观察计数过程发现钻机在打钻过程中状态稳定，钻机尾部不会做无效运动，所以Pipe-Count计数算法在进钻作业中可以实现准确计数。计算6个试验的加权平均误计率为2%，表明Pipe-Count计数算法在多种作业场景下表现出稳定的性能和良好的准确率。试验中视频处理速度平均约为40帧/s，超过打钻录像视频约25帧/s的帧率，满足实时计数要求。
5. 结 论
1）构建了基于AM-NT优化YOLOv8的钻机识别模型Drill-YOLOv8。在自建的CMDPC数据集上的试验结果表明，Drill-YOLOv8与原始模型相比mAP@0.5和mAP@[0.5:0.95]指标分别提升3.0%和2.7%，通过检测结果可视化对比证明模型改善了复杂环境下钻机目标的误检漏检问题。
2）融合深度学习目标检测方法和两级多边形区域判定方法，提出了一种煤矿钻杆实时计数方法，使用改进模型Drill-YOLOv8作为计数算法的检测器，设计两级判定区域作为计数依据，统计钻机尾部的有效运动次数实现钻杆计数，在6组打钻视频中进行计数试验，平均加权误计率仅为2%。
（3）可视化的计数过程表明本文计数算法能根据场景自适应生成两级判定区域，具有较强鲁棒性。处理速度达到40帧/s，可满足实际应用需求。
在之后的工作中将要扩充数据集，丰富钻场景和钻机的种类，并将钻杆和人员目标加入计数逻辑辅助计数，进一步降低计数结果的误计率。
-
![]()
图 6 两级多边形判定区域的钻杆计数推理算法流程
Figure 6. Algorithmic flow of drill pipe counting inference for two-level polygonal decision regions
![]()
图 9 YOLOv8模型（左侧）与Drill-YOLOv8模型（右侧）在复杂环境下检测效果对比
Figure 9. Comparison of detection effects between YOLOv8 model (left) and Drill-YOLOv8 model (right) in complex environments
表 1 判定区域顶点坐标
Table 1 Vertex coordinates for the judgment area
区域 顶点 X轴坐标 Y轴坐标 一级后退判定区域 A Lx+d×(3/2)×Pw+bm−d×bs 0 B Lx+d×(1/2)×Pw+bm−d×bs 0 C Lx+d×(1/2)×Pw+bm−d×bs h D Lx+d×(3/2)×Pw+bm−d×bs h 二级前进判定区域 E Lx−d×(3/2)×Pw+bm+d×bs 0 F Lx−d×(1/2)×Pw+bm+d×bs 0 G Lx−d×(1/2)×Pw+bm+d×bs h H Lx−d×(3/2)×Pw+bm+d×bs h 
下载: 导出CSV
表 2 在CMDPC数据集上Drill-YOLOv8与其他模型的对比试验结果
Table 2 Experimental results comparing Drill-YOLOv8 with other models on the CMDPC dataset
下载: 导出CSV
表 3 Drill-YOLOv8模型的消融试验结果
Table 3 Ablation experimental results of Drill-YOLOv8 model
YOLOv8 Slim-Neck Triplet DDA Head mAP@0.5/% mAP@[0.5:0.95]/% 参数量/106 GFLOPs/109 FPS/(帧·s−1) √ × × × 87.8 68.5 3.0 8.1 142 √ √ × × 87.6 69.7 2.8 7.3 130 √ × √ × 88.5 70.5 3.0 8.1 136 √ × × √ 88.8 69.8 3.7 9.0 106 √ √ √ × 88.4 68.9 2.8 7.3 117 √ √ × √ 88.6 71.2 3.5 8.1 90 √ × √ √ 89.2 71.1 3.7 9.0 96 √ √ √ √ 90.8 71.2 3.5 8.2 86
下载: 导出CSV
表 4 影响因素验证试验结果
Table 4 Validation experiments results of influence factor
影响因素 数据数量 mAP@0.5/% Yolov8 Drill-YOLOv8 钻机较新 322 88.7 91.1 钻机老化 627 88.1 90.6 与背景颜色相近 410 85.7 87.2 与背景差异明显 539 89.6 91.3
下载: 导出CSV
表 5 计数试验结果
Table 5 Results of counting experiments
视频 时长/s 打钻类型 有效运动/次 算法计数/根 人工计数/根 误计率/% 1 265 退钻 292 97 99 2.02 2 310 退钻 167 55 56 1.79 3 428 退钻 34 11 10 10.00 4 179 退钻 150 50 51 1.96 5 222 进钻 51 17 17 0 6 306 进钻 51 17 17 0
下载: 导出CSV
-
[1] 梁运培,郑梦浩,李全贵,等. 我国煤与瓦斯突出预测与预警研究现状[J]. 煤炭学报,2023,48(8):2976−2994. LIANG Yunpei,ZHENG Menghao,LI Quangui,et al. A review on prediction and early warning methods of coal and gas outburst[J]. Journal of China Coal Society,2023,48(8):2976−2994.
[2] 石智军,姚克,姚宁平,等. 我国煤矿井下坑道钻探技术装备40年发展与展望[J]. 煤炭科学技术,2020,48(4):1−34. SHI Zhijun,YAO Ke,YAO Ningping,et al. 40 years of development and prospect on underground coal mine tunnel drilling technology and equipment in China[J]. Coal Science and Technology,2020,48(4):1−34.
[3] 胡金成,张立斌,蒋泽,等. 基于AI视频分析的煤矿瓦斯抽采钻场远程监督管理方法[J]. 工矿自动化,2023,49(11):167−172. HU Jincheng,ZHANG Libin,JIANG Ze,et al. Remote supervision and management method for coal mine gas extraction drilling site based on AI video analysis[J]. Journal of Mine Automation,2023,49(11):167−172.
[4] 陈泽平,闫保永,王国震,等. 煤矿井下随钻测量技术研究现状及展望[J]. 矿业安全与环保,2022,49(6):130−134. CHEN Zeping,YAN Baoyong,WANG Guozhen,et al. Research status and prospect of MWD technology in coal mine[J]. Mining Safety & Environmental Protection,2022,49(6):130−134.
[5] 王振. 千米定向钻进技术的应用现状及问题探讨[J]. 矿业安全与环保,2017,44(2):95−97. doi: 10.3969/j.issn.1008-4495.2017.02.022 WANG Zhen. Discussion on application status and existing problems of 1 000 m directional drilling technology[J]. Mining Safety & Environmental Protection,2017,44(2):95−97. doi: 10.3969/j.issn.1008-4495.2017.02.022
[6] 董立红,王杰,厍向阳. 基于改进Camshift算法的钻杆计数方法[J]. 工矿自动化,2015,41(1):71−76. DONG Lihong,WANG Jie,SHE Xiangyang. Drill counting method based on improved Camshift algorithm[J]. Industry and Mine Automation,2015,41(1):71−76.
[7] 彭业勋. 煤矿井下钻杆计数方法研究[D]. 西安:西安科技大学,2019. PENG Yexun. Study on counting method of drill pipe in coal mine[D]. Xi’an:Xi’an University of Science and Technology,2019.
[8] 张国华. 基于视觉跟踪算法的井下钻杆计数研究及应用[D]. 徐州:中国矿业大学,2021. ZHANG Guohua. Research and application of underground drill pipe counting based on visual tracking algorithm[D]. Xuzhou:China University of Mining and Technology,2021.
[9] 方杰,李振璧,夏亮. 基于ECO-HC的钻杆计数方法[J]. 煤炭技术,2021,40(11):186−189. FANG Jie,LI Zhenbi,XIA Liang. Drill pipe counting method based on ECO-HC[J]. Coal Technology,2021,40(11):186−189.
[10] 高瑞,郝乐,刘宝,等. 基于改进ResNet网络的井下钻杆计数方法[J]. 工矿自动化,2020,46(10):32−37. GAO Rui,HAO Le,LIU Bao,et al. Research on underground drill pipe counting method based on improved ResNet network[J]. Industry and Mine Automation,2020,46(10):32−37.
[11] 杜京义,党梦珂,乔磊,等. 基于改进时空图卷积神经网络的钻杆计数方法[J]. 工矿自动化,2023,49(1):90−98. DU Jingyi,DANG Mengke,QIAO Lei,et al. Drill pipe counting method based on improved spatial-temporal graph convolution neural network[J]. Journal of Mine Automation,2023,49(1):90−98.
[12] 宗占强. AlexNet网络的井下钻杆打钻动作识别[J]. 电子世界,2021(17):118−120. ZONG Zhanqiang. Identification of drilling action of downhole drill pipe based on AlexNet network[J]. Electronics World,2021(17):118−120.
[13] 张栋,姜媛媛. 基于改进MobileNetV2的钻杆计数方法[J]. 工矿自动化,2022,48(10):69−75. ZHANG Dong,JIANG Yuanyuan. Drill pipe counting method based on improved MobileNetV2[J]. Journal of Mine Automation,2022,48(10):69−75.
[14] 吴鑫艺. 基于改进RFB和孪生网络的煤矿钻杆计数方法研究[D]. 西安:西安科技大学,2021. WU Xinyi. Research on coal mine drill pipe counting method based on improved RFB and twin network[D]. Xi’an:Xi’an University of Science and Technology,2021.
[15] 张栋. 基于卷积神经网络的矿井下钻杆计数方法研究[D]. 淮南:安徽理工大学,2023. ZHANG Dong. Research on counting method of drill pipe in mine based on convolutional neural network[D]. Huainan:Anhui University of Science & Technology,2023.
[16] MISRA D,NALAMADA T,ARASANIPALAI A U,et al. Rotate to attend:Convolutional triplet attention module[C]//2021 IEEE Winter Conference on Applications of Computer Vision (WACV). Maui,HI,USA:IEEE,2021:3138−3147.
[17] LI H L, LI J, WEI H B, et al. Slim-neck by GSConv: A light-weight-design for real-time detector architectures[EB/OL]. [2024−02−03]. 2022: 2206.02424. https://arxiv.org/abs/2206.02424v3.
[18] DAI X Y,CHEN Y P,XIAO B,et al. Dynamic head:Unifying object detection heads with attentions[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville,TN,USA:IEEE,2021:7373−7382.
[19] LEE C Y,XIE S ,GALLAGHER P,et al. Deeply-Supervised Nets[C]//2015 International Conference on Artificial Intelligence and Statistics (AISTATS). Hilton San Diego Resort & Spa,San Diego,California,USA:PMLR,2015:562−570.
[20] WANG C Y,BOCHKOVSKIY A,LIAO H M. YOLOv7:Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver,BC,Canada:IEEE,2023:7464−7475.
[21] ZHANG Y F, SUN P Z, JIANG Y, et al. ByteTrack: Multi-object tracking by associating every detection box[EB/OL]. [2024−02−03]. 2021: 2110.06864. https://arxiv.org/abs/2110.06864v3.
[22] REDMON J, FARHADI A. YOLOv3: An incremental improvement[EB/OL]. [2024−02−03]. 2018: 1804.02767. https://arxiv.org/abs/1804.02767v1.
[23] LI C Y, LI L, JIANG H L, et al. YOLOv6: A single-stage object detection framework for industrial applicationst[EB/OL]. [2024−02−03]. 2024: 2209.02976. https://arxiv.org/abs/2209.02976.
[24] GE Z, LIU S, WANG F, et al. Yolox: Exceeding yolo series in 2021[EB/OL]. [2024−02−03]. 2021: 2107.08430. https://arxiv.org/abs/2107.08430.
[25] 刘子洋,徐慧英,朱信忠,等. Bi-YOLO:一种基于YOLOv8n改进的轻量化目标检测算法[J]. 计算机工程与科学,2024,46(8):1444−1454. doi: 10.3969/j.issn.1007-130X.2024.08.013 LIU Ziyang,XU Huiying,ZHU Xinzhong,et al. Bi-YOLO:An improved lightweight object detection algorithm based on YOLOv8n[J]. Computer Engineering & Science,2024,46(8):1444−1454. doi: 10.3969/j.issn.1007-130X.2024.08.013
计量
- 文章访问数: 55
- HTML全文浏览量: 7
- PDF下载量: 29
