Monitoring and early warning the spontaneous combustion of coal waste dumps supported by unmanned aerial vehicle remote sensing
-
摘要:
复垦后煤矸石山的复燃问题是矿区土地复垦与生态环境保护中的巨大挑战。超前和及时的自燃监测和预警对治理至关重要，同时也一直是研究和治理中的难题。研究基于无人机遥感技术，提出了一种在复垦后利用植被紫花苜蓿评估煤矸石山自燃风险的方法，并对该方法在自燃监测和预警中的可行性进行评估。以中国山西省某复垦后自燃煤矸石山为例，利用无人机搭载可见光、热红外相机获取了某复垦后煤矸石山的无人机影像，并基于无人机影像提取的图像特征估算了紫花苜蓿地上生物量、株高和植被水分信息；在此基础上提出了自燃风险评估方法，在已发生自燃的研究区A1开展预警可行性探究；同时，利用上述方法对一未知（潜在）自燃研究区A2的自燃风险进行评估。研究结果表明：①无人机是煤矸石山植被监测的有效工具，基于无人机遥感图像特征能够实现紫花苜蓿长势参数的精准估算。基于随机森林的紫花苜蓿生物量和植被水分估算模型在验证集上的决定系数R2分别为0.92和0.78，均方根误差RMSE分别90.58 g/cm2和4.29%；基于作物高度模型的株高预测结果的R2为0.92，RMSE为7.58 cm。②3种紫花苜蓿长势参数均表现出了对自燃的解释能力，在空间分布上与25 cm深度土壤温度Ts,25均表现出一定的负相关性（R2= −0.43~ −0.51），且地上生物量的解释能力最优（R2= −0.51）。③基于紫花苜蓿生物量能够在一定程度上掌握地下自燃过程的影响范围、强度和变化方向，从而可能对煤矸石山的潜在自燃风险实现监测和预警。研究旨在为矿区复垦后煤矸石山的复燃防治工作提供新思路和方法支撑。
Abstract:Spontaneous combustion of coal waste dumps is a huge challenge in land reclamation and ecological environment protection in mining areas. Advance and timely monitoring and early warning in spontaneous combustion process are crucial, and have always been a difficult issue in research and governance. Based on unmanned aerial vehicle (UAV) remote sensing technology, this study proposed a method for assessing the spontaneous combustion risk of coal waste dumps by using the reclaimed vegetation, alfalfa (Medicago sativa L.), and evaluated the feasibility of the method in potential spontaneous combustion monitoring and warning. Taking a coal waste dump after reclamation in Shanxi province, China, as an example, this study obtained the images of the coal waste dump by using an UAV equipped with visible and thermal infrared cameras. Then, the imagery features were extracted from the UAV images and used to estimate the alfalfa growth parameters, aboveground biomass (AGB), plant height (PH), and plant water content (PWC). On this basis, a spontaneous combustion risk assessment method was developed, and was applied to explore the feasibility in the study area A1 where spontaneous combustion had occurred. Then, the above method was used to assess the risk of study area A2, where the spontaneous combustion was unknown (or potential). The research results indicated that: ① UAV is an effective tool for vegetation monitoring in coal waste dumps, and alfalfa growth information can be accurately estimated based on the UAV remote sensing imagery features. The determination of coefficient (R2) of the alfalfa AGB and PH estimation model based on random forest (RF) was 0.92 and 0.78, respectively, and the root mean square error (RMSE) was 90.58 g/cm2 and 4.29%, respectively. The alfalfa PH estimation based on crop height model (CHM) resulted in anR2 of 0.92 and an RMSE of 7.58 cm. ② The three alfalfa growth parameters indicated the explanatory ability to the spontaneous combustion of coal waste dumps, which showed a certain negative correlation with the soil temperature at a depth of 25 cm (Ts,25) in spatial distribution (R2= −0.43−−0.51). Furthermore, alfalfa AGB showed the best performance (R2= −0.51). ③ The assessment result based on alfalfa AGB can grasp the scope, intensity and change direction of the underground spontaneous combustion process to some extent, so as to realize the monitoring and early warning of the potential spontaneous combustion risk of coal waste dump. Our research aimed at providing a new idea and the method support for the spontaneous combustion prevention of coal waste dumps after reclamation in mining areas.
-
0. 引 言
钻场打钻是煤矿瓦斯治理的关键环节之一，确保实际打钻进尺与设计参数一致是煤矿瓦斯抽采达标的重要保障[1-2]。现在各煤矿井下打钻现场已按照“一钻一视频”要求安装了打钻监控摄像头，实现了打钻、退钻全过程实时监控录像。为保证瓦斯抽采过程中钻孔深度达到要求，常采用钻杆数量作为判断钻孔深度的主要指标，准确统计钻杆数量，对于煤矿瓦斯治理与安全生产具有重要意义[3]。现有的钻杆计数基本采用人工方式，通常由井上监测监控人员观察井下监控视频和回放打钻录像统计钻杆数量，工作量大且效率低。随打钻测量技术的发展，煤矿企业开始使用定向钻机获取钻孔数据[4-5]，但成本高短期内难以取代普通钻机。近年来，计算机视觉快速发展，图像识别技术逐渐应用于煤矿打钻视频识别中。董立红等[6]以改进的Camshift算法为基础，结合设定的锚点和时间间隔判断，实现钻杆计数功能；彭业勋[7]提出了一种改进的Harris角点检测算法，结合金字塔光流法跟踪钻机目标完成计数任务；张国华[8]使用改进的KCF算法追踪钻机，根据其运动轨迹波峰计数；方杰等[9]通过分析钻机目标运动轨迹实现钻杆计数。以上方法使用传统计算机视觉算法特定场景计数，鲁棒性差。高瑞等[10]使用图像分类方法，识别工人卸杆动作统计钻杆数量；杜京义等[11]倡导在识别工人卸钻动作时考虑时序信息，实现准确计数。但以上2种方法容易漏检并导致错误计数。宗占强[12]提出使用AlexNet网络分类识别钻机装钻和打钻动作；张栋等[13]改进MobileNetV2模型，通过识别装钻杆、打钻杆、卸钻杆和停机4种工作状态实现钻杆计数。以上2种方法过于依赖分类器性能，模型泛化能力不强。吴鑫艺[14]结合改进RFB算法和孪生网络的目标追踪算法实现计数功能；张栋[15]提出改进YOLOX的钻机目标检测方法以提升钻机检测速度和精度。以上2种方法只检测单目标类别，对打钻过程中的钻机信息提取不足，且在面对复杂环境时检测精度不能满足现场需求。
为提升煤矿复杂环境下钻机识别效果、降低钻杆计数误差、实现实时计数，笔者提出注意力机制与网络轻量化的模型优化方法，构建改进的钻机识别模型Drill-YOLOv8；设计两级判定区域方法构建辅助钻杆计数推理算法Pipe-Count；结合识别模型和推理算法提出一种基于深度学习技术的煤矿钻杆实时计数方法。
1. 数据集构建与评价指标
1.1 数据集构建
采集并构建山西晋煤集团沁秀煤业有限公司岳城煤矿井下钻场煤矿钻杆计数数据集（Coal Mine Drill Pipe Counting Dataset，CMDPC）。CMDPC数据集由14个不同场景下的43段钻机视频组成，每段视频时长1 h。
编写Python程序对43段视频进行处理。首先，将视频隔帧存储为视频帧图像；然后，对高度重复的图像进行清洗处理，得到包含14个场景的4 737张图像；最后，使用LabelImg目标检测标注工具对图像进行标注，存储为YOLO格式，得到CMDPC数据集。CMDPC数据集共标注5个类别，分别为钻机本体、钻机尾部、钻机头部、钻杆和工作人员，如图1所示；为防止数据泄露，以场景为单位划分训练集与验证集，将因环境干扰造成检测难度增大的5个场景中973张图像用于模型验证与测试，剩余9个场景中3 764张图像用于模型训练。
1.2 评价指标
本文使用类别平均精度（mean of Average Precision，mAP）、参数量Parmeters、模型的计算成本GFLOPs、每秒钟可处理的图像帧数FPS作为钻机识别算法的评价指标。mAP指标包括mAP@0.5和mAP@[0.5:0.95]；其中mAP@0.5表示在IOU阈值为0.5时mAP的值，mAP@[0.5:0.95]表示IOU阈值在[0.5:0.95]区间等步长取10个值时mAP的平均值。
mAP与FPS的计算如下：
$$ P = \frac{{{\mathrm{TP}}}}{{{\mathrm{TP + FP}}}} $$ (1) $$ R = \frac{{{\mathrm{TP}}}}{{{\mathrm{TP + FN}}}} $$ (2) $$ {\mathrm{AP}} = \sum\limits_{k = 1}^N {P(k)\Delta R(k)} $$ (3) $$ {\mathrm{mAP }}= \frac{1}{n}\displaystyle\sum_{i = 1}^n {{\mathrm{A}}{{\mathrm{P}}_i}} $$ (4) $$ {\mathrm{FPS}} = \frac{{1\;000}}{{{t_{{\mathrm{pre}}}} + {t_{ {\mathrm{infer}}}} + {t_{{\mathrm{post}}}}}} $$ (5) 式中：P（Precision）为精度；R（Recall）为召回率；AP（Average Precision）为针对单个类别，模型在不同置信度阈值下的精度和召回率曲线下的面积，反映该类别检测的准确性。APi为第i个类别的AP值。mAP为所有类别AP的平均值，用于综合评估模型在多类别检测任务中的整体精度。TP为识别正确的正样本数量；FP为误检为正样本的数量；FN为漏检的正样本数量；N为样本数量；k为每个样本点的索引；n为数据集类别个数；$ {t_{{\mathrm{pre}}}} $、$ {t_{{\mathrm{infer}}}} $、$ {t_{{\mathrm{post}}}} $分别为推理过程中图像预处理、推理、后处理阶段所用时间，s。
2. 基于AM-NT优化YOLOv8的钻机识别模型
2.1 YOLOv8模型
YOLOv8模型结构如图2所示，是由输入Input，主干网络Backbone，颈部网络Neck和检测头Head组成的深度卷积神经网络。其中，Input选用Mosaic数据增强方法，提升模型泛化能力；Backbone负责从输入钻机图像中提取高层次的语义特征，包含多个卷积和残差模块，构建了深层次的特征提取器；Neck整合调整由Backbone提取的特征，将不同层次的特征融合，提升网络对钻机图像的感知能力；Head将目标进行定位和分类，获得最终检测结果。
2.2 基于AM-NT优化的钻机识别模型
煤矿井下钻杆计数任务中不同尺度、视角、光线与遮挡情况下钻机的运动轨迹是准确计数的关键，通用的YOLOv8模型很难准确关注到钻机的各种状态。此外，其主干网络对钻机多维度特征的提取能力不足；在颈部网络中采用的C2F残差块结构复杂、各通道间没有信息交互且计算参数量大，影响识别速度；检测头对钻机特征关注度较弱，对不同尺度钻机目标的泛化能力不强。
为确保检测速度的情况下，提高模型对钻机视频识别的精度，提出一种新的模型优化方法：注意力机制与网络轻量化（Attention Mechanisms and Network Lightweighting，AM-NT）。AM-NT由3部分组成：Triplet注意力模块、Slim-C2F模块和DDA Head模块，分别对应YOLOv8主干网络、颈部网络和检测头的优化，目标是在不同阶段的网络中增加注意力机制，同时在特征融合阶段加强特征信息并降低计算量。本文基于AM-NT对YOLOv8进行改进，构建基于AM-NT优化YOLOv8的钻机识别模型Drill-YOLOv8。
2.2.1 Triplet注意力模块
为使网络在特征提取阶段就关注与钻机目标相关的信息，有效地传递钻机特征到高层次网络，在主干网络末端引入Triplet注意力模块[16]。Triplet注意力将钻机特征图映射成为C（通道）、H（高度）、W（宽度）3个维度的张量，设计3个分支分别为其中2个维度构建信息关联，以少量的计算成本实现维度间的信息依赖。Triplet注意力结构如图3所示，模块将输入张量Tensor分别送入3个分支，每个分支分别建立其中2个维度的联系。
1） HC分支用于建立高度维度和通道维度的信息关联。此分支输出XHC的计算过程可表示为
$$ {{\boldsymbol{X}}_{{\boldsymbol{HC}}}} = T_W^{ - 1}({\boldsymbol{X}} \sigma [{\mathrm{Conv}}({\mathrm{ZPool}}[{T_W}({\boldsymbol{X}})])]) $$ (6) 式中：$ \sigma (·) $为Sigmoid激活函数；$ {\mathrm{Conv}}(·) $为由二维卷积层和批归一化层组成的卷积操作；$ {\mathrm{ZPool}}(·) $为Z池化操作；$ {T}_{W}(·) $为沿W轴旋转进行通道交换；$ {T}^{-1}(·) $为$ T(·) $的逆向操作。
2） CW分支用于建立通道维度和宽度维度的信息关联，实现细节与HC分支相似。此分支处理过程表示为
$$ {{\boldsymbol{X}}_{{\boldsymbol{CW}}}} = T_H^{ - 1}({\boldsymbol{X}} \sigma [{\mathrm{Conv}}({\mathrm{ZPool}}[{T_H}({\boldsymbol{X}})])]) $$ (7) 3） HW分支用于建立高度维度和宽度维度的信息关联。由于输入X的形状符合权重计算的要求，所以不经旋转操作直接由X处理得HW分支的输出XHW，由式表示为
$$ {{\boldsymbol{X}}_{{\boldsymbol{HW}}}} = {\boldsymbol{X}} {\mathrm{Conv}}(\sigma [{\mathrm{ZPool}}({\boldsymbol{X}})]) $$ (8) 4） 对3个分支的输出特征图进行加和取平均运算，最终输出融合多维度钻机信息的特征图Y：
$$ {\boldsymbol{Y}} = \frac{1}{3}({{\boldsymbol{X}}_{{\boldsymbol{HC}}}} + {{\boldsymbol{X}}_{{\boldsymbol{CW}}}} + {{\boldsymbol{X}}_{{\boldsymbol{HW}}}}) $$ (9) 2.2.2 Slim-Neck颈部网络
为了减轻模型复杂度，受Hulin Li的GSConv[17]启发，提出一种优化的轻量级卷积模块Slim-C2F，并在模型的Neck部分进行应用。
GSConv利用通道混洗解决DWConv卷积过程中各通道之间没有信息交互而导致精度下降的问题，并凭借DWConv的通道稀疏卷积计算操作相对普通卷积操作减少模型参数和运算数量的优势实现轻量化。通过对GSConv结构优化，采用一次聚合策略和跨阶段策略设计得到Slim-C2F模块。如图4a所示，首先，将输入特征图F经过卷积调整通道数后得到特征图F0和F1；然后，将F1送入GS Bottleneck结构，依次通过卷积核大小为1×1和3×3的GSConv得到F2，同时将F1的通道数缩小一半得到F3，将F2和F3相加得到F4；最后，拼接F0和F4聚合特征得到输出特征图。
Slim-C2F模块降低了计算和网络结构的复杂性，但保持足够精度。为尽可能发挥颈轻量化的优势，将颈部网络中全部C2F模块替换为Slim-C2F模块，得到Slim-Neck网络，如图4b所示。
2.2.3 DDA Head模块
因YOLOv8网络的检测头对钻机目标不同尺度和形态中间层次特征的关注度不足，面对部分新的钻机布置场景时所表现得泛化能力较差。受统一动态检测头部模块启发[18]，以级联的三重注意力机制感知钻机目标不同维度的特征，结合深度监督策略[19]和解耦合头部结构[20]，设计DDA Head模块强化模型对钻机目标的检测效果。
如图5所示，DDA Head模块由输入、统一注意力结构、辅助训练头和主检测头组成。选取网络较浅层和网络深层的特征金字塔作为输入。较浅层特征用于辅助训练；深层特征图首先映射为一个由L、S、V组成的三维张量T，然后送入统一注意力结构中提取有效特征。统一注意力结构对输入张量的3个维度分别施加不同的注意力机制，依次在空间维度进行空间感知、在层级维度进行尺度感知、在通道维度进行任务感知，之后将3个维度的注意力机制级联在一起，使不同的注意力机制彼此之间关注到的特征信息相互补充。将深层特征送入主检测头进行预测生成及反向传播，辅助训练头以聚焦中间层特征得到的损失信息协助主检测头进行模型的参数更新。
在统一注意力机制结构中，尺度感知模块根据不同尺度的语义信息动态融合特征，空间感知模块关联物体的几何变换与不同层级的特征，任务感知模块关联表示任务与不同通道的特征，通过跨维度学习特征提升检测性能。过程中对输入张量施加连续的3个注意力机制，每个注意力机制只关注1个特定的维度，可由计算式表示为
$$ {\boldsymbol{W}}(T)={\alpha }_{V}({\alpha }_{S}({\alpha }_{L}({\boldsymbol{T}})·{\boldsymbol{T}})·{\boldsymbol{T}})·{\boldsymbol{T}} $$ (10) 式中：W(T)为统一注意力函数；T为经映射后的三维特征张量；$ {\alpha }_{V}(·) $、$ {\alpha }_{S}(·) $和$ {\alpha }_{L}(·) $分别为施加在通道、空间和层级3个维度的注意力函数。
辅助训练头结构在训练时对网络中间部分生成的较浅层特征图计算损失，然后进行反向传播，协助主检测头进行辅助检测头结构之前各网络层参数的更新。由于辅助训练头关注了较浅层网络的特征，因此可以在训练过程中提供额外的监督信息，加强了网络关注不同深度特征的能力。辅助训练头只在训练过程中生效，因此辅助训练头结构只通过增加训练成本来提升模型的检测性能，不影响模型的推理速度。
3. 基于区域判定的钻杆计数算法
大量分析井下打钻作业监控录像，发现钻机尾部周期性往返运动，以完成进钻或退钻工作；结合目标检测和追踪算法设计基于两级多边形判定区域的钻杆计数推理算法（Drill pipe counting inference algorithm based on two-level polygonal decision regions，Pipe-Count）。Pipe-Count算法采用Drill-YOLOv8作为检测器，ByteTrack[21]作为追踪器，两级判定区域作为判定规则，流程如图6所示。
![]()
图 6 两级多边形判定区域的钻杆计数推理算法流程Figure 6. Algorithmic flow of drill pipe counting inference for two-level polygonal decision regionsPipe-Count算法载入视频后由Drill-YOLOv8模型识别目标钻机并得到坐标信息。由钻机整体和头部位置，将钻机区分为左朝向和右朝向2种作业状态。在左朝向的作业状态中钻机头部在整体的左侧，规定钻机尾部向左侧运动为前进动作，向右侧运动为后退动作。右朝向作业状态相反。确定作业朝向后，生成两级判定区域。以右朝向为例，两级判定区域示意如图7所示。
2个判定区域置于钻机尾部的运动路径上，判定区域的位置、形状、宽、高由图7中红色标注的8个顶点坐标定义。由钻机整体、头部和尾部的坐标信息计算判定区域的宽度Pw和区域中心线的横坐标Lx，计算式如下：
$$ {P_w} = \left\{ \begin{gathered} \frac{{{{({t_{x2}} - {t_{x1}})}^2}}}{{m({b_{x2}} - {h_{x2}})}},{h_{x1}} + {h_{x2}} \lt {b_{x1}} + {b_{x2}} \\ \frac{{{{({t_{x2}} - {t_{x1}})}^2}}}{{m({h_{x1}} - {b_{x1}})}},{h_{x1}} + {h_{x2}} \geqslant {b_{x1}} + {b_{x2}} \\ \end{gathered} \right. $$ (11) $$ {L_x} = \left\{ \begin{gathered} {h_{x2}} + \frac{{{t_{x2}} - {t_{x1}}}}{2} + {P_w},{h_{x1}} + {h_{x2}} \lt {b_{x1}} + {b_{x2}} \\ {h_{x1}} - \frac{{{t_{x2}} - {t_{x1}}}}{2} - {P_w},{h_{x1}} + {h_{x2}} \geqslant {b_{x1}} + {b_{x2}} \\ \end{gathered} \right. $$ (12) 式中：$ {b_{x1}} $、$ {b_{x2}} $、$ {h_{x1}} $、$ {h_{x2}} $、$ {t_{x1}} $、$ {t_{x2}} $分别为钻机整体、头部、尾部检测框左上顶点的横坐标和右下顶点的横坐标；$ m $为区域宽度的缩放系数。得到区域宽度$ {P_w} $和中心线横坐标$ {L_x} $后，引入朝向变量$ d $调整2个判定区域的分布次序，由以上数值计算出区域顶点的具体坐标。考虑到井下真实作业场景的复杂性，为满足特殊作业场景对判定区域分布的特殊要求，引入2个偏移量$ {b_{\mathrm{m}}} $和$ {b_{\mathrm{s}}} $依据具体需求调整区域位置和分布。区域顶点坐标见表1，其中h为视频图像的高度。
表 1 判定区域顶点坐标Table 1. Vertex coordinates for the judgment area区域 顶点 X轴坐标 Y轴坐标 一级后退判定区域 A Lx+d×(3/2)×Pw+bm−d×bs 0 B Lx+d×(1/2)×Pw+bm−d×bs 0 C Lx+d×(1/2)×Pw+bm−d×bs h D Lx+d×(3/2)×Pw+bm−d×bs h 二级前进判定区域 E Lx−d×(3/2)×Pw+bm+d×bs 0 F Lx−d×(1/2)×Pw+bm+d×bs 0 G Lx−d×(1/2)×Pw+bm+d×bs h H Lx−d×(3/2)×Pw+bm+d×bs h 计算出具体坐标后，创建一个宽高与图像一致的全零二维Numpy数组，将坐标按序号顺序传入fillPoly函数，向顶点坐标围成的多边形区域填充像素值。在空白掩码中对后退判定区域用像素值1填充，对前进判定区域用像素值2填充，用作后续钻杆计数判定。判定掩码如图8所示。
两级判定区域生成后，逐帧对图像中检测到的目标进行处理，具体处理流程如下：
1）使用ByteTrack目标追踪算法作为追踪器得到钻机作业时各目标的类别、位置和置信度等信息，确定目标各自的唯一标识，并将边界框、标签和轨迹点等信息绘制到图像上。在各目标的追踪信息中提取出钻机尾部的坐标用于钻机运行状态的判断。定义前进数组和后退数组，用于更新钻机尾部的运动状态。
2）获取钻机尾部追踪框的中心坐标，如果判断掩码在该坐标上的像素值为1，即钻机尾部击中后退判定区域，则将其标识加入后退数组，认为此时钻机尾部处于后退状态，若此时钻机尾部的唯一标识也存储在前进数组中，则可认为钻机尾部是由前进状态转换成为后退状态，做了1次有效的往返运动，将退钻有效运动次数加1，并将标识从前进数组中移除。
3）如果判断掩码在钻尾中心坐标上的像素值为2，即钻机尾部击中前进判定区域，将标识添加到前进数组，认为此时钻机尾部处于前进状态；若钻机尾部的标识也存储在后退数组中，则将该标识从后退数组中移除。
4）如果判断掩码在该坐标上的像素值为0，即钻机尾部击中空白区域，此时不改变钻机尾部的运动状态。
5）统计钻机尾部的有效运动次数，结合钻机工作规律推算当前帧的进尺数和钻杆数量。当采用不同规格钻杆时，将钻杆长度设置为预设参数，使用有效运动次数与预设参数相乘即可得到对应钻杆规格的进尺数。最后将信息绘制在视频帧中进行可视化展示。
在打钻过程中时常发生因卡钻等异常情况导致的钻机尾部做无效运动。当无效运动为小幅运动时，钻机尾部不会经轨迹两端的判定区域更新状态，可避免此次异常进尺计入有效进尺。当无效运动具有与正常进尺相似幅度时，两级判定区域方法难以区分，此时将ByteTrack目标追踪算法赋予目标的追踪ID用于辅助验证，若钻杆ID并未改变，认为此时并未拧卸钻杆，不计入有效运动次数。由两级判定区域方法和目标追踪算法结合降低钻机尾部做无效运动导致的计数误差。
4. 试验与结果分析
4.1 钻机识别试验
4.1.1 对比试验
为定量验证Drill-YOLOv8模型的性能，在CMDPC数据集上设计对比试验，将Drill-YOLOv8与一些工程中常用的目标检测模型进行比较，在相同试验环境下将各模型训练300个轮次，对比结果见表2。
表 2 在CMDPC数据集上Drill-YOLOv8与其他模型的对比试验结果Table 2. Experimental results comparing Drill-YOLOv8 with other models on the CMDPC dataset由表2对比试验结果可知，Drill-YOLOv8在各评价指标上相较其他模型有明显优势，其中在mAP@0.5上，依次对比其他模型分别提升4.1%、5.2%、9.3%、7%、1.9%和1.2%，在mAP@[0.5:0.95]上分别提升10.1%、7.3%、20.4%、10.6%、1.4%和7%；Drill-YOLOv8在参数量和计算成本指标上相较YOLO系列经典模型均有不同程度的减少，相较轻量化BI-YOLO模型分别提升0.4×106和0.9×109；Drill-YOLOv8的FPS相较检测速率最快的BI-YOLO仅降低30帧/s。由于煤矿井下视频监控帧率通常仅为25帧/s，而本文Drill-YOLOv8模型检测速度达到86帧/s，故接入实时监控流检测时可以满足现场检测要求。
基于上述分析可知，Drill-YOLOv8模型在CMDPC数据集上的检测精度高于其他模型，且模型参数量和计算成本较低，能满足钻机目标实时检测要求。由图9可视化结果可知，Drill-YOLOv8模型明显改善了原始模型在遮挡、强光和水汽等复杂环境下误检漏检问题，在复杂环境下能表现出更好的检测性能，具有良好的鲁棒性。
![]()
图 9 YOLOv8模型（左侧）与Drill-YOLOv8模型（右侧）在复杂环境下检测效果对比Figure 9. Comparison of detection effects between YOLOv8 model (left) and Drill-YOLOv8 model (right) in complex environments4.1.2 消融试验
为了验证Drill-YOLOv8模型中各模块对整体性能的贡献程度，在CMDPC数据集上设计8组消融试验进行定量分析。以YOLOv8原始模型为基准，逐步累加改进的Slim-Neck模块、Triplet注意力机制模块和DDA Head模块，模型在相同试验环境下训练300个轮次后进行对比，试验结果见表3。
表 3 Drill-YOLOv8模型的消融试验结果Table 3. Ablation experimental results of Drill-YOLOv8 modelYOLOv8 Slim-Neck Triplet DDA Head mAP@0.5/% mAP@[0.5:0.95]/% 参数量/106 GFLOPs/109 FPS/(帧·s−1) √ × × × 87.8 68.5 3.0 8.1 142 √ √ × × 87.6 69.7 2.8 7.3 130 √ × √ × 88.5 70.5 3.0 8.1 136 √ × × √ 88.8 69.8 3.7 9.0 106 √ √ √ × 88.4 68.9 2.8 7.3 117 √ √ × √ 88.6 71.2 3.5 8.1 90 √ × √ √ 89.2 71.1 3.7 9.0 96 √ √ √ √ 90.8 71.2 3.5 8.2 86 由消融试验结果可知，Drill-YOLOv8模型对钻机目标检测的mAP@0.5和mAP@[0.5:0.95]分别达到90.8%和71.2%，相较YOLOv8分别提升3.0%和2.7%，改进效果明显。3个改进模块组合起来时表现出了良好的协同性，相较于未全部组合的试验mAP@0.5指标提升高于1.6%，证明3个模块之间学习的信息相互适应和补充。Drill-YOLOv8参数量较基准模型仅增加0.5×106，增加约16.7%，计算成本仅增加0.1×109，增加约1.2%，以有限的参数量和计算成本为代价，显著提升模型检测性能。
4.1.3 影响因素验证试验
为了验证钻机新旧程度与巷道背景颜色对检测结果的影响，从验证集和新采集数据中选取符合相应条件的图像数据进行验证试验，其中选取成色较新的3台钻机在4个不同场景下作业的图像322张；磨损较严重的6台钻机在6个不同场景下作业的图像627张；目标与背景颜色不易区分的图像410张；目标颜色与背景差异明显的图像539张。数据试验结果见表4。
表 4 影响因素验证试验结果Table 4. Validation experiments results of influence factor影响因素 数据数量 mAP@0.5/% Yolov8 Drill-YOLOv8 钻机较新 322 88.7 91.1 钻机老化 627 88.1 90.6 与背景颜色相近 410 85.7 87.2 与背景差异明显 539 89.6 91.3 验证试验结果表明，钻机新旧程度对检测结果的影响有限，深度学习检测模型可以良好的同时学习钻机目标不同磨损程度的特征，对不同新旧程度的钻机目标可以做到准确检测。此外，由结果可知，目标颜色与巷道背景是否容易区分对检测结果的影响较大。当钻机目标与背景不易区分时，Drill-YOLOv8相较基线模型检测精度提升2.5%，目标与背景区别明显时模型检测精度提升1.7%，达到91.3%。
4.2 钻杆计数试验
为验证Pipe-Count计数算法的有效性，设计6组试验。从煤矿井下钻机工作录像视频中选取不同作业场景下的视频文件，分别由Pipe-Count算法与人工对打钻过程进行钻杆计数。将Pipe-Count算法计数结果与人工计数结果比较，计算得到误计率$ E $和加权平均误计率$ {E_{{\mathrm{avg}}}} $，以加权平均误计率作为评价计数算法的指标，误计率和加权平均误计率的计算方法如下：
$$ E = \frac{{\left| {a - b} \right|}}{a} \times 100\% $$ (13) $$ {E}_{{\mathrm{avg}}}={\displaystyle \sum_{q=1}^{M}\frac{{E}_{q}{b}_{q}}{{\displaystyle \sum _{p=1}^{M}{b}_{p}}}} $$ (14) 式中：$ a $为人工计数结果；$ b $为算法计数结果；M为试验数量，即表5中的6个视频（6个试验）；p、q分别为6个试验中的第p和第q个试验；$ {E_q} $为第$ q $个试验的误计率。
为缩短试验耗时，使用Shotcut软件删减视频中钻机空闲的片段，将工作时的视频片段拼接后进行10～20倍速的加速处理，同时保持原始帧率输出MP4格式视频文件。由图10可知，经算法处理过的6个视频均按各自钻机工作朝向正确生成两级判定区域，其中图10c、图10e和图10f为检测器未训练过的新场景数据。
6个试验使用相同的钻机识别与钻杆计数算法，使用同一模型权重和推理参数进行计数任务，根据各场景钻机的位置和角度分别调整偏移量$ {b_{\mathrm{m}}} $和$ {b_{\mathrm{s}}} $用于微调判定区域位置。试验在相同环境下运行至视频文件处理完毕，6个试验视频与图10依次对应，试验结果见表5。
表 5 计数试验结果Table 5. Results of counting experiments视频 时长/s 打钻类型 有效运动/次 算法计数/根 人工计数/根 误计率/% 1 265 退钻 292 97 99 2.02 2 310 退钻 167 55 56 1.79 3 428 退钻 34 11 10 10.00 4 179 退钻 150 50 51 1.96 5 222 进钻 51 17 17 0 6 306 进钻 51 17 17 0 各组试验的计数过程中钻机尾部均未出现漏检和误检，避免了检测器性能对计数结果的影响。由计数试验数据可知，前4个试验钻机处于退钻状态，平均误计率约为3.94%，经观察发现在退钻过程中，Pipe-Count计数算法可以区别出钻机尾部大部分的无效运动，但存在钻机尾部做与有效运动一致的动作后并未退出钻杆和钻机尾部卡住无法做完整有效运动的2种异常状态，受此影响Pipe-Count计数算法在退钻场景中计数会存在少量误计。Pipe-Count计数算法在2个进钻场景中计数准确率达到100%，观察计数过程发现钻机在打钻过程中状态稳定，钻机尾部不会做无效运动，所以Pipe-Count计数算法在进钻作业中可以实现准确计数。计算6个试验的加权平均误计率为2%，表明Pipe-Count计数算法在多种作业场景下表现出稳定的性能和良好的准确率。试验中视频处理速度平均约为40帧/s，超过打钻录像视频约25帧/s的帧率，满足实时计数要求。
5. 结 论
1）构建了基于AM-NT优化YOLOv8的钻机识别模型Drill-YOLOv8。在自建的CMDPC数据集上的试验结果表明，Drill-YOLOv8与原始模型相比mAP@0.5和mAP@[0.5:0.95]指标分别提升3.0%和2.7%，通过检测结果可视化对比证明模型改善了复杂环境下钻机目标的误检漏检问题。
2）融合深度学习目标检测方法和两级多边形区域判定方法，提出了一种煤矿钻杆实时计数方法，使用改进模型Drill-YOLOv8作为计数算法的检测器，设计两级判定区域作为计数依据，统计钻机尾部的有效运动次数实现钻杆计数，在6组打钻视频中进行计数试验，平均加权误计率仅为2%。
（3）可视化的计数过程表明本文计数算法能根据场景自适应生成两级判定区域，具有较强鲁棒性。处理速度达到40帧/s，可满足实际应用需求。
在之后的工作中将要扩充数据集，丰富钻场景和钻机的种类，并将钻杆和人员目标加入计数逻辑辅助计数，进一步降低计数结果的误计率。
-
![]()
图 5 基于紫花苜蓿长势参数的自燃风险评估结果
Figure 5. Assessment results of spontaneous combustion risk based on alfalfa growth features
![]()
图 6 紫花苜蓿长势参数与土壤温度Ts,25的空间相关性分析
Figure 6. Spatial correlation analysis of alfalfa growth features and Ts,25
![]()
图 7 研究区A2的自燃风险评估与统计结果
Figure 7. Spontaneous combustion risk assessment and statistic results in the Study area A2
表 1 本研究选择的无人机影像特征
Table 1 UAV imagery feature selected in this study
参数 无人机影像特征 计算公式 植被指数 超绿指数 (EXG) EXG=2g−r−b 超绿超红差分指数 (EXGR) EXGR=EXG−1.4r−g 改良绿红植被指数 (MGRVI) MGRVI=(g2−r2)/(g2+r2) 红绿蓝植被指数 (RGBVI) RGBVI=(g2−rb)/(g2+rb) 可见光大气阻抗植被指数 (VARI) VARI=(g−r)/(g+r−b) 绿叶植被指数 (GLI) GLI=(2g−r−b)/(2g+r+b) 归一化绿红差分指数 (NGRDI) NGRDI=(G−R)/(G+R) 归一化绿蓝差值植被指数 (NGBDI) NGBDI=(g−b)/(g+b) 纹理特征 灰度共生矩阵 (GLCM) 平均值MEA、均一性HOM、相关性COR、异质性DIS、
熵ENT、对比度CON、二阶矩SEC、方差VAR温度特征 冠层温度差 (CTD) CTD=Tcanopy−Tair 作物水分胁迫指数 (CWSIs) CWSIs=(Tcanopy−Tmin)/(Tmax−Tmin) 结构特征 作物高度模型 (CHM) CHM=DSM−DEM 注：r=R/(R+G+B)；g= G/(R+G+B)；b= B/(R+G+B)；R、G、B分别为红波段、绿波段和蓝波段的波段值；Tcanopy为紫花苜蓿冠层温度值；Tair为无人机飞行期间的空气温度平均值；Tmax和Tmin分别为温度直方图99.5%和0.5%的像元温度值；DSM为研究区数字地形模型，由无人机可见光影像处理获取；DEM为数字高程模型，由矿区提供。 
下载: 导出CSV
表 2 利用Boruta方法进行特征筛选的结果
Table 2 Feature selection results using Boruta method
预测指标 无人机影像特征 结果 生物量 NGRDI、EXGR、MGRVI、VARI、 G-MEA 被确定 其他影像特征 被拒绝 植被水分 CTD、CWSIs、CON、DIS、MEA、VAR 被确定 其他影像特征 被拒绝
下载: 导出CSV
-
[1] 胡振琪,肖 武,赵艳玲. 再论煤矿区生态环境“边采边复”[J]. 煤炭学报,2020,45(1):351−359. doi: 10.13225/j.cnki.jccs.YG19.1694 HU Zhenqi,XIAO Wu,ZHAO Yanling. Re-discussion on coal mine eco-environment concurrent mining and reclamation[J]. Journal of China Coal Society,2020,45(1):351−359. doi: 10.13225/j.cnki.jccs.YG19.1694
[2] LI J,WANG J. Comprehensive utilization and environmental risks of coal gangue: a review[J]. Journal of Clean Production,2019,239:11794.
[3] XU H,SONG W,CAO W,et al. Utilization of coal gangue for the production of brick[J]. Journal of Material Cycles and Waste Management,2017,19(3):1270−1278. doi: 10.1007/s10163-016-0521-0
[4] 郭彦霞,张圆圆,程芳琴. 煤矸石综合利用的产业化及其展望[J]. 化工学报,2014,65(7):2443−2453. doi: 10.3969/j.issn.0438-1157.2014.07.006 GUO Yanxia,ZHANG Yuanyuan,CHENG Fangqin. Industrial development and prospect about comprehensive utilization of coal gangue[J]. Journal of Chemical Industry and Engineering,2014,65(7):2443−2453. doi: 10.3969/j.issn.0438-1157.2014.07.006
[5] TANG Q,LI L,ZHANG S et al. Characterization of heavy metals in coal gangue-reclaimed soils from a coal mining area[J]. Journal of Geochemical Exploration,2018,186:1−11. doi: 10.1016/j.gexplo.2017.11.018
[6] 王海军, 王伊杰, 李文超, 等《全国矿产资源节约与综合利用报告(2019)》[J]. 中国国土资源经济, 2020, 33(2): 2. WANG Haijun, WANG Yijie, LI Wenchao, et al. The Report of Mineral Resources Saving & Comprehensive Utilization in China (2019)[J]. Natural Resources Economics of China, 2020, 33(2): 2.
[7] NÁDUDVARI Á,KOZIELSKA B,ABRAMOWICZ A,et al. Heavy metal-and organic-matter pollution due to self-heating coal-waste dumps in the Upper Silesian Coal Basin (Poland)[J]. Journal of Hazardous Materials,2021,412:125244. doi: 10.1016/j.jhazmat.2021.125244
[8] LIANG Y,LIANG H,ZHU S. Mercury emission from spontaneously ignited coal gangue hill in Wuda Coalfield, Inner Mongolia, China[J]. Fuel,2016,182:525−530. doi: 10.1016/j.fuel.2016.05.092
[9] 李嘉琪,赵艳玲,任 河,等. 自燃煤矸石山的遥感识别:基于Landsat 8热红外波段地表温度反演数据[J]. 金属矿山,2022(3):205−212. LI Jiaqi,ZHAO Yanling,REN He,et al. Remote sensing recognition of spontaneous combustion gangue dump: based on Landsat 8 thermal infrared band land surface temperature inversion data[J]. Metal Mine,2022(3):205−212.
[10] 胡振琪,肖 武. 关于煤炭工业绿色发展战略的若干思考:基于生态修复视角[J]. 煤炭科学技术,2020,48(4):35−42. HU Zhenqi,XIAO Wu. Some thoughts on green development strategy of coal industry: from aspects of ecological restoration[J]. Coal Science and Technology,2020,48(4):35−42.
[11] LI A,CHEN C,CHEN J,et al. Experimental investigation of temperature distribution and spontaneous combustion tendency of coal gangue stockpiles in storage[J]. Environmental Science and Pollution Research,2021,28(26):34489−34500. doi: 10.1007/s11356-021-12964-0
[12] SMOLINSKI ´ A,DOMBEK V,PERTILE E,et al. An analysis of self-ignition of mine waste dumps in terms of environmental protection in industrial areas in Poland[J]. Scientific Reports,2021,11(1):1−10. doi: 10.1038/s41598-020-79139-8
[13] 夏 清. 自燃煤矸石山深部温度场分布规律及热源反演模型研究[D]. 北京: 中国矿业大学(北京), 2017. XIA Qing. Study on deep temperature distribution and inversion model of heat sources of spontaneous combustion of coal waste dumps[D]. Beijing: China University of Mining and Technology-Beijing, 2017.
[14] XIAO W,ZHENG W,ZHAO Y,et al. Examining the relationship between coal mining subsidence and crop failure in plains with a high underground water table[J]. Journal of Soils and Sediments,2021,21(8):2908−2921. doi: 10.1007/s11368-021-02991-2
[15] ABRAMOWICZ A, RAHMONOV O, FABIAŃSKA M, et al. Changes in soil chemical composition caused by self‐heating of a coal‐waste dump[J]. Land Degradation & Development, 32(15), 4340−4349.
[16] WANG Q,ZHAO Y,YANG F,et al. Simulating heat stress of coal gangue spontaneous combustion on vegetation using alfalfa leaf water content spectral features as indicators[J]. Remote Sensing,2021,13(13):2634. doi: 10.3390/rs13132634
[17] 刘建刚,赵春江,杨贵军,等. 无人机遥感解析田间作物表型信息研究进展[J]. 农业工程学报,2016,32(24):98−106. doi: 10.11975/j.issn.1002-6819.2016.24.013 LIU Jiangang,ZHAO Chunjiang,YANG Guijun,et al. Review of field-based phenotyping by unmanned aerial vehicle remote sensing platform[J]. Transactions of the Chinese Society of Agricultural Engineering,2016,32(24):98−106. doi: 10.11975/j.issn.1002-6819.2016.24.013
[18] 胡健波, 张 健. 无人机遥感在生态学中的应用进展[J]. 生态学报, 2018, 38(1): 20−30. HU Jianbo, ZHANG Jian. Unmanned aerial vehicle remote sensing in ecology: advances and prospects[J]. Acta Ecologica Sinica 2018, 38(1): 20−30.
[19] REN H,ZHAO Y,XIAO W,et al. A review of UAV monitoring in mining areas: current status and future perspectives[J]. International Journal of Coal Science & Technology,2019,6(3):320−333.
[20] 郭俊兵. 潞安矿区煤矸石山人工植物群落生态效应研究[D]. 太原: 山西大学, 2017. GUO Junbing. Ecological effects of planted communities on colliery spoil heaps in the Lu’an Mining Area, Shanxi[D]. Taiyuan: Shanxi University, 2017.
[21] 张正健,李爱农,边金虎,等. 基于无人机影像可见光植被指数的若尔盖草地地上生物量估算研究[J]. 遥感技术与应用,2016,31(1):51−62. ZHANG Zhengjian,LI Ainong,BIAN Jinhu,et al. Estimating aboveground biomass of grassland in zoige by visible vegetation index derived from unmanned aerial vehicle image[J]. Remote Sensing Technology & Application,2016,31(1):51−62.
[22] 杨 娜,张永波,牛金荣. 荫营煤矿自燃矸石山温度场分布及深部温度拟合[J]. 矿业安全与环保,2021,48(4):23−27,32. doi: 10.19835/j.issn.1008-4495.2021.04.006 YANG Na,ZHANG Yongbo,NIU Jinrong. Temperature field distribution and deep temperature fitting of spontaneous combustion gangue dump in Yinying Coal Mine[J]. Mining Safety & Environmental Protection,2021,48(4):23−27,32. doi: 10.19835/j.issn.1008-4495.2021.04.006
[23] KELLY J,KLJUN N,OLSSON P,et al. Challenges and best practices for deriving temperature data from an uncalibrated UAV thermal infrared camera[J]. Remote Sensing,2019,11(5):567. doi: 10.3390/rs11050567
[24] HARALICK R,SHANMUGAM K,DINSTEIN I. Textural features for image classification[J]. IEEE Transactions on systems, man, and cybernetics,1973,6:610−621.
[25] BENDIG J,YU K,AASEN H,et al. Combining UAV-based plant height from crop surface models, visible, and near infrared vegetation indices for biomass monitoring in barley[J]. International Journal of Applied Earth Observation and Geoinformation,2015,39:79−87. doi: 10.1016/j.jag.2015.02.012
[26] ZHOU Z,MAJEED Y,NARANJO G,et al. 2021. Assessment for crop water stress with infrared thermal imagery in precision agriculture: a review and future prospects for deep learning applications[J]. Computer in Electronic and Agriculture,2021,182:106019. doi: 10.1016/j.compag.2021.106019
[27] REN H,ZHAO Y,XIAO W,et al. Vegetation growth status as an early warning indicator for the spontaneous combustion disaster of coal waste dump after reclamation: An unmanned aerial vehicle remote sensing approach[J]. Journal of Environmental Management,2022,317:115502. doi: 10.1016/j.jenvman.2022.115502
[28] HU Z,XIA Q. An integrated methodology for monitoring spontaneous combustion of coal waste dumps based on surface temperature detection[J]. Applied Thermal Engineering,2017,122:27−38. doi: 10.1016/j.applthermaleng.2017.05.019
[29] TEODORO A, FERNANDES J, SANTOS P, et al. Monitoring of soil movement in a self-burning coal waste pile with UAV imagery[C]//Earth Resources and Environmental Remote Sensing/GIS Applications XI. 2020, 11534: 130−136.
[30] WANG H,FANG X,DU F,et al. Three-dimensional distribution and oxidation degree analysis of coal gangue dump fire area: a case study[J]. Science of The Total Environment,2021,772:145606. doi: 10.1016/j.scitotenv.2021.145606
[31] LATIFI H,HEURICH M,HARTIG F,et al. Estimating over-and understorey canopy density of temperate mixed stands by airborne LiDAR data[J]. Forestry:An International Journal of Forest Research,2016,89(1):69−81. doi: 10.1093/forestry/cpv032
计量
- 文章访问数: 176
- HTML全文浏览量: 20
- PDF下载量: 41
