Influence of natural weak surface on extension of multiple fractures during fracturing of gas extraction horizontal wells
-
摘要:
针对碎软低渗煤层待掘煤巷条带瓦斯高效抽采难题,提出待掘煤巷条带顶板水平井分段压裂高效预抽瓦斯技术。为实现瓦斯无空白带均衡抽采,基于分段多簇压裂的裂缝网络构建是技术成功的关键。为研究煤系地层中的多裂缝扩展形态,分析了煤系地层天然弱面发育特征,建立了天然弱面对多裂缝扩展形态的判别式,并采用有限元方法分析了单一天然弱面和多天然弱面对多裂缝扩展的影响。结果表明:煤层及顶底板岩层中发育有大量裂隙、层理、界面等天然弱面,影响着水力压裂裂缝的扩展形态;裂缝与天然弱面的相互作用受原场地应力、已形成裂缝的诱导应力和裂缝尖端应力场的共同影响;天然弱面距预置裂缝距离小时能够诱导裂缝起裂并迅速取得扩展优势,距离大时能够诱导多裂缝扩展呈复杂形态;小角度天然弱面能够诱导附近裂缝快速扩展,角度为90°时不影响缝间干扰。多天然弱面发育条件下,应力差低时易形成以天然弱面为主的缝网,应力差大时易形成较为简单的单一裂缝;天然弱面密度大、形态复杂时易形成缝网,地应力对缝网形态影响不大。工程应用表明,试验井水力压裂形成了覆盖待掘煤巷条带的缝网,日产气量已达1 708 m3,且正处于产气量上升阶段,具有良好抽采前景。
Abstract:In view of the difficult problem of strip gas extraction in coal roadways of broken soft and low permeability coal seam, this paper puts forward the technology of segment fracturing and high efficient pre-gas extraction in horizontal wells of strip roof of coal roadways of coal roadways.For balanced gas extraction without blank zone, fracture network construction based on segmented multi-cluster fracturing is the key to technical success.In order to study the propagation patterns of multi-fractures in coal measures strata, the development characteristics of natural weak surface in coal measures strata are analyzed, and the discriminant formula of natural weak surface to multi-fractures propagation patterns is established, the influence of single natural weak surface and multi-natural weak surface on multi-fracture propagation is analyzed by finite element method.The results show that there are a lot of natural weak planes such as fissures, bedding and interfaces in coal seam and roof and floor strata, which affect the propagation of hydraulic fracture.The interaction between fracture and natural weak surface is affected by in-situ stress, induced stress of fracture and stress field of fracture tip.The natural weak surface can induce the initiation and rapid propagation of fractures when the distance between the natural weak surface and the preset fracture is small, while the natural weak surface with small angle can induce the rapid propagation of nearby fractures when the distance is large, when the angle is 90° , the interference between slits is not affected.Under the condition of multi-natural weak surface, the fracture net is easy to form when the stress difference is low, and easy to form a simple single fracture when the stress difference is large, and easy to form the fracture net when the density of natural weak surface is high and the shape is complex, the in-situ stress has little effect on the form of fracture net.The engineering application shows that the hydraulic fracturing in the test well has formed a seam net covering the coal roadways to be driven, and the daily gas production is in the rising stage, and has reached
1708 m3, which has a good prospect of extraction. -
0. 引 言
作为煤炭生产和消费大国,煤炭的安全开采和高效运输已成为我国煤炭产业发展的核心挑战。带式输送机作为煤炭运输系统的核心装备,其智能化是煤炭安全高效运输的重要保障[1]。为保证煤炭的高效开采,带式输送机长期处于高负荷状态运行,由此引发的故障将影响煤炭生产效率,甚至造成人员伤亡。因此对带式输送机运行状态进行多任务检测,能够有效预防故障发生,对确保煤矿带式输送机安全、高效运行具有重要意义[2]。
随着深度学习方法和计算机视觉技术的迅速发展,诸多国内学者开始使用基于机器视觉的方法对煤矿井下带式输送机运行状态进行实时检测[3-4]。吴利刚等提出一种基于改进YOLOv5的轻量化神经网络,对带式输送机运输过程中的大尺寸煤块识别进行实时监测[5]。高涵等为解决现有异物检测算法提取语义信息能力差的问题,使用基于低层级特征增强与Transformer机制的异物检测算法提高了对带式输送机上细长异物的检测精度[6]。杨志方等使用基于双流信息融合的语义分割网络模型去实现带式输送机的输送带跑偏检测[7]。李纪栋等采用机器视觉方法对带式输送机的输送量进行识别,随后根据输煤量对带式输送机运输速度进行调控[8]。代伟等提出一种基于双目视觉深度感知的带式输送机煤量检测方法,有效解决了带式输送机输煤量计算较难的问题[9]。韩涛等提出了基于多任务卷积神经网络(MT-CNN)的带式输送机输煤量和跑偏检测方法,可使输煤量检测和跑偏检测这2个任务共享同一个网络底层结构和参数,实现输煤量和跑偏的准确、快速检测[10]。
从基于深度学习和机器视觉的监测方法来看,前人已经提出了很多单一任务检测的方法,比如Fast RCNN和YOLO系列经常被用于带式输送机异物或者输送带撕裂等目标的检测,FCN、U-Net和DeepLab网络经常被用于带式输送机的输送带边缘检测和煤流状态的检测[11]。这些带式输送机运行状态检测方法大多只能处理单一检测任务,想要实现多任务同时检测,需要使用多个网络模型共同完成,这也对硬件设施提出了更高的要求。
近年来,多任务检测模型在自动驾驶领域应用广泛,且因其高效性而成为研究热点。考虑到煤矿井下带式输送机通常涉及各种子任务(带式输送机输送带跑偏检测、异物识别和煤流动态监测)且受边缘设备的计算资源限制,使得多任务模型在带式输送机运行状态检测方面的优势变得尤为突出[12-13]。因此笔者提出一种基于改进的YOLOM带式输送机运行状态多任务检测方法,使用单一网络同时完成大尺寸煤块识别、输送带边缘检测和煤流状态检测,与每个任务使用单独的模型相比,将3个不同的颈部和头部集成到具有共享主干的模型中可以节省大量计算资源和推理时间,满足带式输送机运行状态的多任务检测要求。
对于YOLOM算法,笔者做了以下改进:
1)在低照度和多尘雾的运输巷道内采集的图像语义信息薄弱,使得模型对目标语义信息的提取能力差,因此利用扩张式残差模块(DWR)替换主干网络P6层和P8层C2f模块中的Bottleneck结构,在减少参数量的同时提高模型提取多尺度上下文语义信息的能力;
2)针对模型需要进行目标识别和分割不同类型任务的需求,使用具有跳层连接结构的高效层聚合网络(RepGFPN)优化特征融合部分,在控制模型参数数量和推理速度的同时极大提高模型对不同检测任务的检测精度;
3)为应对3种标签形状各异的检测任务,引入Inner-CIoU损失函数,弥补CIoU损失函数在不同的检测任务中泛化能力较弱的不足。
1. YOLOM算法原理
YOLOM是近几年提出的多任务检测模型,该网络由1个共享的骨干特征提取网络(Backbone)、3个颈部网络(Neck)以及头部网络(Head)3部分组成。
骨干网络:该网络模型采用了YOLOv8的骨干网络,与YOLOv5相比,以梯度流更丰富的C2f模块替换了C3模块,同时还实现了轻量化[14]。在骨干网络之后,该网络模型使用SPPF模块来增加感受野,与SPP相比减少了计算需求,这些特征随后被引导至各个颈部网络。
颈部网络:该网络模型使用了3个颈部网络,其中1个用于目标检测任务,2个用于分割任务。对于目标检测头,该网络模型采用YOLOv8中的路径聚合网络(PANet)结构,该结构由FPN和PAN组成,FPN自上而下提取特征层信息,将上层特征和下层特征融合,提升网络对于不同尺度目标的能力,PAN自下而上提取特征层信息,获取位置信息,将低层细节与高层语义特征相结合,丰富了整体特征表示[15];对于分割颈,该网络模型采用了特征金字塔网络(FPN)结构,以特征金字塔为基础结构,自上而下每层进行2倍上采样操作,能够产生多尺度的特征表示[16]。
头部网络:该网络模型沿用了YOLOv8中的头部网络结构,采用的是只有分类和回归分支的解耦头,并且不再采用基于锚框(Anchor-Base)的策略,转而使用的是无锚框(Anchor-Free)策略,在损失函数方面抛弃了交并比(IoU)匹配方式,使用了Task-Aligned Assigner正负样本匹配的方式[17]。分类和回归分支的损失值计算分别采用二元交叉熵损失(BCE)和分布聚焦损失(DFL)加完整交并比损失(CIoU)的方式。
2. 带式输送机运行状态多任务检测方法
本研究主要对煤矿井下带式输送机的运行状态进行同步检测,涉及的任务包括大尺寸煤块识别、输送带边缘检测和煤流状态检测。为实现带式输送带异常工况的同步检测,提出一种基于改进的DR-YOLOM多任务检测模型。DR-YOLOM网络模型架构如图1所示。
其中用于输送带边缘检测和煤流状态检测的分割网络和用于大块异物识别的目标检测网络共享骨干特征提取网络,这使得两者在特征提取过程中共享特征信息。不同的是分割网络和目标检测网络使用不同的特征增强网络,去适应不同的任务。进一步地,提取特征信息后,分别使用目标检测头和分割头进行大块异物识别、输送带边缘线分割和煤流状态分割。而由于带式输送机边缘检测的特殊性,最后采用霍夫变换直线检测法得到清晰简明的左右输送带边缘检测线。
2.1 改进YOLOM多任务检测模型
由于煤矿井下带式输送机作业环境恶劣,大多数情况下处于低照度和多尘雾工况。为解决在恶劣工况下模型检测效果差的问题,以多任务检测模型YOLOM网络为基础模型,提出一种融合扩张式残差模块和高效层聚合网络结构的DR-YOLOM多任务检测算法。具体改进如下:1)在主干网络P6层和P8层的C2f模块中,使用扩张式残差(DWR)模块替换Bottleneck结构,能够有效提取多尺度上下文信息。2)采用具有跳层连接结构的高效层聚合网络(RepGFPN)结构优化特征融合部分,通过融合来自相邻上下层以及同一层级的不同尺度特征,实现了更高的精度。3)使用辅助边界框计算损失以加速边界框回归的Inner-IoU去优化损失函数,弥补CIoU损失函数在不同的检测任务中的泛化能力较弱的问题。DR-YOLOM网络模型的具体结构如图2所示。
2.1.1 特征提取优化
YOLOM的主干网络Backbone由CBS模块、C2f模块和SPPF模块组成,其中C2f模块中含有很多Bottleneck结构,将这些Bottleneck残差模块进行串接可以实现不同尺度特征的提取及融合[18]。但Bottleneck残差模块的缺点也很明显,这些模块使得网络会在同一个位置叠加大量信息,在获取关键特征过程中产生很多冗余特征,可能会造成关键信息的流失。带式输送机运行状态的多任务检测在低照度和多尘雾环境下进行,信息的流失将严重降低多任务检测的精度。而DWRSeg中的扩张式残差(DWR)模块根据不同空洞率空洞卷积的特征组合,有效提取多尺度上下文信息,然后融合由多尺度感受野生成的特征图,有效防止带式输送机输送带边缘、煤流形状和大尺寸煤块的信息丢失。Bottleneck结构如图3所示。
DWR模块以残差方式设计,在残差内部,采用2步法有效提取多尺度上下文信息,然后融合由多尺度感受野生成的特征图[19]。该模块应用于网络的深层,多分支结构用于适应1层中不同大小感受野的要求。对于每个分支,首先使用1个普通的3×3卷积结合1个批处理归一化(BN)层和1个ReLU层来完成特征提取,得到具有不同区域大小的区域残差特征RR;然后将RR特征分成3组,分别采用多速膨胀率的膨胀深度卷积来对不同大小的区域特征进行形态学过滤,这被称为语义残差SR;随后在特征图上执行BN,并使用逐点卷积合并所有特征图,生成与输入特征图相对应的最终残差;最后将最终残差添加到输入特征图中,以构建更强和更全面的特征表示。DWR模块结构如图4所示。
2.1.2 特征融合优化
YOLOM在目标检测颈中采用路径聚合网络(PAN)结构,如图5a所示,这种特征融合的结构忽略了不同尺度特征之间冲突信息的存在,仅将不同尺度的特征图进行叠加或相加操作,忽视不同分辨率特征图在特征融合中的贡献差异,最终降低检测性能[20]。在分割颈中采用特征金字塔网络(FPN)结构,如图5b所示,但FPN存在明显的劣势,其将深层的强语义特征传递下来,仅融合相邻层的特征图,得到融合后的特征图缺少跨层的特征融合,只增强了深层的语义信息,而缺乏浅层的定位信息,使得分割性能差[21]。因此,为加强各尺度特征信息的整合、解决长距离的梯度消失问题、减少网络层级之间的信息损失问题,本研究采用具有跳层连接结构的高效层聚合网络(RepGFPN)结构优化所提模型的目标检测颈和分割颈,如图5c和5d所示。
RepGFPN在GFPN的基础上改进而来,GFPN采用Queen-Fusion强化特征之间的融合,增强了特征复用及特征表达能力,但是Queen-Fusion包含大量的上采样和下采样操作来实现不同尺度特征的融合,存在特征冗余现象,且过多的节点堆叠导致运算效率降低[22]。而RepGFPN在颈部的特征融合模块中,通过灵活控制不同尺度下的通道数量以及采用具有整合重新参数化机制和高效层聚合网络的连接来升级CSPNet,即CspStage融合模块[23]。CspStage模块融合来自相邻上下层以及同一层级的不同尺度特征,实现了更高的精度,融合模块CspStage结构示意图如图6所示。
2.1.3 损失函数优化
YOLOM网络计算边界框的回归损失采用的是CIoU Loss,其中CIoU的计算公式如下:
$$ \mathit{\mathrm{{CIo}{U}}}=\mathit{\mathrm{{IoU}}}-\frac{\rho^2\left(b,b^{\mathrm{gt}}\right)}{c^2}-\alpha\nu $$ (1) $$ \alpha = \frac{\nu }{{1 - {\mathrm{IoU}} + \nu }} $$ (2) $$ \nu=\frac{4}{\pi^2}\left(\tan^{-1}\frac{w\mathrm{^{gt}}}{h^{\mathrm{gt}}}-r\; \tan^{-1}\frac{w}{h}\right)^2 $$ (3) 其中,${\mathrm{IoU}}$为预测框与真实框的交集除以二者的并集;$ b、b\mathrm{^{gt}} $为预测框和真实框的中心点;$\rho $为2个中心点之间的欧氏距离;$c$为能够同时包含预测框与真实框的最小外接矩形的对角线长度;$\alpha $为权重系数;$\nu $用来衡量预测框和真实框之间的宽高比的一致性;$ w\mathrm{^{gt}}、h^{\mathrm{gt}} $分别为真实框的宽和高,$ w、h $分别为预测框的宽和高。
最终CIoU Loss的计算公式如下:
$$ {{\mathrm{L}}_{{\mathrm{CIoU}}}} = 1 - {\mathrm{IoU}} + \frac{{{\rho ^2}\left( {{b},{b^{\mathrm{gt}}}} \right)}}{{{c^2}}} + \alpha \nu $$ (4) 但CIoU仅能反映长宽比的差异,并不是长宽分别与其置信度的真实差异[24],所以在带式输送机运行状态的多任务检测应用场景中,由于3种任务的尺度变化很大,使得CIoU Loss具有一定的局限性。
为弥补CIoU损失函数在不同的检测任务中的泛化能力较弱且收敛速度较慢的不足,引入使用辅助边界框计算损失以加速边界框回归的Inner-CIoU损失函数去计算边界框回归损失[25]。在Inner-CIoU中,通过引入尺度因子ratio,可以控制辅助边框的尺度大小去计算损失,可以克服CIoU在泛化能力方面的局限。如图7所示,分别为较小和较大尺度下的Inner-IoU计算方式的示意图。
将Inner-IoU应用至CIoU损失函数中的计算方式如下所示:
$$ b_{\rm{l}}^{\rm{gt}}=x_{\rm{c}}^{\rm{gt}}-\frac{w^{\rm{gt}}\cdot\mathrm{ratio}}{2},b_{\rm{r}}^{\rm{gt}}=x_{\rm{c}}^{\rm{gt}}+\frac{w^{\rm{gt}}\cdot\mathrm{ratio}}{2} $$ (5) $$ b_{\rm{t}}^{\rm{gt}}=y_{\rm{c}}^{\rm{gt}}-\frac{h^{\rm{gt}}\cdot\mathrm{ratio}}{2},b_{\rm{b}}^{\rm{gt}}=y_{\rm{c}}^{\rm{gt}}+\frac{h^{\rm{gt}}\cdot\mathrm{ratio}}{2} $$ (6) $$ b_{\rm{l}}=x_{\rm{c}}-\frac{w\cdot\mathrm{ratio}}{2},b_{\rm{r}}=x_{\rm{c}}^{\rm{gt}}+\frac{w\cdot\mathrm{ratio}}{2} $$ (7) $$ b_{\rm{t}}=y_{\rm{c}}-\frac{h\cdot\mathrm{ratio}}{2},b_{\rm{b}}=y_{\rm{c}}^{\rm{gt}}+\frac{h\cdot\mathrm{ratio}}{2} $$ (8) $$ \begin{gathered}\mathrm{inter}=\left(\min\left(b_{\rm{r}}^{\rm{gt}},b_{\rm{r}}\right)-\max\left(b_{\rm{l}}^{\rm{gt}},b_{\rm{l}}\right)\right)\cdot \\ \left(\min\left(b_{\rm{b}}^{\rm{gt}},b_{\rm{b}}\right)-\max\left(b_{\rm{t}}^{\rm{gt}},b_{\rm{t}}\right)\right)\end{gathered} $$ (9) $$ \mathrm{union}=\left(w^{\rm{gt}}\cdot h^{\rm{gt}}\right)\cdot\left(\mathrm{ratio}\right)^2+\left(w\cdot h\right)\cdot\left(\mathrm{ratio}\right)^2-\mathrm{inter} $$ (10) $$ {\mathrm{IoU}}^{{\mathrm{inner}}} = \frac{{{\mathrm{inter}}}}{{{\mathrm{union}}}} $$ (11) $$ {{\mathrm{L}}_{{\mathrm{Inner - CIoU}}}} = {{\mathrm{L}}_{{\mathrm{CIoU}}}} + {\mathrm{IoU}} - {\mathrm{IoU}}^{{\mathrm{inner}}} $$ (12) Inner-CIoU通过尺度因子ratio控制辅助边框的大小,实现对于带式输送机运行状态不同任务检测的动态调整,使得模型具有更好的泛化能力。
2.2 感兴趣区域提取
在检测图像中,带式输送机的待检区域在竖直方向上贯穿图像,在水平方向上摄像头远处的待检区域较窄,占据图像宽度的30%,带式输送机两旁的背景区域和巷道的顶部区域图像特征较为复杂,且输送带边缘检测在摄像头远景处的拟合准确度较差;摄像头近处的待检区域较宽,占据图像宽度的70%,带式输送机两旁的背景区域和巷道的顶部区域图像特征较为简单。所以本研究在图像检测前对待检区域进行感兴趣区域提取(ROI),使其宽度保持不变,高度取为图像底部到图像中点的距离。ROI提取如图8所示。
2.3 输送带边缘直线提取算法
本研究使用YOLOM中的实例分割模块对带式输送机输送带边缘图像进行分割,提取输送带边缘特征信息。虽然通过深度学习得到了输送带边缘的特征,但提取到的特征是1个分割区域,不是像素点为1的直线,且后续研究者不能根据分割区域去进行跑偏检测,也不能区分左右边缘线。为了更好地适应输送带边缘检测线为直线的情况,提高输送带边缘检测的鲁棒性,本研究采用霍夫变换直线检测法提取符合要求的直线,从而得到清晰简明的输送带边缘检测线。输送带边缘分割图如图9所示。
带式输送机输送带边缘检测线提取的具体方案:首先将感兴趣区域图像的中间垂直线作为界限,从图像的中间垂直线分别向两侧搜索,对左侧的边缘像素点集中每个点的$\rho $和$\theta $在对应的位置加1,最后找到点集中的最大值,其坐标值$\left( {{\rho _0},{\theta _0}} \right)$对应图像空间中所求的输送带左侧边缘直线。同理可得输送带右侧边缘直线。为了提高程序运行速度,在进行输送带边缘线检测时,将左侧边缘像素点集的$\theta $限制为0°~80°,右侧边缘像素点集的$\theta $限制为100°~180°。输送带边缘检测线提取结果如图10所示,为了方便观察,在此处设置输送带左侧边缘直线显示为蓝色,右侧显示为红色。
3. 实验与结果分析
3.1 实验环境和参数配置
实验平台的操作系统为Ubuntu18.04,使用的CPU型号为Intel(R)Xeon(R)Silver4210R,GPU型号为Tesla V100-PCIE-32GB,Python编译器版本为Python3.7.13,深度学习框架为PyTorch1.8.1,CUDA版本为CUDA10.2。训练参数设置见表1。
表 1 训练参数设置Table 1. Training parameter setting参数 数值 epochs 300 batch 8 imgsz 640 workers 8 lr 0.01 optimizer SGD weight_decay 0.0005 momentum 0.937 3.2 图像数据集制作
所使用的煤矿井下异物数据集来源于中国矿业大学智能检测与模式识别研究中心煤矿专用视频AI分析数据集CUMT-BelT,该数据集采集自矿井下输送带的运输环境,实验选取数据集CUMT-BelT中的大块图像数据集,共采集图片1 400张,包含训练图像1 100张和测试图像300张[26]。因为模型是多任务检测模型,所以需要对数据集进行多次标注,先使用Labelimg图像标注软件对图像中大块异物进行标注,作为模型目标检测标签,记作large_det;其次使用Labelme图像标注软件对图像中带式输送机输送带的左右边缘进行标注,作为模型分割标签,记作belt_edge;最后同样使用Labelme图像标注软件对图像中带式输送机上煤流的形状进行标注,作为模型另一分割标签,记作coal_flow。其中带式输送机输送带边缘和煤流形状的分割标签如图11所示。
矿井环境复杂难以普及照明,因此带式输送机运行状态实时监控系统主要面临低照度以及多尘雾的双重干扰[27]。如果多任务模型在此类恶劣工况下识别准确度不足,则可能无法及时检测到带式输送机运行状态。为了测试多任务模型在该类恶劣环境下的运行状态识别效果,需要低照度和多尘雾环境下的测试数据集进行验证。但井下恶劣环境的图像数据获取困难,因此本研究对原始的数据集分别使用图像合成雾增强算法和图像亮度暗化处理算法生成在多尘雾和低照度条件下的2组数据集,随后将3组数据集合,并根据7∶2∶1的比例将3组数据集随机划分为训练集、验证集、测试集。数据集扩充图像如图12所示。
3.3 评价指标
实验使用召回率(Recall)和平均精度均值(mAP)作为带式输送机上大块异物检测任务的评估指标。对于分割任务,使用平均交并比(mIoU)来评估带式输送机煤流和输送带边缘的分割任务。除了检测模型的准确度以外,还使用FPS来评估改进模型的检测速度,同时还提供了每个模型的参数数量作为评估结果之一。在煤矿井下带式输送机运行状态检测任务中,需要在边缘设备上部署模型,这些设备通常具有有限的计算资源。因此,要确保模型是轻量级的,且显示实时性也至关重要。
3.4 消融实验
为了验证所提出的DR-YOLOM网络模型的检测效果,本研究以YOLOM算法为基础网络,在基准算法上逐步优化,首先使用DWR模块改进基础网络上的C2f模块,随后采用RepGFPN特征融合网络改进基础网络的特征融合部分,最后引入Inner-CIOU损失函数,分别进行训练和测试。使用不同工况的测试数据集对各个算法按照3.1节中的实验设置进行训练,不同工况测试数据集下的消融实验结果见表2,表中“√”代表使用该改进方法。
表 2 不同工况测试数据集下的消融实验结果Table 2. Results of ablation experiments under different working condition test datasets基础网络 C2f_DWR RepGFPN Inner-CIOU R mAP50 mIoU 参数量/M FPS/s large_det belt_edge coal_flow √ — — — 0.853 0.886 0.779 0.942 3.64 50 √ √ — — 0.869 0.895 0.784 0.965 3.61 45 √ — √ — 0.862 0.899 0.786 0.963 4.33 43 √ √ √ √ 0.872 0.9 0.787 0.966 4.31 40 从表2中可以看出,原模型在加入C2f_DWR模块后,模型召回率、mAP50和mIoU分别提高了1.6、0.9、0.5和2.3个百分点,并且其参数量有所降低,原因在于Bottleneck残差模块使得网络会在同一个位置叠加大量的信息,在获取关键特征过程中产生很多冗余特征,而DWR模块以残差方式设计,能够有效避免这种情况。其次采用RepGFPN特征融合网络改进基础网络的特征融合部分后,可以看出模型召回率、mAP50和mIoU分别提高了0.9、1.3、0.7和2.1个百分点,但其参数量和推理速度显著升高,原因在于RepGFPN网络跨尺度的连接方式使得模型层数加深,预测过程前向传播时间显著增加,但也在可接受范围内。最后,将所有改进方案添加到基础模型,并且引入Inner-CIOU损失函数后,可以看到模型召回率、mAP50和mIoU都有所提升,但其参数量和推理速度相比原模型提高不少,该现象归因于使用RepGFPN特征融合网络更换原模型颈部所致。实验结果表明,加入C2f_DWR模块、更换颈部网络为RepGFPN网络和引入Inner-CIOU损失函数可以在少量增加模型内存占用量的前提下,提高整个检测网络的识别精度,并且整体的推理时间为40 fps也能满足带式输送机运行状态的多任务检测要求。
3.5 对比实验
3.5.1 与主流模型对比
为了验证DR-YOLOM多任务检测模型的实用性,选择成熟的单一任务检测网络模型与DR-YOLOM多任务检测模型进行对比。选用U-net和DeepLabV3+网络模型与DR-YOLOM模型分割任务的分割效果进行对比,Faster RCNN和Yolov8用于对比目标检测的效果。不同算法检测的实验结果见表3。
表 3 不同算法检测的实验结果Table 3. Experimental results of different algorithm detection基础网络 参数量/M R mAP50 mIoU FPS/s large_det belt_edge coal_flow U-net 24.89 — — 0.813 — 39 DeepLabV3+ 5.81 — — — 0.973 70 Faster R CNN 137.09 0.995 0.993 — — 20 Yolov8 3.0 0.842 0.93 — — 112.7 DR-YOLOM 4.31 0.872 0.9 0.787 0.966 40 根据表3可以看出,对于带式输送机输送带的边缘分割和煤流分割任务,DR-YOLOM网络模型的mIoU值低于U-net和DeepLabV3+网络模型,DR-YOLOM模型的推理速度高于U-net模型低于DeepLabV3+模型,但DR-YOLOM模型的参数数量更少,更适合带式输送机运行状态实时检测任务的轻量化要求,并且mIoU值降低的数值和推理速度也在可接受范围内。对于带式输送机大尺寸煤块的目标检测任务,Faster RCNN网络模型的mAP50比DR-YOLOM>模型高9.3%,虽然其检测精度非常高,但是该网络模型的参数量是DR-YOLOM模型的30多倍,并且推理速度只有20 fps,这不仅给边缘设备带来了巨大的压力,还难以满足实时检测任务的需求。其次,Yolov8网络模型对大尺寸煤块识别的召回率是最低的,但该模型的推理速度比其他模型(包括所提出的模型)快很多。对于本研究需要同时检测的3种任务来说,Yolov8网络模型需要在边缘设备上部署3个独立的模型,这意味着将1个检测模型与2个分割模型组合到1个边缘设备中,总计900万个参数。这比DR-YOLOM模型的参数量高出2倍多,给具有有限计算资源的边缘设备带来了巨大的挑战。通过以上对比可以看出,提出的DR-YOLOM多任务检测模型更适用于带式输送机运行状态的多任务检测。
5种主流检测算法的实验结果如图13所示。DR-YOLOM多任务检测算法可以同时检测3个任务,而其他4种主流检测算法只能同时检测1个任务。与其他算法相比,DR-YOLOM多任务检测算法在多任务检测上效率更高。DR-YOLOM多任务检测算法的参数量为4.31 M,分别比U-net、DeepLabV3+和Faster RCNN少20.58、1.5和132.78 M,仅比Yolov8多1.31 M。DR-YOLOM多任务检测算法的检测速度40 fps,比U-net和Faster RCNN分别高出1和20 fps。虽然DeepLabV3+和Yolov8的检测速度高于DR-YOLOM多任务检测算法,但DeepLabV3+和Yolov8只能同时检测1个任务。
如图14所示,图14a展示了U-net对带式输送机输送带的边缘分割效果,图14b展示了DeepLabV3+对带式输送机煤流状态的分割效果,图14c展示了Faster RCNN模型对带式输送机大尺寸煤块的检测结果,图14d展示了Yolov8模型对带式输送机大尺寸煤块的检测结果,图14e展示了DR-YOLOM网络模型对带式输送机s输送带边缘、煤流状态和大尺寸煤块的检测结果。通过对比可以发现,传统的检测模型只能进行单一任务检测,而DR-YOLOM网络模型可以进行多任务同时检测。
3.5.2 模型改进前后损失值对比
图15为基于YOLOM模型改进前后不同任务的训练CIoU Loss损失曲线对比图。模型在引入Inner-CIoU损失函数后,3个检测任务的损失值在100轮左右时趋于收敛,最终分别收敛于0.56、0.62、0.92。通过基础模型与改进模型损失曲线的对比,可以看出DR-YOLOM模型的损失曲线有更快的收敛速度、更低的损失值。
3.5.3 模型改进前后识别精度对比
图16为模型改进前后带式输送机上大块异物检测任务的平均精度均值(mAP50)曲线对比图,图17为模型改进前后带式输送机煤流和输送带边缘分割任务的平均交并比(mIoU)曲线对比图。从对比曲线图中可以看出,采用RepGFPN特征融合网络改进基础网络的特征融合部分后,模型的mAP50和mIoU曲线收敛得更快,曲线趋于平缓,基本没有出现震荡现象;与基础模型相比,DR-YOLOM模型的mAP50和mIoU分别提高了1.3、0.7和2.1个百分点。
3.5.4 模型改进前后可视化对比
使用图像合成雾增强算法和图像亮度暗化处理算法生成2组图像,以模拟煤矿井下低照度和多尘雾的情况,测试结果如图18所示。为了更直观的展示出改进模型的分割效果和检测效果,图18a、图18d和图18g展示了在不同工况下YOLOM基础模型没有进行输送带边缘直线提取的预测效果图,图18b、图18e和图18h展示了在不同工况下YOLOM基础模型进行输送带边缘直线提取后的预测效果图,图18c、图18f和图18i展示了在不同工况下DR-YOLOM改进模型的预测效果图。从图18a、图18d、图18g和图18b、图18e、图18h的对比可以看出,没有进行输送带边缘直线提取的检测图就不能区分输送带左右边缘检测线,且YOLOM算法对输送带边缘检测获得的是1个分割掩码,并不能作为直线去做后续的输送带跑偏验证,这说明了本研究进行输送带边缘直线提取的必要性。从图18b、图18e、图18 h和图18c、图18f、图18i的对比可以看出,DR-YOLOM改进模型在不同工况下能够精准识别出图中的3个大尺寸煤块,并且有较高的置信度,而YOLOM基础模型在多尘雾工况下只能识别出图中的2个大尺寸模块,并且在正常工况和低照度工况下,对图中最远处的大尺寸煤块识别精度非常低;从煤流的分割效果可以看出,DR-YOLOM改进模型的分割效果要比YOLOM基础模型的分割效果要好很多,这说明使用扩张式残差模块优化基础网络模型的有效性。从总体情况看,DR-YOLOM多任务检测算法能够更好地满足带式输送机运行状态的多任务检测要求。
3.6 实验验证
3.6.1 实验部署
为验证DR-YOLOM算法的实用性,使用防爆矿用巡检机器人搭载本安型“双光谱”摄像仪采集带式输送机运行状态的视频数据,并将采集到的数据传输到上位机。随后将DR-YOLOM算法及运行环境部署到上位机,使用该算法处理巡检机器人采集的视频数据。巡检机器人安装在挂轨上,位于带式输送机的正上方,对输送机的运行状态进行检测。带式输送机运行状态多任务检测实验平台如图19所示。
由于煤矿井下大多情况处于低照度,所以笔者选择在晚上进行视频数据采集,随后使用DR-YOLOM算法进行视频检测。视频采集过程如图20所示。
3.6.2 实验结果与分析
实验截取视频检测中的几帧图像进行展示,如图21和图22所示。从2组图中可以看出,DR-YOLOM多任务检测算法可以在低照度环境下同时进行大尺寸煤块识别,输送带边缘以及煤流状态的检测。通过图21和图22的对比可以看出,没有进行输送带边缘直线提取的视频检测结果就不能区分皮输送带左右边缘检测线,且笔者所提算法对输送带边缘检测获得的是1个分割掩码,并不能作为直线去做后续的输送带跑偏验证;而从进行输送带边缘直线提取的效果图中可以看到清晰简明的左右输送带边缘检测线。说明本研究进行输送带边缘直线提取的必要性,以及DR-YOLOM算法在暗光环境下的实用性。
为了验证所提算法在多尘雾环境下的实用性,我们使用合成雾算法对视频图像进行加雾处理。如图23所示,从图中可以看出DR-YOLOM多任务检测算法可以在多尘雾环境下同时进行大尺寸煤块识别,输送带边缘以及煤流状态的检测。
从总体情况看,DR-YOLOM多任务检测算法在低照度和多尘雾环境下能够满足带式输送机运行状态的多任务检测要求。其模型参数量只有4.31 M,不仅可以部署于煤矿监控系统,也可以部署在井下巡检机器人等小型嵌入式设备上,为井下人员的安全生产提供良好的保障。
4. 结 论
1)由于煤矿井下带式输送机作业环境恶劣,大多数情况下处于低照度和多尘雾工况。为解决在恶劣工况下模型检测效果差的问题,笔者以多任务检测模型YOLOM网络为基础模型,提出一种融合扩张式残差模块和高效层聚合网络结构的DR-YOLOM多任务检测算法。
2)为实现带式输送机异常工况的同步检测,使用一种基于改进的DR-YOLOM多任务检测模型同时完成大尺寸煤块识别、输送带边缘检测和煤流状态检测,与每个任务使用单独模型相比,将3个不同的颈部和头部集成到具有共享主干的模型中可以节省大量计算资源和推理时间,满足带式输送机运行状态的多任务检测要求。
3)选用U-net和DeepLabV3+网络模型与DR-YOLOM多任务检测模型分割任务的分割效果进行对比实验,选用Faster RCNN和Yolov8的目标检测效果进行对比分析。结果表明,笔者提出的DR-YOLOM多任务检测模型更适用于带式输送机运行状态的多任务检测。
4)为验证DR-YOLOM算法的实用性,使用巡检机器人在实验室进行视频数据采集,并使用DR-YOLOM多任务检测算法对其采集的视频数据进行检测。实验结果表明,提出的多任务检测算法能够满足带式输送机运行状态的多任务检测要求。
-
表 1 模拟裂缝参数
Table 1 Simulated crack parameter
射孔簇数 裂缝
半长/m裂缝
高度/m射孔处
裂缝宽度/cm平均水力
缝宽/cm1 123.7 38.12 1.31 0.78 2 96.89 29.59 1.32 0.80 3 78.98 24.04 1.39 0.82 4 66.97 20.60 1.40 0.84 -
[1] 康红普,谢和平,任世华,等. 全球产业链与能源供应链重构背景下我国煤炭行业发展策略研究[J]. 中国工程科学,2022,24(6):26−37. doi: 10.15302/J-SSCAE-2022.07.009 KANG Hongpu,XIE Heping,REN Shihua,et al. Development strategy of China’s coal industry under the reconstruction of global industrial chain and energy supply chain[J]. Strategic Study of CAE,2022,24(6):26−37. doi: 10.15302/J-SSCAE-2022.07.009
[2] 程远平,雷杨. 构造煤和煤与瓦斯突出关系的研究[J]. 煤炭学报,2021,46(1):180−198. CHENG Yuanping,LEI Yang. Causality between tectonic coal and coal and gas outbursts[J]. Journal of China Coal Society,2021,46(1):180−198.
[3] 姜在炳,李浩哲,方良才,等. 紧邻碎软煤层顶板水平井分段穿层压裂裂缝延展机理[J]. 煤炭学报,2020,45(S2):922−931. JIANG Zaibing,LI Haozhe,FANG Liangcai,et al. Fracture propagation mechanism of horizontal wells adjacent to broken soft coal seam roof by staged cross-layer fracturing[J]. Journal of China Coal Society,2020,45(S2):922−931.
[4] 许耀波,朱玉双,张培河. 紧邻碎软煤层的顶板岩层水平井开发煤层气技术[J]. 天然气工业,2018,38(9):70−75. doi: 10.3787/j.issn.1000-0976.2018.09.009 XU Yaobo,ZHU Yushuang,ZHANG Peihe. Application of CBM horizontal well development technology in the roof strata close to broken-soft coal seams[J]. Natural Gas Industry,2018,38(9):70−75. doi: 10.3787/j.issn.1000-0976.2018.09.009
[5] 巫修平,张群. 碎软低渗煤层顶板水平井分段压裂裂缝扩展规律及控制机制[J]. 天然气地球科学,2018,29(2):268−276. WU Xiuping,ZHANG Qun. Research on controlling mechanism of fracture propagation of multi-stage hydraulic fracturing horizontal well in roof of broken soft and low permeability coal seam[J]. Natural Gas Geoscience,2018,29(2):268−276.
[6] 张群,葛春贵,李伟,等. 碎软低渗煤层顶板水平井分段压裂煤层气高效抽采模式[J]. 煤炭学报,2018,43(1):150−159. ZHANG Qun,GE Chungui,LI Wei,et al. A new model and application of coalbed methane high efficiency production from broken soft and low permeable coal seam by roof strata-in horizontal well and staged hydraulic fracture[J]. Journal of China Coal Society,2018,43(1):150−159.
[7] 庞涛,姜在炳,李浩哲,等. 碎软煤层顶板水平井空间位置对压裂裂缝扩展的影响[J]. 煤炭学报,2022,47(S1):196−203. PANG Tao,JIANG Zaibing,LI Haozhe,et al. Influence of spatial position of horizontal well on fracturing fracture propagation in broken soft coal seam roof[J]. Journal of China Coal Society,2022,47(S1):196−203.
[8] 巫修平. 基于诱导应力场的煤层气水平井分段压裂间距优化研究[J]. 中国煤炭地质,2018,30(2):24−28,72. doi: 10.3969/j.issn.1674-1803.2018.02.05 WU Xiuping. CBM horizontal well staged fracturing interval optimization study based on induced stress field[J]. Coal Geology of China,2018,30(2):24−28,72. doi: 10.3969/j.issn.1674-1803.2018.02.05
[9] 李浩哲,张群,姜在炳,等. 煤层顶板水平井分段多簇穿层压裂数值模拟[J]. 断块油气田,2022,29(5):714−720. LI Haozhe,ZHANG Qun,JIANG Zaibing,et al. Numerical simulation on staged multi-cluster and cross-layer fracturing of horizontal well in coal seam roof[J]. Fault-Block Oil & Gas Field,2022,29(5):714−720.
[10] 许耀波. 应力干扰下煤层顶板水平井穿层分段压裂规律[J]. 煤田地质与勘探,2020,48(4):11−18. doi: 10.3969/j.issn.1001-1986.2020.04.002 XU Yaobo. Layer-penetrating staged fracturing law of horizontal wells within roof of coal seams under stress interference[J]. Coal Geology & Exploration,2020,48(4):11−18. doi: 10.3969/j.issn.1001-1986.2020.04.002
[11] 王博,侯恩科,马良,等. 顶板水平井分段分簇压裂治理掘进巷道瓦斯模式研究[J]. 煤炭科学技术,2024,52(5):114−126. doi: 10.12438/cst.2023-0736 WANG Bo,HOU Enke,MA Liang,et al. Study on the model of staged and cluster fracturing to control the gas in driving roadway by horizontal well in roof strata[J]. Coal Science and Technology,2024,52(5):114−126. doi: 10.12438/cst.2023-0736
[12] SNEDDON I N. The distribution of stress in the neighbourhood of a crack in an elastic solid[J]. Proceedings of the Royal Society of London Series A Mathematical and Physical Sciences,1946,187(1009):229−260.
[13] SNEDDON I N,ELLIOT H A. The opening of a Griffith crack under internal pressure[J]. Quarterly of Applied Mathematics,1946,4(3):262−267. doi: 10.1090/qam/17161
[14] 赵凯凯,姜鹏飞,冯彦军,等. 基于最大周向拉应力准则的水力裂纹起裂特征研究[J]. 采矿与岩层控制工程学报,2021,3(2):14−22. ZHAO Kaikai,JIANG Pengfei,FENG Yanjun,et al. Investigation of the characteristics of hydraulic fracture initiation by using maximum tangential stress criterion[J]. Journal of Mining and Strata Control Engineering,2021,3(2):14−22.
[15] 李世愚,和泰名,尹祥础. 岩石断裂力学[M]. 北京:科学出版社,2016:15−25. [16] IRWIN G R. Analysis of stresses and strains near the end of a crack traversing a plate[J]. Journal of Applied Mechanics,1957,24(3):361−364. doi: 10.1115/1.4011547
[17] 姜玉龙. 煤系地层水力压裂裂缝扩展规律及界面影响机理研究[D]. 太原:太原理工大学,2020:114−118. JIANG Yulong. Study on fracture propagation law and interface influence mechanism of hydraulic fracturing in coal measures strata[D]. Taiyuan:Taiyuan University of Technology,2020:114−118.
[18] RENSHAW C E,POLLARD D D. An experimentally verified criterion for propagation across unbounded frictional interfaces in brittle,linear elastic materials[J]. International Journal of Rock Mechanics and Mining Sciences & Geomechanics Abstracts,1995,32(3):237−249.
[19] 巩泽文. 基于RFPA-3D的煤层钻孔水力压裂裂缝扩展规律数值模拟[J]. 科学技术与工程,2023,23(17):7310−7316. doi: 10.12404/j.issn.1671-1815.2023.23.17.07310 GONG Zewen. Numerical simulation of crack propagation law of coal seam drilling hydraulic fracturing based on RFPA-3D[J]. Science Technology and Engineering,2023,23(17):7310−7316. doi: 10.12404/j.issn.1671-1815.2023.23.17.07310
[20] 刘生龙. 复合薄煤层压裂裂缝网络扩展与增透规律[D]. 徐州:中国矿业大学,2021:42−44. LIU Shenglong. Propagation and permeability enhancement law of fracturing fracture network in composite thin coal seam[D]. Xuzhou:China University of Mining and Technology,2021:42−44.
[21] 于永军,朱万成,李连崇,等. 深地层煤岩组合体水力压裂裂缝扩展模拟研究[J]. 隧道与地下工程灾害防治,2019,1(3):96−108. YU Yongjun,ZHU Wancheng,LI Lianchong,et al. Simulations on hydraulic fracture propagation of coal-rock combination in deep underground[J]. Hazard Control in Tunnelling and Underground Engineering,2019,1(3):96−108.