Practicability analysis of hydraulic support design system for steeply dipping coal seam inclined pseudo inclined working face
-
摘要:
为解决大倾角煤层液压支架设计过程中多维受载特征被忽略、建模过程繁琐、设计周期长等问题,结合大倾角伪俯斜工作面液压支架受载特性,研发大倾角液压支架设计系统。采用运动仿真、强度测试、物理实验等综合研究方法,以ZY5000/15.5/38型大倾角煤层液压支架设计为例,根据大倾角伪俯斜采场液压支架多维受力特征建立力学模型,分析大倾角液压支架的空间受载特性,建立伪俯斜工作面液压支架顶梁、掩护梁力学线性矩阵,利用VB.NET为开发语言结合线性矩阵和SOLIDWORKS二次开发建模软件搭建液压支架设计系统,开发出良好的人机交互用户界面。研究分析表明:该系统生成下的模型液压支架顶梁前端运动轨迹范围48 mm左右,支架顶梁前端运动轨迹曲线满足双扭线特性;模型支架最大应力为146.7 MPa,远小于材料屈服的等效应力,最大变形位移也不超过0.531 mm;研制相似比为1∶5物理模型液压支架工作阻力在38 kN左右,在不同条件下测试支架顶梁、掩护梁受载特性,实验中模型支架的力学数据与系统生成的力学数据基本相符,且实验在初撑、增阻、恒阻及卸压各阶段均满足支架的运动要求及承载特性。研究结果体现了该设计系统下模型液压支架较好的适应性,对丰富大倾角煤层液压支架设计理论和指导液压支架设计生产具有一定的科学和实践意义。
Abstract:In order to solve the problems of ignoring multi-dimensional load characteristics, cumbersome modeling process and long design cycle in the design process of hydraulic support in steeply dipping angle coal seam, combined with the load characteristics of hydraulic support in large dip angle pseudo-inclined working face, the design system of large dip angle hydraulic support is developed. Based on the comprehensive research methods of motion simulation, strength test and physical experiment, taking the design of ZY5000/15.5/38 hydraulic support for steeply dipping angle coal seam as an example, the mechanical model is established according to the multi-dimensional stress characteristics of hydraulic support in large dip angle pseudo-inclined stope. The spatial load characteristics of large dip angle hydraulic support are analyzed, and the mechanical linear matrix of top beam and shield beam of hydraulic support in pseudo-inclined working face is established. The design system of hydraulic support is built by using VB.NET as the development language combined with linear matrix and SOLIDWORKS secondary development modeling software, and a good human-computer interaction user interface is developed. The research and analysis show that the trajectory range of the front end of the top beam of the model hydraulic support generated by the system is about 48 mm, and the trajectory curve of the front end of the top beam of the support satisfies the characteristics of double torsion line. The maximum stress value of the model support is 146.7 MPa, which is far less than the equivalent stress value of the material yield, and the maximum deformation displacement is not more than 0.531 mm. The working resistance of the physical model hydraulic support with a similarity ratio of 1:5 is about 38 kN. The loading characteristics of the top beam and the shield beam of the support are tested under different conditions. The mechanical data of the model support in the experiment are basically consistent with the mechanical data generated by the system, and the experiment meets the motion requirements and bearing characteristics of the support in the stages of initial support, resistance increase, constant resistance and pressure relief. The research results reflect the good adaptability of the model hydraulic support under the design system, which has certain scientific and practical significance for enriching the design theory of hydraulic support in steeply dipping angle coal seam and guiding the design and production of hydraulic support.
-
0. 引 言
矿山数字化、智能化建设是新一轮科技革命下的战略选择[1]。高质量的井下图像有助于增强场景的可视化效果和分析能力,提高矿井边缘设备和智能平台的计算性能。由于井下环境存在低光、煤尘干扰等复杂条件,同时受成像设备和成像技术的影响,图像往往存在细节缺失、边缘模糊等问题。因此,研究井下图像超分辨率重建技术以提升成像质量,对实现井下智能化生产和管理意义重大[2]。
图像超分辨率重建作为一种重要的图像处理技术,旨在从低分辨率图像中恢复出清晰的高分辨率图像。在井下目标检测与跟踪、安全监控智能分析等视觉计算任务中具有广泛应用[3]。通过图像超分辨率重建,可以提高矿井图像的视觉质量和细节程度,使其更适合于人眼观察和矿井智能平台的实际任务分析,增强图像的可用性和应用范围。图像超分辨率重建技术通常通过利用图像的局部和全局特征,结合统计模型或深度学习方法来实现。
传统超分辨率重建技术主要包括插值法、重构法、统计法和基于学习的方法[4]。插值法包括双线性插值、双三次插值和样条插值。其核心思想是利用现有像素点信息来估算新增像素点的值。基于重构的方法将超分辨率重建视为图像退化的逆问题。这类方法通过总变差正则化、稀疏表示等策略来恢复图像细节,但是不仅计算复杂度高,处理速度也较慢。基于统计的方法通过构建图像概率模型来推断高分辨率图像,如利用最大后验估计和贝叶斯估计来完成结果预测。基于学习的方法借助低分辨率和高分辨率图像之间的映射关系来生成高分辨率的图像。IRANI[5]提出的迭代反投影法是一种典型的传统超分辨率重建方法。该方法通过对图像插值和滤波处理来逐步降低投影空间中的像素误差,能够保持图像局部特征平滑,但该方法非常依赖初始图像质量,同时在迭代过程中容易放大噪声。
基于深度学习的方法在性能上显著优于传统方法[6]。其中,卷积神经网络的出现为图像超分辨率领域带来突破性进展[7]。SRCNN[8](Super-Resolution Convolutional Neural Network)首次将卷积神经网络用于超分辨率重建任务,通过将低分辨率图像放大到目标尺寸,然后使用三层卷积网络拟合非线性映射,输出高分辨率图像结果。作为一种端到端学习算法,SRCNN在保持轻量结构的同时也具有较优的重建质量。KIM等[9]引入递归神经网络结构,提出了DRCN(Deeply-Recursive Convolutional Network)。DRCN最大的特点在于多次应用相同的卷积层,重复执行递归计算而不会增加参数数量。
随着网络层次的加深,卷积神经网络极易出现梯度消失或爆炸的问题,同时带来计算资源的消耗,训练成本愈发变高。为了解决这一问题,研究者们将残差网络引入超分辨率重建工作中。残差单元以跳层连接的方式来帮助梯度更顺畅的回流,使网络可以向更深层次的方向发展。为了在提高收敛速度的同时保持较高鲁棒性,VDSR[10](Very Deep Super-Resolution)首次将残差网络引入图像超分辨率重建任务中,并使用残差学习和自适应梯度裁剪来加速网络迭代。程德强等[11]提出一种多通道递归残差网络,通过复用残差块来优化提升训练效率,同时引入多通道网络和交叉学习机制来融合更多特征信息,对于弱边缘纹理特征的矿井图像展现出较好的重建性能。陈亮亮[12]提出了一种双向一致性级联超分辨率重建方法,通过交替计算和递归计算增强传统残差单元的特征表达能力,再利用矿井图像的超分辨率重建和退化的双向一致性学习机制联合监督图像重建,提高了矿井重建图像的感知特征。LIM等[13]提出的EDSR(Enhanced Deep Super-Resolution)通过优化残差网络结构,引入多尺度系统,能够在单一模型中重建不同尺度的高分辨率图像。受对抗网络启发,杨宏业等[14]将纹理转移融合到生成对抗网络来重建高分辨率煤矿图像。该方法通过构造生成器和判别器实现数据分布的学习和生成,在重建任务中无需成对数据,对于图像复杂结构和纹理的恢复具有一定的准确性。WANG等[15]在对抗神经网络中引入深度卷积来应对矿井图像的低分辨率恢复问题,在矿井图像保真度上取得良好效果。但容易导致对图像特定特征的过拟合,在应对不同井下场景时缺乏鲁棒性。田子健等[16]结合生成对抗思想搭建生成对抗式主体模型框架,使用目标图像域而非单一参考图像驱动判别器监督生成器的训练,避免了矿井图像局部细节丢失。
上述基于神经网络的图像超分辨率重建方法主要关注更宽或更深的架构设计,而忽略了中间层特征之间的相关性。DAI等[17]提出的SAN(Second-order Attention Network)通过使用二阶特征统计来学习特征之间的相关性,并设计局部残差注意力组用于提高网络表征能力。LIANG等[18]结合了CNN和Transformer的优势提出SwinIR(Image Restoration using Swin transformer),利用局部注意力机制处理大尺寸图像,并通过移位窗口方案模拟长距离依赖,在图像特征和注意力权重上具有较好的交互效果,但捕捉更大范围全局上下文的能力需要进一步提升,尤其对于具有明显全局结构的矿井图像需要关注全局特征信息来保持图像的视觉一致性。
在矿井图像的超分辨率重建中,由于矿井环境中的光照不均匀,导致图像往往昏暗且存在强烈阴影和高亮区域[19],其中暗部区域较低的信噪比水平导致噪声增加。矿井生产过程中产生的粉尘使得图像细节缺失,这进一步加剧了矿井图像处理的复杂性。另外井下环境主要由煤层、岩石和设备构成,图像大部分呈现黑色、灰色等单调的色调,在低对比度环境下细节容易与背景混淆,增加了特征提取和细节增强的难度。现有方法在井下特定成像条件下泛化能力较差,容易造成高频信息丢失,甚至可能重建出假细节。针对上述挑战,笔者提出一种矿井图像的多维特征与残差注意力网络超分辨率重建方法。该方法能够有效提升图像在各维度上的表征能力,优化深层特征之间的交互作用。同时结合递归泛化方法,在全局尺度上完成建模,对低纹理矿井图像的超分辨率重建具有一定的优势。笔者主要贡献包括:
1)提出了多维交互注意力机制,采用并行融合策略增强不同通道之间的信息整合,优化静态卷积,更加关注矿井图像高频信息。
2)设计了递归稀疏自注意力机制,捕获全局空间信息的同时通过选择算子实现自适应特征聚合,增强矿井图像边缘和轮廓等关键特征。
3)设计了残差协同模块,通过融合注意力块和残差结构实现特征映射,完成复杂纹理和结构的有效提取和呈现。
1. 整体架构和残差混合注意力
1.1 整体架构
如图1所示,笔者所提矿井图像超分辨率重建网络包括浅层特征提取、残差协同模块组和特征重建模块3个部分。图像首先经过卷积层提取浅层特征,浅层特征也直接输出到重建模块以保留低频信息。残差协同模块组由残差协同模块(Residual Collaborative Modules,RCM)构成基本单元,通过多次引入残差连接完成特征融合。在特征重建模块中,使用亚像素卷积对融合后的特征进行上采样,完成图像高质量超分辨率重建。
图中,${I_{{\mathrm{LR}}}}$为输入的低分辨率图像,${I_{{\mathrm{SR}}}}$为输出的超分辨率重建图像。浅层特征提取部分主要利用3×3卷积提取图像低频信息。该层输出可表示为
$$ \begin{array}{*{20}{c}} {{F_{\mathrm{S}}} = {H_{\mathrm{f}}}\left( {{I_{{\mathrm{LR}}}}} \right)} \end{array} $$ (1) 其中,${F_{\mathrm{S}}} \in {R^{H \times W \times C}}$为提取的浅层特征;${H_{\mathrm{f}}}\left( \cdot \right)$为3×3卷积算子构成的特征提取函数。然后,将${F_{\mathrm{S}}}$输入到残差协同模块组(Residual Collaborative Modules Group,RCMG)进行深层特征映射。在图像多维度上感知和提取高频信息,在全局和局部区域完成建模。该层输出可表示为
$$ \begin{array}{*{20}{c}} {{F_{\mathrm{D}}} = {H_{\mathrm{d}}}\left( {{F_{\mathrm{S}}}} \right)} \end{array} $$ (2) 其中,${F_{\mathrm{D}}} \in {R^{H \times W \times C}}$为提取的深层特征;${H_{\mathrm{d}}}\left( \cdot \right)$为由一系列残差协同模块和一个3×3卷积层构成的深层特征提取函数,具体表示为
$$ \begin{array}{*{20}{c}} {{F_i} = {H_{{{\mathrm{RCM}}_i}}}\left( {{F_{i - 1}}} \right),i = 1,2, \cdots ,k} \end{array} $$ (3) $$ \begin{array}{*{20}{c}} {{F_{\mathrm{D}}} = {H_{\mathrm{f}}}\left( {{F_{\mathrm{k}}}} \right)} \end{array} $$ (4) 其中,${F_{\mathrm{k}}}$为中间层特征;${H_{{{\mathrm{RCM}}_i}}}\left( \cdot \right)$为第$i$个RCM块;${H_{\mathrm{f}}}\left( \cdot \right)$为卷积层。最后,将${F_{\mathrm{S}}}$和${F_{\mathrm{D}}}$输入到重建模块,通过亚像素卷积对融合特征进行上采样,该层输出表示为
$$ \begin{array}{*{20}{c}} {{I_{{\mathrm{SR}}}} = {H_{\mathrm{R}}}\left( {{F_{\mathrm{S}}} + {F_{\mathrm{D}}}} \right)} \end{array} $$ (5) 其中,${H_{\mathrm{R}}}\left( \cdot \right)$为重建模块函数。笔者利用L1损失来优化网络参数:
$$ \mathcal{L}_{L 1}=\frac{1}{N} \sum_{i=1}^N\left\|I_{{\mathrm{H R}}}-I_{{\mathrm{S R}}}\right\|_1 $$ (6) 式中:$N$为训练集中样本对个数,${I_{{\mathrm{HR}}}}$为真实高分辨率图像。
1.2 残差混合注意力
鉴于标准Transformer块在长距离依赖建模中的优势,笔者在多头自注意力块的基础上设计残差混合注意力模块。
如图2所示,LayerNorm为归一化层,MLP为多层感知机。该模块具体结构为:首先将输入特征进行归一化处理,多维交互注意力块(MDIA)和递归稀疏自注意力机制(RS_SA)对上一层输出加权融合,并再次进行归一化处理,最后通过多层感知机完成非线性激活。其中各层间通过残差连接充分利用局部和全局信息。对于给定的输入特征$X$,残差协同模块的整个计算过程可表示为
$$ \begin{array}{*{20}{c}} {{X_1} = LN\left( X \right)} \end{array} $$ (7) $$ \begin{array}{*{20}{c}} {{X_2} = DIA\left( {{X_1}} \right) + R{S_{{\mathrm{SA}}}}_{\left( {{X_1}} \right)} + X} \end{array} $$ (8) $$ \begin{array}{*{20}{c}} {Y = MLP\left( {LN\left( {{X_2}} \right)} \right) + {X_2}} \end{array} $$ (9) 式中:${X_1}$和${X_2}$表示中间特征,$Y$表示模块最终输出,$LN$表示归一化操作,$MLP$表示多层感知机。
2. 深层特征提取模块
2.1 多维交互注意力模块
为了更好地捕捉特征之间的交互关系,增强不同通道间的信息整合能力,笔者提出了多维交互注意力(Multi-Dimensional Interactive Attention,MDIA)网络模块。如图3所示,Transpose为维度旋转操作,FC为全连接,ReLU为激活函数。首先将特征$F$输入MDIA模块的每个分支中。在维度旋转分支中,通过转置操作分别从“水平−通道”、“垂直−通道”进行特征学习。为了避免复杂的降维和升维过程,保留原始通道特征的信息完整性,在该分支中引入高效通道注意力机制[20](Efficient Channel Attention,ECA)。
在MDIA模块网络顶部分支和底部分支中,分别定义${F^W}$和${F^H}$为沿着水平和垂直维度转置后的特征图。其中以顶部分支为例,${F^W}$输入ECA模块,其中卷积核大小$k$可表示为
$$ {k = {{\left| {\frac{{{{\log }_2}C}}{\gamma } + \frac{b}{\gamma }} \right|}_{}}} $$ (10) 其中,$C$是输入通道数,$\gamma $和$b$是超参数。然后通过一维卷积来捕捉通道间依赖关系 :
$$ \begin{array}{*{20}{c}} {F_{{\mathrm{out}}}^W = Conv1{D_k}\left( {{F^W}} \right)} \end{array} $$ (11) 式中:$ Conv1{D}_{k}(·) $为一维卷积操作,$k$为卷积核大小。
输出特征图$F_{out}^W$沿水平方向进行一次逆旋转,获得与原始输入形状相同的特征图。
在网络中间的动态卷积分支中,首先将$F$输入到自适应平均池化层进行池化操作,将输入特征图的高度和宽度分别压缩为1,得到$B \times C \times 1 \times 1$大小的特征图,接下来用1×1大小的卷积核进行降维处理,使用ReLU作为激活函数。然后分别对通道数、卷积核进行Sigmoid函数处理,得到各自维度上的注意力权重,通过激活程度来调整每个维度的重要性。最后,对3个分支的所有输出进行平均聚合,通过不同维度生成的关注权重新校准,输出最终的精细化特征图。
该模块在垂直和水平上对特征图进行维度旋转,旋转后的特征图分别输入到不同的分支中,并通过注意力机制调整它们之间的交互权重,优化特征图各维度之间在空间结构上的协同作用,在全局尺度上完成建模。同时,考虑到卷积在局部感受野上特征提取的优势,采用并行策略的方式引入动态卷积,自适应地调整卷积核的大小形状,更好地感知图像中的边缘细节和纹理信息,有效提高超分辨率重建质量。
2.2 递归稀疏自注意力模块
由于Transformer在自然语言处理中的出色表现,其核 心机制自注意力也被广泛应用于图像处理领域 。该机制通过捕获输入数据之间的交互,对长距离依赖关系进行建模。ViT[21](Vision Transformer ,ViT)的计算复杂度与特征块数量成平方关系,限制了其在图像超分辨率重建中的应用。CAT[22](Cross Attention in vision Transformer ,CAT)利用不同头部的水平和垂直矩形窗口注意力来并行扩展注意力区域并聚合不同窗口的特征,将CNN的平移不变性和局部性的归纳偏差合并到transformer中来捕获全局信息,但忽略了空间依赖性的建模。Swin[23](Shifted Windows,Swin)将图像划分成互不重合的窗口,然后在不同的窗口中进行自注意力计算,其计算复杂度和图像尺寸呈线性关系,但窗口之间的信息交互受到窗口大小和移动策略的限制,模型对长距离依赖关系的捕捉仍有一定的局限。针对以上网络存在的问题,笔者提出一种递归稀疏自注意力机制(Recursive Sparse Self-Attention,RS_SA)网络模块(图4),通过递归聚合以线性复杂度利用全局上下文,同时引入Top-k选择算子来保留关键的自注意力值来增强特征聚合。首先,通过递归循环单个深度卷积捕获全局信息,其中循环次数$T$的计算方式如下:
$$ {T = {{\log }_{{s_r}}}\frac{H}{h}} $$ (12) 其中,${s_r}$为卷积的步幅大小,$h$为常数,$H$为图像高度。通过动态选择递归次数$T$,来灵活处理不同大小输入。然后,对获得的初始聚合映射进行细化,使用3×3深度卷积、1×1多个卷积层计算获得具有代表性的映射。整体计算过程可表示为:
$$ \begin{array}{*{20}{c}} {\hat X = {f_r}\left( {{f_r}\left( { \cdots \left( {{f_r}\left( X \right)} \right)} \right)} \right)} \end{array} $$ (13) $$ \begin{array}{*{20}{c}} {{X_r} = {f_{1 \times 1}}{f_{3 \times 3}}\left( {\hat X} \right)} \end{array} $$ (14) 其中,${f_r}$为${s_r}$步幅的深度卷积,${f_{3 \times 3}}$为3×3深度卷积,${f_{1 \times 1}}$为1×1逐点卷积。 在标准的Transformer中,自注意力输出可由式(12)描述:
$$ \begin{array}{*{20}{c}} {Att\left( {Q,K,V} \right) = softmax\left( {\frac{{Q{K^T}}}{\lambda }} \right)V} \end{array} $$ (15) 其中,Q为查询,K为键,V为值。由于标准Transformer基于全连接的注意范式容易导致特征交互过程中的信息冗余,因此对上述${X_r}$进行张量重塑(如图4“reshape”操作),之后计算所有$Q$和$K$之间的像素对相似度,利用转置注意矩阵M屏蔽低注意权重分配的值,在M上自适应选择 Top-k分数的权重值。其中,k为动态控制稀疏度大小的可调参数。只有在给定阈值内的Top-k分数才会进行归一化计算,对于小于阈值的分数,通过离散函数Scatter在给定索引上将其概率置0。
$$ {SAtt\left( {Q,K,V} \right) = softmax\left( {{T_k}\left( {\frac{{Q{K^T}}}{\lambda }} \right)} \right)V} $$ (16) 其中,${T_k}$为选择算子。最后,将每个注意力头的输出拼接在一起,利用线性投影得到矩阵计算结果。
3. 实验条件和评价指标
3.1 实验环境和数据集
笔者的实验环境如下:CPU为i9−12900K/64G,GPU为RTX4090/24G,操作系统为Ubuntu22.04,编程语言为Python3.8.18,CUDA版本为12.0,深度学习框架为Pytorch1.9.1。
笔者分别使用公开数据集DIV2K[24]和煤矿井下图像数据集进行分组实验。DIV2K是1个权威的单图像超分辨率数据集,它包含
1000 个不同场景的图像对。笔者所用矿井图像是由KBA18−矿用本安型摄像仪在多个煤矿场景拍摄获取的,该摄像仪分辨率为1920 ×1080 ,环境照度为10 Lux,采集的图像包括井下巷道、工作面和设备间等场景。笔者使用双三次下采样来构成训练所需的图像对。矿井图像数据集部分示例如图5所示。为了提升训练速度,同时减少内存占用,将训练图片裁剪为具有重叠的480×480的子图像块。然后提取每个图块像的尺寸和通道数存储为元信息。笔者测试集使用矿井图像测试集和基准数据集Set5[25]、Set14[26]、Urban100[27]。
3.2 评价指标
笔者实验性能评价采用峰值信噪比[28](Peak Signal-to-Noise Ratio,PSNR)和结构相似性指数SSIM[29](Structure Similarity Index Measure ,SSIM)来初步评估图像重建算法的效果。PSNR以分贝(dB)为单位,其值越高表示图像质量越好。为了进一步评估2个图像之间的像素差异,使重建效果更加符合矿井真实场景的视觉感知。笔者在矿井数据集的实验中引入图像相似性度量标准LPIPS[30](Learned Perceptual Image Patch Similarity,LPIPS)和视觉信息保真度VIF[31] (Visual Information Fidelity,VIF)。LPIPS利用了预训练的CNN模型来学习感知距离,这使得它能够更好地与人类感知系统的感知一致性。取值范围为[0,1],LPIPS越接近1表明图像质量越好。VIF是Sheikh等结合自然图像统计模型、图像失真模型和人眼视觉系统模型提出的图像质量评价指标。其取值范围为[0,1],VIF越大表明图像与主观视觉有更高的一致性。
4. 实验结果分析
4.1 客观指标分析
将文本算法在DIV2K上训练结果与其他超分辨率重建算法在基准数据集上进行对比实验。设置两组实验(表1),选择与经典算法SRCNN及CSRCNN[32];基于残差网络的VDSR及EDSR算法;基于注意力机制的SPAN[33]、ELAN[34]、DAT[35]和SwinIR进行PSNR和SSIM性能比较。表1展示了上述方法在基准数据集Set5、Set14、Urban100上缩放因子为×2、×4的客观指标对比。由表1数据所示,笔者算法与目前主流算法相比,在各数据集上总体表现出较优性能。在2倍缩放因子下,笔者算法的PSNR指标较次优算法DAT分别提升0.09、0.51、0.27 dB,在Set14基准数据集上,笔者算法的SSIM指数略低于DAT算法
0.0015 ,在Set5和Urban100上分别提升了0.0018 、0.0323 。在4倍缩放因子下,笔者算法的PSNR指数在3个基准数据集上分别提升0.17、0.89、0.58 dB,SSIM指数分别提升0.0329 、0.0977 、0.0400 。表 1 不同超分算法在3种基准数据集上的性能对比Table 1. Performance comparison of different super-resolution algorithms on three benchmark datasets尺度因子 模型 Set5 Set14 Urban100 PSNR↑/SSIM↑ PSNR↑/SSIM↑ PSNR↑/SSIM↑ ×2 SRCNN 36.66/ 0.9542 32.45/ 0.9067 29.50/ 0.8946 CSRCNN 37.45/ 0.9570 34.34/ 0.9240 29.88/ 0.9020 VDSR 37.53/ 0.9587 33.03/ 0.9124 30.76/ 0.9140 EDSR 38.11/ 0.9602 33.92/ 0.9195 32.93/ 0.9351 SPAN 38.27/ 0.9614 34.34/ 0.9240 33.34/ 0.9384 ELAN 38.11/ 0.9609 33.82/ 0.9196 32.62/ 0.9328 SwinIR 38.35/ 0.9620 34.14/ 0.9227 33.40/ 0.9393 DAT 38.34/ 0.9619 34.43/ 0.9247 33.54/ 0.9402 Our 38.43/ 0.9637 34.94/ 0.9232 33.81/ 0.9725 ×4 SRCNN 30.49/ 0.8628 27.50/ 0.7315 24.47/ 0.7229 CSRCNN 31.01/ 0.8702 28.47/ 0.7720 24.62/ 0.7280 VDSR 31.35/ 0.8838 28.01/ 0.7674 25.18/ 0.7524 EDSR 32.46/ 0.8968 28.80/ 0.7876 26.64/ 0.8033 SPAN 32.63/ 0.9002 28.87/ 0.7889 26.82/ 0.8087 ELAN 32.47/ 0.8983 28.81/ 0.7868 26.60/ 0.8015 SwinIR 32.72/ 0.9021 28.94/ 0.7914 27.07/ 0.8164 DAT 32.74/ 0.9013 29.02/ 0.7914 27.14/ 0.8149 Our 32.91/ 0.9342 29.91/ 0.8891 27.72/ 0.8549 为了验证笔者算法在矿井图像上的有效性,同样选取上述8个算法在井下图像数据上训练完成后进行比对。分别设置2倍缩放因子和4倍缩放因子两组实验,同时引入LPIPS和VIF两个指标来进一步探究图像之间的感知差异。本组实验分别选取综放工作面、井下水仓、变电所场景各5张作为测试数据集,实验结果如表2所示,在2倍和4倍缩放因子下,本算法在PSNR和SSIM指标上均取得了最优结果。在2倍缩放因子下,笔者算法相较于次优算法DAT在LPIPS指标上降低
0.0263 (10.97%),在PSNR指标上提升1.3123 dB(4.10%)。在4倍缩放因子下,本算法相较于次优算法在LPIPS指标上降低0.0288 (9.91%),在VIF指标上提升0.0224 (3.09%)。表 2 不同算法在矿井数据集上的性能对比Table 2. Performance comparison of different algorithms on coalmine dataset尺度因子 模型 PSNR↑ SSIM↑ LPIPS↓ VIF↑ ×2 SRCNN 28.4619 0.9503 0.2971 0.6012 CSRCNN 30.6238 0.9596 0.2934 0.6103 VDSR 30.6404 0.9664 0.2831 0.6265 EDSR 30.7148 0.9675 0.2799 0.7154 SPAN 30.8366 0.9700 0.2776 0.7518 ELAN 31.0719 0.9713 0.2768 0.7789 SwinIR 31.8084 0.9755 0.2654 0.8324 DAT 32.0146 0.9716 0.2381 0.8693 Our 33.3269 0.9796 0.2118 0.8820 ×4 SRCNN 23.1245 0.8021 0.3980 0.5872 CSRCNN 23.6153 0.8153 0.3128 0.5981 VDSR 23.9827 0.8276 0.3135 0.6318 EDSR 24.7814 0.8432 0.3106 0.6387 SPAN 25.4756 0.8575 0.3082 0.6805 ELAN 26.1092 0.8762 0.3054 0.7264 SwinIR 26.7248 0.8743 0.2931 0.7702 DAT 27.3493 0.8837 0.2905 0.7903 Our 27.9792 0.8885 0.2617 0.8147 4.2 主观性能分析
为了进一步验证笔者方法的有效性,选取5个代表性算法在×4因子下矿井图像上进行超分辨率重建结果的视觉图对比。如图6所示,笔者分别在井下水仓、综放工作面、变电所3种场景进行主观视觉对比。同时,在图6d中展示了本算法对低分辨率矿井图像整体重建结果的视觉对比,其中,${I_{LR}}$为低分辨率图像,${I_{SR}}$为超分辨率重建图像。图6中,截取水仓中具有明显纹理结构的栏杆、综放工作面中铁丝网、变电所中电力设备进行比对,模型SRCNN基本完成了图像中纹理方向的恢复,但边缘部分存在较明显的模糊,VDSR算法的重建结果较SRCNN在图像左侧栏杆处的纹理层次有了进一步提升,可见引入残差结构对特征信息具有较好的提取效果。SwinIR和DAT相较前者在局部结构上更加接近真值,在栏杆边缘部分整体轮廓较清晰。表明注意力机制在保持特征连续性、恢复边缘轮廓关键特征上有明显优势。笔者算法在几何结构上具有更加清晰的视觉效果,在图6a左侧细节密集部分较真值图像基本取得了较好的重建结果。对于图6b中铁丝网的图像恢复中,模型SRCNN、VDSR、SwinIR均未能对重建后的煤尘遮挡部分进行有效辨识。而笔者算法重建后的网面轮廓具有较高的视觉质量,对于几何结构和边缘具有显著优势。
为了提供一种更加直观且易于理解的方式来展现各算法间的结果对比,基于像素差值来生成各模型输出图像与原始高分辨率图像的误差颜色图和误差直方图。如图7所示,使用蓝色到红色的映射来表示像素差值的大小,设定红色表示最大差值60,颜色越趋于蓝色表示差值越小,即超分辨率重建效果越好。在误差直方图中,横坐标表示像素误差值,同样设定相同的颜色映射。纵坐标表示误差频率,即每个差值像素数量的分布情况。选取井下水仓图像进行实验,设置经典的SRCNN算法作为比较基准,同时采用目前主流的SwinIR、DAT来验证笔者算法的优越性。由图7可知,SRCNN在整体栏杆上表现出较大差值,尤其背光较暗位置的红色区域较深。SwinIR和DAT整体呈现代表低差值的绿色区域,但栏杆结构连接处及轮廓部分存在明显像素差异。笔者算法输出的结果图基本为低差值颜色,在边缘位置没有较大像素差变化,对栏杆暗部区域也较好地完成了图像恢复。
为了验证超分辨率重建后的图像是否符合人类视觉系统对图像质量的感知,笔者引入平均意见分数MOS(Mean Opinion Score,MOS)。与上述评估指标不同的是,MOS指数不使用像素差异作为计算依赖,采用人类主观评价规律对图像清晰度、锐度、模糊和噪声等做出得分预测,从而更加准确的地衡量图像质量。笔者基于Resnet的一个基线,在ModelScope平台上对2倍和4倍缩放因子下的矿井图像试验结果进行无参考评估(实验结果见表3)其中指标分数范围为[0,1],值越大代表图像质量越好。实验结果表明,本算法在两组实验下均取得最优结果,在2倍和4倍缩放因子下分别提升
0.0232 、0.0340 。表 3 不同算法在MOS评价指标上的对比Table 3. Comparison of different algorithms on mos evaluation metrics尺度因子 SRCNN CSRCNN SPAN VDSR SwinIR DAT Our ×2缩放因子 0.5270 0.5492 0.5992 0.6108 0.6326 0.7194 0.7426 ×4缩放因子 0.4342 0.4782 0.4889 0.5412 0.5625 0.5701 0.6041 4.3 消融实验
为了进一步验证笔者算法中各模块的有效性,设置4组试验,分别在矿井图像和基准数据集Set5、Set14、Urban100上进行×2缩放因子下的PSNR和SSIM指标对比。其中MSA是多头自注意力,MDIA是多维交互注意力,RS_SA为递归稀疏自注意力。表4中,模型a为单独使用多头自注意力所训练出的模型;模型b为单独使用递归稀疏自注意力训练出的模型;模型c为单独使用多维交互注意力模块所训练出的模型;模型d为使用多维交互注意力模块和递归稀疏自注意力模块所训练出的模型。从表4可以看出,模型b相较模型a的PSNR值要高0.53 dB,说明利用递归聚合方式和算子动态选择机制在处理全局和局部特征时有更好的精度表现;模型d相较模型b在各项数据集上均有所提升,尤其在矿井图像上PSNR提升了0.65 dB,可见引入多维交互注意力增强了空间结构上的协同作用,捕获了更多特征图信息;模型d相较模型c在矿井图像上PSNR提升了0.54 dB,由此可见,在MDIA和RS_SA二者融合策略下,模型获得更优的信息交互和特征聚合效果。
表 4 2倍缩放因子下不同模块对模型性能的影响对比Table 4. Comparison of the impact of different modules on model performance under 2x scaling factor模型 模块 矿井图像 Set5 Set14 Urban100 MSA MDIA RS_SA PSNR↑/SSIM ↑ PSNR↑/SSIM↑ PSNR↑/SSIM↑ PSNR↑/SSIM↑ a √ × × 32.15/ 0.9610 37.74/ 0.9525 33.28/ 0.9156 32.45/ 0.9278 b × × √ 32.68/ 0.9712 37.89/ 0.9621 34.61/ 0.9198 33.18/ 0.9447 c × √ × 32.79/ 0.9643 38.01/ 0.9597 34.68/ 0.9169 33.03/ 0.9541 d × √ √ 33.33/ 0.9738 38.43/ 0.9637 34.94/ 0.9232 33.81/ 0.9725 5. 结 论
1)提出了一种矿井图像的多维特征与残差注意力网络超分辨率重建方法。该方法利用多维交互注意力模块来提取矿井图像中的高频信息,通过动态卷积增强矿井图像通道及卷积核各维度之间的信息整合能力。设计递归稀疏自注意力机制,实现更有效的特征聚合,以减少边缘区域的通道冗余。最后,基于标准多头自注意力模块,设计深层特征提取的基本单元,同时融合浅层特征,进行矿井图像超分辨率重建。
2)通过在煤矿井下图像及基准数据集与其他模型的大量实验对比分析,证明了笔者方法在各项评估指标上均表现出较优结果,在主观视觉分析上也具有显著优势。笔者提出的重建方法对基于矿井图像的智能识别、安全监测等视觉计算任务也具有广泛应用价值。
3)存在一些需要继续研究和探索的地方:在矿井图像数据集的构建中,笔者所采用的基于双三次下采样的矿井图像退化模型尚未考虑运动模糊及附加噪声的影响。因此,笔者后续研究工作仍需进一步对真实矿井图像退化方式进行建模,构建更加贴合实际矿井应用的超分辨率方法。
-
表 1 液压支架模型相似比
Table 1 Similarity ratio of hydraulic support model
参数 取值 几何相似比 $ {\alpha _l} = 5 $ 容重相似比 $ {\alpha _\gamma }{\text{ = }}{\gamma _{\text{p}}}/{\gamma _{\text{m}}}{\text{ = 1}} $ 强度相似比 $ {\alpha _\sigma }{\text{ = }}{\sigma _{\text{p}}}/{\sigma _{\text{m}}}{\text{ = }}{\alpha _l} {\alpha _\gamma }{\text{ = 5}} $ 外力相似比 $ {\alpha _{\mathrm{F}}}{\text{ = }}{\alpha _\sigma } \alpha _l^2{\text{ = 125}} $ 表 2 液压支架参数
Table 2 Hydraulic support parameter table
参数 原型支架参数取值 模型支架参数取值 支架高度/mm 1 550~3 800 310~760 额定工作阻力/kN 5 000 40 额定初撑力/kN 3 619 28.925 支架宽度/mm 1 680~1 880 336~376 适应工作面倾角/(°) ≤60 ≤67 泵站压力/MPa 31.5 6.3 -
[1] 伍永平,贠东风,解盘石,等. 大倾角煤层长壁综采:进展、实践、科学问题[J]. 煤炭学报,2020,45(1):24−34. WU Yongping,YUN Dongfeng,XIE Panshi,et al. Progress,practice and scientific issues in steeply dipping coal seams fully-mechanized mining[J]. Journal of China Coal Society,2020,45(1):24−34.
[2] 伍永平,刘孔智,贠东风,等. 大倾角煤层安全高效开采技术研究进展[J]. 煤炭学报,2014,39(8):1611−1618. WU Yongping,LIU Kongzhi,YUN Dongfenget,et al. Research progress on the safe and efficient mining technology of steeply dipping seam[J]. Journal of China Coal Society,2014,39(8):1611−1618.
[3] 贠东风,杨晨晖,伍永平,等. 大倾角煤层长壁综采顶板冒落形态与支架稳态控制[J]. 西安科技大学学报,2023,43(2):255−263. YUN Dongfeng,YANG Chenhui,WU Yongping,et al. Roof caving form and steady state control of shield powered support in longwall fully-mechanized mining with steeply dipping seam[J]. Journal of Xi’an University of Science and Technology,2023,43(2):255−263.
[4] 贠东风,谷斌,伍永平,等. 大倾角煤层长壁综采支架典型应用实例及改进研究[J]. 煤炭科学技术,2017,45(1):60−67,72. YUN Dongfeng,GU Bing,WU Yongping,et al. Typical application examples and improvement research of hydraulic powered support applied to fully-mechanized longwall coal mining face in steep dipping seam[J]. Coal Science and Technology,2017,45(1):60−67,72.
[5] 王国法. 液压支架技术体系研究与实践[J]. 煤炭学报,2010,35(11):1903−1908. WANG Guofa. Study and practices on technical system of hydraulic powered supports[J]. Journal of China Coal Society,2010,35(11):1903−1908.
[6] 徐亚军,王国法. 基于虚拟样机技术的液压支架模型干涉检查[J]. 煤矿机电,2005(1):34−36. doi: 10.3969/j.issn.1001-0874.2005.01.011 XU Yajun,WANG Guofa. Interference detection of powered support model based on virtual prototyping[J]. Colliery Mechanical& Electrical Technology,2005(1):34−36. doi: 10.3969/j.issn.1001-0874.2005.01.011
[7] 何明,曾庆良,张鑫,等. 基于Pro/E与ANSYS的液压支架运动仿真与有限元分析[J]. 煤矿机械,2009,30(2):75−77. doi: 10.3969/j.issn.1003-0794.2009.02.030 HE Ming,Zeng Qingliang,ZHANG Xin,et al. Motion simulation and finite element analysis of hydraulic support based on Pro/E and ANSYS[J]. Coai Mine Machinery,2009,30(2):75−77. doi: 10.3969/j.issn.1003-0794.2009.02.030
[8] 蔡文书,程志红,沈春丰. 基于SolidWorks的液压支架三维建模和运动仿真[J]. 煤矿机械,2008(11):165−167. doi: 10.3969/j.issn.1003-0794.2008.11.074 CAI Wenshu,CHENG Zhihong,CHEN Chunfeng. 3D Modeling and Dynamic Simulation of Hydraulic Support with Solidworks[J]. Coal Mine Machinery,2008(11):165−167. doi: 10.3969/j.issn.1003-0794.2008.11.074
[9] 于涛,刘秀杰,张玉娇,等. 基于Pro/E的液压支架三维建模和运动仿真[J]. 工矿自动化,2016,42(4):81−82. YU Tao,Liu Xiujie,ZHANG Yujiao,et al. Three-dimension modeling and motion simulation of hydraulic support based on Pro/E[J]. Industry and Mine Automation,2016,42(4):81−82.
[10] 刘晓莲,李坤,赵雄鹏. 液压支架上升回路的AMEsim建模和仿真[J]. 机械工程师,2020(12):153−155. LIU Xiaolian,LI Kun,ZHAO Xiongpeng. AMESim Modeling and simulation of hydraulic support lifting circuit[J]. Mechanical Engineer,2020(12):153−155.
[11] 刘晓莲,李坤,赵雄鹏. 基于AMESim的液压支架降柱动态特性建模仿真[J]. 机电信息,2020(33):110−111. doi: 10.3969/j.issn.1671-0797.2020.33.059 LIU Xiaolian,LI Kun,ZHAO Xiongpeng. Modeling and simulation of dynamic characteristics of hydraulic support descending column based on AMESim[J]. Mechanical and Electrical Information,2020(33):110−111. doi: 10.3969/j.issn.1671-0797.2020.33.059
[12] 郭军,郭星辰,冯国瑞,等. 微型四柱式放顶煤液压支架设计及其适应性研究[J/OL]. 煤炭学报,2023,48(S2):766−777. DOI: 10.13225/j.cnki.jccs.2022.1672. GUO Jun,GUO Xingchen,FENG Guorui,et al. Design and adaptability research of micro four-column top coal caving hydraulic support[J/OL]. Journal of China Coal Society,2023,48(S2):766−777. DOI: 10.13225/j.cnki.jccs.2022.1672.
[13] 赵锐. 液压支架内加载试验力分析及直接测力装置研究[J]. 煤炭工程,2020,52(8):173–177. ZHAO Rui,Analysis of internal loading test force of hydraulic support and research on direct test force measuring device,202 0,52(8):173–177.
[14] 伍永平,解盘石,贠东风,等. 大倾角层状采动煤岩体重力–倾角效应与岩层控制[J]. 煤炭学报,2023,48(1):100−113. WU Yongping,XIE Panshi,YUN Dongfeng,et al. Gravity-dip effect and strata control in mining of the steeply dipping coal seam[J]. Journal of China Coal Society,2023,48(1):100−113.
[15] 解盘石,吴少港,罗生虎,等. 大倾角大采高开采支架动载失稳机理及控制[J]. 煤炭科学技术,2023,51(2):58–71. XIE Panshi,WU Shaogang,LUO Shenghu,et al. Dynamic instability mechanism of support and its control in longwall mining of steeply dipping coal seam[J/OL]. Coal Science and Technology,2023,51(2):58–71.
[16] 伍永平,郎丁,贠东风,等. 我国大倾角煤层开采技术变革与展望[J]. 煤炭科学技术,2024,52(1):25−51. WU Yongping,LANG Ding,YUN Dongfeng,et al. Reform and prospects of mining technology for large inclined coal seam in China[J]. Coal Science and Technology,2024,52(1):25−51.
[17] 刘彦君. 大倾角煤层综采液压支架选型研究[J]. 山东煤炭科技,2018(10):147−149. doi: 10.3969/j.issn.1005-2801.2018.10.059 LIU Yanjun. Research on Selection of Hydraulic Support for Fully Mechanized Mining in Large Angle Coal Seam[J]. Shandong Coal Science And Technology,2018(10):147−149. doi: 10.3969/j.issn.1005-2801.2018.10.059
[18] 伍永平,胡博胜,解盘石,等. 基于支架–围岩耦合原理的模拟试验液压支架及测控系统研制与应用[J]. 岩石力学与工程学报,2018,37(2):374−382. WU Yongping,HU Bosheng,XIE Panshi,et al. Development and application of support and control system for simulating test based on the coupling principle of support-surrounding rocks[J]. Chinese Journal of Rock Mechanics and Engineering,2018,37(2):374−382.
[19] 罗生虎,伍永平,解盘石,等. 大倾角煤层走向长壁开采支架稳定性力学分析[J]. 煤炭学报,2019,44(9):2664−2672. LUO Shenghu,WU Yongping,XIE Panshi,et al. Mechanical analysis of support stability in longwall mining of steeply dipping seam[J]. Journal of China Coal Society,2019,44(9):2664−2672.
[20] 伍永平,杨玉冰,王同,等. 大倾角走向长壁伪俯斜采场支架稳定性分析[J]. 煤炭科学技术,2022,50(1):60−69. doi: 10.3969/j.issn.0253-2336.2022.1.mtkxjs202201004 WU Yongping,YANG Yubing,WANG Tong,et al. Stability analysis of support under gangue filling condition in pitching oblique mining area of steeply dipping seam[J]. Coal Science and Technology,2022,50(1):60−69. doi: 10.3969/j.issn.0253-2336.2022.1.mtkxjs202201004
[21] 王国法. 液压支架技术[M]. 北京:煤炭工业出版社,1999. [22] 曹银苟,车艳春,王永强. 基于SolidWorks的液压支架Top-Down三维设计方法的研究[J]. 河南科技,2013(7):116−117. doi: 10.3969/j.issn.1003-5168.2013.07.093 CAO Yingou,CHE Yanchun,WANG Yongqiang. Research on Top-Down 3D design method of hydraulic support based on SolidWorks[J]. Henan Science and Technology,2013(7):116−117. doi: 10.3969/j.issn.1003-5168.2013.07.093
[23] 吴开兴,张令涛. 基于SolidWorks数字矿山模型中液压支架的二次开发[J]. 煤矿机械,2015,36(5):255−257. WU Kaixin,ZHANG Lintao. Secondary development of hydraulic support in digital mining model based on solidworks[J]. Coal Mine Machinery,2015,36(5):255−257.
[24] 孟照宏. 基于Pro/E的液压支架辅助设计系统的研发[D]. 邯郸:河北工程大学,2014. MENG Zhaohong. Research and development of hydraulic support aided design system based on Pro/E[D]. Handan:Hebei University of Engineering,2014.
[25] 邓晨韵. 基于Solidworks Simulation的滚动轴承温度场分析及结构优化[D]. 桂林:桂林理工大学,2017. DENG Chenyun. Temperature field analysis and structure optimization of rolling bearing based on solidworks simulation[D]. Guilin: Guilin University of Technology,2017.