0.   引　　言

我国的煤矿开采技术经历了机械化、单机（系统）自动化、综合自动化及矿山物联网阶段，目前正处于智能化发展阶段^[1]。当前，我国已建成近2 000个不同层次的煤矿井下智能化采掘工作面，形成了薄煤层、中厚煤层、大采高工作面及综放工作面的智能高效开采方式。人工智能、大数据、云计算等新一代信息技术与矿山行业不断加深融合，将促进煤炭工业智能、绿色、安全、高效开采技术的进步，也为煤矿智能化技术演进提供关键技术支撑。

随着神经网络的发展，基于深度学习的人工智能技术逐渐兴起，并在目标智能检测、图像识别分类和目标定位跟踪等方面成为工业领域的研究热点。近年来，基于深度学习的目标检测广泛应用于矿井目标识别、自动驾驶、智能监控等各种场景，其利用机器视觉、智能感知和图像处理等技术，实现对煤矿工作面采、掘、运、通等作业场景的智能感知、智能监控、智能决策和智能控制，从而增强矿井安全和提高生产效率，助力智能化煤矿高质量发展。

鉴于深度学习技术在智能化矿山领域的发展新动态，笔者综述了基于深度学习的目标检测技术演进、基本理论、关键技术和研究进展，分析目标检测技术所面临的挑战及其解决思路，并对目标检测未来技术发展趋势进行了展望。

1.   目标检测技术概述

目标检测是计算机视觉以及图像处理领域的重要研究问题之一，其主要任务是在图像或图像序列中精确定位出各种目标的类别和位置信息^[2]。传统的目标检测方法主要基于小样本数据的低级特征如方向、边缘、色彩等，在多尺度图像上利用滑动窗口和HOG、SIFT提取特征向量，再采用机器学习SVM等分类器进行学习判别。具有代表性的目标检测方法主要有：1）基于传统神经网络的目标检测方法；2）基于图像模板匹配的目标检测方法；3）基于机器学习分类器的目标识别方法。然而上述方法会生成大量冗余的建议框，导致学习效率低下，容易在分类出现大量的假正样本，难以捕捉高级语义特征和有效信息，对于较大的数据集不能很好地辅助表示学习。

相比人工抽取低级特征，深度学习能够将输入图像中的像素数据转化为更高阶、更抽象化的层级特征^[3]。基于深度学习的目标检测技术演进如图1所示。2014年，伯克利大学的GIRSHICK等提出了R-CNN^[4]，首次使用深层卷积神经网络，其检测效果比以往的检测方法有了显著的提升，是第1个能为工业级别提供解决方案的深度学习目标检测网络。此后，基于深度学习的目标检测技术开始了突破性发展，研究人员相继提出了Fast R-CNN、Faster R-CNN、YOLO、SSD、RetinaNet等有代表性的检测算法^[5-9]。近几年，学者们提出了高效可缩放的EfficientDet、基于Transformer的新型目标检测框架DETR、采用SOTA模型和解耦头结构的YOLOv8等算法^[10-12]。其中，2020年提出的DETR将神经网络与注意力相结合，通过Transformer中的自注意力机制学习全局特征，使模型直接输出最终的预测框，实现了端到端的目标检测，其检测性能可以达到甚至优于CNN目标检测。此后，DETR开启了目标检测的创新发展，基于Transformer的目标检测技术成为了当前的研究热点。

图  1  基于深度学习的目标检测技术演进

Figure  1.  Technological evolution of object detection based on deep learning

下载: 全尺寸图片 幻灯片

如图1所示，基于深度学习的目标检测算法主要分为3类：第1类是基于CNN网络和候选区域的双阶段目标检测算法，如R-CNN、Fast R-CNN、Faster R-CNN、FPN等。该算法首先对输入图像提取候选区域，然后对候选区域进行分类和位置回归，分2步得到检测结果，将检测问题转化为对建议区域内局部图片的分类问题；第2类是基于CNN网络和回归的单阶段目标检测算法，如YOLO系列、SSD系列、RetinaNet、EfficientDet等。该算法没有候选区域推荐阶段，直接将特征提取、目标分类和位置回归的过程整合到1个卷积神经网络中完成，将目标检测过程视为对整幅图像的回归任务；第3类是基于Transformer网络和注意力机制的端到端目标检测算法，如DETR系列、ViT、Swin-T等。这类算法基于注意力机制，使用目标查询向量聚合图像全局特征，直接预测目标的类别和边界框，将目标检测变成对图像所有目标的一次性集合预测问题。

表1分别从模型结构、数据处理、模型复杂度、计算效率、应用场景等方面对基于CNN和Transformer的目标检测网络结构进行了比较。前者能够有效提取图像的局部特征，而且模型参数较后者少，适用性范围广；后者能捕捉图像中长距离依赖关系以实现全局建模，但参数及其计算量大，对小目标检测效果较差。研究结合Transformer与CNN的检测技术，采用CNN提取特征，再基于Transformer全局关系建模，可以充分发挥两者的优势。

表  1  基于CNN和Transformer目标检测网络架构比较

Table  1.  Comparison of CNN and Transformer for object detection network architectures

模型	模型结构	数据处理	模型复杂度	计算效率	应用场景
CNN	多个卷积层和池化层的组合	通过卷积核在图像上的滑动运算提取局部特征	局部区域参数共享，模型结构相对简单	可并行化处理，计算效率较高	适用于处理具有空间结构的数据，如图像分类、目标检测
Transformer	基于自注意力机制的编码器-解码器	通过自注意力机制捕捉序列中的长距离依赖关系进行全局建模	参数较多，模型结构较为复杂	可并行化处理，计算效率可能会受到一定限制	适用于处理序列数据，如机器翻译、文本生成等

下载: 导出CSV 

| 显示表格

2.   矿井智能目标检测的关键技术

矿井目标智能检测的主要任务包括图像预处理、特征提取、目标定位和分类。由于煤矿井下光照较暗，充斥着大量的粉尘和水雾，所采集的图像会存在模糊、像素低、噪声多等问题，不利于后续的目标检测与识别。因此，有必要针对井下尘雾图像进行数据增强、超分辨率重建等清晰化处理；基于深度学习的特征提取，其对目标对象具有强大的表示学习能力。结合以上技术可以有效克服井下复杂环境的影响，有助于目标属性的准确描述、精准定位和分类，从而提高目标检测算法的性能。

2.1   数据增强

数据增强是矿井图像重构的重要环节。针对矿井图像受到井下光照条件、环境因素和目标本身复杂多变等影响，其通过对图像数据增强处理，可以提高图像清晰度并增强目标信息的表征能力。

现有的图像数据增强方法分为传统图像增强法和基于深度学习的图像增强算法。在矿井低光照环境下，传统方法中的直方图均衡化和Retinex图像数据增强算法均会出现色彩失真和细节丢失等问题。而基于深度学习的图像增强算法在光源极低或照度不均条件下仍具有较为理想的性能，因此在井下得到了广泛应用。例如，针对矿井图像成像模糊问题，张立亚等^[13]提出了基于HSV空间改进融合Retinex的图像增强方法；此方法只在空间域操作而未考虑图像不同退化类型固有的不同频率变化。为了解决该问题，CUI等^[14]提出了基于频率挖掘和调制的自适应一体化图像恢复网络，通过退化图像的自适应解耦频谱引导，从输入特征中挖掘低频和高频信息，在去噪、去雾、运动去模糊和低光照图像增强上可实现自适应重建；针对图像颜色失真和细节丢失问题，田子建等^[15]构建了基于Transformer和自适应特征融合的生成对抗式模型，有效提升了矿井低照度图像质量。

当前，图像增强已从简单的图像变换发展到基于神经网络模型的图像优化。例如主流的生成模型GAN，但其模型的训练不稳定、难收敛，生成的图像数据质量具有随机性，可能会给数据增强带来额外的计算代价。随着扩散模型在图像恢复中逐渐表现出的优于生成模型的性能，且其具有稳定的训练模型，研究人员正在探索与之相结合的矿井图像增强技术。通过对图像添加噪声后再反向学习噪声并恢复图像可生成高质量图像，其中控制扩散系数、时间步长等参数可以增强图像的细节和对比度，获得显著的去噪性能^[16-17]。对于因雾尘环境导致采集的图像目标模糊，将去噪扩散模型与神经网络相结合可以大大提高图像修复能力，因此扩散模型在矿井图像增强领域具有较大的研究潜力，有待挖掘。

2.2   超分辨率重建

超分辨率重建是图像数据预处理中的一项核心技术，有助于矿井图像纹理、边缘细节的恢复与清晰化。通过时间带宽向空间分辨率的转换，将低分辨率图像重建成高分辨率图像，从而提高图像的对比度、清晰度，并减少噪声，使图像更适合于人眼感知和计算机分析。

按算法原理分类，超分辨率技术可分为插值法、重构法和学习法。插值法通过对像素进行插值，其算法简单且快速，但在边缘细节处的像素易形成锯齿和块效应；重构法是在频域或空间域中对多帧低分辨率图像进行特征提取与融合以获得高分辨率图像，但易受到如平滑性、非负性等先验知识的约束，重建效果不稳定；学习法是一种基于数据样本学习的重建方法。目前以深度学习为主，采用卷积神经网络、残差网络和生成对抗网络等对图像重建。

现阶段，针对边缘模糊、小目标细节丢失的低质量煤矿图像，基于深度学习的超分辨率技术逐渐成为研究热点。王媛彬等^[18]提出了基于生成对抗网络的矿井超分重建算法，使用多尺度密集通道注意力残差块，实现了对矿井图像纹理、轮廓等细节的恢复；程德强等^[19]构建了基于残差网络融合层次特征和注意力机制的矿井图像超分重建模型，其网络结构如图2所示，在特征映射模块，引入坐标注意力以充分提取高频特征信息，并对不同层次特征进行融合，最后在图像重建模块采用亚像素卷积方法对图像进行上采样，有效提升了边缘细节信息的重建效果。

图  2  融合层次特征和注意力机制的超分辨率矿井图像重建网络结构^[19]

Figure  2.  Fusion of hierarchical features and attention mechanism network structure for super-resolution mine image reconstruction^[19]

下载: 全尺寸图片 幻灯片

实际应用中，由于井下弱光环境使得采集图像的边缘特征较弱，在此基础上进行超分辨率重建容易丢失重要的纹理信息，导致图像修复效果不佳。上述方法通过在超分重建网络中引入注意力模块，增强网络对图像边缘高频信息的关注度，从而获得了优于传统方法的重建效果。但注意力机制的复用会随之带来参数量和计算量的增加，不仅会制约整体模型的运行速度，网络的加深还会使浅层特征信息容易丢失进而影响图像的重建质量。引入注意力或其他模块时，如何在模型架构和重建性能之间获得更好的平衡仍有待进一步探索。

2.3   特征提取

矿井图像经过预处理后，需要进行特征提取，即将输入图像中的目标对象，通过映射的方式转化为在特征空间的表征，提取能有效反映目标本质属性的特征信息，为后续的分类或回归任务作准备。

目前，针对井下目标检测的特征提取技术主要有以下3个方面：1）静态特征提取。静态特征是可以从矿井图像中简单直观感受到的目标外观物理特点，如锚杆形状特征、矿工颜色特征、岩石纹理特征等；2）运动特征提取。对于井下各类非静态目标的检测跟踪，需要通过研究视频图像各帧间的时间关联性来提取运动特征。例如使用帧间差分法、光流法获取矿井图像中目标的动态特征；3）深层特征提取。深度神经网络具有强大的学习能力，通过对多模态模型进行迭代训练就能获取高级语义特征，即目标对象的深层特征。例如矿井机器人利用视觉‒语言模型通过语义感知和视觉观察生成对应的动作，实现跨模态的指令跟随和技能学习。

在矿井目标检测方面，常用的图像特征提取方法有卷积神经网络CNN、循环神经网络RNN、残差网络ResNet等。但受井下低照度环境以及目标遮挡、运动模糊和姿态形变等因素影响，现有对单一特征信息的获取方法已经不能满足矿井复杂环境下目标检测的需要，多尺度卷积特征提取方法引起了学者们的关注，如图3所示，通过采用不同尺寸的卷积核对图片同一像素点进行不同区域的信息提取以获得更多的特征。翟国栋等^[20]提出采用空洞卷积和多尺度卷积来提取特征信息，并对不同特征充分融合，有效解决了煤矿救援机器人所获取的图像特征不明显问题。上述基于CNN模型的卷积特征，主要关注矿井图像局部数据之间的相互关联，但随着卷积层的加深，其在捕捉运动目标的输入序列中各个位置之间的耦合关系和提取矿井图像全局特征方面能力不足。而Transformer模型引入了基于伪协方差的自注意力机制来捕捉序列中的全局上下文关系，通过特征提取和动态参数调优，能实现更好的目标检测泛化性能。例如ZHANG^[21]提出了一种基于Vision Swin Transformer-YOLOv5网络架构的矿井监控目标检测方法，通过引入多尺度特征图的快速注意机制与边缘计算策略提高了检测的实时性。

图  3  多尺度特征提取

Figure  3.  Multi scale feature extraction

下载: 全尺寸图片 幻灯片

虽然多尺度卷积特征提取可以增强特征提取能力，但卷积核数量多会占用更多的计算资源。而且小目标像素少，当采用较大卷积核时会产生远距离特征不相关情况，其参数设计、调整较为复杂。因此，下一步研究还需要在目标检测模型轻量化、参数自适应调整以及井下边缘计算等方面进行优化提升和突破。例如可以先从改进骨干网络入手，选用MobileViT轻量级网络作为主干特征提取网络，融合CNN的局部特征提取和Transformer的全局特征交互能力的同时还具有轻量化、可移动的优点。具体的网络设计还需要紧密结合矿井具体场景和硬件设备，构建出兼顾精度和速度的实用性目标检测模型。

3.   矿井智能目标检测技术的研究进展

煤矿井下是一个复杂多变的“人‒机‒环”巨系统。井下矿工数量多且作业分散，安全管理难度大；矿井机器大多是重型机械设备，种类多样、结构复杂；煤矿井下巷道空间狭窄，低光照、高粉尘、强噪声，而且矿井作业面顶板及围岩在矿山压力作用下易变形，严重时会发生冒顶或片帮，部分深部矿井甚至会出现冲击地压、瓦斯泄漏等灾害。因此，面向矿井复杂生产环境，研究针对“人‒机‒环”的矿井目标检测技术，对实现矿井安全、智能、高效开采十分关键。

目前，深度学习在井下人员安全监测、设备智能检测和矿井环境感知等方面已开展了初步的研究与应用，如图4所示。

图  4  深度学习在煤矿智能检测的应用场景

Figure  4.  Application scenes of deep learning in intelligent detection of coal mines

下载: 全尺寸图片 幻灯片

3.1   人员安全监测

由于煤矿井下的作业环境特殊，需要对井下人员进行实时定位识别、运动目标跟踪、电子围栏智能预警，确保井下人员安全。根据事故案例的相关统计分析，在煤矿所有安全事故中，由矿工不安全行为导致的事故占比较大。近年来发生多起采煤机截割头伤人、掘进机挤压致人伤亡等事故，给煤矿安全生产带来挑战。因此，研究井下人员安全行为的检测识别，对预防井下安全事故发生具有重要意义。

对矿工个体的目标识别方面，邓益侬等^[22]基于Kinect人体跌倒检测SDUfall数据集，建立矿工行为采集数据库，根据矿工在实际工作中的行为特征，选取行走、坐姿、弯腰俯身、蹲下、倒地５种行为作为日常样本，对人体行为动作进行识别检测；李雯静等^[23]提出了结合OpenPose算法和ST-GCN网络，基于YOLOv4模型对井下人员不安全行为识别与预警，通过将人体关键点和时空骨架相结合，实现对监控视频中矿工姿态的准确识别和对不安全行为的自动预警。此外，矿工行为会与周围的环境与物发生交互关系，学者们结合特定情境对矿工不安全行为进行了研究。饶天荣等^[24]提出了一种基于交叉注意力机制的井下不安全行为识别模型，采用ST-GCN网络和3D ResNet101分别提取人体关键点信息、图像特征，两者融合后的模型能够检测出抽烟、摘安全帽和脱工作服等行为，实现了井下矿工行为识别准确率的有效提升；孙迟^[25]设计了一种基于改进

YOLOv7-tiny网络的矿工不安全行为识别方法，结合目标检测提取的矿工、设备、环境信息和行为识别网络识别矿工的行为信息，利用AI智能视频识别，采用规则推理对违规进入禁区、攀爬输送带等复杂行为进行判识，可实现运输大巷人员进入危险区域识别告警。矿井人员不安全行为识别界面如图5所示。

图  5  矿井人员不安全行为识别

Figure  5.  Identification of personnel unsafe behavior of mines

下载: 全尺寸图片 幻灯片

从上述文献可以看出，对于具有时序特征的动态行为，引入如OpenPose、ST-GCN等识别模型来提取人体骨架、轮廓等立体特征后对人员行为进行三维分析逐渐成为研究热点，相较于传统基于二维平面图像的人员行为分析，结合目标检测的人员定位和行为识别的动作判识进行3D目标检测会具有更好的性能。但目前较少有针对遮挡问题的不完整目标识别的研究，当人员密集、机械遮挡、环境灰暗等因素导致目标遮挡时，对人员行为的检测精度会下降。因此，针对上述问题，如何优化目标检测模型算法，以适应井下实际情况是目标检测研究的关键。

3.2   设备智能检测

煤矿的安全高效生产离不开掘、采、支、运等装备的智能化运维。其中，对设备的运行状态及其参数进行智能化的检测是关键的一环。目前矿井目标检测应用于生产装备主要包括：采煤工作面主要设备的故障检测，如采煤机故障检测、带式输送机故障检测；设备作业时的位姿检测，如掘进机位姿测量、护帮板状态感知；设备运维所需的信息测量，如输送带测速、钻杆计数等。

煤矿井下环境恶劣，综采面的采煤机、带式输送机等长期在强噪声环境和变工况条件下高转速运转时，由于磨损、疲劳以及塑性变形等原因易发生故障，但现有方法存在检修成本高、针对性差、可靠性低等问题，难以实现设备的故障智能诊断。对此，学者们开展了基于深度学习的设备故障检测研究。李长文等^[26]提出了基于残差网络ResNet的采煤机摇臂齿轮故障诊断模型；李翠花等^[27]设计了一种改进CNN的采煤机截割部轴承故障检测方法，模型结构如图6所示，将截割部轴承故障信号转换成二维时频图，并在网络中引入密集连接结构，实现对多种轴承故障的准确检测分类。而带式输送机的故障主要表现为输送带跑偏、撕裂、堆煤等，对此相关文献分别提出了基于YOLOv5框架的输送带偏差监测方法、基于图像和声音多尺度特征融合的输送带纵向撕裂检测方法、结合红外图像特征与改进高斯混合模型的矿用输送带撕裂检测方法、结合SGBM双目立体视觉测量的YOLOv4和YOLACT 2种神经网络的堆煤体积检测方法等^[28-31]。上述研究分别对采煤机、带式输送机的部件提出了针对性的图像识别算法，为矿井设备的故障诊断提供了新思路。然而将研究成果应用于工程实际仍存在一定挑战，因为生产时采煤机、带式输送机会直接接触煤料而使其机身附着煤尘，加上矿井雾尘环境，导致故障部位的图像采集更加困难。红外辐射、激光等能够穿透粉尘、水雾，可以考虑在算法上结合类似成像技术来改善图像质量。同时，可以给设备关键部位配置清洗除尘装置、照明设备等辅助图像采集。

图  6  基于改进CNN的轴承故障检测模型^[27]

Figure  6.  Bearing fault detection model based on improved CNN ^[27]

下载: 全尺寸图片 幻灯片

巷道掘进是煤炭开采的重要组成部分，其中掘进机位姿参数的检测对自动化掘进以及无人化操作具有重要作用。针对悬臂式掘进机位姿检测，有学者将深度学习与视觉检测相结合，开展了初步探索，将BP 神经网络应用到掘进机机身位姿测量，将CNN目标检测应用到掘进机截割头位姿测量^[32-33]。王学等^[34]采用双目视觉+近红外+卷积神经网络的组合测量方案，实现对掘进机机身及截割部的位姿测量。另外，综采工作面“三机”协同采煤过程中，液压支架护帮板的有效支护可以防止片帮，但其收放若出现异常会导致护帮板干涉采煤机滚筒运行。为此，相关学者对护帮板的位姿状态进行监测研究，相继提出了结合雾尘图像清晰化与机器视觉测量的护帮板收回状态监测算法、基于改进 YOLOv5s与知识蒸馏的护帮板异常检测方法等^[35-36]。针对护帮板与采煤机滚筒干涉问题，毛清华等^[37]提出了根据滚筒与护帮板锚框重合度来判定两者干涉状态的智能识别算法；王妙云等^[38]结合VR的虚拟射线和包围盒碰撞检测技术，构建了滚筒‒护帮碰撞检测模型，如图7所示，可仿真实现采煤机滚筒与液压支架护帮板之间的碰撞预警监测。以上研究利用深度学习网络优势构建了设备作业时位姿检测的有效方案，促进了采掘工作面智能目标检测技术的发展，未来需要基于深度学习目标检测和多源数据融合算法，充分利用视觉检测的优势，提升矿井设备智能监测效率。

图  7  滚筒-护帮碰撞检测虚拟模型^[38]

Figure  7.  Virtual model of roller-guard collision detection^[38]

下载: 全尺寸图片 幻灯片

随着机器视觉的发展，目标检测技术还能应用于矿井设备的信息测量。相比于双阶段目标检测算法，以SSD、YOLO为代表的单阶段算法在检测速度上具有优势且识别精度较高，更适用于井下场景。例如对于带式输送机的速度测量，薛博^[39]提出了融合 Meanshift 目标追踪和 YOLO目标检测的带式输送机视觉测速方法，有效克服了传统接触式测速方法的局限性。在钻机检测方面，钻孔深度与钻杆根数相关，通过在监控视频中检测钻杆目标、跟踪钻机运动轨迹来进行钻杆计数，进而验收钻孔深度。陈振江等^[40]提出了基于经典SSD算法的钻机检测网络，通过检测带钻杆和不带钻杆2种状态及其钻机的运动轨迹实现对钻杆根数的测量；张栋等^[41]改进YOLOv4模型，引入注意力模块以增强钻机特征显著度，加入逆残差结构来改善钻机高速运动下难以被检测的问题，以此实现增强型轻量化的钻机目标检测；张富凯等^[42]结合YOLOv8钻机检测模型和ByteTrack目标追踪算法，构建了基于两级判定区域的Pipe-Count钻杆计数推理算法，统计钻机尾部前进和后退的运动次数实现钻杆计数。以上文献进行数据测量时都不同程度地考虑到了井下复杂环境的限制，在短时间的光源或遮挡物的干扰下模型仍可以获得良好的性能，但目标长时间受到遮挡，如矿工装卸钻杆、摄像头区域雾尘严重等，视觉测量方法容易丢失目标，影响检测；此外，输送带测速范围的大小、钻机种类型号和应用场景的不同都会影响算法的泛化性和鲁棒性，需要有丰富的数据集增强算法性能。因此下一步的研究需要紧密结合煤矿场景，针对背景多变或突发情况设计更具稳定性和适应性的检测网络，同时扩充图像数据，构建设备作业场景丰富、测量变量多样的数据集。

3.3   矿井环境感知

随着我国煤炭开采逐渐向深层推进，煤矿环境井下火灾、冲击地压和冒顶片帮等灾害事故的发生风险增大，对深部煤岩识别的难度也逐渐加大。因此，研究将智能目标检测技术应用于井下环境态势感知与矿井智能监控，对提高煤炭安全、智能、高效生产和煤矿智能化水平意义重大。

对于煤矿火灾的智能检测，基于深度学习技术对火灾火焰、烟雾等特征的识别得到了广泛研究。实现快速准确的火源判识需要检测网络对不同尺度的火灾目标有较高的灵敏度，特别是火灾初期火苗、火花等小目标，但当前对火灾小目标的检测性能仍有待提升，为此，学者们进行了优化模型算法的探索。针对小火焰易漏检问题，王伟峰等^[43]构建了一种改进YOLOv3 巷道火灾检测模型，引入SENet注意力机制和改进特征金字塔，有效增强了对中小尺寸火焰特征的提取能力；为了实现不同尺度火焰的目标检测，王斌等^[44]提出了一种基于改进YOLOv4-tiny轻量化抗干扰火焰检测深度网络，增加有效特征层形成四检测头网络并加入ECA通道注意力机制，以期提升对火焰的检测精度；赵端等^[45]提出了一种基于YOLOv5s-as模型的煤矿火灾边缘检测方法，加入小目标检测和自适应注意模块的图像检测与传感器检测构成对小目标火源的融合判识，在边缘处理器上取得了良好的检测效果。

近年来，因矿井矿山压力逐渐累积或瞬间冲击而导致的围岩破坏如冒顶片帮、冲击地压等灾害时有发生，给煤矿智能化开采带来挑战。为此，学者们针对深部矿井灾害动态监测开展了研究。针对矿井围岩片帮监测问题，蔡治华[46]提出了一种基于GRNN神经网络的矿井巷道变形预测模型，实现了对巷道围岩变形量的监测和预测；李昱衡^[47]提出了基于生成式对抗神经网络的煤壁图像去模糊算法和融合SSIM与背景差分法的煤壁片帮运动目标检测算法，可以有效检测煤壁的变化并识别片帮的变化过程。在冲击地压监测方面，孙继平等^[48]根据冲击地压发生时抛出煤岩的图像特征，如黑色面积减少、减少速度较大、掩埋位置异常等特征，提出基于图像的冲击地压感知报警方法；陈结等^[49]构建了物理和数据“双驱动”的冲击地压智能预警技术架构，基于贝叶斯概率模型对冲击地压进行实时监测，结合循环神经网络用于预测冲击地压的时间和区域，如图8所示。

图  8  冲击地压“双驱动”智能预警构架^[49]

Figure  8.  “Dual-driven” intelligent pre-warning framework for coal burst^[49]

下载: 全尺寸图片 幻灯片

目前，矿井冲击地压与冒顶片帮、瓦斯泄漏、火灾等的复合灾害事故频次逐渐增多，给矿井灾害防治技术研究带来了新的挑战^[50]。因此，针对冲击地压矿井复合动力灾害问题，需要进一步基于深度学习目标检测技术开展基于实时感知、动态监测的智能监测技术研究。研究结合基于物理参量和图像特征的多源感知技术，从视觉智能检测实时感知矿井外部地质结构变化，从物理参量实时监测岩层内部物理变化，利用深度学习目标检测与对围岩破坏灾害机理进行监测、预警，形成系统的矿井复合动力灾害智能判识模型，为深部矿井灾害智能协同防治技术体系提供理论基础。

此外，在煤岩识别方面，识别截割煤壁中煤层与岩石的分界面是煤矿智能化开采的共性难题^[51-52]。近年来，研究人员基于深度学习技术对煤岩识别方法做了相关的研究探索。由于主流的目标检测评价指标对连续贯穿的煤岩界面图像不太适用，孙传猛等^[53]建立了基于预测框投影占比的煤岩界面识别评测指标，提出了融合改进YOLOv3与三次样条插值的煤岩界面识别方法；王建才等^[54]结合CBAM注意力机制和Transformer，对YOLOv5网络模型进行改进，用于对煤岩混合图像的检测和分类；孙涛等^[55]提出了基于卷积神经网络和语义分割混合模型的煤岩识别方法，初步实现了对煤矸石分类和界面分割识别。尽管现阶段对煤岩识别的关键技术研究取得了较大进展，但基于单一数据的识别技术仍有较大的局限性。目前，融合多源传感器数据与3D建模的煤岩识别逐渐成为研究热点，例如基于点云数据的煤岩图像三维重建、结合图像处理和煤岩空间属性提取的煤岩识别、基于煤岩地质的数字孪生模型等，下一步需要继续探索多源信息和建模技术深度融合的煤岩识别技术。

4.   矿井智能目标检测面临的挑战与解决思路

随着深度学习的发展，该智能算法越来越多地应用于智能系统来解决实际问题。但深度学习理论与相关智能检测方法在煤矿井下应用场景还存在着技术难题，面临着以下挑战。

4.1   面临的挑战

1）数据集构建。目前，基于深度学习的智能检测算法主要是依赖有监督学习的方式，需要收集大量相关的数据样本，并对图像数据人工标记。但煤矿井下工况复杂、设备故障及环境灾变隐蔽，难以收集到大量且高质量的异常状态数据，普遍存在部分样本充足而部分样本种类或数量不全的数据不平衡情况。而且样本标注需要耗费大量的人力和物力，特别是基于图像的3D目标检测，需要输出物体的类别以及尺寸、位置、方向等三维信息，其3D数据的标注更加困难。3D 检测对目标的精确定位要求非常高，短距离的位置误差可能也会影响矿工、电机车等小目标的检测效果。然而井下光线昏暗导致图像中目标与背景不易区分，且人工标注也会出现一些无法避免的误差，使得对3D边界框标注的质量不高。

2）模型优化。近年来，为提高检测精度，基于深度学习的目标检测网络大多融合了2种以上算法或者是加深卷积神经网络层数，但不同算法结合会带来网络模型结构复杂性和鲁棒性问题，而且更深层复杂的模型结构会带来计算开销大、检测速度慢、内存占用高等问题，对井下设备的算力和功耗造成一定的负担。还有近几年新兴的基于Transformer的模型，其强大的特征融合网络需要众多的网络参数支撑，不可避免会占用大量的硬件和时间等计算资源，如何将其应用到井下场景及设备是一个重要的挑战。

3）多源异构数据融合。目前深度学习在煤矿机器故障诊断研究中大多数是针对轴承、齿轮等关键零部件，少数能对完整的设备进行全面的检测诊断。而且煤矿井下的采煤机、输送机、液压支架等各种设备和通信、传感、控制等各类系统的检测模型和数据都具有相对独立性。当检测出某一生产设备发生部件故障，可能会导致设备碰撞，系统不仅需要对该设备进行控制，还需要对与其相关联的设备进行同步控制，如何实现这种设备群组的数据联动和协同控制，其难点在于非结构化的图像检测数据和结构化的监控数据的有效融合。

4.2   解决思路

针对现阶段井下智能目标检测面临的挑战，结合目前的技术前沿和研究热点，提出以下几点解决思路：

1）发展数据集扩充新方式，提高小样本迁移学习能力。面对数据集构建难的问题，一方面，可以采用数据合成方法扩充训练数据集。在真实数据基础上借助Unity、UE4等3D引擎生成虚实结合的井下场景和各类数据，也可以基于GAN、Diffusion Model等生成模型生成和原数据具有相似分布特征的数据。另一方面，引入多模态数据能为图像数据收集难的问题提供新思路。可以结合矿井多种类型图像，或者矿井文本、视频、音频等多源数据。例如融合图像与点云的3D检测，激光雷达能提供精确的定位和空间信息，而且不受光线限制，模态融合后可以显著增强目标特征的表征能力，有效克服单一数据源精度低、收集难等缺点。此外，如何利用少样本或零样本学习将模型泛化到标注数据稀缺的井下场景也值得探索。使用少量相关样本或非相关样本训练出可识别目标类别的模型，提高模型的迁移学习能力。需要进一步加强零样本学习、强化学习、自监督学习等新技术的研究，使其理论成果能尽快达到煤矿场景实际应用需求。

2）构建轻量级模型，推进边缘计算研究。模型轻量化可分为减少参数量和减少内存访问2个方面，前者主要通过知识蒸馏、参数修剪量化、剪枝等技术对模型进行压缩以减少网络复杂度，后者是引入如Pconv部分卷积、FasterNet 轻量网络等对网络进行加速以降低计算复杂度。设计轻量级目标检测结构，加速检测算法，使其能够在煤矿井下平稳运行。针对Transformer模型，除了剪枝、量化等方法，还可以对计算资源占比最多的多头注意力模块进行改进。同时，需要对井下的监控系统就边缘计算进行优化升级，设置深度学习算法就地运行，适当配置加速器或优化边缘硬件，使其设备能够与算法模型相匹配，进而实现兼顾精度与速度的目标检测。

3）推动数据处理体系建设，引入数字孪生、具身智能辅助检测。融合煤矿生产过程中生成的各类多源异构数据，关键是需要建立统一的数据处理标准和模型，将图片、视频等视觉监测数据与其他类型数据汇集到一起处理。通过数据层融合、特征层融合和决策层融合等对数据进行统一描述，系统经过融合分析后给出优化决策对相关设备进行管理控制。标准化处理过的信息流还可以用于构建矿井数字孪生工作面和具身智能模型，通过虚实映射、信息交互实现井下场景的虚拟可视化实时监测，经过自主学习及优化决策后将指令发送到现实中的具身智能体（如巡检机器人）执行其与外界的交互任务。对于矿井设备群的智能检测，运用粒子群算法、蚁群优化算法等智能仿生和群智能理论，仿生蚁群、蜂群等动物群体的协作能力，故障检测的同时能够规划出自主避障、协调控制的最优方案，实现数据交互、设备关联、系统协同的智能化检测。

5.   智能目标检测的技术展望

未来十年，大模型和具身智能将会推动矿山人工智能技术的高质量发展，基于深度学习、强化学习等算法的智能目标检测技术也会在其中扮演更重要的角色。

在理论研究方面，基于深度学习的目标检测技术应用落地还需要进一步的技术突破，包括利用更大规模的数据和计算资源，将最新图神经网络 (GNN)、自动机器学习 (AutoML)、元学习 (ML) 和知识图谱等思想引入到智能检测中。利用GCN、AutoML和知识图谱在复杂环境中大规模的学习，同时利用AutoML进行神经结构搜索，减少设计检测模型时的人为干预，使其能够通过弱监督检测，对动态目标的上下文信息进行更有效地编码，从而提高算法的泛化能力。

在应用研究方面，为了适应井下不同场景，未来矿山目标检测技术将更加注重对模型的优化、自适应学习和边缘计算，包括网络结构设计、参数调整和训练技巧等方面，以期实现更高的检测精度、学习效率和更强的自适应性。目前，部分智能目标检测技术已在煤矿进行了试验与应用，期待不久的将来目标检测会有大规模的应用落地，将其运用于煤岩图像识别、设备故障诊断、自动驾驶和无人开采等更多的领域。

6.   结　　语

深度学习技术在目标检测上取得了显著的成果并逐渐深入到煤矿井下。笔者综述了基于深度学习的目标检测技术和发展情况。结合煤矿生产系统人‒机‒环境的应用需求，详细介绍了目前的目标检测网络在井下不同场景的研究现状和应用情况。面向矿井应用场景的数据集构建、模型优化、多源异构数据融合等挑战，应研究多模态融合和小样本学习、模型轻量化和边缘计算、具身智能数字孪生和智能群组协同等技术，逐步构建精度速度、算法算力与应用场景相结合的矿井目标检测技术体系，以此促进检测技术与智能化矿山生产的深度融合与应用。