Foreign object recognition for mine conveyor belt iron separators based on transfer learning with EfficientNet
-
摘要:
在矿山作业中，带式输送机中的原煤输送带常混入锚杆、锚索、挖机铲齿和托盘等金属器件，需通过除铁器将这些异物吸走，以避免铁器与运煤发生磕碰或刺穿输送带，从而影响带式输送机的正常运行。针对矿用带式输送机除铁器在运行过程中经常面临尘雾和低照度复杂的工作环境，提出了一种适用于低照度及尘雾环境的除铁器异物识别方法。首先，采集了露天煤矿带式输送机除铁器的异常和正常图像，通过限制对比度自适应直方图均衡化对低照度图像进行预处理，以增强图像对比度和提升监测图像的清晰度。通过随机加雾的方法模拟真实尘雾环境，提升模型泛化能力。随后，利用基于迁移学习的EfficientNet-B2网络，在网络架构中引入多个移动翻转瓶颈卷积模块，对不同层次的特征图进行叠加和分析，以提取图像的深层特征信号。通过全局平均池化层将高维特征图缩减为低维向量，最终通过全连接层输出图像的合格与异常类别。实验数据集来源于某露天煤矿现场采集的
3000 张除铁器图像和600张雾化处理图像。将提出的异物监测算法模型应用于某露天煤矿带式输送机的除铁器，以监测除铁器表面的吸附状态，并开展对比实验。实验结果表明，提出的模型能更快地达到稳定迭代，且损失值更小，并且在各项性能指标上均优于其他现有的卷积神经网络模型，具体表现：准确率为99.79%、精确率为99.07%、召回率为99.01%和F1-Score为0.990 4。这些结果表明该模型能够准确有效地对除铁器的吸附状态进行分类。-
关键词:
- 异物识别 /
- 迁移学习 /
- 图像增强 /
- 特征提取 /
- EfficientNet
Abstract:In mining operations, metal objects such as anchor bolts, anchor cables, excavator teeth, and pallets often get mixed into the raw coal conveyor belts. These foreign objects must be removed by iron separators to prevent collisions or punctures that could disrupt the normal operation of the conveyor belts. A foreign object recognition method suitable for low illumination and dust-fog environments is proposed for iron separators , which often encountered in mining belt conveyors. First, abnormal and normal images from iron separators on open-pit coal mine conveyor belts were collected. Contrast Limited Adaptive Histogram Equalization was applied to pre-process low-illumination images, enhancing image contrast and clarity. To simulate real dust-fog conditions, a random fogging method was employed, improving the model's generalization ability. Then, using the transfer learning based EfficientNet-B2 network, incorporating multiple mobile inverted bottleneck convolutional modules into the network architecture. This allowed for the stacking and analysis of feature maps at different levels, extracting deep feature signals from the images. The high-dimensional feature maps were reduced to low-dimensional vectors through global average pooling, and the final image classifications—qualified or abnormal—were output through a fully connected layer. The experimental dataset comprises 3 000 images of iron separators collected from an open-pit coal mine and 600 fogged images. The proposed foreign object monitoring algorithm was applied to monitor the iron separators on the conveyor belts of an open-pit coal mine. Comparative experiments were conducted, and results show that the proposed model achieves faster stable iterations and lower loss values, outperforming other existing convolutional neural network models across various performance metrics. Specifically, it achieved an accuracy of 99.79%, precision of 99.07%, recall of 99.01%, and F1-Score of 0.990 4. These results indicate that the model can accurately and effectively classify the adsorption states of iron separators.
-
0. 引 言
随着人工智能、工业互联网、云平台、5G等先进技术在无人采矿作业中的融合，我国煤炭开采作业的效率和安全性得到了显著提升[1]。目前，我国已开发了300多个智能采煤工作面，实现了从人工开采到智能开采的历史性转变[2]。矿山带式输送机是矿石和其他材料在矿山中传输的重要手段。然而，输送物料中可能含有铁磁性杂质杆、角铁、铁钉、挖掘机铲齿、金属碎片等[3]。这些杂质可能导致设备损坏、输送带撕裂、运输阻塞以及其他安全问题。因此，除铁器被广泛用于去除输送系统中的铁磁性杂质，以确保系统的高效、安全运行。然而，单纯依赖吸铁器进行杂质清除可能无法满足实时监控的需求。如果铁磁性杂质在吸铁器表面堆积过多，不仅会影响其有效性，还可能导致设备超负荷运转，甚至有刺破带式输送机输送带的风险[4]。以往，矿山多采用人工值守的方式来观察除铁器表面的异物状态，不仅劳动强度大，而且准确性和及时性较低。随着技术的发展，机器视觉系统在矿山中的应用变得越来越普遍和成熟。通过使用机器视觉技术，可以自动、连续地监控吸铁器表面，及时检测并识别出铁磁性杂质的堆积情况。相比人工监控，机器视觉系统具有更高的精度和效率，能够在发现问题时迅速做出响应，防止潜在的设备损坏和安全隐患，提升生产效率。
近年来，机器视觉在煤矿智能化的进程中发挥着至关重要的作用，是煤炭工业高质量发展的关键技术[5]。这项技术通过连续监控煤矿内的作业环境和安全状态，能够及时检测并预警潜在的安全风险，如赵端等[6]提出了一种基于边缘智能的煤矿外因火灾感知方法，通过改进的YOLOv5s模型和多源信息融合技术来检测和识别矿井中的初期火源。Ebrahimi等[7]提出了一种利用图像处理技术、人工神经网络和层次分析法相结合的方式检测不同类型的矿石，利用特征排序中的专家知识来提高矿物分类的准确性和效率。Xu等[8] 提出了一种基于机器视觉的巷道变形实时监测和预警方法，旨在解决深部矿井巷道围岩变形监测的连续性差、自动化程度低等问题。矿物性质和成分的在线多信息检测在实现数字化采矿和数字化选矿厂中起着至关重要的作用，Zhang等[9]提出了一种基于煤炭图像的多信息煤质检测方法。Yan等[10]为了提高煤矸石分拣任务在工业场景中的检测精度和速度，提出了一种基于改进的YOLOv5算法的煤矸石目标检测方法。胡长斌[11]研究了基于视频数据的托辊异常检测方法，目标是通过自动化和非接触式的技术，实现对托辊异常的高效识别，以提高煤矿输送系统的安全性和运行效率。Sun[12]提出了一种基于机器视觉的煤矿巷道锚杆支护异常检测方法，利用改进后YOLOv7的煤矿巷道锚杆网检测算法，结合图像增强和卷积块注意力模块，以提高复杂地下环境中锚杆网的检测精度和速度，为煤矿巷道的智能化监测和安全提供了有效的解决方案。Zhang等[13]提出了2种基于计算机视觉的输送带偏差检测方法，基于Canny边缘检测和霍夫变换以及基于激光技术和Labview平台，最终判定输送带是否存在跑偏现象。樊红卫等[14]探讨了在低照度和尘雾环境下对煤、异物及输送带早期损伤进行多尺度目标智能检测的方法，引入改进的YOLOv5s模型，提升模型对带式输送机小目标损伤的识别率。
尽管机器视觉已广泛应用于矿山生产的各个领域，但在矿用带式输送机除铁器上的应用仍较为有限。作为采矿业中的关键任务，除铁器在传送带上去除异物[15]，以防止其导致严重的运营中断、生产延迟和维护成本增加。传统的人工值守方法不仅劳动强度大、效率低，而且难以实现实时和精确监控。相比之下，机器视觉系统能够持续监控除铁器的工作状态，及时检测并识别铁磁性杂质和异物堆积情况。基于此背景，机器视觉系统被引入，用于自动检测和清除异物。然而，在低光环境下，这些系统常常面临图像质量下降的问题，导致漏检或误检。为提升模型的泛化能力，使算法更好地适应矿山中的低照度和尘雾复杂环境，笔者提出了一种结合图像增强与迁移学习的EfficientNet-B2架构的新型除铁器异物识别方法。
1. 除铁器异物识别模型总体框架
除铁器异物识别模型总体框架如图1所示，在露天煤矿的除铁器异物识别流程中，首先通过安装在除铁器上的监控设备捕获原始图像。考虑到露天环境中低照度和尘雾的影响，然后采用对比度受限的自适应直方图均衡化 (Contrast Limited Adaptive Histogram Equalization, CLAHE) 技术对原始图像进行预处理，以增强图像质量并突出异物的可视特征。为了提高模型的泛化能力，模拟矿山真实尘雾水平，对增强后的部分图片进行模拟加雾处理，之后，利用基于EfficientNet-B2架构优化调整的深度卷积神经网络 (Deep Convolution Neural Network, DCNN) 进行图像的特征提取和分析。网络结构包括多个卷积块，其中Block1—Block3主要使用3×3的卷积核进行初级特征提取；Block4—Block6则通过5×5的卷积核捕获更广泛的上下文信息，以提升对复杂背景下异物的识别能力；最后的Block7再次采用3×3的卷积核，以精细化高级特征的表示。网络的最后部分设有分类器，根据前面层次提取的特征进行图像分类，以判断图像中是否存在异物。输出结果为“正常”或“异常”，为后续的操作决策提供依据。
![]()
图 1 除铁器异物识别模型总体框架Figure 1. General framework of the foreign body identification model of iron remover2. 矿用带式输送机除铁器异物识别方法
针对矿用带式输送机除铁器在低照度及尘雾环境下导致的异物识别率低的问题，从图像增强和检测网络模型优化2个角度进行了改进，以提升识别精度和系统可靠性。
2.1 图像增强
为了应对矿用带式输送机除铁器在低照度和复杂尘雾环境下的挑战，图像预处理成为关键步骤。针对低照度问题，采用对比度受限的自适应直方图均衡化 (CLAHE) 技术[16]，有效改善了因光照不足导致的图像质量问题。随后，通过随机生成虚拟雾图，增加样本的多样性，从而更好地模拟真实生产环境，提升模型的实用性和鲁棒性。这一预处理过程不仅提高了图像的可用性，还增强了后续模型处理的效果和精度。
CLAHE是一种图像增强技术，将图像分成若干小块 (本文TileGridSize=(8,8))，每个小块独立进行直方图均衡化，为了防止过度增强，每个小块的直方图会被限定在一定的阈值内 (本文ClipLimit= 18)，在对直方图进行对比度受限后，接下来对每个小块进行均衡化操作，使其在整个灰度范围内分布更加均匀，最后为了防止每个小块之间的边界出现突变，CLAHE使用双线性插值的方法，将这些小块平滑地连接在一起，使整体图像呈现出自然的过渡。矿用带式输送机除铁器所处环境恶劣，光照条件变化较大，光线太暗或太强造成的局部阴影对图像识别都有一定难度。而CLAHE用于改善图像的对比度，特别是针对光照不均或细节被隐藏的情况，在保证不丢失关键特征的情况下对图像进行增强，避免了过度增强可能导致的失真。增强前后图像及其像素分布直方图如图2和图3所示，由图可知，未经处理的原始图片，图像整体亮度较低，细节不清晰，存在较多暗部区域；增强后的图片，图像对比度显著增强，细节更加清晰，暗部区域变得更亮，整体亮度更加均衡；处理后的直方图变得更加平滑，灰度值分布更加均匀。
![]()
图 2 除铁器无异物图及直方图图像增强前后对比Figure 2. Comparison of images before and after image enhancement using a separator without foreign objects and their histograms![]()
图 3 除铁器有异物图及直方图图像增强前后对比Figure 3. Comparison of images before and after image enhancement using a separator with foreign objects and their histograms同时，本研究通过使用HazeRD[17]方法对无雾图像进行仿真加雾，设定环境光参数A=0.3和散射系数B=0.04，成功生成了600张含雾图像。这些图像被分配用于训练、验证和测试，数量分别为400、150和50张。模拟加雾处理，可以模仿实际生产环境中可能遇到的视觉条件，从而帮助模型更好地适应现场的多变气候，提高模型的泛化能力。
为了定量评估CLAHE增强算法改善低照度及尘雾图像的效果，本研究使用了4个清晰度评价指标[18]：SMD2灰度方差、Brenner函数、拉普拉斯方差和梯度标准差。这些指标的数值越高，表明图像越清晰。通过对图2、图3中的4幅图像计算SMD2、Brenner值、拉普拉斯方差和梯度标准差 (结果见表1)，发现图b的各项指标显著高于图a，这表明CLAHE处理后的图像具有更高的清晰度。
表 1 图像清晰度评价指标Table 1. Image clarity evaluation index2.2 EfficientNet网络
EfficientNet[19]是一种先进的轻量级网络，通过神经网络结构搜索 (Neural architecture search，NAS)技术优化网络的深度、宽度和分辨率之间的比例，以提升性能。在确定一个高效的基准网络后，通过调整复合缩放比例因子，开发出EfficientNet的多个变体。这些网络以其训练简便性、强大的迁移能力和高准确性而闻名，非常适合多种任务场景。该模型分为几个关键部分：首先是包含归一化和激活函数的卷积层，接着是多层重复的移动翻转瓶颈卷积(Mobile Inverted Bottleneck Convolution, MBConv) 结构，最后是末端的卷积层 (含归一化和激活函数)、平均池化层及全连接层。这种模块化的设计不仅提升了计算效率，还允许通过不同的配置来优化模型结构。本研究采用EfficientNet-B2模型，其参数见表2。EfficientNet-B2通过一系列优化的卷积层实现高效特征提取和分类。首先使用3×3卷积初步提取图像细节，然后通过多个扩展因子为1和6的MBConv模块，结合3×3和5×5的深度卷积与逐点卷积，逐步提取和整合图像特征，增加感受野和特征丰富度。最后，使用1×1卷积压缩特征图，再利用全局平均池化层将特征图缩小为向量，最终由全连接层输出分类结果。
表 2 EfficientNet-B2 结构Table 2. Structure of EfficientNet-B2段$ i $ 运算层 分别率 通道数 层数 $ {\hat F_i} $ $ {\hat H_i} \times {\hat W_i} $ $ {\hat C_i} $ $ {\hat L_i} $ 1 Conv 3×3 260×260 32 1 2 MBConv1, k3×k3 130×130 16 2 3 MBConv6, k3×k3 130×130 24 3 4 MBconv6, k5×k5 65×65 48 3 5 MBconv6, k3×k3 33×33 88 4 6 MBconv6, k5×k5 17×17 120 4 7 MBconv6, k5×k5 17×17 208 5 8 MBconv6, k3×k3 9×9 352 2 9 Cov 1×1&Pooling&FC 9×9 1 408 1 MBConv结构包括几个关键部分：首先是一个扩展通道的卷积层，配备批量标准化 (Batch Normalization, BN) 和Swish激活函数，其中卷积核数量是输入特征矩阵通道数的倍数；其次是一个降低通道数的卷积层，同样配备BN层和Swish激活函数，卷积核尺寸取决于MBConv所处的阶段；接着是一个集成注意力机制 (Squeeze-and-excitation module, SE)[20]的扩展通道卷积层，能够在不改变输入特征图大小的情况下加强通道特征，是一种即插即用的模块。首先压缩输入特征图中的空间信息，再将其与特征图相结合，最后得到具有通道注意力的特征图。也包括BN层和Swish激活层；最后，Dropout层用于随机丢弃部分网络单元，以增强模型的泛化能力。MBConv的具体结构如图4所示。
深层神经网络的激活输入值的分布会随着网络层数的加深发生偏移或变动，可能导致梯度消失、模型无法收敛。批量标准化 (BN) 通过规范化手段将激活函数的输出强制拉回至标准的正态分布，使得输入落入激活函数的敏感区，从而增大梯度、加快模型的收敛速度。计算公式如式 (1) 所示.
$$ \left\{ {\begin{array}{*{20}{l}} {\mu = \dfrac{1}{m}\displaystyle\sum\nolimits_{i = 1}^m {{x_i}} } \\ {{\sigma ^2} = \dfrac{1}{m}\displaystyle\sum\nolimits_{i = 1}^m {({x_i} - \mu )} } \\ {{{\hat x}_i} = \dfrac{{{x_i} - \mu }}{{\sqrt {{\sigma ^2} + \varepsilon } }}} \\ {{y_i} = \gamma {{\hat x}_i} + \beta } \end{array}} \right. $$ (1) 式中：$ {\sigma ^2} $和$ \mu $为批处理数据的方差和均值；$ {x_i} $和$ {y_i} $为BN的输入和输出；$ m $为批处理尺寸； $ \gamma $和$ \beta $为模型的训练参数。
线性化模型任意层神经网络的表达能力与单层神经网络相同，对于问题的解释性较差。为了避免线性模型的局限性，引入非线性激活函数来达到模型去线性化的目的，使得模型具备更好的感知效果。Swish 激活函数具备无上界、有下界、平滑和非单调的数学特性，在深层网络模型中能够具有更好的效果。Swish函数为
$$ f(x) = x \cdot sigmoid(\beta x) $$ (2) 式中：$ x $和$ f(x) $分别为数据的输入和输出；$ \beta $为常数可训练参数。当$ \beta = 0 $时，Swish函数变为线性函数$ f(x) = x/2 $；当$ \beta \to \infty $时，$ sigmoid(x) $为0或1，Swish函数变为ReLu函数。在EfficientNet网络中默认取1。
2.3 迁移学习的EfficientNet-B2模型
迁移学习是一种通过应用已有领域的模型和知识来解决新问题的方法，旨在提高模型的训练效率并加速收敛过程。本研究采用基于模型的迁移学习策略，并介绍了2种模型。目标模型与源模型的结构相同，如图5所示。源模型基于 ILSVRC 2012 数据集进行预训练，ILSVRC 2012[21] 是计算机视觉领域广泛使用的基准数据集，包含约 140 万张高分辨率图像，能够识别 1 000 种类别。通过在这个数据集上预训练的模型，其生成的权重文件被导入到用于矿用带式输送机铁器异物识别的目标模型中，从而赋予目标模型强大的特征表达能力，使其能够提取通用的视觉特征。
在进行平均池化之前，源模型的参数被迁移到目标模型中，这相当于通过引入更多的数据特征来提升目标模型的特征提取和泛化能力。在平均池化之后，加入了 dropout 层，以减少训练过程中对部分隐藏神经元的依赖，从而防止过拟合。随后，构建了一个全连接层以输出“合格”和“异常”2种类型，并对其参数进行了随机初始化。
在模型微调阶段，冻结了除最后一卷积层、全连接层和输出层之外的所有层。由于输出类别发生了变化，输出层的类别参数被设置为2。最后一卷积层的权重通过 Kaiming[22] 正态初始化方法进行初始化，以确保网络在初始阶段的稳定性。同时，批量归一化层的缩放参数和偏移参数分别初始化为1和0，以保持网络的恒等性和训练过程的稳定性。为适应新任务，全连接层的权重采用均值为0、标准差为0.01的正态分布进行初始化，偏置则初始化为0，以确保输出的初始稳定性。
虽然这些调整增加了训练时间，但所有层都根据特定数据集进行了优化，使得所提出的 EfficientNet-B2 迁移学习模型更适合于矿用带式输送机除铁器异物的识别任务。
在训练卷积神经网络时，采用了带动量的随机梯度下降 (Stochastic Gradient Descent, SGD) 优化器，动量因子设定为0.9[23]。由于较高的学习率可能导致网络在最优值附近振荡或无法收敛，通过手动调整学习率，发现设置为0.001时能够实现除铁器异物识别分类的最佳综合性能。此外，权重衰减值为
0.0001 ，有助于在训练过程中对大权重值进行轻微惩罚，促进模型的泛化能力。损失函数采用对数交叉熵损失，其计算公式如式 (3) 所示。$$ {J_i} = \dfrac{{\exp ({a_i})}}{{\displaystyle\sum\nolimits_{k = 1}^R {\exp ({a_k})} }} $$ (3) 式中：$ {J_i} $为分类函数输出的概率；$ a $为全连接网络的输出，包含$ R $个元素，即$ {a_1},{a_2},\cdots ,{a_R} $；其中$ i $表为类别，其取值范围为$ [1,R] $。这种表述清晰地定义了网络输出和类别间的关系。
$$ loss = - \displaystyle\sum\nolimits_{i = 1}^C {{J_i}\ln ({{\hat J}_i})} $$ (4) 式中：$ {J_i} $为真实的概率；$ {\hat J_i} $为网络输出的概率。
在训练和验证过程中，准确率表示被正确分类的样本数与样本总数的比值，定义如下
$$ Accuracy = \dfrac{{TP + TN}}{{TP + TN + FP + FN}} $$ (5) 在分类任务中，TP为被模型预测为正例且真实类别也为正例的样本数量；TN为被模型预测为负例且真实类别也为负例的样本数量；FP为被模型预测为正例但真实类别为负例的样本数量；FN为被模型预测为负例但真实类别为正例的样本数量。
精确率和召回率计算分别如下：
$$ Precision = \dfrac{{TP}}{{TP + FP}} $$ (6) $$ Recall = \dfrac{{TP}}{{TP + FN}} $$ (7) F1 -Score为精确度与召回率的加权平均值，计算公式如下：
$$ F1 = \dfrac{{2 \times Precision \times Recall}}{{Precision + Recall}} $$ (8) 3. 算例分析
选取新疆某大型露天煤矿地面生产系统中的2号带式输送机除铁器、122带式输送机机尾除铁器和111-1胶带南除铁器等8台除铁器，采集了24 h内不同时段的现场图片共3 000张。对这些图片进行了CLAHE处理，并对其中600张进行了雾化处理，总共获得3 600张增强数据集。随后，将数据集随机分为训练集 (80%)、验证集 (15%) 和测试集(5%)。训练集和验证集用于模型的训练和拟合，而测试集则用于评估模型在未见过的样本上的测试性能。
实验中目标检测模型的训练采用Windows 10操作系统，GPU为NVIDIA GeForce RTX
3090 ，显存为24 GB，CPU为Intel(R) Xeon(R) Platinum 8375C.2.90 GHz，CUDA为11.8.0，Pytorch为2.1.1，batchsize为16，epochs为200。此次训练的所有模型均采用了SGD优化方法，并根据每个模型的特性对优化参数 (动量、权重衰减)、学习率和学习率衰减因子进行了微调，以优化训练效果和模型性能。具体而言，EfficientNet系列、DenseNet[24]和RegNet[25]在不同的学习率和衰减因子设置下进行了训练，以实现最佳性能，具体情况见表3。这些调整确保了每个模型在训练过程中能够快速有效地收敛，并在矿山除铁器异物识别数据集上取得优异表现。
表 3 不同模型的优化方法、学习率及衰减因子设置Table 3. Optimization methods, learning rates, and decay factors for different modelsModel Optimization method & parameters Learning rate Learning rate decay factor EfficientNet-B0 SGD(momentum=0.9, weight_decay=1E-4) 0.01 0.01 EfficientNet-B1 SGD(momentum=0.9, weight_decay=1E-4) 0.01 0.01 EfficientNet-B2 SGD(momentum=0.9, weight_decay=1E-4) 0.01 0.01 EfficientNet-B2-Transfer Learning SGD(momentum=0.9, eight_decay=1E-4) 0.01 0.01 EfficientNetv2-s SGD(momentum=0.9, weight_decay=1E-4) 0.01 0.01 DenseNet SGD(momentum=0.9, weight_decay=1E-4) 0.001 0.1 RegNet SGD(momentum=0.9, weight_decay=5E-5) 0.001 0.1 在此次模拟训练中，图像数据集中的每个像素首先被归一化，像素值除以255以将其缩放到[0, 1]范围。然后，根据每个模型的特定需求，将图像调整为模型默认接受的大小。表4详细列出了每个模型的输入尺寸、参数总数、模型大小以及每个epoch所需的时间。
表 4 不同模型的输入尺寸、参数总数、模型大小和每epoch训练时间Table 4. Input sizes, total parameters, model sizes, and training time per epoch for different modelsModel Imput size Number of total Parameters Model size/KB Time per epoch (sec) EfficientNet-B0 224×224 4 013 953 15 974 66 EfficientNet-B1 240×240 6 519 589 25 894 73 EfficientNet-B2 260×260 7 708 039 30 557 74 EfficientNet-B2-Transfer Learning 260×260 7 708 039 30 558 76 EfficientNetv2-s 300×384 20 183 893 79 721 80 DenseNet 224×224 6 958 981 27 775 100 RegNet 224×224 3 905 349 15 488 66 从表4可以发现：EfficientNet-B0、B1、B2和EfficientNetv2-s模型显示了随着网络复杂度增加，参数总数和模型大小的逐步增长。同时，这些模型每个epoch的训练时间也随之增加，其中EfficientNet-B0模型的每epoch所需时间最少，仅为66 s。尽管DenseNet的输入大小与EfficientNet-B0相同，但其参数总数更多、模型大小更大，导致每个epoch的训练时间增加到100 s。RegNet模型的参数总数较少、模型大小较小，训练效率较高，每个epoch的时间为66 s，与EfficientNet-B0相同。
图7展示了基于迁移学习的EfficientNet-B2- Transfer Learning模型在CLAHE图像增强后进行矿用带式输送机除铁器异物识别任务的训练和验证结果。图7a显示了训练和验证准确率随迭代次数的增加而显著提升，并最终趋于接近1.0的稳定水平，表明模型的分类能力得到了显著提高。图7b展示了训练和验证损失值随着迭代次数的增加迅速下降，并最终趋于接近于零的稳定水平，表明模型的预测误差逐步减少，参数逐渐收敛，具备了良好的泛化能力。这些结果表明，采用迁移学习的EfficientNet-B2模型在CLAHE增强后的矿山除铁器异物识别任务中，展示了出色的分类性能和优化效果，验证了模型在该任务中的高效性和可靠性。
![]()
图 7 EfficientNetB2- Transfer Learning模型训练准确率曲线、损失曲线Figure 7. EfficientNetB2- Transfer Learning model training accuracy curve and loss curve为进一步证明所提方法的优势，矿山除铁器异物识别图像数据集在EfficientNet-B0、EfficientNet-B1、EfficientNet-B2、EfficientNetV2-S、DenseNet和RegNet模型上进行训练，训练结果如图8、图9所示。由图可见，随着迭代次数的增加，正确率逐步增加、损失值逐步减少，其中Efficient-B2准确率最高，达到了97.65%，此时训练损失值的平均值在0.25左右。识别模型效果最差的是RegNet，最高准确率为87.64%，迭代损失值平均值约为0.68。由此可见，基于机器视觉的矿山除铁器异物识别模型均表现出较高的准确率。然而，由于矿山环境中的光照问题，如强光形成的耀斑和局部阴影，导致了一些错误识别。相比这些模型，所提出的方法在准确率上更高，损失更小，说明基于迁移学习后的模型具有更强的泛化能力。
进一步定量分析所提方法的效果，在相同的训练环境下，使用前文提到的模型在除铁器异物识别图像数据集上进行客观指标的计算与对比。比较了多个模型的平均准确率、平均精确率、召回率、F1-Score、每个迭代训练时长、模型大小和参数量进行了统计。具体结果见表5。
表 5 不同模型在增强数据集上的平均结果Table 5. Average results of deep learning models on augmented dataset.Models Avg Acc/% Avg Pre/% Recall/% F1-Score EfficientNet-B0 96.05 95.92 96.53 0.9622 EfficientNet-B1 96.69 95.23 96.09 0.9565 EfficientNet-B2 97.65 97.26 97.57 0.9741 EfficientNet-B2-Transfer Learning 99.79 99.07 99.01 0.9904 EfficientNetv2-s 97.59 97.83 98.14 0.9798 DenseNet 97.98 97.66 97.82 0.9774 RegNet 87.64 84.20 86.08 0.8512 4. 结 论
1) 针对矿用带式输送机除铁器在运行过程中因低照度导致的图像模糊问题，可能引发机器视觉系统的漏检和错误识别，采用限制对比度自适应直方图均衡化方法对低照度下采集的图像进行增强处理。该方法显著提升了图像清晰度，从而提高了机器视觉系统的可靠性和准确性。
2) 对某露天煤矿带式输送机除铁器采集的增强后图像进行部分雾化处理，以增加样本的多样性。模拟实际操作环境中的尘雾条件，构建了不同照度下和高尘雾水平下的除铁器异物检测图像数据集。
3) 基于机器视觉的矿用除铁器异物识别，具有较高的可行性，几种常见的算法模型均有不错的准确率。
4) 改进的 EfficientNet-B2-Transfer Learning模型在精确度、准确率、F1-Score、召回率等评价指标上均优于其他模型、准确率高，迭代速度更快且波动范围更小，稳定性更优，损失值更小。
-
![]()
图 1 除铁器异物识别模型总体框架
Figure 1. General framework of the foreign body identification model of iron remover
![]()
图 2 除铁器无异物图及直方图图像增强前后对比
Figure 2. Comparison of images before and after image enhancement using a separator without foreign objects and their histograms
![]()
图 3 除铁器有异物图及直方图图像增强前后对比
Figure 3. Comparison of images before and after image enhancement using a separator with foreign objects and their histograms
![]()
图 7 EfficientNetB2- Transfer Learning模型训练准确率曲线、损失曲线
Figure 7. EfficientNetB2- Transfer Learning model training accuracy curve and loss curve
表 2 EfficientNet-B2 结构
Table 2 Structure of EfficientNet-B2
段$ i $ 运算层 分别率 通道数 层数 $ {\hat F_i} $ $ {\hat H_i} \times {\hat W_i} $ $ {\hat C_i} $ $ {\hat L_i} $ 1 Conv 3×3 260×260 32 1 2 MBConv1, k3×k3 130×130 16 2 3 MBConv6, k3×k3 130×130 24 3 4 MBconv6, k5×k5 65×65 48 3 5 MBconv6, k3×k3 33×33 88 4 6 MBconv6, k5×k5 17×17 120 4 7 MBconv6, k5×k5 17×17 208 5 8 MBconv6, k3×k3 9×9 352 2 9 Cov 1×1&Pooling&FC 9×9 1 408 1 
下载: 导出CSV
表 3 不同模型的优化方法、学习率及衰减因子设置
Table 3 Optimization methods, learning rates, and decay factors for different models
Model Optimization method & parameters Learning rate Learning rate decay factor EfficientNet-B0 SGD(momentum=0.9, weight_decay=1E-4) 0.01 0.01 EfficientNet-B1 SGD(momentum=0.9, weight_decay=1E-4) 0.01 0.01 EfficientNet-B2 SGD(momentum=0.9, weight_decay=1E-4) 0.01 0.01 EfficientNet-B2-Transfer Learning SGD(momentum=0.9, eight_decay=1E-4) 0.01 0.01 EfficientNetv2-s SGD(momentum=0.9, weight_decay=1E-4) 0.01 0.01 DenseNet SGD(momentum=0.9, weight_decay=1E-4) 0.001 0.1 RegNet SGD(momentum=0.9, weight_decay=5E-5) 0.001 0.1
下载: 导出CSV
表 4 不同模型的输入尺寸、参数总数、模型大小和每epoch训练时间
Table 4 Input sizes, total parameters, model sizes, and training time per epoch for different models
Model Imput size Number of total Parameters Model size/KB Time per epoch (sec) EfficientNet-B0 224×224 4 013 953 15 974 66 EfficientNet-B1 240×240 6 519 589 25 894 73 EfficientNet-B2 260×260 7 708 039 30 557 74 EfficientNet-B2-Transfer Learning 260×260 7 708 039 30 558 76 EfficientNetv2-s 300×384 20 183 893 79 721 80 DenseNet 224×224 6 958 981 27 775 100 RegNet 224×224 3 905 349 15 488 66
下载: 导出CSV
表 5 不同模型在增强数据集上的平均结果
Table 5 Average results of deep learning models on augmented dataset.
Models Avg Acc/% Avg Pre/% Recall/% F1-Score EfficientNet-B0 96.05 95.92 96.53 0.9622 EfficientNet-B1 96.69 95.23 96.09 0.9565 EfficientNet-B2 97.65 97.26 97.57 0.9741 EfficientNet-B2-Transfer Learning 99.79 99.07 99.01 0.9904 EfficientNetv2-s 97.59 97.83 98.14 0.9798 DenseNet 97.98 97.66 97.82 0.9774 RegNet 87.64 84.20 86.08 0.8512
下载: 导出CSV
-
[1] 吴群英,蒋林,王国法,等. 智慧矿山顶层架构设计及其关键技术[J]. 煤炭科学技术,2020,48(7):80−91. WU Qunying,JIANG Lin,WANG Guofa,et al. Top-level architecture design and key technologies of smart mine[J]. Coal Science and Technology,2020,48(7):80−91.
[2] ZHANG K X,KANG L,CHEN X X,et al. A review of intelligent unmanned mining current situation and development trend[J]. Energies,2022,15(2):513. doi: 10.3390/en15020513
[3] 鞠晨. 煤矿井下自动电磁除铁技术研究[J]. 煤炭科学技术,2019,47(S2):147−151. JU Chen. Research on automatic electromagnetic iron remove technology in coal mine[J]. Coal Science and Technology,2019,47(S2):147−151.
[4] DA ROCHA R B,REIS É L,RIBEIRO J P. Wet high-intensity magnetic separators (WHIMS) for recovering iron from tailings deposited in dams[J]. Mineral Processing and Extractive Metallurgy Review,2021,42(1):17−23. doi: 10.1080/08827508.2019.1672061
[5] 杜雨馨,张贺,王树臣,等. 综掘系统视觉处理技术研究现状及发展趋势[J]. 工矿自动化,2023,49(11):22−38,75. DU Yuxin,ZHANG He,WANG Shuchen,et al. Research status and development trend of visual processing technology for fully mechanized excavation systems[J]. Journal of Mine Automation,2023,49(11):22−38,75.
[6] 赵端,李涛,董彦强,等. 基于边缘智能的煤矿外因火灾感知方法[J]. 工矿自动化,2022,48(12):108−115. ZHAO Duan,LI Tao,DONG Yanqiang,et al. Coal mine external fire detection method based on edge intelligence[J]. Journal of Mine Automation,2022,48(12):108−115.
[7] EBRAHIMI M,ABDOLSHAH M,ABDOLSHAH S. Developing a computer vision method based on AHP and feature ranking for ores type detection[J]. Applied Soft Computing,2016,49:179−188. doi: 10.1016/j.asoc.2016.08.027
[8] XU J K,WANG E Y,ZHOU R. Real-time measuring and warning of surrounding rock dynamic deformation and failure in deep roadway based on machine vision method[J]. Measurement,2020,149:107028. doi: 10.1016/j.measurement.2019.107028
[9] ZHANG Z L,LIU Y,HU Q,et al. Multi-information online detection of coal quality based on machine vision[J]. Powder Technology,2020,374:250−262. doi: 10.1016/j.powtec.2020.07.040
[10] YAN P C,SUN Q S,YIN N N,et al. Detection of coal and gangue based on improved YOLOv5.1 which embedded scSE module[J]. Measurement,2022,188:110530. doi: 10.1016/j.measurement.2021.110530
[11] 胡长斌. 基于视频数据的托辊异常检测研究[D]. 西安:西安科技大学,2021. Research on Abnormal Detection of Roller Based on Video Data[D]. Xi’an:Xi’an University of Science and Technology,2021.
[12] SUN S Y,MA H W,WANG K D,et al. Research on the detection method of coal mine roadway bolt mesh based on improved YOLOv7[J]. Electronics,2023,12(14):3050. doi: 10.3390/electronics12143050
[13] ZHANG M C,JIANG K,CAO Y S,et al. A deep learning-based method for deviation status detection in intelligent conveyor belt system[J]. Journal of Cleaner Production,2022,363:132575. doi: 10.1016/j.jclepro.2022.132575
[14] 樊红卫,刘金鹏,曹现刚,等. 低照度尘雾下煤、异物及输送带早期损伤多尺度目标智能检测方法[J]. 煤炭学报,2024,49(S2):1259−1270. Multi-scale target intelligent detection method for coal,foreign object and early damage of conveyor belt surface under low illumination and dust fog[J]. Journal of China Coal Society,2024,49(S2):1259−1270.
[15] KU J G,WANG K P,WANG Q,et al. Application of magnetic separation technology in resource utilization and environmental treatment[J]. Separations,2024,11(5):130. doi: 10.3390/separations11050130
[16] MANJU R A,KOSHY G,SIMON P. Improved method for enhancing dark images based on CLAHE and morphological reconstruction[J]. Procedia Computer Science,2019,165:391−398. doi: 10.1016/j.procs.2020.01.033
[17] ZHANG Y F,DING L,SHARMA G. HazeRD:An outdoor scene dataset and benchmark for single image dehazing[C]//2017 IEEE International Conference on Image Processing (ICIP). Piscataway,NJ:IEEE,2017:3205-3209.
[18] 李郁峰,陈念年,张佳成. 一种快速高灵敏度聚焦评价函数[J]. 计算机应用研究,2010,27(4):1534−1536. LI Yufeng,CHEN Niannian,ZHANG Jiacheng. Fast and high sensitivity focusing evaluation function[J]. Application Research of Computers,2010,27(4):1534−1536.
[19] TAN M X,LE Q V. EfficientNet:Rethinking model scaling for convolutional neural networks[EB/OL]. 2019:1905.11946. https://arxiv.org/abs/1905.11946v5.
[20] HU J,SHEN L,SUN G. Squeeze-and-excitation networks[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway,NJ:IEEE,2018:7132−7141.
[21] RUSSAKOVSKY O,DENG J,SU H,et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision,2015,115(3):211−252. doi: 10.1007/s11263-015-0816-y
[22] HE K M,ZHANG X Y,REN S Q,et al. Delving deep into rectifiers:Surpassing human-level performance on ImageNet classification[C]//2015 IEEE International Conference on Computer Vision (ICCV). Piscataway,NJ:IEEE,2015:1026−1034.
[23] ATILA Ü,UÇAR M,AKYOL K,et al. Plant leaf disease classification using EfficientNet deep learning model[J]. Ecological Informatics,2021,61:101182. doi: 10.1016/j.ecoinf.2020.101182
[24] YIN L F,HONG P J,ZHENG G H,et al. A novel image recognition method based on DenseNet and DPRN[J]. Applied Sciences,2022,12(9):4232. doi: 10.3390/app12094232
[25] RADOSAVOVIC I,KOSARAJU R P,GIRSHICK R,et al. Designing network design spaces[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE,2020:10428−10436.
计量
- 文章访问数: 8
- HTML全文浏览量: 4
- PDF下载量: 15
