Audio recognition method of belt conveyor roller fault based on convolutional neural network and linear regression
-
摘要:
针对煤矿井下带式输送机托辊故障音频识别中存在的声源复杂、特征不显著等问题，提出一种融合卷积神经网络与线性回归的托辊故障音频识别方法。首先通过带式输送机巡检机器人搭载的MEMS拾音器采集托辊沿线音频信号，基于小波自相关去噪技术对声音进行预处理，抑制音频信号中的背景噪声信号，优化数据质量。其次利用声纹谱分离技术，采用HPSS（谐波冲击波源分离）方法分离出谐波、冲击波分量，增强托辊故障声音信号特征；基于MFCC（梅尔频率倒谱系数）声纹特征提取方法，解析出谐波‒冲击波中托辊声纹特征信息，生成声谱图，提升托辊故障声纹表征能力。最后以声谱图与声品质特征为数据源，融合故障多模态特征，丰富数据维度，基于残差卷积神经网络结构计算图像特征，多元线性回归快速拟合音频基本特征，生成融合卷积神经网络与线性回归的托辊故障音频识别模型进行联合训练，通过Focal Loss损失函数优化模型训练的样本权重，提高模型对托辊故障识别的准确率。用该方法对国能榆林郭家湾煤矿实际采集的带式输送机故障托辊音频信息进行分析验证，结果表明：托辊故障检出率达到95.79%，检出准确率达到95.60%。
Abstract:Aiming at the problems of complex sound source and insignificant characteristics in the audio recognition of roller fault of belt conveyor in coal mine, an audio recognition method of roller fault based on convolution neural network and linear regression is proposed. Firstly, the audio signal along the roller is collected by the MEMS pickup carried by the inspection robot of the belt conveyor. Based on the wavelet autocorrelation denoising technology, the sound is preprocessed to suppress the background noise signal in the audio signal and optimize the data quality. Secondly, using the voiceprint spectrum separation technology, the HPSS (Harmonic Percussive Source Separation) method is used to separate the harmonic and shock wave components to enhance the sound signal characteristics of the roller fault. Based on MFCC (Mel Frequency Cepstrum Coefficient) voiceprint feature extraction method, the voiceprint feature information of the roller in the harmonic-shock wave is analyzed, the sound spectrum is generated, and the voiceprint representation ability of the roller fault is improved. Then, a harmonic-shock wave weak classifier is constructed based on multi-scale residual convolutional neural network, and a sound quality weak classifier is constructed based on multiple linear regression. Finally, based on two weak classifiers, using the spectrogram and sound quality features as data sources, fusion of multimodal faulty features and enrich data dimensions, based on the spectrogram and sound quality features, residual convolutional neural network computing image features, fast fitting of audio basic features using multiple linear regression, a roller fault voiceprint representation model combining convolutional neural network and linear regression is generated for joint training. The sample weight of the model training is optimized by the Focal Loss loss function to improve the accuracy of the model for roller fault recognition.The method in this paper is used to analyze and verify the audio information of the fault roller of the belt conveyor actually collected in Guojiawan Coal Mine of Yulin. The results show that the detection rate of roller fault reaches 95.79 %, and the detection accuracy reaches 95.60 %.
-
0. 引 言
带式输送机是煤矿、非煤矿山、电力、码头等行业物料运输的主要方式[1]，托辊作为带式输送机的重要承重部件，其数量众多，容易损坏，托辊故障易引发带式输送机火灾、撕裂、跑偏等事故，造成重大人员伤亡和经济损失[2]。目前带式输送机托辊检查以人工巡检为主，通过眼看耳听识别托辊故障，巡检员劳动强度及安全风险大，巡检效率低。
带式输送机托辊故障主要表现为筒皮破损、润滑不良、托辊偏心等[3]。目前，托辊故障检测常用方法主要有：1）测速法：河北师范大学李玮华等[4]利用理论力学方法推导出托辊转速与托辊阻力参数之间的数学关系，通过光电计数模块监测托辊转速的方式，间接实现托辊阻力参数的监测，从而判断托辊转动不良故障；2）物理测温法：辽宁科技大学白宏磊等[5]提出利用托辊卡死时与胶带摩擦使得托辊表面温度升高的现象，通过将温度采集模块嵌入胶带内来监测托辊表面温度，实现托辊卡死故障监测。3）红外测温法：张俊[6]设计了基于红外热成像技术的托辊故障诊断系统，通过红外图像对托辊组温度进行实时监测；4）振动信号检测法：彭程程[7]提出了一种基于振动信号二阶瞬态提取变换的滚动轴承故障特征提取方法，能准确对变负载、变转速工况下的轴承故障进行诊断。
测速法和测振法需要在现场安装数量庞大的传感器，成本高、维护困难，对早期故障的识别准确率不高；测温法存在时间滞后性，检测到故障时，托辊已经堵转。现有托辊故障检测方法都存在一定的局限性。故障托辊旋转时，会发出有规律的特征声音，因此越来越多的学者开展基于音频信号分析的托辊故障识别研究。
郝洪涛等[8]提出一种托辊轴承运转噪声采集方法，选取均方根、反峰值、正峰值、峰峰值等时域和频域特征参数进行声音信号诊断，判断带式输送机的托辊是否出现异常。邵晨[9]提出一种关于噪声信号的带式输送机异常诊断算法，结合载荷及距离对噪声信号的影响，对噪声信号进行频域特性及小波分析，识别典型的带式输送机托辊高频嘶鸣故障。刘芬[10]提出了基于音频数据声品质分析（锐度、噪声烦扰度、言语干扰级）的逻辑回归算法模型，对托辊故障进行识别。方崇全[11]提出了基于托辊运转音频的声压１/３倍频程谱及声品质尖锐度特征指标的托辊故障识别方法。上述时频域分析方法易受环境噪声干扰，提取的噪声特征信息少，托辊异常识别准确率不高，无法适用于其他煤矿不同干扰源。宋天祥等[12]提出基于谱聚类的方式分析托辊故障，利用差分法来消除托辊音频序列数据时间趋势影响，在此基础上提取托辊音频序列特征进行聚类分析。该方法处理过程繁琐，实时诊断准确率有待提高。吴文臻等[13]提出了基于IMF分量峭度、重心频率、频率标准差等特征值的VMD-BP神经网络托辊故障音频诊断方法，避免了音频信号特征提取过程中的频谱混叠与端点效应。该方法存在托辊音频特征单一的问题，当井下有其他噪声源混叠在托辊音频时，计算出的特征值会对诊断结果造成干扰。曹贯强[14]提出了一种基于小波去噪和BP-RBF神经网络的托辊故障检测方法，能准确识别托辊表面的裂缝和磨损故障。该方法对故障前期较弱的信号识别准确率还有待提高。
由于带式输送机运行现场的复杂性，音频传感器经常会受到诸如电机、水泵、人工等其他噪声信号的干扰，并且不同煤矿的干扰源差异较大。托辊声品质特征能明显体现托辊运行状态，但维度较少，对分析结果影响较大，且易受噪声干扰；声谱图特征时频信息充分，可表示托辊的状态变化，但神经网络对图进行分析可能会造成结果过拟合，导致泛化能力不足。
针对上述问题，笔者融合了托辊故障的多模态特征，丰富数据维度，提出一种融合卷积神经网络与线性回归的托辊故障音频识别方法。采用HPSS方法分离出谐波、冲击波分量，表征托辊故障时的规律声；基于MFCC解析出谐波‒冲击波中托辊声纹特征信息，生成声谱图；以声谱图与声品质特征为数据源，扩充特征维度，构建融合卷积神经网络与线性回归的托辊故障音频识别模型，分析声音信号多模态特征，降低现场复杂背景噪声对托辊故障识别的影响，提高托辊故障识别准确率。
1. 托辊故障识别方法
融合卷积神经网络与线性回归的带式输送机托辊故障音频识别流程如图1所示，包括音频信号采集、信号预处理、特征提取、模型融合、托辊故障识别。
1.1 音频信号采集与预处理
1.1.1 信号采集
声音采集主要采用驻极体麦克风和硅麦克风[15]。驻极体麦克风采集的声音信号与硅麦克风信号频率、相位相同，幅值较大，但信号失真比较严重。因此笔者采用高保真硅麦克风作为拾音器，频响范围20～20 000 Hz，灵敏度‒42 dBV/Pa，由巡检机器人搭载，沿输送带采集音频信号。当检测到异常音频时，巡检机器人停止行走，对该处托辊再次进行判别，实现输送带沿线托辊故障自动识别。
1.1.2 信号预处理
煤矿井下背景噪声复杂，原始音频信号中含有大量噪音，使用小波去噪的方式对音频进行过滤[16]，有用信号表现为低频部分或是平稳的信号，噪声信号则表现为高频信号，对音频信号进行小波变换：
$$ \mathrm{W}\mathrm{T}\left(\alpha \text{，}\tau \right)=\frac{1}{\sqrt{\alpha }}{\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}e\left(t\right)\cdot \mathrm{\Psi }\left(\frac{t-\tau }{\alpha }\right)\mathrm{d}t $$ (1) 式中：尺度α控制小波函数的伸缩（对应频率）；平移量$ \tau $控制小波函数的平移（对应时间）；Ψ为基本小波函数；对噪声信号e(t)进行处理，从而对原始信号重构达到去噪目的[17]，处理结果如图2所示，可以看出噪声明显减小，高频噪声分量明显被抑制。
故障托辊运转时声音会呈现出异响，在时间轴上谐波保持连续平滑，冲击波则表现为间断状态。将去噪的音频信号先使用HPSS[18]方法分离出谐波源和冲击波源，谐波和冲击波声源代价函数可表示为
$$ Q\left(H,P\right)=\frac{1}{2{\sigma }_{\mathrm{H}}^{2}}\sum _{x}{\left({H}_{x-1}+{H}_{x}\right)}^{2}+\frac{1}{2{\sigma }_{\mathrm{p}}^{2}}\sum _{x}{\left({P}_{x-1}+{P}_{x}\right)}^{2} $$ $$ {W}_{x}={H}_{x}+{P}_{x},{H}_{x} > 0,{P}_{x} > 0 $$ (2) 式中：H为谐波声源集；P为冲击波声源集；Hx>0为谐波声源的短时傅里叶变换；Px>0为冲击波声源的短时傅里叶变换；Wx为原始音频信号傅里叶变换；σH为谐波源平滑度因子；σP为冲击波源平滑度因子。
HPSS分离结果如图3所示，可以看出托辊损坏产生的周期异响在冲击图中表现更明显。
分离后的谐波和冲击波声源经过快速傅里叶变换和梅尔滤波器组过滤，取对数后再经离散余弦变换得到MFCC系数[19]。提取MFCC特征后，生成基于谐波和冲击波的声谱图[20]，更加详细地体现出托辊运行声纹的时频特性，扩充了故障托辊音频特征。
同时将去噪的音频信号进行声品质计算，得到粗糙度、响度、尖锐度等基础特征，描述托辊运行时的音频基本特性[21]。
1.2 构建融合卷积神经网络和线性回归的识别模型
声谱图以二维矩阵Ml形式表示，声音品质特征通过组合构建为特征向量αi，作为托辊故障判别模型的输入，模型结构如图4所示。
1.2.1 基于声谱图的特征计算
声谱图包含音频信号的大量信息，将单帧的谐波声谱图和冲击波声谱图拼接后作为输入，提取特征进行分析。卷积网络的基本构建块是卷积层，其将1组滤波器应用于输入的声谱图，以产生1组输出特征图。每个卷积核是1个小的权重矩阵，其与输入声谱图卷积以产生单个输出值。通过将多个卷积核应用于输入图像，卷积层能够学习1组对识别有用的特征，有效值卷积操作的公式如下：
$$ \mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}\left(o,t\right)=\sum _{i=-\mathrm{\infty }}^{\mathrm{\infty }}\sum _{j=-\mathrm{\infty }}^{\mathrm{\infty }}{x}_{i+o,j+t}.{\boldsymbol{k}}_{\mathrm{r}\mathrm{o}\mathrm{t}i,j}.\boldsymbol{X}\left(i,j\right) $$ $$ \boldsymbol{X}\left(i,j\right)=\left\{\begin{array}{l}\mathrm{1,0}\leqslant i,j\leqslant n\\ 0,{\mathrm{others}}\end{array}\right. $$ (3) 式中：X为$ m \times m $阶矩阵；krot为由$ n \times n $阶矩阵的卷积核旋转180度得到，初始输入为声谱图像素矩阵。
卷积核用于提取图像特征，其在输入图像上滑动，对每个位置进行卷积操作，从而生成1个输出特征图。卷积核的大小和数量是卷积神经网络的超参数，根据输入矩阵的大小对卷积核大小、步幅进行调整，卷积核处理后的特征图大小为
$$ {w}^{,}=\frac{\left(w+2\varepsilon -k\right)}{s} +1 $$ (4) 式中：输入矩阵大小为$ w $；卷积核大小为$ k $；步幅为$ s $；补零层数为$ \varepsilon $。
在卷积网络中引入残差模块（图5）来缓解深度神经网络中的梯度消失和梯度爆炸问题[22]，使网络训练层次更深，识别准确率更高。
$$ h\left({x}_{l+1}\right)=h\left({x}_{l}\right)+F({x}_{l},{W}_{l}) $$ (5) 式中：h(xl)为第l次模块计算后的声谱图特征；F(xl,Wl)为经过卷积层处理后的输出；h(xl+1)为第次l+1残差模块的输出值。
笔者设计1个残差模块中包含2个卷积层，完成2次卷积操作后，与残差模块输入h(xn)拼接，作为当前残差模块输出结果。通过残差模块最终得到：
$$ {y}_{1}=h\left({x}_{n+1}\right) $$ (6) 式中：y1为基于声谱图的特征提取值；h(xn+1)为第n+1次残差模块输出值。笔者使用3层残差模块，即6个卷积网络层，其中h(xn+1)=h(x3)。
1.2.2 基于声品质的特征计算
声品质特征维度相对较少，采用多元线性回归的方式建立多个声品质特征自变量和1个因变量之间关系模型，可以快速提取声品质特征并进行拟合，多元线性回归的表示为
$$ {y}_{2}={\beta }_{0}+{\beta }_{1}{\alpha }_{1}+{\beta }_{2}{\alpha }_{2}+\cdots +{\beta }_{i}{\alpha }_{i}+\mu $$ (7) 式中：y2为基于声品质的特征提取值；αi为第$ i $个声品质特征；βi为第$ i $个参数；μ为偏置项，是当前特征值归一化后的均值。
使用最小二乘法拟合线性回归模型，目标是通过最小化残差平方和来估计回归系数：
$$ L=\sum _{i=1}^{n}{\left(f\left({\alpha }_{i}\right)-{y}_{2i}\right)}^{2} $$ (8) 式（8）是声品质侧计算的残差平方和，式中y2i为线性回归中第i个样本真实值，通过找到1组$ \beta \left({\beta }_{0},{\beta }_{1},\cdots ,{\beta }_{i}\right) $，使残差平方和最小：
$$ \mathrm{m}\mathrm{i}\mathrm{n}\left(L\right)=\mathrm{m}\mathrm{i}\mathrm{n}\sum _{i=1}^{n}{\left(f\left({\alpha }_{i}\right)-{y}_{2i}\right)}^{2} $$ (9) 目标损失函数矩阵表示方法为
$$ J\left(\beta \right)={\|\boldsymbol{A}\beta -{\boldsymbol{Y}}_{2}\|}^{2}={\left(\boldsymbol{A}\beta -{\boldsymbol{Y}}_{2}\right)}^{\mathrm{T}}\left(\boldsymbol{A}\beta -{\boldsymbol{Y}}_{2}\right) $$ (10) 式中：Y2为样本的输出向量；A为输入声品质样本的矩阵形式。对J(β)求导：
$$ \frac{\partial }{\partial \beta }J\left(\beta \right)=2{\boldsymbol{A}}^{\mathrm{T}}\boldsymbol{A}\beta -2{\boldsymbol{A}}^{\mathrm{T}}{\boldsymbol{Y}}_{2}=0 $$ (11) 得到βi的解析解，通过多次迭代输入声品质特征，计算出βi。
1.2.3 托辊声纹故障识别模型联合训练
联合声谱图计算和声品质计算，其输出值为
$$\begin{gathered} {y}_{3}=\lambda {y}_{1}+(1-\lambda ){y}_{2}=\lambda {x}_{l}+(1-\lambda )({\beta }_{0}+{\beta }_{1}{\alpha }_{1}+\\ {\beta }_{2}{\alpha }_{2}+\cdots +{\beta }_{i}{\alpha }_{i}+\mu ) \end{gathered} $$ (12) 式中：y3为联合声谱图和声品质的计算输出值；$ \lambda $为权重参数，数值范围0～1。$ \lambda $越大，声谱图侧对模型效果影响越大，反之声品质侧影响越大，论文根据试验确定$ \lambda =0.7 $。调整声谱图和声品质侧权重，改善声品质特征相对较少所带来的影响。
融合两侧计算结果，利用全连接层继续拟合参数，每1层之间的神经元都通过权值相连，形成了1个前向传播的结构。在训练过程中，通过反向传播算法更新权值，以达到模型最优化的目标，其表示为
$$ {z}^{u}={\gamma }^{u}{y}_{3}+{\sigma }^{u} $$ (13) 式中：zu为第u个全连接层的输出；γu和σu为权重参数和偏置项。每1全连接层具有多个神经元，其展开得：
$$ {z}^{u}\underset{}{\Rightarrow }\left\{\begin{array}{c}{z}_{1}^{u}={\gamma }_{11}^{u}{y}_{31}+\cdots +{\gamma }_{1v}^{u}{y}_{3v}+{\sigma }_{1}^{u}\\ {z}_{2}^{u}={\gamma }_{21}^{u}{y}_{31}+\cdots +{\gamma }_{2v}^{u}{y}_{3v}+{\sigma }_{2}^{u}\\ {z}_{e}^{u}={\gamma }_{e1}^{u}{y}_{31}+\cdots +{\gamma }_{ev}^{u}{y}_{3v}+{\sigma }_{e}^{u}\end{array}\right. $$ (14) 式中：v为每1层y3的特征数；e为该层具有的神经元个数。通过u个全连接层进行特征计算，选择运算速度较快的Relu激活函数，得到模型输出结果y=Relu(zu)。考虑到声品质特征维度相对较少，此处u=3，即3个全连接层，依次反向传播更新整个网络参数。详细的模型参数和输入输出尺寸见表1。
表 1 融合卷积神经网络与线性回归模型参数Table 1. Convolutional neural network and linear regression parameters网络层 卷积核 尺寸 输入层1 3×128×128 卷积层1_1 7×7 2×20×16 批归一化 2×20×16 卷积层1_2 3×3 2×10×32 批归一化 2×10×32 卷积层1_3 1×1 3×128×128 卷积层2_1 3×3 2×20×16 批归一化 2×20×16 卷积层2_2 3×3 2×10×32 批归一化 2×10×32 卷积层2_3 1×1 3×128×128 卷积层3_1 3×3 2×20×16 批归一化 2×20×16 卷积层3_2 3×3 2×10×32 批归一化 2×10×32 卷积层3_3 1×1 3×128×128 输入层2 1×3 线性回归层 3 展开层 1024 全连接层1 512 全连接层2 256 全连接层3 128 Sigmoid层 1 1.2.4 针对样本不均衡优化
托辊声纹数据采集过程中由于受背景噪声影响，以及故障样本较少，存在一部分较难区分的样本，因此利用Focal Loss损失函数降低易分类样本的权重，改善类别不平衡造成的预测精度问题。其函数为
$$ \mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}=\left\{\begin{array}{l} -{\left(1-{p}_{{\mathrm{r}}}\right)}^{\gamma }\log\left({p}_{{\mathrm{r}}}\right), ({y}_{{\mathrm{sample}}}=1)\\ -{p}_{{\mathrm{r}}}^{\gamma }\log\left(1-{p}_{{\mathrm{r}}}\right), ({y}_{{\mathrm{sample}}}=0)\end{array}\right. $$ (15) 式中：pr为故障预测值与故障真实值的接近程度；$ \gamma $为可调节因子，$ \gamma > 0 $，$ \gamma $值越大分类准确的样本对结果影响越小，模型会倾向于优化分类不准确的样本，论文根据试验确定$ \gamma =2 $；$ {y}_{{\mathrm{sample}}} $为样本真实值。
在训练过程中，通过上式降低易分类样本权重，模型将更多注意力集中于导致损失函数变化更大的数据样本中，提升托辊故障音频判识模型预测准确率。
2. 试验验证
为验证所提故障识别方法的有效性，通过挂轨式巡检机器人采集国能榆林能源有限责任公司郭家湾煤矿带式输送机托辊音频信号进行分析验证。在该煤矿主井带式输送机巷约2 000 m的巡检区域铺设吊挂轨道，巡检机器人沿挂轨自主行走，实时采集巡检线路音频数据，通过WiFi通信将数据上传到地面控制中心，由上位机软件进行托辊故障音频识别分析。由于输送带正常运行时故障托辊都会被及时更换，为获取故障音频样本数据，采用以下方式：
将矿方换下的托辊按照卡顿、偏心、破损等常见故障分类整理，对故障不明显的托辊进行加工以获得更明显的故障特征。在带式输送机检修期间更换不同故障类型的托辊，控制巡检机器人运行经过故障处时，通过网络将采集到的故障音频样本保存至地面服务器，做好分类标注。同时在吊挂轨道下方管道上制造不同频率、不同响度的敲击噪音，丰富训练样本数据。
机器人以0.4 m/s速度运行，共运行5 013 s，按每秒50帧采集，共有样本250 650帧，故障样本951帧，占比0.38%，正负样本数量差异巨大，训练集占90%，测试集10%。现场试验图片如图6所示。
2.1 去噪验证
声音采集时干扰噪声源主要有巡检机器人本身行走时产生的声音、人工输送带检修时产生的声音以及其他机械设备（管子道口水泵）产生的声音。和故障音频相比，该类干扰源的主要特点具有短时偶发性，能量相对较弱。通过笔者所提去噪方法，可以有效识别故障特征信号供后续方法处理，如图7所示。巡检机器人经过破损托辊处产生明显的冲击信号，通过去噪处理，背景噪声被明显抑制，音频特征在时域和频域表现更明显。
2.2 声品质验证
将计算托辊故障状态下的声品质（粗糙度、响度、尖锐度）特性，与正常状态下的声品质特性进行比较，见表2。故障托辊响度和尖锐度较正常值有所升高，粗糙度有所降低，但差异不是特别明显。
表 2 故障托辊和正常托辊的声品质特性对比Table 2. Comparison of sound quality characteristics between fault roller and normal roller故障
类型粗糙度 响度 尖锐度 托辊卡顿 0.736 112.1 1.3 托辊偏心 0.785 110.1 1.14 托辊破损 0.828 107.4 1.24 正常托辊 1.023 103.3 1.03 2.3 声谱图验证
试验带式输送机带速为5 m/s，托辊直径89 mm，托辊转速fr=35.78 rps，各类托辊故障频率范围理论计算如下[23]：托辊内圈故障1倍频特征频率BPFI=4.95fr=177.11 Hz；托辊外圈故障1倍频特征频率BPFO=3.048fr=109.06 Hz；滚动体故障1倍频特征频率BSF=1.992fr=71.27 Hz。
用所提方法生成的声谱图如图8—图11所示。横坐标表示时间，纵坐标表示频率，颜色代表该频率下的能量大小。
由以上声谱图可以看出，托辊故障时发出周期性的声音在冲击波声谱图中表现明显，不同频率下的能量不同，不同故障对应的声谱图也不同：正常托辊声谱图能量较低，频率分布范围更广，故障托辊声谱图能量较高，频率主要集中在0～0.2 kHz，与故障频率范围理论计算相符。
2.4 识别模型验证
算法参数选择通过试验确定，见表3。
表 3 参数$ \lambda $和$ \gamma $对托辊故障识别准确率(%)的影响Table 3. Influence of parameters $ \lambda $ and $ \gamma $ on the accuracy (%) of roller fault recognition参数 $ \gamma $=0 $ \gamma $=0.5 $ \gamma $=1 $ \gamma $=2 $ \gamma $=5 $ \lambda $=0.1 79.54 82.06 83.17 84.06 83.56 $ \lambda $=0.3 83.88 84.35 85.56 86.03 85.87 $ \lambda $=0.5 90.06 91.03 92.66 93.58 93.21 $ \lambda $=0.7 94.98 95.06 95.10 95.60 95.32 $ \lambda $=0.9 92.82 93.06 93.89 94.36 94.01 结果表明：当$ \lambda $=0.7，$ \gamma $=2时，托辊故障识别效果最好，准确率高。
单独使用笔者提及的时域特性（声品质回归）、时频特性（声谱图卷积）和不考虑样本平衡优化（Focal Loss）的方法进行故障识别，结果见表4。结果表明：基于MFCC的谐波‒冲击波声谱图更能体现托辊运行时的故障特性；同时，采用Focal Loss损失函数改善故障样本不均衡问题。对托辊运行多模态特征的融合计算，以及对不均衡样本的优化处理，在煤矿井下识别托辊运行故障具有更好的效果。
表 4 本文算法不同组合识别结果Table 4. Recognition results of different combinations ofalgorithms in this paper识别算法 故障出现
次数故障检出
次数误检次数 准确率/% 检出率/% 只使用声品质 95 74 12 83.78 77.89 只使用声谱图 95 84 7 91.67 88.42 不使用Focal Loss 95 88 5 94.32 92.63 本文 95 91 4 95.60 95.79 将声品质特征拼接到谐波‒冲击波声谱图矩阵，并分别输入到SVM、VGG16、RESNET50等不同分类器进行故障识别，结果见表5。结果表明：具有一定网络深度的算法，对于特征提取更具优势；使用声谱图后，通过卷积操作能够更充分提取托辊运行特征，提升识别准确率。对不同模态托辊特征单独处理，再对结果进一步融合，比直接拼接特征计算效果更好。
表 5 基于不同分类器的托辊故障识别结果Table 5. Roller fault identification results based on different neural networks识别算法 故障出现
次数故障检出
次数误检次数 准确率/% 检出率/% SVM 95 83 12 85.54 87.37 VGG16 95 85 10 88.24 89.47 RESNET50 95 87 8 90.80 91.58 本文 95 91 4 95.60 95.79 将托辊卡顿、偏心、破损3种故障的音频信号输入到本文识别模型中进行验证：
$$ \begin{array}{l}检出率=\dfrac{故障检出次数}{故障出现次数}，\\ 准确率=\dfrac{故障检出次数-误检次数}{故障检出次数}\end{array} $$ 得到的识别结果见表6。结果表明：该方法对托辊卡顿、偏心、破损具有较好的识别效果，总体识别准确率达95.60%，检出率达95.79%。
表 6 融合卷积神经网络与线性回归的托辊故障识别结果Table 6. Roller fault recognition results based on convolutional neural network and linear regression故障类型 故障出现
次数故障检出
次数误检次数 准确率/% 检出率/% 托辊卡顿 12 11 1 90.91 91.67 托辊偏心 57 55 2 96.36 96.49 托辊破损 26 25 1 96.00 96.15 合计 95 91 4 95.60 95.79 3. 结 语
融合卷积神经网络与线性回归的带式输送机托辊故障音频识别方法通过充分提取声谱图特征以及快速拟合声品质特征，对不同模态托辊特征单独处理后再进一步融合，克服了声品质特征维度较少易受噪声干扰、声谱图特征易过拟合泛化能力不足的缺点，提升了故障识别准确率，在煤矿井下对托辊卡顿、偏心、破损具有较好的识别效果，总体识别准确率达95.60%，检出率达95.79%。
-
表 1 融合卷积神经网络与线性回归模型参数
Table 1 Convolutional neural network and linear regression parameters
网络层 卷积核 尺寸 输入层1 3×128×128 卷积层1_1 7×7 2×20×16 批归一化 2×20×16 卷积层1_2 3×3 2×10×32 批归一化 2×10×32 卷积层1_3 1×1 3×128×128 卷积层2_1 3×3 2×20×16 批归一化 2×20×16 卷积层2_2 3×3 2×10×32 批归一化 2×10×32 卷积层2_3 1×1 3×128×128 卷积层3_1 3×3 2×20×16 批归一化 2×20×16 卷积层3_2 3×3 2×10×32 批归一化 2×10×32 卷积层3_3 1×1 3×128×128 输入层2 1×3 线性回归层 3 展开层 1024 全连接层1 512 全连接层2 256 全连接层3 128 Sigmoid层 1 
下载: 导出CSV
表 2 故障托辊和正常托辊的声品质特性对比
Table 2 Comparison of sound quality characteristics between fault roller and normal roller
故障
类型粗糙度 响度 尖锐度 托辊卡顿 0.736 112.1 1.3 托辊偏心 0.785 110.1 1.14 托辊破损 0.828 107.4 1.24 正常托辊 1.023 103.3 1.03
下载: 导出CSV
表 3 参数$ \lambda $和$ \gamma $对托辊故障识别准确率(%)的影响
Table 3 Influence of parameters $ \lambda $ and $ \gamma $ on the accuracy (%) of roller fault recognition
参数 $ \gamma $=0 $ \gamma $=0.5 $ \gamma $=1 $ \gamma $=2 $ \gamma $=5 $ \lambda $=0.1 79.54 82.06 83.17 84.06 83.56 $ \lambda $=0.3 83.88 84.35 85.56 86.03 85.87 $ \lambda $=0.5 90.06 91.03 92.66 93.58 93.21 $ \lambda $=0.7 94.98 95.06 95.10 95.60 95.32 $ \lambda $=0.9 92.82 93.06 93.89 94.36 94.01
下载: 导出CSV
表 4 本文算法不同组合识别结果
Table 4 Recognition results of different combinations ofalgorithms in this paper
识别算法 故障出现
次数故障检出
次数误检次数 准确率/% 检出率/% 只使用声品质 95 74 12 83.78 77.89 只使用声谱图 95 84 7 91.67 88.42 不使用Focal Loss 95 88 5 94.32 92.63 本文 95 91 4 95.60 95.79
下载: 导出CSV
表 5 基于不同分类器的托辊故障识别结果
Table 5 Roller fault identification results based on different neural networks
识别算法 故障出现
次数故障检出
次数误检次数 准确率/% 检出率/% SVM 95 83 12 85.54 87.37 VGG16 95 85 10 88.24 89.47 RESNET50 95 87 8 90.80 91.58 本文 95 91 4 95.60 95.79
下载: 导出CSV
表 6 融合卷积神经网络与线性回归的托辊故障识别结果
Table 6 Roller fault recognition results based on convolutional neural network and linear regression
故障类型 故障出现
次数故障检出
次数误检次数 准确率/% 检出率/% 托辊卡顿 12 11 1 90.91 91.67 托辊偏心 57 55 2 96.36 96.49 托辊破损 26 25 1 96.00 96.15 合计 95 91 4 95.60 95.79
下载: 导出CSV
-
[1] 刘澎,任文清. 煤矿无人值守带式输送机智能化系统设计[J]. 工矿自动化,2021,47(S2):75−77,96. LIU Peng,REN Wenqing. Intelligent system design of unattended belt conveyor in coal mine[J]. Industry and Mine Automation,2021,47(S2):75−77,96.
[2] 田元武. 煤矿带式输送机智能化关键技术的研究[J]. 自动化应用,2023(S1):112−114. TIAN Yuanwu. Research on key technologies of intelligent belt conveyor in coal mine[J]. Automation Application,2023(S1):112−114.
[3] 朱荣贵. 矿用皮带运输机常见故障分析及预防[J]. 机械工程师,2018(3):162−163,166. doi: 10.3969/j.issn.1002-2333.2018.03.057 ZHU Ronggui. Analysis and prevention of common failure in mine belt conveyor[J]. Mechanical Engineer,2018(3):162−163,166. doi: 10.3969/j.issn.1002-2333.2018.03.057
[4] 李玮华,杨秦建. 在线带式输送机托辊工况动态监测系统的研发[J]. 西安科技大学学报,2008,28(1):100−104. doi: 10.3969/j.issn.1672-9315.2008.01.022 LI Weihua,YANG Qinjian. Dynamic testing system of strap conveyer’s roll release online[J]. Journal of Xi’an University of Science and Technology,2008,28(1):100−104. doi: 10.3969/j.issn.1672-9315.2008.01.022
[5] 白宏磊,张明泽,王克成. 长距离带式输送机托辊的故障检测[J]. 辽宁科技大学学报,2015,38(1):41−45. BAI Honglei,ZHANG Mingze,WANG Kecheng. Fault detection of lon-distance belt conveyor idlers[J]. Journal of University of Science and Technology Liaoning,2015,38(1):41−45.
[6] 张俊. 基于红外热成像技术的托辊故障诊断系统研究[J]. 机械研究与应用,2023,36(4):174−178. ZHANG Jun. Research on idler fault diagnosis system based on infrared thermal imaging technology[J]. Mechanical Research & Application,2023,36(4):174−178.
[7] 彭程程. 基于二阶瞬态提取变换的滚动轴承故障特征提取方法研究[J]. 机电工程,2021,38(10):1246−1252. doi: 10.3969/j.issn.1001-4551.2021.10.004 PENG Chengcheng. Fault feature extraction method for rolling bearing based on STET[J]. Journal of Mechanical & Electrical Engineering,2021,38(10):1246−1252. doi: 10.3969/j.issn.1001-4551.2021.10.004
[8] 郝洪涛,倪凡凡,陈亮,等. 远程带式输送机托辊故障巡检方法[J]. 煤矿机械,2018,39(11):133−135. HAO Hongtao,NI Fanfan,CHEN Liang,et al. Investigation of inspection method on roller of remote belt conveyor[J]. Coal Mine Machinery,2018,39(11):133−135.
[9] 邵晨. 基于噪声信号技术的皮带机托辊故障监测[J]. 仪表技术,2017(8):7−11,46. SHAO Chen. Fault detection of belt system based on noise signal technology[J]. Instrumentation Technology,2017(8):7−11,46.
[10] 刘芬. 基于大数据技术的带式输送机托辊故障诊断[J]. 煤矿机械,2020,41(8):177−179. LIU Fen. Fault diagnosis of roller of belt conveyor based on big data technology[J]. Coal Mine Machinery,2020,41(8):177−179.
[11] 方崇全. 煤矿带式输送机巡检机器人关键技术研究[J]. 煤炭科学技术,2022,50(5):263−270. FANG Chongquan. Research on key technology of inspection robot for coal mine belt conveyor[J]. Coal Science and Technology,2022,50(5):263−270.
[12] 宋天祥,杨明锦,杨林顺,等. 基于谱聚类分析的托辊故障诊断[J]. 电子测量技术,2019,42(5):144−150. SONG Tianxiang,YANG Mingjin,YANG Linshun,et al. Fault diagnosis for roller based on spectral clustering analysis[J]. Electronic Measurement Technology,2019,42(5):144−150.
[13] 吴文臻,程继明,李标. 矿用带式输送机托辊音频故障诊断方法[J]. 工矿自动化,2022,48(9):25−32. WU Wenzhen,CHENG Jiming,LI Biao. Audio fault diagnosis method of mine belt conveyor roller[J]. Journal of Mine Automation,2022,48(9):25−32.
[14] 曹贯强. 带式输送机托辊故障检测方法[J]. 工矿自动化,2020,46(6):81−86. CAO Guanqiang. Fault detection method for belt conveyor roller[J]. Industry and Mine Automation,2020,46(6):81−86.
[15] 贺志坚,欧阳毅,郑虎鸣,等. 驻极体电容振动拾音器(ECVP)[J]. 电声技术,2017,41(3):27−30. HE Zhijian,OUYANG Yi,ZHENG Huming,et al. Electret capacitive vibration pickup(ECVP)[J]. Audio Engineering,2017,41(3):27−30.
[16] 景会成,白世平,崔传金,等. 心电信号降噪及R波提取技术研究[J]. 电子测量技术,2022,45(24):67−75. JING Huicheng,BAI Shiping,CUI Chuanjin,et al. Research on ECG signal noise reduction and R-wave extraction technology[J]. Electronic Measurement Technology,2022,45(24):67−75.
[17] 余星辰,王云泉. 基于小波包能量的煤矿瓦斯和煤尘爆炸声音识别方法[J]. 工矿自动化,2023,49(1):131−139. YU Xingchen,WANG Yunquan. Coal mine gas and coal dust explosion sound recognition method based on wavelet packet energy[J]. Journal of Mine Automation,2023,49(1):131−139.
[18] ONO N,MIYAMOTO K,LE ROUX J,et al. Separation of a monaural audio signal into harmonic/percussive components by complementary diffusion on spectrogram[C]//2008 16th European Signal Processing Conference. Piscataway,NJ:IEEE,2008:1‒4.
[19] 赵扬青,彭智才,蒋雨涵,等. 音频的梅尔频率倒谱系数特征抽取过程[J]. 信息技术与信息化,2023(1):104−111. doi: 10.3969/j.issn.1672-9528.2023.01.026 ZHAO Yangqing,PENG Zhicai,JIANG Yuhan,et al. Mel-frequency cepstral coefficients feature extraction process of audio[J]. Information Technology and Informatization,2023(1):104−111. doi: 10.3969/j.issn.1672-9528.2023.01.026
[20] 韩鹏飞,陈晓. 基于MFCC-IMFCC和GA-SVM的鸟声识别[J]. 计算机系统应用,2022,31(11):393−399. HAN Pengfei,CHEN Xiao. Bird sound recognition based on MFCC-IMFCC and GA-SVM[J]. Computer Systems and Applications,2022,31(11):393−399.
[21] 金可心,卢海峰,杨亮,等. 融入时频能量特征的车内噪声声品质评价方法[J]. 电子测量与仪器学报,2022,36(5):96−103. JIN Kexin,LU Haifeng,YANG Liang,et al. Sound quality evaluation method of vehicle interior noise based on time-frequency energy characteristics[J]. Journal of Electronic Measurement and Instrumentation,2022,36(5):96−103.
[22] 陈建廷,向阳. 深度神经网络训练中梯度不稳定现象研究综述[J]. 软件学报,2018,29(7):2071−2091. CHEN Jianting,XIANG Yang. Survey of unstable gradients in deep neural network training[J]. Journal of Software,2018,29(7):2071−2091.
[23] 佟哲. 矿用带式输送机托辊远程故障诊断方法研究[D]. 徐州:中国矿业大学,2020. TONG Zhe. Research on remote fault diagnosis method of idler of mine belt conveyor[D]. Xuzhou:China University of Mining and Technology,2020.
计量
- 文章访问数: 33
- HTML全文浏览量: 1
- PDF下载量: 17
