0.   引　　言

根据煤炭行业的清洁^[1]、高效和可持续的发展要求，原煤入选率的提高成为新的研究热点。近年来，国内外学者深入研究基于机器视觉、人工智能和机器人等理论方法的煤矸检测方法。鲁恒润等^[2]采用BP神经网络实现基于纹理和灰度的煤矸图像特征分类，具有一定的检测效果。SU^[3]采集不同工况条件的20000张煤矸图像数据，通过改进LeNet模型进行了大样本条件的煤矸检测研究，具有较高的识别率。LI^[4]提出一种基于深度学习模型的煤和矸石检测分层框架，建立多尺度煤矸特征集实现煤矸识别，煤矸识别率有所提升。然而，基于深度学习的煤矸检测方法存在煤矸数据集容量和目标检测算法效率的问题。文献[5-6]通过迁移学习、数据增强等手段实现小样本煤矸图像的检测，解决煤矸图像数据集容量的问题。文献[7-10]通过目标检测算法改进、网络模型剪枝优化等方式提升算法识别率和实时性。

目前，基于深度学习的煤矸检测方法不再受限于煤矸图像数据集容量和目标检测算法效率的约束，研究者逐渐聚焦于煤矸表面特征成像质量对网络模型检测结果的影响。文献[11]通过对不同照明方式的效果分析，设计新的照明系统提高图像的照度均匀和对比度。文献[12]研究不同种类光源下图像灰度分布规律的变化，实现煤矸自动化分选。文献[13]定量研究照度与煤矸表面特征变化规律，为井下图像采集设置合适光源提供理论依据。文献[14-15]研究照度和外部水分对煤矸表面灰度纹理特征影响，对煤矸识别的高质量图像获取提供方向。综合上述研究可知，不同光照条件下最优的煤矸表面特征成像质量不同，已经成为图像选矸领域的研究共识。目前，学者基于高质量图像的获取实现图像识别的光源特性方面的研究均为单个方向的研究，未能从光源入射角度、色温和光照强度方面深入研究多因素光照条件与图像质量的关系。

因此，拟研究实际工况下多因素光照条件对煤矸表面特征成像质量的影响，建立一套高质量煤矸图像的获取方法，进一步优化煤矸图像采集系统完成数据集的构建，以期达到较高的煤矸识别率。

1.   多因素光照条件高质量图像获取方法

光照条件作为图像识别系统重要组成部分，其照明方式^[16-17]、光照强度^[18]、色温和动静特性等因素均影响着图像的成像质量和目标检测结果。所研究的煤矸高质量图像获取方法如图1所示，包括照明方式和入射角度结合的光源最优分布模块，基于图像质量的色温分析模块和基于表面特征差异的光照强度分析模块。

图  1  煤矸高质量图片获取方法

Figure  1.  Method for obtaining high-quality images of coal gangue

下载: 全尺寸图片 幻灯片

1）光源分布模块：采用前向照明方式更好获取低速运动物体表面特征，并以九点抽样法选择45°作为光照均匀性较好的入射角度，实现图像获取最佳光源位置布置。

2）色温分析模块：以最小均方误差、峰值信噪比和结构相似度图像质量评价指标对多样本单一种类煤矸情况下图像失真情况进行描述。其次，以topsis算法多指标综合分析不同工况下煤矸图像质量变化情况，确定煤矸最具还原性的色温种类。

3）光照强度分析模块：对不同光照强度下煤矸灰度纹理特征变化趋势讨论，以光照强度、曝光时间与带速计算公式确定优势照度区间，实现相应带速下高质量图像获取的最佳光照强度确定。

2.   煤矸识别光源分析

2.1   煤矸石识别光源最优布置

视觉照明系统光源的选择，通常以待检测物体的表面平整度、表面反光程度、目标形状、目标颜色等自身特性为出发点。煤矸特征相似度较高，检测难度较大且分选过程中易沾附煤灰颗粒，通常处于低速运动状态。因此，LED光源更加符合煤矸的应用场合。煤矸分选过程中，良好的光源布置对图像信息的采集有比较好的效果，工业中常见的光源布置方式分为前向照明、背向照明、结构光和漫射照明等方式。考虑到煤矸图像采集装置中相机、光源和煤矸的空间结构，采用前向照明方式弱化图像背景特征，从而增强目标表面纹理特征，凸显煤矸表面差异，并且前向照明更加适合低速运动物体表面特征获取。

煤矸识别光源布置过程中，根据光的几何特性对光源分布情况进行分析。LED光源属于朗伯体发光体，煤矸表面为郎伯反射表面，光源的光照射到垂直于光轴方向的接收面形成漫反射时，该面上形成的光强分布^[18]见式(1)：

式中：${{I}}_{0}$为光源的出射光强；θ为光线入射角度；μ为大气衰减系数；r为光源到检测目标距离；${\rho }$为物体表面反射率；A为光圈数；L为物距；f为相机焦距；ω为视场角；τ为光学系统光透过率；h为渐晕系数；C为镜头机身综合作用产生的杂光系统。

由上式可知出射光强、光源到物体距离、物体表面反射率，大气衰减系数，均只影响照度值的大小，而不影响视场的照度分布。相机实际拍摄过程中，光源入射角度发生变化，引起待检测目标视场与实际补光视场产生偏移。考虑光线在镜头位置的损失，远光轴部分渐晕和光线由于相机镜头、快门叶片、机体内壁等位置的反射产生杂光，影响相机像面照度分布。实际煤矸检测过程中，合理布置光源成为获得高质量图像，提高煤矸识别识别率与准确率的最佳方法。因此，煤矸图像采集装置采用具有照度调节功能的海康（MV-L100032）LED条形光源作为试验光源，设定接收面与光源之间的距离为600 mm，接收面积设为1400 mm×1400 mm，分别对光源入射角度0、30°、45°、60°进行光照均匀性试验。利用光源特性生成器在光学软件（Tracepro）中生成该LED表面材质特性之后进行光线追迹仿真和计算，采用九点取样法测出照度，并根据式（1）和式（2）计算出视场光照均匀度。不同入射角度光照均匀度见表1。

表  1  基于不同入射角度的光照均匀度

Table  1.  Illumination uniformity based on different incident angles

入射角度/（°）	0	30	45	60
光照均匀度/%	64.7	69.9	86.3	75.1

下载: 导出CSV 

| 显示表格

式中：${{E}}_{{i}}$为照度值采样点；${{E}}_{\mathrm{a}}$为照度值采样点的平均值；N为照度均匀性，%。

试验结果表明：当视场接受面与光源距离为600 mm时，光源与接受面呈45°夹角时，视场范围内煤矸目标均可清晰成像并且获得均匀的感光效果，避免出现相机视区煤矸光照不均匀导致煤矸表面特征获取不全面。辐射照度分布如图2所示。

图  2  视区光源形状与照度分布

Figure  2.  Shape and illuminance distribution of light source in viewing area

下载: 全尺寸图片 幻灯片

2.2   煤矸识别色温分析

针对目标物体的轮廓、颜色、运动状态和背景等因素对图像成像质量的影响，选择合理的色温可以使特征和周围区域灰度值差别更大，与参考光源的颜色偏离程度更小，降低图像的像素灰度变化，进一步避免颜色失真提高图像质量。依据CIE中色温分类标准，选取暖色光、中性光和冷色光3种色温采集大量的煤矸图像样本进行煤矸图像成像质量实验。

以图像质量评价指标E_MS(最小均方误差)、R_PSN(峰值信噪比)和M_SSI(结构相似度)来评价不同色温下获取的煤矸图像的成像质量。均方误差是指不同光源下图像的变化程度，其表达式为：

式中：图像样本的大小为M×N，s(i, j)为原始图像在(i, j)的像素值；c(i, j)为光源改变之后(i, j)位置的像素值。

峰值信噪比是一种全参考图像客观评价指标，它是基于误差敏感的图像质量评价，R_PSN越大，就代表色差越少，其公式如下：

结构相似度（M_SSI）是一种全参考的图像质量评价指标，它分别从亮度、对比度、结构3方面度量图像相似性，当2张图像一模一样时，M_SSI的值等于1。

式中：${\mu _x}$为x的平均值；${\mu _y}$为y的平均值；$\sigma _x^2$为x的方差；$\sigma _y^2$为y的方差；${\sigma _{xy}}$为x与y的协方差；${c_1} = {({k_1}L)^2}$，${c_2} = {({k_2}L)^2}$为用来维持稳定的常数，${k_1} = 0.01$，${k_2} = 0.03$；L是像素值的动态范围，一般L=255。

如图3所示为不同色温下煤矸图像失真程度变化曲线。图3a—图3c，3d—3f分别为煤、矸石在不同色温下图像失真程度变化规律。

图  3  图像失真程度变化曲线

Figure  3.  Variation curve of image distortion degree

下载: 全尺寸图片 幻灯片

图3a和图3d分别表示不同色温下煤、矸石的最小均差变化曲线。中性光下，煤和矸石的最小均差都比较大，与原图相比图像变化程度大，但煤较矸石的变化幅度更大；暖色光和冷色光最小均差均比较小且有较好的还原效果。

图3b和图3e为不同色温下煤和矸石峰值信噪比变化曲线图。与其他色光相比暖色光下的图片像素误差最小，有较好的误差敏感度，中性光的图片像素误差最大。暖色光和冷色光下煤的峰值信噪比变化幅度明显，矸石的变化幅度较小在一定的范围波动。

图3c和图3f表示不同色温下煤和矸石的结构相似度曲线。中性光下煤和矸石的图片与原图相比差距较大，暖色光和冷色光下图片的结构、亮度、对比度与原图相比效果比较好，但是暖色光与冷色光的效果对比不是很明显。

图3a—3f图像失真程度变化趋势反映出:中性光下煤和矸石的最小均方差、峰值信噪比、结构相似度效果比较差。暖色光照射下，煤的图像质量的客观效果颜色偏离程度更小，图片更加逼真。对于矸石而言，暖色光和冷色光下图片的最小均方差、峰值信噪比、结构相似度的变化趋势相似引起图片质量不佳。

运用多指标进行成像质量评价时，各个评价指标在总体评价中所起的作用不同，未能凸显煤矸图像成像质量最优的方案。为了科学合理使用各个指标传递信息，引入TOPSIS^[19]算法解决多目标决策问题，分别计算不同色温光源下煤、矸、煤矸混合3种试验的相对贴近度，最大程度的避免原始信息的损失，从而选择更具客观性的方案。

如图4所示，试验1中煤在暖光下相对贴近度最好、成像质量最佳，冷色光次之、中性光的效果最差；试验2中矸石在暖色光和冷色光的成像质量基本一致，中性光效果不佳；试验3煤矸混合测试中，暖色光的成像效果最好。试验3综合考虑煤矸混合的实际工况，并且克服了单一指标评价的局限性，实现色温选择的正确性和实用性。故煤矸分选过程中光照不足的情况下，需要补充光照强度的时候，暖色光的效果最佳且成像质量最好。

图  4  煤矸差异评价

Figure  4.  Coal gangue difference evaluation chart

下载: 全尺寸图片 幻灯片

2.3   煤矸识别光照强度分析

在实验室条件下，搭建图像采集装置进行煤矸图像采集，使用条形光源作为本试验的唯一光源，采用条形光源的不同档位满足试验过程中的不同光照强度的需求。煤和矸石在视觉上最明显的差异是煤更加黑亮、矸石更加灰白，但是在实际工况中，煤与矸石混合在一起，且表面沾附大量煤灰，导致煤矸难以区分。依据国际照明委员会(Commission Internationale de l’Eclairage，CIE) 标准，根据照度等级推荐选择300、500、750、1000、1500及2000 lux在煤矸分拣试验平台上对煤和矸石进行样本采集，研究不同照度下煤矸的特征参数响应曲线变化。

分别将多组煤和矸石的样本在不同光照下进行特征提取，得到煤和矸石的各种特征参数值的均值，以折线图的形式进行表述，如图5所示。

图  5  煤和矸石特征参数曲线

Figure  5.  Characteristic parameter curve of coal and gangue

下载: 全尺寸图片 幻灯片

图5反映了同一色温下煤矸不同照度下特征参数的变化趋势；图5a反映随着光强的增加，煤矸的灰度值变化趋势趋于相同，照度值小于1500 lux时,煤矸灰度均值差异平缓上升，1500 lux之后煤矸灰度均值差异逐渐减小；图5b照度小于1000 lux时，煤和矸石灰度方差均快速增长，1000 lux时煤矸灰度方差差异最大，高于1000 lux时煤矸灰度方差直线下降并且在小范围内波动逐渐趋于稳定；图5c随着光照强度的逐渐增加，煤表面纹理对比度比较明显且均匀上升，矸石纹理对比度在小范围内波动；图5d随着照度的变化，煤矸能量出现明显下降，之后煤和矸石的能量在一定波动范围内出现波动。从图5煤和矸石的特征参数曲线可以得出，从灰度特征方面，随着照度值的增加，煤矸的灰度均值和方差持续上升，到达一定的光照强度，煤矸反光导致煤矸灰度差异变小。矸石灰度均值略大于煤且方差更小，表面较煤更加灰白；从纹理特征方面，随着光照强度的变化，煤的清晰度和纹理深浅变化较矸石变化大，煤和矸石纹理分布均匀程度伴随光照强度处于一定的变化范围，矸石较煤纹理均匀程度变化更大，轮廓棱角分明，表面较煤普遍平整且截断面少。

试验表明，不同照度下煤和矸石表面特征差异存在变化，调整光强使煤矸表面特征差异最大化存在一定可行性。同时，特征参数的选择对煤矸表面差异的体现具有重要的意义。故在带式输送机上获取高质量的煤矸图像，通过均值化和差值处理煤矸表面特征参数，直观分析煤矸同一特征参数的差异性。为进一步凸显单一照度和多照度下不同特征参数之间的重要程度，完成煤矸特征参数标准化处理。具体如图6所示。

图  6  不同照度煤矸特征差异分布

Figure  6.  Differences in characteristics of coal gangue in different illuminances

下载: 全尺寸图片 幻灯片

图6反映不同照度下煤矸特征差异变化情况。其中灰度均值、纹理对比度和纹理角二阶矩随着照度的变化出现明显增大，说明煤矸灰度均值、纹理对比度和纹理角二阶矩随着照度的增加煤矸之间的差异出现较大变化，灰度均值在1500 lux时煤矸差异化达到峰值，之后逐渐回降；纹理对比度和纹理角二阶矩1500 lux时煤矸差异化基本达到稳定在在一定范围内波动。灰度方差在0~1000 lux范围内，煤矸差异逐渐增大，在1000 lux时灰度方差快速下降。综合煤矸灰度特征和识别特征，暖色光源下1000~1500 lux煤矸的表面特征比较容易获取，为后期网络模型的特征提取奠定良好的基础。

选煤厂输送带高速运动状态下，目标检测煤矸图片必须保持清晰、不拖影。为适应带速，高效、准确的得到煤矸的表面特征，依次计算长边视野与带速、光强与曝光时间的关系，具体如下式：

式中，I为光强；c为曝光量；${t}_{0}$为曝光时间；l为长边视野；p为长边像素值；v为带速；${\delta }$为输送带表面反射比，取0.2~0.6。

由式6计算动态条件下相机最大曝光时间，在静态条件下获取相应曝光时间的最佳曝光量，进而计算输送带高速运动时的最佳光照强度区间。综合前文较优照度区间和最佳光照强度区间，带式输送机0.3 m/s状态下最佳照度区间为1000~1500 lux。

3.   试验与结果分析

3.1   图像采集装置

依据煤矸高质量图片获取方法在实验室搭建图像采集装置，模拟洗煤厂人工选矸环节在输送带最前端架设煤矸图像采集装置，煤矸图像采集装置由计算机、相机、光源、遮光罩和传送带组成。其中相机选用海康(MV-CA016C)CCD工业相机，图像像素为1280×960 pix；光源与相机布置在检测区域的正上方，光源与相机呈45度架设，补充图像采集区域的光照强度；遮光板包围在桁架结构外，避免外界环境杂散光对图像采集产生干扰。传送带工作过程中，工业相机采集图像并发送给计算机，由计算机进行图像处理以及后续的分类识别。系统实物如图7所示，试验数据样本均来自于中国陕西省铜川陈家山煤矿，在煤矸识别皮带前端设置预处理装置实现原煤粒度分级，获取粒度200~300 mm煤矸数据进行试验，输送带带速0.3 m/s。图像采集帧率30 fp/s。试验过程中使用1000块煤、1000块矸石，采集均等数量的煤矸图像以保证模型检测效果，避免样本不均匀问题引起的检测模型精度耗损。

图  7  煤矸图像采集装置

Figure  7.  Coal gangue image acquisition device

下载: 全尺寸图片 幻灯片

3.2   高质量图像获取方法验证

在煤矸分拣机器人系统^[20-21]对煤矸检测准确性和时效性的综合要求下，以煤矸石为研究对象，采用SSD与Faster-RCNN^[22]不同特征提取网络下的检测方法进行对比试验,通过模型准确率和损失率验证高质量煤矸图像获取方法的优越性。本文实验阶段基于Ubuntu16.04操作系统，GeForce RTX 2060显卡，TensorFlow-gpu深度学习框架完成相关网络模型的训练与测试。网络模型训练的基本参数：初始学习率为0.001，动量为0.9，权重衰减系数为0.0005，模型评估IOU阈值为0.5，迭代次数为10000次。网络模型准确度与损失值曲线如图8所示。

图  8  模型准确率及损失值曲线

Figure  8.  Model accuracy and loss curve

下载: 全尺寸图片 幻灯片

图8为模型准确率及损失率曲线，以所研多因素光照条件下高质量图像获取方法构建数据集的煤矸目标检测模型准确率曲线及损失曲线随着迭代次数增加更早呈收敛趋势，具有更高检测准确率及更小的损失值。迭代次数一致的情况下，以本文图像获取方法实现煤矸识别，各类网络检测算法可以更好地学习煤矸石图像特征，进一步确保煤矸识别的准确性，从而表现出良好的检测性能；煤矸识别准确率依次有4.83%、10.5%和6.11%的提升，印证了光源分布、色温、光照强度对煤矸石表面特征成像质量存在影响。进一步说明，实际工况下光源位置和照度条件设置的不合理或者图像表面特征成像质量评价指标不标准，将会在很大程度上影响煤矸图像识别正确率（表2）。

表  2  不同特征提取网络下煤矸石检测模型检测结果

Table  2.  Detection results of coal gangue detection models under different feature extraction networks

模型	损失率/%
	优化前	优化后
FasterRcnn+ResNet-50	85.38	90.21
FasterRcnn+ResNet-101	83.91	94.41
SSD	84.63	90.74

下载: 导出CSV 

| 显示表格

3.3   煤矸识别测试试验

实验室动态条件下对不同色温、光照条件下的煤矸检测效果可视化验证，进一步验证多因素光照条件下的高质量图像获取方法的优势。煤矸检测效果如图9、图10所示。

图  9  不同照度煤矸检测效果示例

Figure  9.  Example of coal gangue detection effect with different illuminance

下载: 全尺寸图片 幻灯片

图  10  煤矸分拣机器人平台检测效果示例

Figure  10.  Example of detection effect of coal gangue separation robot platform

下载: 全尺寸图片 幻灯片

图9展示了带速0.3 m/s条件下2组不同照度在线检测示例图，图9a、图9c为本文研究光照强度条件下的图像检测效果，图9b、图9d为光照强度不足下的图像检测效果。0.3 m/s带速下图9a、图9c均有较好的检测效果，准确捕捉到煤矸目标分类和位置信息；图9b和图9d由于光照强度不足引起煤矸图像模糊、脱影，导致煤矸误检现象。图9b中存在将煤误检为矸石的现象，图9d存在将矸石误检为煤的现象，主要因素是光照条件不足导致图像成像质量不佳引起的检测模型不能准确捕捉目标信息。因此，针对在线检测中出现的误检现象，可以考虑采用更高性能检测相机同时选取匹配带速的检测光照强度，保证良好的煤矸在线检测效果。

如图10为不同光照环境两组图像下煤矸多目标检测示例图。图10a、图10c为以本文方法优化数据集之后训练的煤矸目标检测模型检测效果。图10b、图10d为未作处理的数据集煤矸目标模型的检测效果。图10a、图10c表明，网络模型可以准确检测出目标分类及位置信息，图10b由于光照因素影响，使得矸石与煤块和背景特征较为相似，检测过程中存在煤误检为矸现象;在光源环境和煤质影响之下，图10d目标表面颜色加深、边缘梯度减弱,煤和矸石产生误检现象。综上所述，该高质量图像获取方法改善的煤矸数据集训练的模型可以适应实际工况微弱的光照强度的变化，最大程度获取准确的煤矸检测结果，避免光照条件不足引发的误检问题。

4.   结　　论

1）提出一种多因素光照条件下高质量图像获取方法。该方法综合考虑光源分布、色温、光照强度等因素，并通过仿真和试验相结合的方法得到获取高质量图像的最佳光照条件。结果表明：条形LED光源距离视区表面600 mm、入射角度为45度时，视场光照均匀度最高为86.3%；暖色光下的煤矸图像失真程度最低，成像质量比较好；0.3 m/s带速下1000~1500 lux时煤矸表面灰度纹理特征差异最大。

2）通过构建融合多因素光照条件下高质量图像获取方法的煤矸在线识别系统，对SSD和Faster-RCNN目标检测框架的不同特征提取网络的煤矸检测方法进行在线实验验证。实验结果表明：融合多因素光照条件的煤矸识别系统的煤矸识别率有10.5%提升，提高了实际工况下煤矸的在线检测识别率。

3）该方法已经在铜川玉华矿已经进行工业性试验，煤矸识别率可达86%，具有一定的应用推广价值。在确定最佳光源条件基础上，后期将对煤矸石识别速率和准确率等方面进行深入研究。