Improved ORB-FLANN efficient matching method for coal gangue image
-
摘要:
针对煤矸石分拣机器人分拣煤矸石时，带式输送机输送带打滑、跑偏以及带速波动造成的目标煤矸石位姿变化，从而导致抓取失败或空抓漏抓等问题，提出了一种改进的ORB-FLANN (Oriented FAST and Rotated BRIEF-Fast Library for Approximate Nearest Neighbors)煤矸石识别图像与分拣图像高效匹配方法。提出改进ORB的特征点检测方法对煤矸石识别图像与分拣图像进行特征点检测，实现快速检测图像特征点；提出改进FLANN匹配算法对图像特征点进行匹配，实现煤矸石识别图像与分拣图像高效匹配。针对传统ORB方法对煤矸石图像特征检测时间长、重复率低问题，提出了改进ORB特征检测方法，提高了图像特征点检测速度和重复率；针对传统FLANN匹配方法对煤矸石图像匹配精确率低问题，提出了融合PROSAC算法的改进FLANN匹配方法，剔除错误特征匹配点对，提高了图像匹配的精确率。在自主研发的双机械臂桁架式煤矸石分拣机器人试验平台上应用文中方法、SURF特征匹配方法、HU不变矩匹配方法、SIFT特征匹配方法和ORB特征匹配方法分别进行了不同带速、尺度、旋转角度条件下的煤矸石匹配试验，结果表明：本方法的匹配率为98.2%，匹配时间为141 ms，具有匹配率高、实时性好以及鲁棒性强等特点，能够满足煤矸石识别图像与分拣图像高效精准匹配的要求。
Abstract:In order to solve the problem of grasping failure or missing grasping due to the change of target gangue position and posture caused by belt slip, deviation and belt speed fluctuation of belt conveyor when the gangue sorting robot sorts gangue, an improved ORB-FLANN efficient matching method of gangue recognition image and sorting image is proposed. An improved ORB feature point detection method is proposed to detect the feature points in the recognition image and sorting image of coal gangue, so as to realize fast detection of image feature points; An improved FLANN matching algorithm is proposed to match the image feature points to achieve efficient matching between the recognition image of coal gangue and the sorting image. Aiming at the problem of long time and low repetition rate of traditional ORB method for coal gangue image feature detection, an improved ORB feature detection method is proposed to improve the speed and repetition rate of image feature point detection; Aiming at the low accuracy of traditional FLANN matching method for coal gangue image matching, an improved FLANN matching method integrating PROSAC algorithm is proposed to eliminate the wrong feature matching point pairs and improve the accuracy of image matching. The method, SURF feature matching method, HU moment invariant matching method, SIFT feature matching method and ORB feature matching method are applied on the experimental platform of the double mechanical arm truss type gangue sorting robot independently developed by the team to carry out gangue matching experiments under different belt speeds, scales and rotation angles. The results show that the matching rate of the method in this paper is 98.2%, and the matching time is 141 ms. It has the characteristics of high matching rate, good real-time performance and strong robustness, It can meet the requirements of efficient and accurate matching of gangue recognition image and sorting image.
-
0. 引 言
近年来，煤矸石分拣机器人的研究主要集中在煤矸识别[1-3]、机器人轨迹规划[4-6]、多机器人智能协同[7-9]等方面。煤矸识别是实现机器人智能分拣煤矸石的前提，为机器人轨迹规划和协同控制提供煤矸石位姿信息[10-11]。通常在煤矸石分拣机器人识别区域和分拣区域中间设置缓冲区，为煤矸识别模块处理数据提供缓冲时间。然而，由于带式输送机输送带存在打滑、跑偏以及带速波动等现象，造成目标煤矸石位姿发生改变，现有的方法无法实现煤矸石精确定位，进而导致机器人对目标煤矸石抓取失败，甚至空抓、漏抓。因此，机器人在分拣区域执行分拣动作前，通过视觉方法对通过煤矸识别得到的识别图像与分拣时采集获取的分拣图像进行匹配，从而实现对目标煤矸石精准定位，提高机器人分拣精度和分拣效率。
随着煤矿智能化发展，视觉技术凭借着精度高、速度快等优势被广泛应用于煤矿智能化场景，如通过人工智能(Artificial Intelligence,AI)识别完成煤矿生产管控[12-13]、通过视频分析实现矿井生产场景智能监控[14-15]，利用图像识别完成输送带异物检测分类[16-17]等。由此可见，视觉技术已成为解决煤矿井下复杂问题的关键技术。但视觉技术的图像匹配方法主要应用在监控图像匹配拼接[18-20]、无人机图像匹配[21-23]、人脸匹配识别[24-26]等方面。张朝伟等[27]提出基于尺度不变特征(Scale invariant Featu-re Transform, SIFT)匹配的监控图像自动拼接，提高了图像匹配的精度，但SIFT特征维数高，导致匹配时间长。针对SIFT特征存在的问题，LI等[28]提出的改进加速鲁棒特征(Speeded Up Robust Fe-atures, SURF)算法无人机图像匹配方法，提高了无人机图像匹配速度，但仍不能满足实时性要求。姜煜杰[29]提出的改进局部二值模式特征(Local Binary Pattern, LBP)算法人脸识别，提高了人脸匹配识别的准确性，但LBP特征采用固定尺度描述图像纹理特征，难以满足不同尺度匹配要求。钟鹏程等[30]提出的基于改进ORB (Oriented FAST and Rotated BRIEF)工件图像识别方法，提高了工业机器人对工件识别效率和准确性。ZHANG等[31]提出基于改进ORB算法图像特征点匹配，提高了图像匹配的精度。ORB特征[32-33]是采用OFAST (Oriented Features from Accelerated Segment Test)算法[34]特征点提取，再通过BRIEF(Binary Robust Independent Elementary Features)描述符[35-36]进行描述，最后与快速最近邻搜索包(Fast Library for Approximate Ne-arest Neighbors,FLANN)特征匹配方法[37-38]相结合进行图像匹配。由于BRIEF描述符计算复杂度高、检测速度慢、重复率低，且FLANN匹配方法是通过设定特征点欧式距离阈值来筛选匹配特征点，从而导致图像匹配精确率低。
综上所述，针对煤矸石图像匹配的匹配率低、匹配时间长等问题，提出了改进的ORB-FLANN煤矸石图像高效匹配方法，实现煤矸石识别图像与分拣图像精准高效匹配。
1. 煤矸石高效匹配方法
从机器人的煤矸识别模块得到目标煤矸石识别图像，目标煤矸石到达分拣区域后，采集获取煤矸石分拣图像，煤矸石高效匹配方法原理如图1所示，通过ORB算法提取图像的特征点，利用更高效的BEBLID (Boosted Efficient Binary Local Im-age Descriptor)描述符[39]对特征点进行描述，融合渐进一致采样法(Progressive Sampling Consensus, PROSAC)[40]的改进FLANN匹配方法对错误匹配点对进行剔除，获得最佳匹配点对，采用最小矩形框进行框定得到目标煤矸石精确位置。试验结果表明，文中方法能实现对煤矸石识别图像与分拣图像高效匹配。
2. 改进ORB特征检测方法
ORB方法主要作用是对图像特征点进行检测与描述，特征点由OFAST算法进行选取，煤矸石特征点的选取如图2所示。以像素点p为中心的圆周上均匀地取16个像素点，如果其中连续n个像素点与中心点p的像素值之差都大于设定阈值，则该像素点p为特征点。
为提高特征点抗干扰性与区分度，需使用特征描述符对特征点的邻域信息进行描述。ORB方法采用BRIEF描述符进行描述，该描述符采用高斯分布选取并比较特征点对的灰度值差异，具有随机性、不能保证点对的质量，削弱了描述符的表达能力，导致计算量大，检测速度和重复率降低。针对上述问题，通过比较特征点领域内一系列像素点对所在方框区域的平均灰度值差异来构建BEBLID描述符，该描述符不仅只包含特征点的灰度和位置信息，还包含了特征点领域其他像素点的灰度和位置信息，可并行计算每个特征点的描述符，计算复杂度低、效率高且重复率高。
BEBLID描述符构建原理如图3所示，选取N对以特征点为中心，边长为s的方形区域作为采样对，初始化每个特征学习器的阈值T，T由训练集给定，通过特征提取函数f(x)计算出采样对区域的平均灰度值差。
$$ f\left( x \right) = f\left( {x;{p_1},{p_2},s} \right) = \frac{1}{{{s^2}}}\left[ {\sum\limits_{q \in R\left( {{p_1},s} \right)} {I\left( q \right)} - \sum\limits_{r \in R\left( {{p_2},s} \right)} {I\left( r \right)} } \right] $$ (1) 式中，f(x)为特征提取函数；I(q)为像素点q灰度值；I(r)为像素点r的灰度值；R(p,s)为中心位于像素点p的矩形边框，边长为s；图3中红色方框和蓝色方框分别为R(p1,s)和R(p2,s)。
使用自适应增强(adaptive boost,AdaBoost)算法[41]不断迭代p1、p2、s，并训练特征学习器，训练损失函数L为
$$ L = \sum\limits_{i = 1}^N {\exp \left[ { - \gamma {l_i}\sum\limits_{k = 1}^K {{h_k}\left( x \right){h_k}\left( y \right)} } \right]} $$ (2) 其中，γ为所有特征学习器的统一权重，取0.005 5；li∈{−1.1}；hk(x)为第k个特征学习器，hk(x)可表示为
$$ h_k(x)=h_k(x ; f, T)= \begin{cases}+1, & f(x) \leqslant T \\ -1, & f(x)>T\end{cases}$$ (3) 训练过程中将损失降到最低，不断优化式(2),得到损失函数最小的K个特征学习器并组合得到h(x)。将−1转化为0，+1转化为1，得到向量D(x)即为BEBLID描述符。其中，依据文献[33]的试验测试结果，在构建煤矸石BEBLID描述符时设定N=
1024 和K=512。在试验的特征点检测阶段，随机选取100张煤矸石识别图像和100张煤矸石分拣图像，利用传统ORB方法和改进ORB特征检测方法进行特征点检测试验，记录图像特征点重复率[42]和检测时间，求取平均值进行对比，验证改进ORB特征检测方法的优劣性。图4a和图4b分别是传统ORB方法与改进ORB方法检测煤矸石识别图像的特征点结果，图4c和图4d分别是传统ORB方法与改进ORB方法检测煤矸石分拣图像的特征点结果。
从图4可以看出，改进ORB方法较传统ORB方法检测的特征点数量更多、密度更高，且重复率为82.5%，较传统ORB方法重复率提高了16.7%。在检测时间上，改进ORB方法平均检测时间为53 ms，传统ORB方法为105 ms。综合证明，改进ORB特征检测方法不仅提高了特征点的重复率，也极大缩短了特征检测时间。
3. 改进FLANN特征匹配方法
煤矸石识别图像与分拣图像特征点检测完成后，需通过特征匹配方法对2幅图像的特征点进行匹配得到目标煤矸石位置。在FLANN特征匹配方法的基础上，融合PROSAC算法改进FLANN特征匹配方法，进一步剔除错误匹配点对，提高复杂工况条件下图像匹配的匹配精度。
FLANN特征匹配算法是根据KD-TREE操作实现[43]，特征点所处的特征空间为n维实数向量空间Rn，通过计算目标煤矸石识别图像的特征点p和分拣图像的各个特征点的欧式距离，来寻找特征点p对应的特征点，计算如式(4)所示。
$$ D\left( {x,y} \right) = \left\| {X,Y} \right\| = \sqrt {\sum\limits_{i = 1}^{{n}} {{{\left( {{X_i} - {Y_i}} \right)}^2}} } $$ (4) 式中，D为两特征点的欧式距离；(x,y)为特征点的像素坐标；Xi,Yi为在第i空间的像素坐标的值。通过KD-TREE结构存储所有的欧式距离D，得到特征点p的匹配点对集，对匹配点对集由上而下递归搜索，得到最小D对应的特征点q，得到匹配点对(p,q)，对每个特征点进行如上操作，即可得到煤矸石识别图像与分拣图像的匹配点对。
将PROSAC算法与FLANN特征匹配方法融合，对匹配点对的相似度进行排序，构建匹配点对相似度模型，取相似度最高的匹配点对作为假设集，进行采样计算出基础矩阵，剔除误差较大的匹配点对，得到最佳模型参数即最佳匹配点对，采用最小矩形框进行框定得到目标煤矸石位置。
在试验的特征匹配阶段，随机选取100张煤矸石识别图像与100张煤矸石分拣图像，利用FLANN匹配方法和改进FLANN匹配方法进行特征匹配试验，记录图像匹配的精确率[44]和匹配时间，求取平均值进行对比，以验证改进FLANN匹配方法的优劣性。图5a和图5b分别是煤矸石识别图像与分拣图像，图5c和图5d分别是FLANN匹配特征点对结果图与改进FLANN匹配特征点对结果图。图5e和图5f分别是FLANN匹配结果图与改进FLANN匹配结果。
由图5c和图5d可以看出，改进的FLANN匹配方法剔除了错误的匹配点对，由图5e和图5f可以看出，改进FLANN匹配方法能更精准地找到目标位置。试验结果表明，改进FLANN匹配方法的精确率为90.2%，平均匹配时间为145 ms，FLANN匹配方法的精确率为79.8%，平均匹配时间为138 ms，改进FLANN匹配方法能够提高匹配的准确性并保证匹配速度。
4. 试验结果与分析
4.1 试验环境
双机械臂桁架式煤矸石分拣机器人试验平台如图6所示，按照工作内容，可以将试验平台分为煤矸石识别区域和分拣区域，在试验平台的煤矸石分拣区域进行试验。试验硬件环境为处理器i7-9700K、4G内存、NVIDIA GeForce RTX 2080 GPU的PC机和MV-HS050GC维氏相机。
![]()
图 6 双机械臂煤矸石分拣机器人试验平台Figure 6. Experimental platform of coal gangue sorting robot with double mechanical arm4.2 煤矸石识别图像样本选取
使用MV-HS050GC维氏相机采集煤和煤矸石图片4 500张(煤和煤矸石各2 250张)，并截取样本图像中最具代表性的区域，并对图像采用平移、旋转、缩放等操作进行扩充至45 000张，将其制成煤矸石识别样本库。随机从煤矸识别系统的煤矸石识别样本库中选取500张煤矸石识别图像，作为匹配试验的目标煤矸石识别图像样本，部分目标煤矸石识别图像样本如图7所示。
4.3 不同方法匹配试验对比
为验证提出方法的高效性，匹配结果受到带式输送机输送带带速、尺度、旋转角度等因素综合影响，在不同带速、尺度、旋转角度的匹配试验条件下进行文中方法与SURF特征匹配方法[28]、HU不变矩匹配方法[6]、SIFT特征匹配方法[27]和ORB特征匹配方法[31]对煤矸石识别图像与分拣图像匹配试验。试验以匹配率和匹配时间作为评价指标，其中，匹配率是目标匹配重叠率OP大于给定阈值的图像数占总图像数的百分比，目标匹配重叠率OP计算公式如下：
$$ OP = \frac{{{\mathrm{area}}\left( {{R_1} \cap {R_0}} \right)}}{{{\mathrm{area}}\left( {{R_1} \cup {R_0}} \right)}} $$ (5) 式中，R1为目标匹配成功框；R0为人工标注的目标真实框；area为区域面积；∩为二者重叠区域；∪为二者覆盖总区域；文中给定阈值为0.5。
1）试验1：不同带速试验条件下的匹配试验。在煤矸石分拣机器人分拣区域进行试验，相机与机械臂采用eye in hand方式安装，由于煤矸石图像获取的质量会受光照条件的影响，相机视区光照不均匀导致煤矸石图像特征获取不全面，文献[45]和[46]对不均匀光照下的煤矸石高质量图像的获取与优化，能进一步提高煤矸石图像匹配的准确性。为了保证煤矸石图像特征的全面性，设置光照均匀。在人工拣矸环节中，带速为0.5～0.8 m/s，现有的煤矸分拣机器人分拣煤矸石的输送带带速大小与机器人的机械臂运动性能参数有关，通过现场试验，机器人最高分拣带速为1.1 m/s，设定试验条件为带式输送机输送带带速为0.5 m/s、尺度为0和旋转角度为0°。将煤矸石识别图像样本1与其他非样本的煤矸石混合放置在带式输送机上，使用相机采集样本1煤矸石分拣图像。依次对500张煤矸石识别图像样本的分拣图像进行采集，得到带速为0.5 m/s试验条件下的煤矸石分拣图像样本。仅改变带速，保持其他试验条件不变，分别在带速为0.6、0.7、0.8、0.9、1.0和1.1 m/s试验条件下，获取不同带速煤矸石分拣图像样本。
分别采用文中方法与SURF特征匹配方法、HU不变矩匹配方法、SIFT特征匹配方法和ORB特征匹配方法对煤矸石识别图像样本与对应的煤矸石分拣图像样本进行匹配，记录不同方法的匹配率和匹配时间，其中，匹配时间求取平均值作为结果，匹配试验数据结果见表1。
表 1 不同带速下的匹配试验数据结果Table 1. Results of matching experimental data at different band speeds带速/
(m·s−1)匹配率/% 匹配时间/ms 文中方法 SURF
特征方法HU不变
矩方法SIFT
特征方法ORB
特征方法文中方法 SURF
特征方法HU不变
矩方法SIFT
特征方法ORB
特征方法0.5 98.8 95.5 92.5 94.9 96.1 145 347 645 1175 138 0.6 98.7 95.8 92.2 93.6 95.9 139 336 639 1159 136 0.7 98.5 93.8 91.6 93.5 95.4 132 323 628 1040 129 0.8 98.1 90.2 89.1 88.6 95.1 123 295 595 980 125 0.9 98.0 88.1 87.6 87.2 94.7 114 250 531 862 121 1.0 97.7 87.2 85.7 85.1 93.2 109 248 515 826 120 1.1 97.4 86.4 82.5 83.5 91.5 106 244 512 789 117 由表1可知，带速增大时，5种方法的匹配率和匹配时间开始下降，除文中方法外，其他4种方法的匹配率大幅下降，但文中方法的匹配率仍保持在97%以上且匹配时间保持在145 ms以下，平均匹配率为98.1%，平均匹配时间为124 ms，文中方法的匹配率比其他4种方法更高，且匹配时间更短。
2）试验2：不同尺度试验条件下的匹配试验。在煤矸石分拣机器人分拣区域进行试验，相机与机械臂采用eye in hand方式安装，设置光照均匀，设定试验条件为尺度为0、带式输送机输送带带速为0.5 m/s和旋转角度为0°。将煤矸石识别图像样本1与其他非样本的煤矸石混合放置在带式输送机上，使用相机采集样本1煤矸石分拣图像。依次对500张煤矸石识别图像样本的分拣图像进行采集，得到尺度为0试验条件下的煤矸石分拣图像样本。仅改变尺度，保持其他试验条件不变，分别在尺度为σ、2σ、3σ和4σ试验条件下，获取不同尺度煤矸石分拣图像样本。
分别采用文中方法与SURF特征匹配方法、HU不变矩匹配方法、SIFT特征匹配方法和ORB特征匹配方法对煤矸石识别图像样本与对应的煤矸石分拣图像样本进行匹配，记录不同方法的匹配率和匹配时间，其中匹配时间求取平均值作为结果，匹配试验数据结果见表2。
表 2 不同尺度下的匹配试验数据结果Table 2. Results of matching experimental data at different scales尺度 匹配率/% 匹配时间/ms 文中方法 SURF
特征方法HU不变矩方法 SIFT
特征方法ORB
特征方法文中方法 SURF
特征方法HU不变矩方法 SIFT
特征方法ORB
特征方法0 98.8 95.5 92.5 94.9 96.1 145 347 645 1175 138 1σ 98.5 92.1 91.2 91.8 95.8 151 362 663 1185 157 2σ 98.3 90.9 89.8 89.5 94.2 154 398 685 1197 189 3σ 98.0 89.5 87.5 85.3 92.6 162 472 744 1203 212 4σ 98.0 86.2 84.3 84.8 91.3 173 531 803 1243 265 由表2可知，尺度增大时，5种方法的匹配率逐渐下降，匹配时间逐渐增加，除文中方法外，其他4种方法的匹配率大幅下降，但文中方法的匹配率仍保持在98%以上且匹配时间保持在173 ms以下，平均匹配率为98.3%，平均匹配时间为157 ms，文中方法的匹配率比其他4种方法更高，且匹配时间更短。
3）试验3：不同旋转角度试验条件下的匹配试验。在煤矸石分拣机器人分拣区域进行试验，相机与机械臂采用eye in hand方式安装，设置光照均匀，设定试验条件为旋转角度为0°、尺度为0和带式输送机输送带带速为0.5 m/s。将煤矸石识别图像样本1与其他非样本的煤矸石混合放置在带式输送机上，使用相机采集样本1煤矸石分拣图像。依次对500张煤矸石识别图像样本的分拣图像进行采集，得到旋转角度为0°试验条件下的煤矸石分拣图像样本。仅改变旋转角度，保持其他试验条件不变，分别在旋转角度为−90°、−45°、45°和90°试验条件下，获取不同旋转角度煤矸石分拣图像样本，其中旋转角度以顺时针旋转方向为正。
分别采用文中方法与SURF特征匹配方法、HU不变矩匹配方法、SIFT特征匹配方法和ORB特征匹配方法对煤矸石识别图像样本与对应的煤矸石分拣图像样本进行匹配，记录不同方法的匹配率和匹配时间，其中匹配时间求取平均值作为结果，匹配试验数据结果见表3。
表 3 不同旋转角度下的匹配试验数据结果Table 3. Results of matching experimental data at different rotation angles旋转角度/（°） 匹配率/% 匹配时间/ms 文中方法 SURF
特征方法HU不变
矩方法SIFT
特征方法ORB
特征方法文中方法 SURF
特征方法HU不变
矩方法SIFT
特征方法ORB
特征方法−90 98.3 88.2 86.8 87.5 92.9 158 402 683 1327 372 −45 98.5 89.3 89.4 89.6 94.3 149 381 668 1268 259 0 98.5 93.8 91.6 93.5 96.1 132 323 628 1240 138 45 98.4 89.6 89.8 89.8 93.4 151 375 657 1278 263 90 98.3 88.5 87.9 87.9 92.6 156 396 679 1316 368 由表3可知，旋转角度在−90°～90°，5种方法的匹配率先升高后降低，其中在旋转角度为0°时匹配率最高；5种方法的匹配时间先降低后升高，其中在旋转角度为0°时匹配时间最短。文中方法的匹配率仍保持在98.3%以上且匹配时间保持在158 ms以下，平均匹配率为98.4%，平均匹配时间为149 ms，文中方法的匹配率比其他4种方法更高，且匹配时间更短。
综上所述，文中方法在带速0.5～0.9 m/s可保证98%以上的匹配率，在带速1～1.1 m/s时匹配率下降，对分拣率有一定影响。在不同条件下，文中方法对煤矸石识别图像和分拣图像匹配的平均匹配率为98.2%，平均匹配时间为141 ms，具有较高的匹配率和实时性。
5. 结 论
1)针对传统ORB特征检测方法中的BRIEF描述符检测速度慢、重复率低问题，采用BEBLID描述符对ORB特征检测方法进行改进，较传统ORB方法重复率提高了16.7%，实现了对煤矸石图像特征点快速检测，提高了图像特征检测的重复率。
2)融合PROSAC算法改进了FLANN匹配方法，解决了传统FLANN匹配方法精确率低问题，较传统FLANN方法精确率提高了10.4%，实现了对煤矸石的识别图像与分拣图像高效匹配，提高了图像匹配的精确率。
3)在不同带速、尺度、旋转角度条件下，五种匹配方法进行匹配试验对比，结果表明：在不同条件下，文中方法的匹配率为98.2%，匹配时间为141 ms，实现了煤矸石识别图像与分拣图像的高效匹配。
-
![]()
图 6 双机械臂煤矸石分拣机器人试验平台
Figure 6. Experimental platform of coal gangue sorting robot with double mechanical arm
表 1 不同带速下的匹配试验数据结果
Table 1 Results of matching experimental data at different band speeds
带速/
(m·s−1)匹配率/% 匹配时间/ms 文中方法 SURF
特征方法HU不变
矩方法SIFT
特征方法ORB
特征方法文中方法 SURF
特征方法HU不变
矩方法SIFT
特征方法ORB
特征方法0.5 98.8 95.5 92.5 94.9 96.1 145 347 645 1175 138 0.6 98.7 95.8 92.2 93.6 95.9 139 336 639 1159 136 0.7 98.5 93.8 91.6 93.5 95.4 132 323 628 1040 129 0.8 98.1 90.2 89.1 88.6 95.1 123 295 595 980 125 0.9 98.0 88.1 87.6 87.2 94.7 114 250 531 862 121 1.0 97.7 87.2 85.7 85.1 93.2 109 248 515 826 120 1.1 97.4 86.4 82.5 83.5 91.5 106 244 512 789 117 
下载: 导出CSV
表 2 不同尺度下的匹配试验数据结果
Table 2 Results of matching experimental data at different scales
尺度 匹配率/% 匹配时间/ms 文中方法 SURF
特征方法HU不变矩方法 SIFT
特征方法ORB
特征方法文中方法 SURF
特征方法HU不变矩方法 SIFT
特征方法ORB
特征方法0 98.8 95.5 92.5 94.9 96.1 145 347 645 1175 138 1σ 98.5 92.1 91.2 91.8 95.8 151 362 663 1185 157 2σ 98.3 90.9 89.8 89.5 94.2 154 398 685 1197 189 3σ 98.0 89.5 87.5 85.3 92.6 162 472 744 1203 212 4σ 98.0 86.2 84.3 84.8 91.3 173 531 803 1243 265
下载: 导出CSV
表 3 不同旋转角度下的匹配试验数据结果
Table 3 Results of matching experimental data at different rotation angles
旋转角度/（°） 匹配率/% 匹配时间/ms 文中方法 SURF
特征方法HU不变
矩方法SIFT
特征方法ORB
特征方法文中方法 SURF
特征方法HU不变
矩方法SIFT
特征方法ORB
特征方法−90 98.3 88.2 86.8 87.5 92.9 158 402 683 1327 372 −45 98.5 89.3 89.4 89.6 94.3 149 381 668 1268 259 0 98.5 93.8 91.6 93.5 96.1 132 323 628 1240 138 45 98.4 89.6 89.8 89.8 93.4 151 375 657 1278 263 90 98.3 88.5 87.9 87.9 92.6 156 396 679 1316 368
下载: 导出CSV
-
[1] 李 曼,段 雍,曹现刚,等. 煤矸分选机器人图像识别方法和系统[J]. 煤炭学报,2020,45(10):3636−3644. LI Man,DUAN Yong,CAO Xiangang,et al. Image identification method and system for coal and gangue s-orting robot[J]. Journal of China Coal Society,2020,45(10):3636−3644.
[2] 曹现刚,刘思颖,王 鹏,等. 面向煤矸分拣机器人的煤矸识别定位系统研究[J]. 煤炭科学技术,2022,50(1):237−246. CAO Xiangang,LIU Siying,WANG Peng,et al. Researchon coal g-angue recognition and positioning system for coal gangue sorti-ng robot[J]. Coal Science and Technology,2022,50(1):237−246.
[3] 李亚坤,马宏伟,王 鹏. 基于VGG_16网络的煤和矸石识别技术研究[J]. 煤炭技术,2022,41(9):156−159. LI Yakun,MA Hongwei,WANG Peng. Research on coal and ga-ngue recognition technology based on VGG_16 network[J]. Coal Technology,2022,41(9):156−159.
[4] WANG Peng,MA Hongwei,ZHANG Ye, et al. Trajectory planning for coal gangue sorting robot tracking fast-mass target under multiple constraints. [J]. Sensors,2023,23(9):4412.
[5] 王 鹏,曹现刚,马宏伟,等. 基于余弦定理-PID的煤矸石分拣机器人动态目标稳准抓取算法[J]. 煤炭学报,2020,45(12):4240−4247. WANG Peng,CAO Xiangang,MA Hongwei,et al. Dynamic target steady and accurate grasping algorithm of gangue sorting robot based on cosine theorem-PID[J]. Journal of China Coal Society,2020,45(12):4240−4247.
[6] 马宏伟,孙那新,张 烨,等. 煤矸石分拣机器人动态目标稳定抓取轨迹规划[J]. 工矿自动化,2022,48(4):20−30. MA Hongwei,SUN Naxin,ZHANG Ye,et al. Track planning of c-oal gangue sorting robot for dynamic targetstable grasping[J]. Jo-urnal of Mine Automation,2022,48(4):20−30.
[7] MA Hongwei,WEI Xiaorong,WANG Peng,et al. Multi-Arm Global Cooperative Coal Gangue Sorting Method Based on Improved Hungarian Algorithm[J]. Sensors,2022,22(20):7987.
[8] 曹现刚,吴旭东,王 鹏,等. 面向煤矸分拣机器人的多机械臂协同策略[J]. 煤炭学报,2019,44(S2):763-774. CAO Xiangang,WU Xudong,WANG Peng,et al. Collaborative str-ategy of multi-manipulator for coal-ganguesorting robot[J]. Journal of China Coal Society,44(S2):763-774.
[9] 曹现刚,乔欢乐,吴旭东,等. 考虑含矸率时变性的多臂协同策略优化方法[J]. 机械科学与技术,2023,42(11):1887−1894. CAO Xiangang,QIAO Huanle,WU Xudong,et al. Multi-arm coop-erative strategy optimization method considering time variabilityof gangue rate[J]. Mechanical Science and Technology for Aerospace Engineering,2023,42(11):1887−1894.
[10] 马宏伟,张 烨,王 鹏,等. 多机械臂煤矸石智能分拣机器人关键共性技术研究[J]. 煤炭科学技术,2023,51(1):427−436. MA Hongwei,ZHANG Ye,WANG Peng,et al. Research on key generic technology of multi-arm intelligent coal gangue sorting robot[J]. Coal Science and Technology,2023,51(1):427−436.
[11] 张 烨,马宏伟,王 鹏,等. 煤矸石智能分拣机器人研究进展与关键技术[J]. 工矿自动化,2022,48(12):42−48,56. ZHANG Ye,MA Hongwei,WANG Peng,et al. Research progress and key technologies of gangue sorting robot[J]. Journal of Mine Automation,2022,48(12):42−48,56.
[12] 程德强,钱建生,郭星歌,等. 煤矿安全生产视频AI识别关键技术研究综述[J]. 煤炭科学技术,2023,51(2):349−365. CHENG Deqiang,QIAN Jiansheng,GUO Xingge,et al. Review on key technologies of AI recognition for videos in coal mine[J]. Coal Science and Technology,2023,51(2):349−365.
[13] 汪 洋,金 勇,都之夏,等. 煤矿井下采煤工作面可视化安全监控系统设计[J]. 煤炭科学技术,2018,46(S1):171−175. WANG Yang,JIN Yong,DU Zhixia,et al. Design of under-shaft visual safety monitoring system for coal mining face in mine underground[J]. Coal Science and Technology,2018,46(S1):171−175.
[14] 程德强,寇旗旗,江 鹤,等. 全矿井智能视频分析关键技术综述[J]. 工矿自动化,2023,49(11):1−21. CHENG Deqiang,KOU Qiqi,JIANG He,et al. Overview of key t-echnologies for mine-wide intelligent video analysis[J]. Journal of Mine Automation,2023,49(11):1−21.
[15] 刘孝军,王 飞. 基于AI的煤矿视频智能分析技术[J]. 煤炭科学技术,2022,50(S2):260−264. LIU Xiaojun,WANG Fei. Application of video intelligent analysi-s technology in coal mine based on computer vision[J]. Coal S-cience And Technology,2022,50(S2):260−264.
[16] 程德强,徐进洋,寇旗旗,等. 融合残差信息轻量级网络的运煤皮带异物分类[J]. 煤炭学报,2022,47(3):1361−1369. CHENG Deqiang,XU Jinyang,KOU Qiqi, et al. Overview of key t-echnologies for mine-wide intelligent video analysis[J]. Journal of China Coal Society,2022,47(3):1361−1369.
[17] 孙 林,陈 圣,姚旭龙,等. 矿井智能监控目标识别的图像增强方法与应用[J/OL]. 煤炭学报,1−12[2023-12-20]. https://doi.org/10.13225/j.cnki.jccs.2023.0489. SUN Lin,CHEN Sheng,YAO Xulong,et al. Image enhancement methods and applications for target recognition in intelligent m-ine monitoring[J/OL]. Journal of China Coal Society,1−12[2023-12-20]. https://doi.org/10.13225/j.cnki.jccs.2023.0489.
[18] 刘嗣超,武鹏达,赵占杰,等. 交通监控视频图像语义分割及其拼接方法[J]. 测绘学报,2020,49(4):522−532. LIU Sichao,WU Pengda,ZHAO Zhanjie,et al. Image semantic segmentation and stitching method of trafficmonitoring video[J]. Acta Geodaetica et Cartographica Sinica,2020,49(4):522−532.
[19] 桂 辉,徐晓婷,李 博. 安防监控中图像拼接的配光问题研究[J]. 红外与激光工程,2018,47(8):378−385. GUI Hui,XU Xiaoting,LI Bo. Research on problems of light d-istribution of image splicing in security monitoring[J]. Infrared and Laser Engineering,2018,47(8):378−385.
[20] RYU Jeong-Tak,DONGHWOON Kwon. An Analysis of the Surveilla-nce image monitoring system using multi-image stitching[J]. International Journal of Imaging and Robotics,2017,17(3):31−40.
[21] 孙希延,刘 博,纪元法,等. 基于SIFT改进的无人机图像匹配算法[J]. 电光与控制,2023,30(5):34−38. SUN Xiyan,LIU Bo,JI Yuanfa,et al. Improved UAV image matc-hing algorithm based on SIFT[J]. Electronics Optics & Control,2023,30(5):34−38.
[22] 韩 宇,宗 群,邢 娜. 基于改进SIFT的无人机航拍图像快速匹配[J]. 南开大学学报(自然科学版),2019,52(1):5−9. HAN Yu,ZONG Qun,XING Na. Fast matching of UAV aerial image based on SIFT[J]. Acta ScientiarumNaturalium Universitatis Nankaiensis,2019,52(1):5−9.
[23] MOUSAVI Vahid,Varshosaz Masood,Remondino Fabio. Using Information Content to Select Keypoints for UAV Image Matching[J]. Remote Sensing,2021,13(7):1302−1302. doi: 10.3390/rs13071302
[24] 魏 玮,张芯月,朱 叶. 改进的SIFT结合余弦相似度的人脸匹配算法[J]. 计算机工程与应用,2020,56(6):207−212. WEI Wei,ZHANG Xinyue,ZHU Ye. Improved SIFT algorithm combined with cosine similarity for face matching[J]. Computer Engineering and Applications,2020,56(6):207−212.
[25] 师 硕,于 洋,杨志坚,等. 基于SURF和形状上下文的人脸匹配算法[J]. 计算机应用研究,2018,35(10):3197−3200. SHI Shuo,YU Yang,YANG Zhijian,et al. Face image matching algorithm based on SURF and shape context[J]. Application Re-search of Computers,2018,35(10):3197−3200.
[26] GOGAN Taylor,BEAUDRY Jennifer,OLDMEADOW Julian. Image variabi-lity and face matching[J]. Perception,2022,51(11):804−819.
[27] 张朝伟,周 焰,吴思励,等. 基于SIFT特征匹配的监控图像自动拼接[J]. 计算机应用,2008(1):191−194. ZHANG Chaowei,ZHOU Yan,WU Sili,et al. Automatic Mosaic of surveillance images based on SIFT featurematching[J]. Computer Applications,2008(1):191−194.
[28] LI X G. ,REN C,ZHANG T X, et al. UNMANNED AERIAL VEH-ICLE IMAGE MATCHING based on improved ransacalgorithm and surf algorithm[J]. ISPRS - Internatio-nal Archives of the Photogrammetry,Remote Sensing and Spatial Information Sciences,2020:XLII-3/W1067-70.
[29] 姜煜杰. 改进的LBP算法在人脸识别中的研究与应用[J]. 湖北师范大学学报(自然科学版),2023,43(2):51−59. JIANG Yujie. Research and application of improved LBP algor-ithm in face recognition[J]. Journal of Hubei University(Natural Science),2023,43(2):51−59.
[30] 钟鹏程,李 伟,刘敬华. 基于改进的ORB算法的工件图像识别方法[J]. 机床与液压,2020,48(21):12−16. ZHONG Pengcheng,LI Wei,LIU Jinghua. Workpiece image reco-gnition method based on improved ORB algorithm[J]. MachineTool & Hydraulics,2020,48(21):12−16.
[31] ZHANG Hua,ZHENG Guoxun,FU Haohai. Research on image feature point matching based on ORB and RANSAC Algorith-m[J]. Journal of Physics:Conference Series,2020,1651(1):012187.
[32] 刘 畅,党淑雯,陈 丽. 基于ORB-SLAM3的改进型特征匹配与稠密建图算法[J]. 计算机应用研究,2023,40(11):3443−3449. LIU Chang,DANG Shuwen,CHEN Wen. Improved feature match-ing and dense-mapping algorithm based on ORB-SLAM3[J]. Application Research of Computers,2023,40(11):3443−3449.
[33] 廖泓真,王 亮,孙宏伟,等. 一种改进的ORB特征匹配算法[J]. 北京航空航天大学学报,2021,47(10):2149−2154. LIAO Hongzhen,WANG Liang,SUN Hongwei,et al. An improvedORB feature matching algorithm[J]. Journal of Beijing University of Aeronautics and Astronautics,2021,47(10):2149−2154.
[34] 包家汉,孙德尚,黄建中,等. 基于自适应阈值的型钢精确角点FAST检测算法[J/OL]. 上海交通大学学报:1−25[2023-10-15]. https://doi.org/10.16183/j.cnki.jsjtu.2023.276. BAO Jiahan,SUN Deshang,HUANG Jianzhong,et al. FAST algo-rithm for accurate corner points detection of section steel based on adaptive threshold [J/OL]. Journal of Shanghai JiaotongUniversity:1−25[2023-10-15]. https://doi.org/10.16183/j.cnki.jsjtu.2023.276.
[35] 宋超群,许四祥,杨 宇,等. 基于改进FAST和BRIEF的双目视觉测量方法[J]. 激光与光电子学进展,2022,59(8):173−180. SONG Chaoqun,XU Sixiang,YANG Yu,et al. Binocular vision measurement method using improved FAST and BRIEF[J]. Las-er & Optoelectronics Progress,2022,59(8):173−180.
[36] 周莉莉,姜 枫. 基于FAST和BRIEF的图像匹配算法[J]. 计算机工程与设计,2015,36(5):1269−1273. ZHOU Lili,JIANG Feng. Image matching algorithm based on F-AST and BRIEF[J]. Computer Engineeringand Design,2015,36(5):1269−1273.
[37] 杨 雷,唐瑞尹,张 怡. HOG-FLANN在图像匹配ORB算法中的应用[J]. 机械设计与制造,2022(10):67−70. YANG Lei,TANG Ruiyin,ZHANG Yi. HOG-FLANN application in image matching ORB Algorithm[J]. Machinery Design & Manufacture,2022(10):67−70.
[38] 张志敏,李 彬,田联房,等. 基于SURF的改进FLANN匹配算法[J]. 计算机工程与设计,2022,43(4):941−948. ZHANG Zhimin,LI Bin,TIAN Lianfang,et al. Improved FLANN matching algorithm based on SURF[J]. Computer Engineering a-nd Design,2022,43(4):941−948.
[39] IAGO S,GHESN S,M. J B, et al. BEBLID:Boosted Efficient Bin-ary Local Image Descriptor[J]. Pattern Recognition Letters,2020,133: 366-372.
[40] 杜文康,雷 冬,杭宗庆,等. 基于SURF-PROSAC法的高铁桥梁位移测量技术研究[J]. 铁道科学与工程学报,2023,20(9):3579−3591. DU Wenkang,LEI Dong,HANG Zongqing,et al. Deformation me-asurement technology of high-speed railway bridge based on S-URF-PROSAC method[J]. Jou-rnal of Railway Science and Engineering,2023,20(9):3579−3591.
[41] 张 均,叶庆卫. 基于PSO的改进AdaBoost人脸检测算法[J]. 计算机应用,2020,40(S1):61−64. ZHANG Jun,YE Qingwei. Improved AdaBoost face detection al-gorithm based on particle swarm optimization[J]. Journal of Co-mputer Applications,2020,40(S1):61−64.
[42] K. M,C. S. A performance evaluation of local descriptors[J]. I-EEE Transactions on Pattern Analysis andMachine Intelligence,2005,27(10):1615−1630.
[43] 张慧玲,李 博,张文平,等. 基于PCA-KD-KNN方法的矿井突水水源判别分析研究[J]. 矿业研究与开发,2020,40(12):106−111. ZHANG Huiling,LI Bo,ZHANG Wenping, et al. Studyon discri-minant analysis of mine water inrush source based on PCA-KD-KNN Method[J]Mining Research and Development, 2020,40(12):106−111.
[44] MIKOLAJCZYK K,SCHMID C. Scale & Affine Invariant Interest Poi-nt Detectors[J]. International Journal of Computer Vision,2004,60(1):63−86.
[45] CHEN L,GUO L,CHENG D,et al. Structure-preserving and color-res-toring up-sampling for single low-light image[J]. IEEE Transa-ctions on Circuits and Systems for Video Technology,2022,32(8):1889−1902.
[46] CHENG D, CHEN L,LV C,GUO L,et al. Light-guided and cross-fusionu-net for anti-illumination image super-resolution[J]. IEEE Tra-nsactions on Circuits and Systems for Video Technology,2022,32(12):8436−8449. doi: 10.1109/TCSVT.2022.3194169
-
期刊类型引用(2)
1. 马宏伟，张烨，王鹏，曹现刚，聂珍，魏小荣，周文剑，张明臻. 论“拣矸就是拣图像”的学术思想. 煤炭科学技术. 2025(05): 291-300 . 
本站查看
2. 李和平，洪劭楸，程健，安宁，赵海龙，修海鑫. 融合多级特征增强与权重网格统计的煤矿井下图像匹配. 煤炭科学技术. 2024(11): 129-140 . 本站查看
其他类型引用(5)
计量
- 文章访问数: 221
- HTML全文浏览量: 49
- PDF下载量: 76
- 被引次数: 7
