Research on coal mine robot positioning algorithm based on integration of ORB-SLAM3 vision and inertial navigation
-
摘要:
针对煤矿井下空间狭窄、光线昏暗且严重不均匀使矿井图像存在照度低、纹理稀疏、颜色失真等缺陷，严重影响了视觉SLAM特征点提取匹配结果，导致定位性能急剧下降，提出1种基于改进ORB-SLAM3算法的煤矿移动机器人单目视觉定位算法。首先对ORB-SLAM3定位算法进行改进，在前端特征点提取（ORB）算法的基础上引入了直方图均衡化、非极大值抑制法、自适应阈值法以及基于四叉树策略的特征点均匀化性质；然后在特征点匹配工作中，引入了基于图像金字塔的LK光流法，减少优化的迭代次数，在特征点匹配完成后加入RANSAC算法去除误匹配的特征点，提高特征点的匹配准确率。在后端通过三角测量的方法，得到像素的深度信息，将2D−2D位姿求解问题转化成3D−2D（pnp）位姿求解问题。根据视觉惯导紧耦合的原理，通过融合视觉残差和IMU残差构建整个定位系统的残差函数，并使用基于非线性优化的滑动窗口BA算法不断迭代优化残差函数，获取精确的移动机器人位姿估计。将改进后的算法在4个数据集下与ORB-SLAM3算法以及VINS-Mono算法进行了充分的对比实验。研究表明：① 相比于ORB-SLAM3算法以及VINS-Mono算法，提出定位系统的运动轨迹和真值轨迹最接近；② 提出定位系统的APE各项指标均优于ORB-SLAM3算法以及VINS-Mono算法；③ 提出定位系统均方根误差为0.049 m（4次实验平均值），相较于ORB-SLAM3均方根误差降低了31.1％（四次实验平均值）。
-
关键词:
- 单目视觉 /
- 惯性导航 /
- 移动机器人 /
- 视觉SLAM(即时定位与地图构建)定位 /
- LK光流法
Abstract:Due to the narrow underground environment of coal mine, dark and changeable light, the mine image has the characteristics of low illumination, low contrast map and uneven color, which affects the matching result of visual SLAM feature points extraction and makes the positioning performance drop sharply. In order to improve the positioning accuracy of monocular visual positioning algorithm of coal mine mobile robot in low illumination, weak texture and unstructured environment features, the ORB-SLAM3 positioning algorithm is improved. On the basis of the front-end feature point extraction (ORB) algorithm, histogram equalization, non-maximum suppression, adaptive threshold method and feature point homogenization based on quadtree strategy are introduced. In feature point matching, LK optical flow method based on image pyramid is introduced to reduce the number of optimization iterations. After the feature point matching is completed, the RANSAC algorithm is added to remove the mismatched feature points and improve the matching accuracy of the feature points. Through the method of triangulation at the back end, the pixel depth information is obtained, and the 2D-2D pose solving problem is transformed into 3D-2D (pnp) pose solving problem. According to the principle of tight coupling of visual inertial navigation, the residual function of the whole positioning system is constructed by fusing visual residual error and IMU residual error, and the sliding window BA algorithm based on nonlinear optimization is used to iteratively optimize the residual function to obtain accurate pose estimation of the mobile robot. The improved algorithm is compared with ORB-SLAM3 algorithm and VSIN-Mono algorithm in four data sets. The results show that: (1) Compared with the ORB-SLAM3 algorithm and the VMS-MONO algorithm, the motion trajectory of the proposed positioning system is the closest to the true value trajectory; (2) All indexes of APE of the positioning system are better than ORB-SLAM3 algorithm and VMS-MONO algorithm; The root-mean-square error of the positioning system is 0.049m (the mean value of four experiments), which is 31.1% lower than that of ORB-SLAM3 (the mean value of four experiments).
-
0. 引 言
放顶煤开采通过控制液压支架尾梁的倾斜角度实现后部放煤作业。受限于生产环境和机械结构，操作人员难以直接观察到放煤时煤矸落入后部刮板输送机的情况，需要依赖声音和时间来判断放煤情况[1-3]。在远程或自动放煤操作中，仅依靠尾梁上的倾角传感器来采集尾梁姿态数据，但当传感器损坏时，由于安全规程限制，工人无法进行及时更换，造成支架放煤闭环控制缺失关键反馈数据，无法准确获取设备执行情况，导致放煤控制无法及时调整，从而出现丢煤、落矸等问题[4]。
为了提高放煤执行机构的控制精度，必须准确获取尾梁倾角。当前，尾梁倾角的获取方法有：通过尾梁倾角传感器获取、通过预测模型获取等[5-6]。受煤矿井下环境复杂，电磁扰动、振动和噪声规律不明显等因素影响，尾梁倾角传感器测量的稳定性不高。为了准确获取尾梁倾角，提出一种基于长短期记忆神经网络LSTM算法的尾梁姿态预测模型。根据支架空间坐标、执行机构实时状态、设备健康状态等相关因子与尾梁倾角的非线性相关关系，将相关因子作为时序上的输入量输入深度卷积神经网络（RNN）和长短期神经网络（LSTM），尾梁倾角作为输出量，生成并训练数据相关性模型，构建相关因子与尾梁倾角映射关系，形成基于LSTM的尾梁姿态预测模型。
1. 放煤机构运动分析
1.1 支架机械结构与支护姿态
放煤支架如图1所示，主要包括顶梁、掩护梁、尾梁、立柱。放煤工艺主要由支架掩护梁、尾梁和后部刮板输送机协同实现。放煤时，尾梁插板收回，放煤口打开，尾梁上方区域煤层由于失去支撑力，在矿山压力作用下逐渐塌方，并落入后部刮板输送机。放煤过程由尾梁摆动和插板伸收控制，并避免矸石落入后部刮板机。后部刮板机通过连杆控制与液压支架的水平距离，准确的接收后部落煤并将其运输至带式输送机[7]。因此，尾梁姿态角度是实现精准放煤的关键因素之一。
![]()
图 1 ZFY10800/22/42D型放煤液压支架Figure 1. ZFY10800/22/42D type coal caving hydraulic support支架支护姿态可以分为绝对姿态和相对姿态。绝对姿态指支架相对于地面（绝对坐标系）的空间角度。相对姿态指液压支架各梁与底板的角度关系。建立支架结构模型，如图2所示，支架各梁上的刚性连接处用红色节点标记，支架销轴连接处用蓝色节点表示，支架底座上的刚性连接处用黑色节点表示，油缸连接用绿色虚线表示[8-10]。支架支护姿态受油缸伸收影响，并非完全刚性运动，采用运动学求解需要大量支护结构状态信息。一般情况下，在支架底座、顶梁和尾梁上安装倾角传感器来采集机构的绝对坐标，而立柱、掩护梁油缸和尾梁油缸上较少安装倾角传感器[11]。
1.2 尾梁倾角影响因素
尾梁的相对姿态是指尾梁相对于支架的姿态，通过尾梁相对姿态和支架绝对姿态，可以获取尾梁在三维空间的静态姿态。
设尾梁相对支架的旋转矩阵为
$$ {R_{{\text{rel}}}} = \left( \begin{gathered} \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{r_{11}}}\;&\;{{r_{12}}} \end{array}}&{{r_{13}}} \end{array} \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{r_{21}}}\;&\;{{r_{22}}} \end{array}}&{{r_{23}}} \end{array} \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{r_{31}}}\;&\;{{r_{32}}} \end{array}}&{{r_{33}}} \end{array} \\ \end{gathered} \right) $$ (1) 设尾梁相对支架的位置向量为
$$ {{\boldsymbol{t}}_{{\text{rel}}}} = \left( \begin{gathered} {x_{{\text{rel}}}} \\ {y_{{\text{rel}}}} \\ {z_{{\text{rel}}}} \\ \end{gathered} \right) $$ (2) 设支架在全局坐标系中的旋转矩阵为
$$ {{\boldsymbol{R}}_{{\text{abs}}}} = \left( \begin{gathered} \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{a_{11}}}\;&\;{{a_{12}}} \end{array}}&{{a_{13}}} \end{array} \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{a_{21}}}\;&\;{{a_{22}}} \end{array}}&{{a_{23}}} \end{array} \\ \begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} {{a_{31}}}\;&\;{{a_{32}}} \end{array}}&{{a_{33}}} \end{array} \\ \end{gathered} \right) $$ (3) 设支架在全局坐标系中的位置向量为
$$ {{\boldsymbol{t}}_{{\text{abs}}}} = \left( \begin{gathered} {x_{{\text{abs}}}} \\ {y_{{\text{abs}}}} \\ {z_{{\text{abs}}}} \\ \end{gathered} \right) $$ (4) 尾梁的绝对旋转矩阵 Rtail是支架的绝对旋转矩阵 Rabs与尾梁相对支架的旋转矩阵 Rrel的乘积：
$$ {{\boldsymbol{R}}_{{\text{tail}}}} = {{\boldsymbol{R}}_{{\text{abs}}}}{{\boldsymbol{R}}_{{\text{rel}}}} $$ (5) 尾梁的绝对位置向量ttail是支架的绝对位置向量 tabs加上支架的旋转矩阵 Rabs作用于尾梁相对支架的位置向量 trel之后的结果：
$$ {{\boldsymbol{t}}_{{\text{tail}}}} = {{\boldsymbol{t}}_{{\text{abs}}}} + {{\boldsymbol{R}}_{{\text{abs}}}}{{\boldsymbol{t}}_{{\text{rel}}}} $$ (6) 通过上述计算，可以得到尾梁在全局坐标系中的静态姿态，包括其旋转矩阵 Rtail和位置向量 ttail。完成从支架姿态和尾梁相对姿态到尾梁绝对姿态的解算过程。
尾梁倾角为尾梁与底板之间的夹角。当液压油流入尾梁油缸时，油缸伸长，尾梁倾角增大；当液压油流出油缸时，油缸缩短，尾梁倾角减小[12]。因此，油缸供液状态直接影响了尾梁倾角的变化速率，供液状态受管路压力、供液距离、设备泄压情况、同时供液设备数量的影响，且乳化液压力和流量传感器往往安装在泵站出液口和回液口，无法提供某个具体支架的供液情况，因此只能通过立柱支撑压力、移架速率来反映动力油压的情况[13]。
综上，尾梁倾角影响因素Ptail 描述为
$$ {P_{{\text{tail}}}} = \left\{ {\vec R,\theta ,{H_{{\text{tail}}}},{v_{{\text{push}}}},{N_{{\text{column}}}}} \right\} $$ (7) 其中，$\vec R$为支架底座空间角度；$ \theta $为尾梁倾角传感器采集的角度；Htail为图2所示的支架尾梁刚体Z点相对底板垂直距离；vpush为移架速率；Ncolumn为支架立柱支撑压力。
将尾梁倾角影响因素Ptail输入RNN卷积网络和LSTM神经网络实现尾梁倾角Ptail的预测输出。
2. 基于LSTM的尾梁倾角预测模型
2.1 基于LSTM的尾梁倾角预测模型
使用LSTM神经网络方法进行支架尾梁倾角预测，具体流程如图3所示。
![]()
图 3 支架尾梁倾角预测流程Figure 3. Prediction process of tail beam inclination angle of hydraulic support对尾梁倾角传感器采集到的数据A进行初步筛选，数据A为某矿综放工作面放顶煤支架尾梁连续16 h生产班的运行数据，计算尾梁最快运动时相邻时刻倾角变化速率，该速率乘以1.5倍安全系数，作为支架尾梁正常运动时角速度阈值GRAD，当采集的相邻倾角数据变化速率大于梯度阈值时，数据作为异常数据剔除。数据集A预处理后得到数据集B，公式为
$$ B = \left\{ {A\left| {a \in A,\frac{{\left| {{a_i} - {a_{i - 1}}} \right|}}{{\Delta t}} \leqslant {\text{GRAD}}} \right.} \right\} $$ (8) 式中，$\Delta t $为相邻采集数据的时间间隙，由传感器采样频率决定。
将数据集B的数据按照训练集、验证集、测试集7∶1∶2的比例划分，并采用经典的数据归一化方法，将数据缩放到[0,1]区间。在RNN层，将式（8）归一处理的时序训练集输入卷积网络，提取支架尾梁倾角的时序特征，得到Process Data 1。
在LSTM层，输入Process Data 1，经LSTM的隐藏状态进行时序数据处理，得到Process Data 2。
Process Data 2经过全连接层输出为时序列向量C，该组数据为一次LSTM训练的预测结果。
将预测结果与验证集进行对比，取得验证集的方差evar，比较前次训练后的方差数据和本次训练的方差，当本次方差更小时，更新训练模型。达到训练次数后，输出并保存训练模型。
2.2 基于LSTM的尾梁倾角预测
使用某矿综放工作面放顶煤支架尾梁的运行数据。随机选取5个支架，每个支架选取5 d的运行数据，共计25组数据样本。倾角传感器采集频率10 Hz，数据采集、延时、刷新和上报损失按5%计算，单个数据样本约54.72万条数据向量，任选一个支架尾梁倾角数据样本，如72号支架连续16 h的倾角数据如图4所示。
![]()
图 4 含放煤动作及漂移误差的尾梁倾角原始数据Figure 4. Original data of tail beam inclination including coal discharge action and drift error在自动放煤工艺中，支架尾梁倾角变化率为5～6(°)/s，考虑工况条件和供液稳定性综合影响，尾梁倾角变化率不会大于10(°) /s，考虑倾角传感器采集频率为10 Hz，因此2个采样之间的尾梁倾角变化不会大于30′。基于滤波算法剔除角度漂移和变化异常数据后，得到支架尾梁倾角数据样本，如图5所示。
![]()
图 5 剔除异常采集的尾梁倾角数据Figure 5. Tilt angle data after eliminating the abnormal data collected by sensors剔除异常数据后，尾梁倾角影响因子数据见表1，一条数据包含时间戳、支架底板空间角度、支架尾梁刚体Z点相对底板垂直高度、移架速率、支架立柱压力。
表 1 模型训练原始数据Table 1. Original data for model training时间 影响因子 $ \vec R $ $ \theta $ Htail vpush Ncolumn 2023‒10‒14 16:00:00:053 (4.5,6.7,2.4) 70.6 1.45 0 26.7 2023‒10‒14 16:00:00:154 (4.5,6.7,2.4) 70.6 1.45 0 26.7 2023‒10‒14 16:00:00:256 (4.5,6.7,2.4) 70.4 1.45 0 26.6 2023‒10‒14 16:00:00:357 (4.5,6.7,2.5) 70.5 1.45 0 26.6 2023‒10‒14 16:00:00:460 (4.5,6.7,2.5) 70.5 1.45 0 26.6 $\vdots $ $\vdots $ $\vdots $ $\vdots $ $\vdots $ $\vdots $ 2023‒10‒15 07:59:59:943 (1.4,8.9, ‒1.4) 68.9 1.37 0 27.2 设置LSTM神经网络模型的输入时间步长为ls=20，输出时间步长lp=1，使用2个隐藏层，隐藏层节点分别设置为256个、64个，层间dropout参数设置为0.2，模型最大迭代次数150次，学习率为0.005，当训练40次误差未见明显降低时终止训练，使用Adam优化器计算梯度下降[14]，迭代训练效果如图6所示。当进行50次迭代后，误差损失值接近0.05以下，模型训练结果基本满足预测需求。
选取25个连续样本，输入训练好的支架倾角预测模型，得到2个生产班连续16 h的支架尾梁倾角预测曲线，如图7所示，对比相应时段实际采集的支架尾梁倾角曲线，LSTM模型预测结果与真实值无明显误差。
2.3 模型准确率
选用平均绝对误差MAE、均方根误差RMSE和线性回归相关系数R2作为模型预测回归评价指标[15]。MAE评价模型整体预测的误差，该值越小回归效果越好；RMSE评价模型预测值与测试集的偏离度，该值越小回归效果越好；R2评价模型预测值对真实值的拟合效果，值越接近1越回归效果越好。
为了更直观评价模型的拟合度，设计模型拟合程度指标作为模型评价指标，首先，定义数据集中真实值为yi，预测值为${\hat y_i}$，其中i=1,2,…,N,N为数据集中的样本数量，误差百分比（Percentage Error）可以计算如下：
$$ {{\mathrm{PE}}} = \left| {\frac{{{y_i} - {{\hat y}_i}}}{{{y_i}}}} \right| \times 100\% $$ (9) 定义指示函数$ {I_i} $，表示第i个样本是否满足百分比小于阈值的条件：
$$ {I_i} = \left\{ \begin{gathered} 0\quad{\text{ if }}\left| {\frac{{{y_i} - {{\hat y}_i}}}{{{y_i}}}} \right| \leqslant {{\mathrm{threshold}}} \\ 1\quad{\text{ otherwise}} \\ \end{gathered} \right. $$ (10) 其中，threshold定义为相对误差阈值，不同任务对差异容忍度不同，可以设定不同值，倾角预测对误差要求较高，因此设置threshold为0.03，接着定义拟合程度F为满足条件的样本数量n与总样本数N的比值：
$$ F = \frac{{\displaystyle\sum {{I_i}} }}{N} $$ (11) 评估LSTM模型在预测支架尾梁倾角方面的性能，得出以下评估结果：MAE=1.778 4，RMSE=2.364 1，R2=0.997 04。结果表明，支架尾梁倾角预测模型具有极高的拟合度和预测精度。
代入式（9）、（10）、（11），计算得到模型的拟合度为98.7%，表明LSTM模型在处理支架尾梁倾角预测问题上表现出色，能够有效捕捉数据的复杂非线性关系，实现高精度预测。
3. 应用情况
3.1 井下试验
为了测试支架尾梁姿态预测模型在综放工作面的预测精度，将预测模型部署在集控系统井下巷道监控中心主机上，控制器与主机通过工业以太网连接，进行实时数据通信。综放工作面液压支架尾梁倾角预测流程如图8所示，随机选取5个支架，电液控系统实时采集16 h尾梁倾角数据，录入历史数据库，作为对照组数据；同时采集支架姿态、供液压力和移架速率等相关因子数据，经时序编组后，作为预测样本输入预测模型。试验过程中，对比当前时刻采集到的尾梁倾角数据和上一时刻预测模型计算得出的预测数据来评价预测的准确性。
![]()
图 8 综放工作面液压支架尾梁倾角预测流程Figure 8. Prediction process for tail beam inclination angle ofhydraulic supports in fully mechanized top-coal caving face试验要求工作面环境和设备符合一般生产条件，随机选用状态良好的支架，生产过程按照该矿综放工作面作业规程要求，以自动跟机放煤为主，工人对放煤情况进行人工干预，尾梁倾角传感器数据上报频率为10 Hz。24 h内有1个检修班和2个生产班，每天生产班工作16 h，开采8刀煤。16 h的数据预测和采集结果如图9所示。
支架的尾梁姿态预测曲线和传感采集曲线拟合程度好，预测数据准确反馈出生产情况。与传感采集曲线相比，拟合曲线没有产生角度数据突变，符合液压支架运动学规律；传感器采集曲存在数据漂移孤点，拟合曲线没有数据漂移情况，可以有效的避免采集数据漂移的问题。
进一步验证采集结果的准确性，按式（8）将异常数据进行剔除，得到各个支架的有效采集数据。设置置信区间为(0.98,1.02)，对预测数据的准确率η进行统计，公式为
$$ \eta =\left(\begin{aligned} 1-\frac{\displaystyle\sum\limits_{i=1}^{N}{[{{1}_{{{y}_{i,\text{pre}}}\in \left( 0.98{{y}_{\text{i,col}}},1.02{{y}_{i,\text{col}}} \right)}}]}}{N} \end{aligned}\right)$$ (12) 其中，N为有效数据数量；yi,pre为第i个模型预测输出值；yi,col为第i个传感器采集数据。各个传感器的预测数据准确率见表2。
表 2 16 h模型预测准确率Table 2. Accuracy of the 16-hour model prediction支架编号 剔除异常后数据样本N 准确率η/% 26 831 830 98.3 43 821 065 97.6 68 832 634 98.6 74 828 657 99.1 91 827 554 98.4 基于5个试验支架准确率数据，得到最低准确率为97.6%，支架平均准确率为，加权准确率为98.40%。通过实验表明，在16 h内持续使用预测值输入，预测误差在±2%内的平均概率为98.40%，最小概率为97.6%，模型准确性和稳定性较高。
3.2 极限性能测试
继续选用上述5个支架，持续进行预测，测试模型的性能极限，测试的置信区间为$ \left( \left( {1{{ - }}\lambda } \right){y_{{\mathrm{col}}}},\left( 1 + \lambda \right){y_{{\mathrm{col}}}} \right) $，$\lambda $表示误差因子。记录首次触发区间边界、10次触发区间边界和连续5次触发区间边界的时间（连续5次触发边界认为模型失效）。误差因子$\lambda $取值分别为0.02、0.05和0.10，触发阈值的分布情况如图10所示，统计结果见表3。
![]()
图 10 5个支架在不同置信区间的阈值触发时间Figure 10. Threshold triggering time of 5 scaffolds in different confidence intervals表 3 阈值触发情况Table 3. Threshold triggered results架号 λ 首次触发时间/h 10次触发时间/h 连续触发时间/h 26 0.02 5.3 17.4 30.1 0.05 8.2 21.6 45.2 0.10 20.6 26.3 89.2 43 0.02 3.8 16.4 28.9 0.05 6.5 19.2 41.2 0.10 18.5 22.6 65.6 68 0.02 4.9 19.4 28.6 0.05 17.1 29.6 50.1 0.10 20.9 34.5 94.2 74 0.02 5.4 20.7 42.1 0.05 17.8 27.6 67.8 0.10 26.3 42.1 101.7 91 0.02 5.1 17.2 30.7 0.05 8.2 18.7 51.3 0.10 18.7 30.2 78.9 该煤矿XX202综放工作面采用三班制，每天0—8时为生产班、8−16时为检修班、16−24时为生产班，每个生产班开采8刀煤，支架放煤8次，检修班对放煤作业动作随机操作。实验从0时刻开始，生产班和检修班交替作业。从触发误差计时的时间来看，除68号支架10次触发λ=0.10属于检修班，其他触发误差计时的时间均属于生产班，符合实际概率情况。
从测试结果可知，当λ=0.02时，平均首次触发在4.9 h，平均10次触发在18.2 h，平均连续5次触发在32.1 h；当λ=0.05时，平均首次触发在11.6 h，平均十次触发在23.3 h，平均连续5次触发在51.1 h；当λ=0.10时，平均首次触发在21.0 h，平均10次触发在31.1 h，平均连续5次触发在85.9 h。由此可知，在λ=0.02时，模型在第1个生产班会出现触发边界的误差，模型失效在第3～4个生产班；在λ=0.05时，模型在第1～2个生产班会出现触发边界的误差，模型失效在第5个生产班；在λ=0.10时，模型在第2个生产班会出现触发边界的误差，模型失效在第7～9个生产班，该结果符合累加误差一般规律。
结合表2中单个支架的误差准确率可知，支架的阈值触发与时间与16 h预测准确率呈相关关系，支架准确率与极限误差触发时间之间的分布关系如图11所示，可知支架模型预测准确率越高，模型极限性能越好，推测模型预测的准确率与支架的健康状态存在相关性。
![]()
图 11 模型失效时间−预测准确率关系Figure 11. Relationship between model failure time and prediction accuracy3.3 生产应用情况
当误差因子λ≤0.02时，对放煤作业具有较强的指导意义。在性能极限测试时，首次触发λ=0.02在3.8 h，适当增加安全系数，在不考虑支架健康状态的情况下，以3 h为周期进行偏差校正，理论准确率η=100%。
1）应用模型处理传感采集漂移。
倾角传感器采集数据漂移是常见问题，当GRAD(A)超出置信区间时，使用模型计算Δt时刻的尾梁倾角数据，进行插值，补偿数据滤波造成的倾角数据丢失。将补偿数据插入采集数据，拟合出尾梁倾角曲线，如图12所示，可知其曲线平滑程度符合液压机构运动学规律。该应用有利于更准确的反馈支架尾梁状态，为放煤控制提供数据支撑。
2）应用模型处理传感数据丢失。
当支架无法采集倾角传感器数据时（传感器损坏等情况），可以通过目标支架左右邻架数据作取平均值作为输入，来实时输出目标支架尾梁倾角数据。煤层的情况在前进方向一个支架步距内、水平方向邻架宽度之间往往不存在突变，因此左右邻架作为数据源一般情况下可以较好的反映目标支架情况。
从历史数据中选取
1000 个周期为3 h的数据组，以目标支架左右邻架作为数据源，将左右邻架的数据取平均值，与采集本架数据进行对比，全部数据最大误差范围小于1.5%，平均误差约为0.4%，将平均值作为模型输入，经过模型计算得到尾梁倾角，与采集尾梁倾角进行对比，模型输出准确率达99.8%。将支架尾梁姿态预测模型应用于倾角传感器滤波数据插值和邻架反馈基础上的持续预测，测试效果良好。
4. 结 论
1）为了提高放煤执行机构的控制精度，提出了一种基于长短期记忆神经网络（LSTM）的支架尾梁倾角预测方法。
2）将与尾梁放煤动作相关的支架底板绝对坐标、尾梁倾角、尾梁相对高度、移架速率和立柱压力作为RNN卷积网络和LSTM神经网络的输入变量，建立支架尾梁姿态预测模型。
3）使用某煤矿综放工作面放煤历史数据对支架尾梁姿态预测模型进行训练和验证，建立了一种基于LSTM的支架尾梁倾角姿态预测模型，并对尾梁倾角进行连续16 h预测，结果预测的尾梁倾角曲线与实际尾梁倾角曲线的拟合程度达98.7%。
4）在综采放顶煤工作面开展了3～4个生产班的液压支架尾梁倾角预测试验，经过对比分析预测的尾梁倾角曲线与实际尾梁倾角曲线，当误差因子λ=0.02时，16 h连续预测的准确率为98.40%，模型在连续预测3～4个生产班后失效；以3 h为预测偏差校正周期，理论准确率达100%；以左右邻架作为数据输入源，模型预测的准确率达99.8%。
-
表 1 MH01序列系统误差对比
Table 1 Systematic error comparison of MH01 sequence
定位算法 max/m mean/m median/m min/m rmse/m std/m Ours 0.070 0.023 0.023 0.001 0.026 0.012 ORB-SLAM3 0.225 0.051 0.055 0.0001 0.058 0.027 VINS-Mono 0.791 0.154 0.126 0.019 0.183 0.099 
下载: 导出CSV
表 2 MH04序列系统误差对比
Table 2 Systematic error comparison of MH04 sequence
定位算法 max/m mean/m median/m min/m rmse/m std/m Ours 0.289 0.113 0.105 0.011 0.122 0.045 ORB-SLAM3 0.405 0.153 0.132 0.012 0.166 0.064 VINS-Mono 1.294 0.315 0.247 0.018 0.389 0.229
下载: 导出CSV
表 3 V101序列系统误差对比
Table 3 Systematic error comparison of V101 sequence
定位算法 max/m mean/m median/m min/m rmse/m std/m Ours 0.083 0.035 0.034 0.001 0.037 0.014 ORB-SLAM3 0.088 0.039 0.038 0.004 0.042 0.015 VINS-Mono 0.475 0.118 0.099 0.005 0.142 0.080
下载: 导出CSV
表 4 V102序列系统误差对比
Table 4 V102 sequence system error comparison
定位算法 max/m mean/m median/m min/m rmse/m std/m Ours 0.032 0.011 0.011 0.001 0.012 0.005 ORB-SLAM3 0.162 0.018 0.017 0.003 0.022 0.011 VINS-Mono 0.851 0.250 0.210 0.007 0.307 0.178
下载: 导出CSV
-
[1] 王凤超,刘应科,张利瑶,等. 淹没射流冲击煤体应力模型及破煤临界条件研究[J]. 中国安全科学学报,2023,33(12):122−130. WANG Fengchao,LIU Yingke,ZHANG Liyao,et al. Study on stress model and critical conditions for coal breaking by submerged jet[J]. China Safety Science Journal,2023,33(12):122−130.
[2] SONG M L,WANG J L,ZHAO J J,et al. Production and safety efficiency evaluation in Chinese coal mines:Accident deaths as undesirable output[J]. Annals of Operations Research,2020,291(1):827−845.
[3] 曾一凡,武强,赵苏启,等. 我国煤矿水害事故特征、致因与防治对策[J]. 煤炭科学技术,2023,51(7):1−14. ZENG Yifan,WU Qiang,ZHAO Suqi,et al. Characteristics,causes,and prevention measures of coal mine water hazard accidents in China[J]. Coal Science and Technology,2023,51(7):1−14.
[4] 范京道,徐建军,张玉良,等. 不同煤层地质条件下智能化无人综采技术[J]. 煤炭科学技术,2019,47(3):43−52. FAN Jingdao,XU Jianjun,ZHANG Yuliang,et al. Intelligent unmanned fully-mechanized mining technology under conditions of different seams geology[J]. Coal Science and Technology,2019,47(3):43−52.
[5] 张立亚,李晨鑫,刘斌,等. 基于子图像分割映射点云空间的机器人避障算法[J]. 煤炭科学技术,2024,52(S2):368−374. doi: 10.12438/cst.2023-0948 ZHANG Liya,LI Chenxin,LIU Bin,et al. Robot obstacle avoidance algorithm based on sub-image segmentation mapping point cloud hosting[J]. Coal Science and Technology,2024,52(S2):368−374. doi: 10.12438/cst.2023-0948
[6] 程健,李昊,马昆,等. 矿井视觉计算体系架构与关键技术[J]. 煤炭科学技术,2023,51(9):202−218. doi: 10.12438/cst.2023-0152 CHENG Jian,LI Hao,MA Kun,et al. Architecture and key technologies of coalmine underground vision computing[J]. Coal Science and Technology,2023,51(9):202−218. doi: 10.12438/cst.2023-0152
[7] ZHAI G D,ZHANG W T,HU W Y,et al. Coal mine rescue robots based on binocular vision:A review of the state of the art[J]. IEEE Access,2020,8:130561−130575. doi: 10.1109/ACCESS.2020.3009387
[8] 刘瑞军,王向上,张晨,等. 基于深度学习的视觉SLAM综述[J]. 系统仿真学报,2020,32(7):1244−1256. LIU Ruijun,WANG Xiangshang,ZHANG Chen,et al. A survey on visual SLAM based on deep learning[J]. Journal of System Simulation,2020,32(7):1244−1256.
[9] 高毅楠,姚顽强,蔺小虎,等. 煤矿井下多重约束的视觉SLAM关键帧选取方法[J]. 煤炭学报,2024,49(S1):472−482. GAO Yinan,YAO Wanqiang,LIN Xiaohu,et al. Selection method of visual SLAM key frames with multiple constraints in coal mine underground[J]. Journal of China Coal Society,2024,49(S1):472−482.
[10] DAVISON A J,REID I D,MOLTON N D,et al. MonoSLAM:Real-time single camera SLAM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(6):1052−1067. doi: 10.1109/TPAMI.2007.1049
[11] KLEIN G,MURRAY D. Parallel tracking and mapping for small AR workspaces[C]//2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality. Piscataway,NJ:IEEE,2007:225−234.
[12] MUR-ARTAL R,MONTIEL J M M,TARDÓS J D. ORB-SLAM:A versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics,2015,31(5):1147−1163. doi: 10.1109/TRO.2015.2463671
[13] MUR-ARTAL R,TARDÓS J D. ORB-SLAM2:An open-source SLAM system for monocular,stereo,and RGB-D cameras[J]. IEEE Transactions on Robotics,2017,33(5):1255−1262. doi: 10.1109/TRO.2017.2705103
[14] CAMPOS C,ELVIRA R,RODRÍGUEZ J J G,et al. ORB-SLAM3:An accurate open-source library for visual,visual–inertial,and multimap SLAM[J]. IEEE Transactions on Robotics,2021,37(6):1874−1890. doi: 10.1109/TRO.2021.3075644
[15] 权美香. 基于多传感器信息融合的单目视觉SLAM算法研究[D]. 哈尔滨:哈尔滨工业大学,2021:23−112. QUAN Meixiang. Research on SLAM algorithm of monocular vision based on multi-sensor information fusion[D]. Harbin:Harbin Institute of Technology,2021:23−112.
[16] LIU H M,CHEN M Y,ZHANG G F,et al. ICE-BA:Incremental,consistent and efficient bundle adjustment for visual-inertial SLAM[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway,NJ:IEEE,2018:1974−1982.
[17] MU Q,WANG Y H,LIANG X,et al. Autonomous localization and mapping method of mobile robot in underground coal mine based on edge computing[J]. Journal of Circuits,Systems and Computers,2024,33(1):2450018.
[18] ZHU D X,JI K K,WU D,et al. A coupled visual and inertial measurement units method for locating and mapping in coal mine tunnel[J]. Sensors,2022,22(19):7437. doi: 10.3390/s22197437
[19] 张帆,葛世荣. 矿山数字孪生构建方法与演化机理[J]. 煤炭学报,2023,48(1):510−522. ZHANG Fan,GE Shirong. Construction method and evolution mechanism of mine digital twins[J]. Journal of China Coal Society,2023,48(1):510−522.
[20] SIBLEY G,MATTHIES L,SUKHATME G. A sliding window filter for incremental SLAM[M]//KRAGIC D,KYRKI V,eds. Unifying perspectives in computational and robot vision. Boston,MA:Springer US,2008:103−112.
[21] QIN T,LI P L,SHEN S J. VINS-mono:A robust and versatile monocular visual-inertial state estimator[J]. IEEE Transactions on Robotics,2018,34(4):1004−1020. doi: 10.1109/TRO.2018.2853729
计量
- 文章访问数: 46
- HTML全文浏览量: 6
- PDF下载量: 20
