Visual SLAM algorithm for underground robots in coal mines based on point-line features
-
摘要:
煤矿井下视觉同步定位与地图构建SLAM(Simultaneous Localization and Mapping)应用中,光照变化与低纹理场景严重影响特征点的提取和匹配结果,导致位姿估计失败,影响定位精度。提出一种基于改进定向快速旋转二值描述符ORB (Oriented Fast and Rotated Brief)-SLAM3算法的煤矿井下移动机器人双目视觉定位算法SL-SLAM。针对光照变化场景,在前端使用光照稳定性的SuperPoint特征点提取网络替换原始ORB特征点提取算法,并提出一种特征点网格限定法,有效剔除无效特征点区域,增加位姿估计稳定性。针对低纹理场景,在前端引入稳定的线段检测器LSD (Line Segment Detector) 线特征提取算法,并提出一种点线联合算法,按照特征点网格对线特征进行分组,根据特征点的匹配结果进行线特征匹配,降低线特征匹配复杂度,节约位姿估计时间。构建了点特征和线特征的重投影误差模型,在线特征残差模型中添加角度约束,通过点特征和线特征的位姿增量雅可比矩阵建立点线特征重投影误差统一成本函数。局部建图线程使用ORB-SLAM3经典的局部优化方法调整点、线特征和关键帧位姿,并在后端线程中进行回环修正、子图融合和全局捆绑调整BA (Bundle Adjustment)。在EuRoC数据集上的试验结果表明,SL-SLAM的绝对位姿误差APE (Absolute Pose Error)指标优于其他对比算法,并取得了与真值最接近的轨迹预测结果:均方根误差相较于ORB-SLAM3降低了17.3%。在煤矿井下模拟场景中的试验结果表明,SL-SLAM能适应光照变化和低纹理场景,可以满足煤矿井下移动机器人的定位精度和稳定性要求。
-
关键词:
- 井下机器人 /
- 视觉SLAM /
- 双目视觉 /
- SuperPoint特征 /
- LSD线特征
Abstract:In the application of visual SLAM(Simultaneous Localization and Mapping) in coal mines, lighting changes and low-texture scenes seriously affect the extraction and matching of feature points, resulting in the failure of pose estimation and affecting the positioning accuracy. Therefore, a binocular vision localization algorithm SL-SLAM for underground mobile robots in coal mines based on the improved ORB (Oriented Fast and Rotated Brief)-SLAM3 algorithm is proposed. For the lighting change scenario, the original ORB feature point extraction algorithm is replaced by the SuperPoint feature point extraction network with lighting stability at the front end, and a feature point grid limitation method is proposed to effectively eliminate the invalid feature point area and increase the stability of pose estimation. For the low-texture scene, a stable LSD(Line Segment Detector) line feature extraction algorithm is introduced at the front end, and a point-line joint algorithm is proposed, which groups the line features according to the feature point grid, and matches the line features according to the matching results of the feature points, so as to reduce the matching complexity of the line features and save the pose estimation time. The reprojection error model of point features and line features is constructed, the angle constraints are added to the line feature residual model, the Jacobian matrix of the pose increment of point features and line features is derived, the unified cost function of the reprojection error of point features and line features is established, the local mapping thread uses the ORB-SLAM3 classic local optimization method to adjust the pose of points, line features and keyframes, and performs loop correction, subgraph fusion and global BA(Bundle Adjustment) in the back-end thread. The experimental results on the EuRoC dataset show that the APE(Absolute Pose Error) index of SL-SLAM is better than other comparison algorithms, and the trajectory prediction results closest to the true value are obtained, and the root mean square error is reduced by 17.3% compared with ORB-SLAM3. The experimental results of simulating the underground scene of coal mine show that SL-SLAM can adapt to the scene of light change and low texture, and can meet the positioning accuracy and stability of the mobile robot in the underground coal mine.
-
0. 引 言
煤矿智能化是煤炭产业的发展趋势,其是将人工智能、智能装备、物联网、机器人等与现代煤炭开发利用深度融合,形成全面感知、实时互联、分析决策、自主学习、动态预测、协同控制的智能系统[1-4],其中煤矿井下机器人的研发是实现煤矿智能化的重要基础。2019年,国家矿山安全监察局颁发了《煤矿机器人重点研发目录》,重点针对掘进机器人、巡检机器人、采煤机器人等井下机器人进行研发。2023年,工业和信息化部等部门颁布的《机器人+应用行动实施方案》明确指出了加快推动煤矿井下机器人的研发与应用。井下移动机器人的精确定位是实现智能化的前提,国内外学者探索了惯导定位[5]、视觉定位[6]、超宽带定位[7]、惯导与视觉融合定位[8]、GPS 定位、全站仪定位等方案,但煤矿井下环境特殊,存在光照多变、地形复杂、信号屏蔽严重等情况[9],导致地面常用的定位方法失去了原有的精度。因此亟须一种适用于煤矿井下特殊环境且鲁棒性好的移动机器人定位算法。
视觉SLAM(Simultaneous Localization and Mapping)不仅成本低,还可以通过对特征丰富的图像进行分析,得到更精确的感知信息,成为当前的研究热点。视觉SLAM系统一般由前端视觉里程计、地图构建、后端优化和回环检测构成。PTAM[10]是最早的SLAM系统雏形,由跟踪和建图2个并行线程组成,为后续的SLAM系统提供了框架基础。ORB (Oriented Fast and Rotated Brief)-SLAM[11]扩展了PTAM的框架,采用跟踪、局部优化和回环检测3个线程,但只能在CPU上实时运行单目相机。ORB-SLAM2[12]扩展了第一代的工作,提出了适用于单目、双目、深度相机的SLAM系统,并加入重定位机制,使机器人识别见过的位置。2020年CAMPOS等[13]提出了最新的ORB-SLAM3,该系统总结了前2代的工作,增加了地图复用功能,并用较低的计算资源实现了高召回率,适用于各种相机类型,是目前定位精度最高的SLAM算法。
随着计算机视觉技术不断发展,越来越多的算法被应用于SLAM框架中,但是煤矿井下机器人的SLAM技术应用起步较晚。视觉SLAM对低光照、运动模糊和低纹理环境敏感,其应用于煤矿井下还有很多亟须解决的问题。例如仅使用ORB算法在煤矿井下进行图像匹配时,会出现特征提取失败、特征不足和跟踪丢失等问题,导致机器人位姿估计失败,影响定位精度。QI等 [14]改进了ORB特征点算法[15],提出基于边缘计算的煤矿井下SLAM系统,解决了低纹理场景下的特征提取问题,但难以应对井下突然变化的光照。江松等[16]提出了暗环境适应性的煤矿井下机器人定位方法,在前端加入了图像增强网络,以应对煤矿井下低照度的环境,但难以在巷道等低纹理环境保持鲁棒性。高毅楠等[17]针对井下复杂环境对SLAM关键帧选取方法进行改进,提出了多种约束的视觉SLAM关键帧选取方法,成功提高移动机器人在煤矿井下的定位精度,但要求前端视觉里程计满足完全初始化条件。
上述定位方法难以同时应对光照变化、低纹理等井下特殊环境。笔者在ORB-SLAM3算法基础上进行改进,提出了SL-SLAM (SuperPoint LSD-SLAM)算法。在前端使用具有光照鲁棒性的SuperPoint[18]特征点匹配算法替换ORB算法,提出特征点网格限定法筛选无效特征点区域;引入LSD线特征提取算法[19],通过点线联合算法节约位姿估计时间;建立点线特征重投影误差统一成本函数,提高位姿估算精度。在EuRoC数据集[20]以及煤矿井下模拟场地的试验表明,研究提出的算法可提高煤矿井下移动机器人的定位精度和稳定性。
1. 基于改进ORB-SLAM3的SL-SLAM算法
SL-SLAM框架如图1所示,主要由跟踪、局部建图和后端优化3个基本线程组成。在跟踪线程中,输入为双目相机获取的左右图像,对于每个图像对,首先使用改进的SuperPoint提取左侧图像特征点,并使用SuperGlue[21]将其与最后一个关键帧进行匹配。同时对右侧图像使用LSD算法提取线特征,使用LBD[22]算法进行线段描述。采用点线关联算法将2种特征进行关联,利用匹配结果匹配线特征。最后由点特征匹配误差和具有角度约束的线特征重投影误差点建立统一成本函数。根据时间和特征的跟踪数量设置关键帧,将关键帧作为局部建图线程的输入,根据插入的关键帧三角化后的点线特征建立局部地图,并使用ORB-SLAM3经典的局部优化方法调整点、线特征和关键帧位姿。
1.1 SuperPoint特征点提取算法
煤矿井下环境往往伴随着光照变化、多噪声和低照度等现象,地面常用的传统特征点提取算法失去了原有的精度。SuperPoint特征点提取算法基于数据驱动,对低光、变光有很强的鲁棒性,比ORB等传统方法更适用于煤矿井下环境。SuperPoint算法是一种自监督的全卷积网络,训练网络所需的角点数据集由网络自身生成。SuperPoint算法分为3个步骤:① 关键点预训练,对于三角形、正方形和多边形等简单几何形状标注显而易见的角点得到合成数据集Synthetic Shapes,使用该数据集训练一个全卷积网络作为特征点检测器,称之为MagicPoint。② 关键点自标注,利用MagicPoint在没有标注的真实数据集上提取图像角点,将其当作伪特征点真值,并利用Homographic Adaptation技术实现MagicPoint自监督训练。③ 单应性变换,为了提高特征点和描述符的准确性,对数据集中的图像进行几何变换得到新的关联图像样本,以此模拟匹配关系上的真值,最后将该图像对输入到SuperPoint网络中,输出特征点和描述子。SuperPoint算法网络框架如图2所示。
1.2 特征点网格限定法
煤矿井下采集的图像往往纹理分布不均匀,提取的特征点也呈现分布不均匀现象,而特征点过于集中将影响SLAM的精度。常用的特征点均匀化方法为四叉树均匀化,但该方法容易过度分割,增加冗余特征计算量,同时也影响点特征与线特征的关联,难以筛选出影响位姿估计精度的特征点。另外,井下运行的车辆、行走的工人等动态目标对特征匹配造成干扰,影响匹配精度。因此,提出一种特征点网格限定法,将输入图像划分为$ N = {{H \times W} \mathord{\left/ {\vphantom {{H W} {P P}}} \right. } {P \times P}} $个网格,将网格中SuperPoint网络检测的特征点按照softmax得分进行排序,在每一个网格中仅保留得分前8的特征点。受文献[23]启发,在每个网格分别计算网格内所有匹配点与估计点之间的欧几里得距离平方和,然后标记所有小于阈值的网格为无效特征区域;同时考虑到较短时间内两帧之间的无效区域变化较小,在时间上具有相关性,在计算匹配点与估计点距离时添加初始项和更新项,以充分利用多帧的无效网格距离权重信息。如图3所示,$ {{\boldsymbol{T}}_{{\text{p2c}}}} $、$ {{\boldsymbol{T}}_{{\text{k2p}}}} $、$ {{\boldsymbol{T}}_{{\text{k2k}}}} $为前一帧到当前帧(目标帧)的位姿变换矩阵,理想情况下,匹配点$ {p_{\mathrm{c}}} $应当和估计点$ {p'_{\mathrm{c}}} $重合,然而在存在无效特征点的情况下,$ {p_{\mathrm{c}}} $在采样时间内运动到了$ {p'_{\mathrm{c}}} $,导致实际$ {p'_{\mathrm{c}}} $的重投影误差大于由位姿变换矩阵估计出的点$ {p_{\mathrm{c}}} $的重投影误差。利用该特点可以得到无效特征点网格的位置,通过式(1)计算当前帧$ {I_t} $的每个网格中匹配特征点与估计点之间的平均距离及对应的权重:
$$ \left\{ {\begin{array}{*{20}{l}} {d = \dfrac{1}{m}\displaystyle\sum\limits_{i = 1}^m {\sqrt {{{\left( {{p_i} - {p'_i}} \right)}^2}} } } \\ {{w_t}(d) = G(d)} \end{array}} \right. $$ (1) 其中,i为网格内匹配特征点的索引值;$ \sqrt {{{\left( {{p_i} - {p'_i}} \right)}^2}} $为2点之间的欧几里得距离,$ G(d) $为高斯函数。若网格内没有无效点特征,则计算得到的距离权重接近1,相反,网格内的无效特征点越多,距离权重越接近0。如果小于设定阈值,可以认为该网格及其周围8个网格为无效特征点网格。针对静态物体发生移动或者动态物体缓慢移动的情况,同时将$ {I_{t - 1}} $与$ {I_{t - 2}} $比较得到的网格距离权重引入到当前帧对应网格距离权重的计算中:
$$ {w_t}(d) = \alpha w_d^{t,t - 1} + (1 - \alpha )w_d^{t - 1,t - 2} $$ (2) 其中,t为当前帧,为帧数的索引值;Wd为距离权重,$ w_d^{t - 1,t - 2} $为前一帧网格的距离权重,为初始项,$ w_d^{t,t - 1} $为当前帧网格的距离权重,为更新项,算法的流程如算法1所示,筛选结果如图4所示。
算法1 无效特征点网格位置寻找 输入:It−1的均匀运动模型$ {T_{{\text{k}}2{\text{p}}}} $,It与It−1之间的匹配点集合,It−1网格的距离权重。 输出:当前帧It的无效特征点网格位置 1: 将It划分为$ N = {{H \times W} \mathord{\left/ {\vphantom {{H \times W} {P \times P}}} \right. } {P \times P}} $个网格,得到$ {g_i} $个网格,每个网格有$ {p_i} $个特征点 2: for It中的每个网格$ {g_i} $ 3: for $ {g_i} $中的特征点$ {p_i} $ $ d += {\text{pointerr}}{{\left( {{p_i},{T_{{\mathrm{k2p}}}}} \right)} \mathord{\left/ {\vphantom {{\left( {{p_i},{T_{{\mathrm{k2p}}}}} \right)} n}} \right. } n} $ $ {\tilde w_t}(d) = G(d) $ $ {w_t}(d) = \alpha w_d^{t,t - 1} + (1 - \alpha )w_d^{t - 1,t - 2} $ 5: end for 6: if $ {w_t}(d) $<$ \ell $ then 7: $ {\text{GRIDS\_LOCATION + }} =\{(x_{g_i}-1, y_{g_i}-1)\sim (x_{g_i}+1, y_{g_i}+1)\} $ 8: end if 9: end for 10: return GRIDS_LOCATION 1.3 线特征预处理与点线关联算法
移动机器人在煤矿井下工作时还会遇到低纹理环境,导致提取不到足够的特征点,进而影响位姿估计的稳定性。因此,在跟踪线程引入LSD线特征,避免因特征点数量不足而导致位姿估计失败。LSD线特征提取算法将一条线段分为多段,长线段比短线段的重复性更强,受噪声影响更小,因此首先对提取的线特征进行预处理,基于线段角度和空间的接近度对提取到的直线段进行聚合和删除操作。采用文献[24]所提方法进行线段筛选,具体流程如图5所示,$s_i(x_{s_i},y_{s_i}),s_k(x_{s_k},y_{s_k}) $等表示线段端点坐标;i为源线段(待处理线段)的索引值,j,k为要聚合或删除线段的索引值。将LSD算法提取的直线段按照长度进行排列,初步筛选出长度大于$ l $的直线段得到线段集合$ L' $,$ l = \min (H,W) \times \zeta $,$ H $与$ W $为输入图像尺寸,$ \zeta $为长度系数,取值为$ 5 \times {10^{ - 2}} $,然后在集合$ L' $中按式(3)进行筛选,得到候选线段组$ {L'_a} $:
$$ \left\{\begin{array}{l} {{L'}}_{a}=\{\forall {l}_{i}\in L':(\left|{\theta }_{i}-{\theta }_{1}\right|) \lt \delta {\theta }_{\mathrm{min}} \\ \delta =1-\dfrac{1}{1+{\text{e}}^{-4{\lambda }_{i}+5}},{\lambda }_{i}=\dfrac{{k}_{i}}{{k}_{1}} \end{array}\right. $$ (3) 其中,li表示L'中的线段,其长度为ki,k1为初步筛选的长度l,$ \delta $为水平角融合系数,$ {\theta _{\min }} $设置为$ {\pi \mathord{\left/ {\vphantom {\pi {90}}} \right. } {90}} $。$ \delta $为候选线段在角度上的相关性,其值越大则候选线段的聚合可能性越大。最后,根据文献[25]所提几何约束关系对线段进行聚合或删除。候选线段$ {l_a} $与源线段$ {l_i} $端点之间的平均距离为$ D = ({d_{{S_{ji}}}} + {d_{{E_{ji}}}} + {d_{{S_{ki}}}} + {d_{{E_{ki}}}})/4 $,如果$ D \lt \xi d $(其中$ \xi d $为垂直阈值),那么$ {l_a} $与$ {l_i} $是强相关的,需要进行聚合,只保留源线段$ {l_i} $,聚合后的首尾坐标为$ {S_i}\left( {{x_{{S_i}}},{y_{{S_i}}}} \right) $,$ {E_i}\left( {{x_{{E_i}}},{y_{{E_i}}}} \right) $; 如果$ \xi d \lt D \lt 3\xi d $,那么$ {l_a} $为冗余线段,需要进行删除,选择偏离最远的首尾端点作为新线段,删除后的首尾坐标为$ {S_j}\left( {{x_{{S_j}}},{y_{{S_j}}}} \right) $,$ {E_k}\left( {{x_{{E_k}}},{y_{{E_k}}}} \right) $;如果$ D \gt 3\xi d $,$ {l_a} $和$ {l_i} $是独立的,$ {l_a} $作为新的源线段进行聚合和删除操作,直到$ {L'_a} $中的线段全部被聚合或删除。优化后的提取效果如图6所示。
经过聚合和删除后的线特征在匹配时缺乏极线约束,如果使用暴力匹配会大大增加计算时间,不利于视觉里程计的实时性,因此提出一种点线关联算法,结合网格限定法对提取的线特征与点特征进行关联,节约线匹配时间。在1.2节筛选出了有效特征点网格,将右图像中经过相同区域的线特征进行分组,这里的相同区域可以设定为某一网格向外扩展n层。线特征分组包含3种情况:不经过特征点所在的网格;端点在扩充网格区域内;端点经过网格扩充区域。如图7所示,特征点$ {p_1} $所在的网格向外扩展1层得到扩充区域为
$$ {G_1} = \{ ({x_1} - 1,{y_1} - 1)\sim ({x_1} + 1,{y_1} + 1)\} $$ (4) 图7中绿色和蓝色的情形统称为经过$ {G_1} $区域,假设检测到$ K $条线段经过该区域,以及$ Q $个特征点,其中每个特征点表示为$ {p_i}({x_i},y{}_i) $,每条线段表示为$ {l_j} = ({A_j},{B_j},{C_j},{x_{j,1}},{y_{j,1}},{x_{j,2}},{y_{j,2}}) $,其中$ ({A_j},{B_j},{C_j}) $为线段参数,$ ({x_{j,1}},{y_{j,1}},{x_{j,2}},{y_{j,2}}) $为线段端点,j表示经过G1区域的线段索引值$j \in 1,2,3, \cdots, K $。
参考文献[26]的计算方式:
$$ {D_{ij}} = D\left( {{p_i},{l_j}} \right) = \dfrac{{\left| {{A_j} {x_i} + {B_j} {y_i} + {C_j}} \right|}}{{\sqrt {A_j^2 + B_j^2} }} $$ (5) 如果$ {D_{ij}} $小于设定阈值,并且点$ {p_i} $在坐标轴上的投影位于线段$ {l_j} $端点的投影范围内,即$ \min ({x_{j,1}}, {x_{j,2}}) \leqslant {x_i} \leqslant \max ({x_{j,1}},{x_{j,2}})\dfrac{1}{2} $或$ \min ({y_{j,1}},{y_{j,2}}) \leqslant {y_i} \leqslant \max ({y_{j,1}}, {y_{j,2}}) $,则认为点$ {p_i} $可以和$ {l_j} $关联。通过遍历每个有效特征点网格,直至所有特征点和特征线进行关联。根据特征点匹配结果实现两帧的线特征匹配,算法流程如算法2所示。
算法2 点线关联算法 输入: 经过筛选后的网格$ {g_i} $,以$ {g_i} $为中心的扩展区域集合$ G $,所有点特征$ {p_i} $,线特征$ {l_j} $ 输出:与特征点关联的线特征集合$ {L_p} $ 1: for 每个扩展区域$ {G_i} $ 2: 筛选出经过$ {G_i} $的线特征 3: for $ {G_i} $中的特征点$ {p_i} $ 4: $ {D_{ij}} = D\left( {{p_i},{l_j}} \right) $
且$ \min ({x_{j,1}},{x_{j,2}}) \leqslant {x_i} \leqslant \max ({x_{j,1}},{x_{j,2}}) $
或$ \min ({y_{j,1}},{y_{j,2}}) \leqslant {y_i} \leqslant \max ({y_{j,1}},{y_{j,2}}) $5: end for 6: if $ {D_{ij}} \lt \delta $ then 7: $ [{p_i},{l_i}] \in {L_p} $ 8: end if 9: end for 10: return $ {L_p} $ SuperPoint网络提取的特征点具有光照鲁棒性,在低光环境中具有稳定性,与之关联的线特征也表现稳定。如图8所示,在低纹理低光照的环境中,仍表现出稳定的点线特征匹配(线特征相同颜色代表匹配)。
1.4 位姿估计统一成本函数
空间直线的参数化可采用Plücker坐标表示和直线正交表示。在初始化时,采用Plücker坐标表示空间直线便于线特征投影、变换和雅可比矩阵的使用;在优化时,采用正交表示,使用4个参数对直线进行紧凑的参数化,避免引入额外约束。直线$ {\boldsymbol{L}} $的Plücker坐标表示为
$$ {\boldsymbol{L}} = \left[ {\begin{array}{*{20}{c}} n \\ v \end{array}} \right] \in {\mathbb{R}^6} $$ (6) $ {\boldsymbol{v}} \in {{\boldsymbol{R}}^3} $为直线的方向向量,$ {\boldsymbol{n}} \in {{\boldsymbol{R}}^3} $为直线和原点$ O $构成的平面$ \gamma $的法向量。根据同一个空间直线在两帧相机平面的投影和相机光心可以确定两个平面$ {\gamma _1} $和$ {\gamma _2} $,两个平面确定唯一的空间直线,因此可以得到对偶Plücker矩阵$ {{\boldsymbol{L}}^ * } $:
$$ {{\boldsymbol{L}}^ * } = \left[ {\begin{array}{*{20}{c}} {{{\left[ v \right]}_ \times }}&{{n}} \\ { - {{{n}}^{\text{T}}}}&0 \end{array}} \right] = {\gamma _1}\gamma _2^{\text{T}} - {\gamma _2}\gamma _1^{\text{T}} \in {{\boldsymbol{R}}^{4 \times 4}} $$ (7) 然后从对偶矩阵中可以提取直线的Plücker坐标。空间直线的正交表示$ (U,W) $,可以通过对$ {\boldsymbol{L}} $的Plücker坐标进行$ QR $分解可得到:
$$ QR\left[ {n|v} \right] = {\boldsymbol{U}}\left[ {\begin{array}{*{20}{c}} \begin{gathered} {w_1} \\ 0 \\ 0 \\ \end{gathered} &\begin{gathered} 0 \\ {w_2} \\ 0 \\ \end{gathered} \end{array}} \right] $$ (8) 其中$ {w_1} $和$ {w_2} $存在以下关系:
$$ {\boldsymbol{W}} = \left[ {\begin{array}{*{20}{c}} {\cos \;\theta }&{ - \sin \;\theta } \\ {\sin \;\theta }&{\cos \;\theta } \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{w_1}}&{ - {w_2}} \\ {{w_2}}&{{w_1}} \end{array}} \right] $$ (9) $ {\boldsymbol{U}} $、$ {\boldsymbol{W}} $分别为三维旋转矩阵和二维旋转矩阵,对于$ \left[ {n|v} \right] $:
$$ \left[ {n|v} \right] = \left[ {\begin{array}{*{20}{c}} {\dfrac{n}{{\left\| n \right\|}}}&{\dfrac{v}{{\left\| v \right\|}}}&{\dfrac{{n \times v}}{{\left\| {n \times v} \right\|}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} \begin{gathered} \left\| n \right\| \\ 0 \\ 0 \\ \end{gathered} &\begin{gathered} 0 \\ \left\| v \right\| \\ 0 \\ \end{gathered} \end{array}} \right] $$ (10) Plücker坐标与正交表示的关系为
$$ {{{\boldsymbol{L}} = }}\left[ {\begin{array}{*{20}{c}} {{w_1}{u_1}} \\ {{w_2}{u_2}} \end{array}} \right] $$ (11) 其中,$ {u_1} $为矩阵$ {\boldsymbol{U}} $的第1列,$ {u_2} $为矩阵$ {\boldsymbol{U}} $的第2列。
为了系统计算的一致性,使用重投影误差定义空间直线的残差模型,首先将一条空间直线投影到成像平面上,然后计算投影线与成像平面中匹配线之间的误差。如图9所示,$ {l_1} $和$ {l_2} $表示空间直线$ l $投影到成像平面上的线段,$ {l'_2} $为$ {l_2} $的匹配线。重投影误差定义为由重投影线段$ {l_2} $的端点与匹配线$ {l'_2} $之间的欧氏距离组成的向量:
$${{e}} = \left[ l_2^{\prime \mathrm{T}} [x_1,x_2]^{\mathrm{T}}\right]^{\mathrm{T}} = \left[ {\dfrac{{x_1^{\rm{T}}{l'_2}}}{{\sqrt {l_1^2 + l_2^2} }},\dfrac{{x_2^{\rm{T}}{l'_2}}}{{\sqrt {l_1^2 + l_2^2} }}} \right]^{\rm{T}} $$ (12) 其中,$ {l'_2} = {\left( {{l_1},{l_2},{l_3}} \right)^{\rm{T}}} $,$ {x_1} = {({u_1},{v_1},1)^{\rm{T}}} $和$ {x_2} = ({u_2}, {v_2},1)^{\rm{T}} $为重投影线段$ {l_2} $的端点。$ {{e}} $也可以用2个端点到匹配线之间的距离表示:
$$ {{{e}}_1} = \dfrac{{x_1^{\rm{T}}{{l'}_2}}}{{\sqrt {l_1^2 + l_2^2} }} $$ (13) $$ {{{e}}_2} = \dfrac{{x_2^{\rm{T}}{{l'}_2}}}{{\sqrt {l_1^2 + l_2^2} }} $$ (14) 这种直线重投影表示仅考虑了重投影线段$ {l_2} $的端点到匹配线$ {l'_2} $的距离,缺少对2条直线之间角度关系的考虑,因此在重投影误差模型的构造中添加了表示2条直线之间角度的参数$ {{{e}}_3} $:
$$ {{{e}}_3} = \dfrac{{{v_1} - {v_2}}}{{{u_1} - {u_2}}} - \dfrac{{l_1^2}}{{l_2^2}} $$ (15) $ {e_3} $可以理解为重投影线和匹配线之间的斜率差,新的重投影误差$ {{{e}}_l} = {({e_1},{e_2},{e_3})^{\rm{T}}} $,那么$ {e_l} $的雅可比矩阵可以推导为
$$ {\text{ }}\dfrac{{\partial {e_l}}}{{\partial {{l'}_2}}} = \left[ {\begin{array}{*{20}{c}} {\dfrac{{\partial {e_1}}}{{\partial {l_1}}}}&{\dfrac{{\partial {e_1}}}{{\partial {l_2}}}}&{\dfrac{{\partial {e_1}}}{{\partial {l_3}}}} \\ {\dfrac{{\partial {e_2}}}{{\partial {l_1}}}}&{\dfrac{{\partial {e_2}}}{{\partial {l_2}}}}&{\dfrac{{\partial {e_2}}}{{\partial {l_3}}}} \\ {\dfrac{{\partial {e_3}}}{{\partial {l_1}}}}&{\dfrac{{\partial {e_3}}}{{\partial {l_2}}}}&{\dfrac{{\partial {e_3}}}{{\partial {l_3}}}} \end{array}} \right] =$$ $$ \left[ {\begin{array}{*{20}{c}} {\dfrac{{{u_1}l_2^2 - {l_1}{l_2}{v_1} - {l_1}{l_3}}}{{{{\left( {l_1^2 + l_2^2} \right)}^{\tfrac{3}{2}}}}}}&{\dfrac{{{u_1}l_1^2 - {l_1}{l_2}{u_1} - {l_2}{l_3}}}{{{{\left( {l_1^2 + l_2^2} \right)}^{\tfrac{3}{2}}}}}}&{\dfrac{1}{{\sqrt {l_1^2 + l_2^2} }}} \\ {\dfrac{{{u_2}l_2^2 - {l_1}{l_2}{v_2} - {l_1}{l_3}}}{{{{\left( {l_1^2 + l_2^2} \right)}^{\tfrac{3}{2}}}}}}&{\dfrac{{{u_2}l_1^2 - {l_1}{l_2}{u_2} - {l_2}{l_3}}}{{{{\left( {l_1^2 + l_2^2} \right)}^{\tfrac{3}{2}}}}}}&{\dfrac{1}{{\sqrt {l_1^2 + l_2^2} }}} \\ { - \dfrac{{2{l_1}}}{{l_2^2}}}&{\dfrac{{2l_1^2}}{{l_2^3}}}&0 \end{array}} \right] $$ (16) 接下来通过链式求导法则推导$ {{\boldsymbol{e}}_l} $关于位姿增量和直线增量的雅可比矩阵,详细步骤可以在文献[27]找到,最后以所有空间点和空间直线的重投影误差作为统一成本函数来估计相机位姿增量$ T\left( {{\zeta ^ * }} \right) $,求解转换为最小二乘问题:
$$ {\zeta ^ * } = \mathop {\arg \min }\limits_\zeta \left\{ \sum\limits_i^{{N_{\mathrm{p}}}} {{\boldsymbol{e}}_{\mathrm{p}}^{i{\mathrm{T}}}\sum\nolimits_{{\boldsymbol{e}}_{\mathrm{p}}^i}^{ - 1} {{\boldsymbol{e}}_{\mathrm{p}}^i} } + \sum\limits_i^{{N_{\mathrm{l}}}} {{\boldsymbol{e}}_{\mathrm{l}}^{i{\mathrm{T}}}\sum\nolimits_{{\boldsymbol{e}}_{\mathrm{l}}^i}^{ - 1} {{\boldsymbol{e}}_{\mathrm{l}}^i} } \right\} $$ (17) 其中,$ \sum\nolimits_{{{\boldsymbol{e}}_{\mathrm{p}}}} {} $和$ \sum\nolimits_{{{\boldsymbol{e}}_{\mathrm{l}}}} {} $表示观测到的点和线的协方差矩阵;$ {N_{\mathrm{p}}} $和$ {N_{\mathrm{l}}} $分别表示所有空间点和空间线的数量。
1.5 局部建图与后端优化
一个完整视觉SLAM系统除了上述跟踪线程,还包括局部建图线程和后端优化线程,局部建图线程根据跟踪线程决策出的关键帧进行局部建图和优化,后端优化线程利用关键帧修正全局完成回环。当局部建图线程收到跟踪线程筛选出的关键帧$ K{F_i} $后,根据关键帧和其他关键帧的共视关系,来更新共视图、本质图和生成树,但在更新时关键帧上可能存在一部分特征点未关联路标点,因此需要对满足条件的特征点生成新的路标点,并通过遍历$ K{F_i} $的共视关键帧来剔除关键帧,剔除原则为如果$ K{F_i} $匹配的路标点超过9成以上被其他至少3个关键帧更好的匹配,那么删除此关键帧。剔除关键帧的同时,检查该关键帧的路标点,如果路标点因为此关键帧的删除,观测数小于3,那该路标点也会被删除,不断重复这一系列的操作实时更新定位系统的局部地图。
后端优化线程在得到局部线程处理的关键帧$ K{F_i} $后,负责识别其是否和地图中的某些非共视帧构成回环,如果构成,则进行回环修正。具体步骤为:
1)捕获候选关键帧:根据$ K{F_i} $与其共视帧之间的相似度分数,筛选出满足要求的候选关键帧。
2)计算相似变换:对于满足要求的候选关键帧,计算其与当前关键帧之间的相似变换,将满足要求的关键帧设为$ K{F_{\mathrm{m}}} $。
3)回环融合:如果上一步找到了$ K{F_i} $的匹配帧,$ K{F_i} $的共视关键帧通过相似变换生成修正后的位姿,并将$ K{F_{\mathrm{m}}} $及其共视帧匹配的路标点投影到$ K{F_i} $及其共视帧上,更新关联关系,随后依据这些新的关联关系更新共视图。
4)本质图优化:本质图优化是指基于本质图中共视关系的位姿图优化方法(Pose Graph Optimization,PGO),其在优化中固定了地图中第一个关键帧来控制优化的自由度,优化将回环产生的相似转换分配到整个轨迹,使整个轨迹与这个回环保持一致和连贯,优化结束后,路标点随其所属的关键帧一起调整。
不断重复上述步骤以达到优化位姿,更新地图的目的,后端优化线程中还加入了全局BA(Bundle Adjustment)、多图系统Atlas及其相关的子图融合操作,并改进了区域识别的算法,加入全局BA可以解决位姿图优化无法精确优化路标点问题,多图系统可以解决重定位连续失败时出现的轨迹大量丢失问题,新的区域识别算法提高了召回率并缩减了回环识别的时间成本。
2. 试验结果分析
为了验证SL-SLAM算法性能,在EuRoC数据集、OIVIO数据集[28]和煤矿井下仿真环境进行了定量定性实验。SuperPoint特征点提取网络和SuperGlue特征点匹配网络均使用预训练模型,不额外进行训练。
2.1 EuRoC数据集上的定量定性实验
EuRoC数据集由Sctec Firefly六角旋翼直升机携带MT9 V034双目相机在工厂和房间2种不同环境下采集,采样频率为20 Hz,共采集了11个图像序列。工厂环境同煤矿井下环境类似,属于光照变化环境,在序列MH_01、MH_03、MH_05、V2_01、V2_02和V2_03上同ORB-SLAM3、PL-SLAM[29]、OKVIS[30]进行了对比试验,采用EuRoC数据集常用的均方根误差(Root Mean Square Error, RMSE)和绝对位姿误差(Absolute Posture Error, APE)作为评价指标,并使用EVO工具箱对结果进行分析。
EuRoC数据集上均方根误差结果见表1,最优结果加粗处理,SL-SLAM仅在MH_05序列上不如ORB-SLAM3,这是因为MH_05序列属于高速变换场景,仅使用特征点作为前端的ORB-SLAM3可以更快速地进行位姿估计,而SL-SLAM引入了基于学习的特征点提取算法以及线特征提取线程,额外提高了位姿预测复杂度,一定程度上增加了初始化时间,这也是未来SL-SLAM需要改进的方向。但SL-SLAM在其余序列均取得了最优指标,表明SL-SLAM利用SuperPoint网络提取特征点可以更好适应光照变换场景,引入的线特征使系统在低纹理环境中保持稳定性。绝对位姿误差的对比结果如图10所示,图中左侧为最大误差(max)、标准差(std)、误差中位数(median)、平均误差(mean)和均方根误差(rmse)的直观展示,其中蓝色代表本文方法,绿色代表OKVIS,红色代表ORB-SLAM3,紫色代表PL-SLAM。右侧为绝对位姿误差的分布可视化,其中绿色区域代表本文方法,蓝色区域代表其他方法。由图10可知,SL-SLAM仅在序列MH_05上不如ORB-SLAM3,但整体APE非常接近,并在最小误差上取得了最优,表明点特征与线特征联合进行位姿估计可以提高位姿预测精度的上限。
表 1 EuRoC数据集上均方根误差对比结果Table 1. Root mean square error comparison results on EuRoC datasetMethod MH_01 MH_03 MH_05 V2_01 V2_02 V2_03 Avg. ORB-SLAM3 0.172 0.088 0.089 0.071 0.064 0.106 0.098 PL-SLAM 0.188 0.145 0.189 0.127 0.087 0.127 0.143 OKVIS 0.386 0.181 0.178 0.105 0.091 0.131 0.178 SL-SLAM 0.103 0.072 0.097 0.058 0.059 0.102 0.081 除了定量结果对比,还与其他算法进行了定性分析对比。在序列MH_01、MH_03、MH_05和V2_01序列上,不同算法预测的位姿轨迹如图11所示。从轨迹对比图可以看到,在工厂环境序列MH_01上,OKVIS算法出现明显误差,在序列V2_01上,PL-SLAM也出现了漂移,而SL-SLAM预测的相机运动轨迹与真值最为接近,没有发生明显的误差和漂移现象,表明SL-SLAM可以更好地适应低纹理、光照变化场景。
2.2 OIVIO矿井数据集上的定量定性实验
OIVIO数据集由美国科罗拉多大学在矿井、隧道和黑暗的环境中收集,机器人搭载Intel RealSense D435i以30Hz的频率捕获
1280 pixel × 720 pixel的立体灰度图像对,将机载照明设置为3个强度,对相同轨迹捕捉3次。SL-SLAM面向煤矿井下,因此主要在OIVIO数据集的矿井环境和黑暗环境中进行实验,在OIVIO数据集的MN_015_GV_01、MN_050_GV_01、 MN_100_GV_01、TN_015_GV_01、 TN_50_GV_01 、TN_100_GV_01序列上进行实验,前3个为井下环境,后3个为黑暗工厂环境。序列名称中的15、50、100代表机载照明的强度,数字越小代表光照越弱。选取ORB-SLAM3、PL-SLAM、OKVIS进行了对比试验。采用均方根误差RMSE作为评价指标。结果见表2,最优结果进行了加粗处理。在表中将序列名称进行简写,如MN_015_GV_01简写为MN015,TN_015_GV_01简写为TN015。表 2 OIVIO数据集上均方根误差对比结果Table 2. Root mean square error comparison results on OIVIO datasetMethod MN015 MN050 MN100 TN015 TN050 TN100 Avg. ORB-SLAM3 0.075 0.071 0.068 0.103 0.093 0.080 0.082 PL-SLAM 0.126 0.112 0.104 0.211 0.209 0.198 0.156 OKVIS 0.233 0.169 0.166 0.183 0.191 0.145 0.181 SL-SLAM 0.069 0.067 0.063 0.097 0.091 0.082 0.078 SL-SLAM仅在TN_100_GV_01序列上不如ORB-SLAM3,因为TN_100_GV_01属于正常光照序列,相较于ORB算法,SuperPoint算法更适合存在光照变化或低光照的场景,并且TN_100_GV_01为工厂环境,存在很多特征比较丰富的管道、机器设备等,但SL-SLAM在该序列也取得了与ORB-SLAM3序列非常接近的结果。在其余序列均取得最优的结果,表明在煤矿井下环境中,SL-SLAM能很好的克服低光照、低纹理带来的影响,引入的SuperPoint算法在黑暗的环境中仍能提取足够的特征点,引入的LSD线特征算法使系统在MN_015_GV_01这种低纹理的环境中仍能保持稳定性。SuperPoint算法和LSD算法在跟踪线程中的结合使SL-SLAM可以在煤矿井下环境中保持精度和稳定性。
除了定量分析,还与其他算法进行了定性实验对比,由于所选取的OIVIO数据集6个序列,其实是2个序列在机载照明强度上的扩展,相当于轨迹只有2条,每条轨迹根据光照强度分别收集了3次。因此在光照最弱和纹理最弱的MN_015_GV_01和TN_015_GV_01序列上进行了定性对比,结果如图12所示,从图中可以看出SL-SLAM基本取得了与真实轨迹一致的结果,证明SL-SLAM在煤矿井下光照变化和低纹理环境中的适用性。
2.3 煤矿井下仿真环境试验验证
为了进一步验证SL-SLAM在真实煤矿井下环境的适用性,在河南理工大学能源学院的煤矿开采虚拟仿真实验室进行了试验,选择光照昏暗、低纹理的环形区域作为机器人行驶路线,该环形路线有较多弯路段,可以验证定位系统的精度。行驶中部分环境图像如图13所示。机器人移动过程中,特征点与特征线的提取如图14所示,表明SL-SLAM在煤矿井下环境中可以提取足够的特征点和特征线,保持定位系统位姿估计的稳定性。
整个环形路线的稀疏点云图和运动轨迹如图15所示,可以看出,即使在低纹理和低光照环境中,SL-SLAM仍能保持准确的位姿预测精度,预测的轨迹与真实轨迹趋于一致,进一步表明引入基于学习的特征点提取方法有助于在低光照的环境中提取足够特征点,同时利用线特征也能适应低纹理的场景。综上,SL-SLAM可以满足煤矿井下机器人的定位需求。
3. 结 论
1)针对煤矿井下低光照、低纹理等环境下视觉SLAM系统前端特征点提取与匹配精度低的问题,在ORB-SLAM3基础上引入了基于深度学习的SuperPoint特征点提取网络和LSD线特征提取算法。
2)为解决传统四叉树均匀化方法容易使特征点分割过度,提出一种特征点网格限定法,对提取特征点进行均匀化,并根据运动模型筛选出无效网格区域,剔除无效网格区域的特征点,提高特征点的利用效率。
3)为提升线特征的匹配效率,提出一种点线特征关联算法,将线特征按照网格进行分组,保留经过网格的线段,将投影落在线特征端点范围内的特征点与该线段进行关联,匹配时根据特征点的匹配结果进行匹配。在位姿残差模型中,加入线特征角度的约束关系,并建立点线统一的重投影误差成本函数估计相机的位姿。实验结果表明,与ORB-SLAM3相比,SL-SLAM的均方根误差降低了17.3%,可以更好满足煤矿井下移动机器人的定位精度与稳定性。
4)SL-SLAM按照均速运行的理想状态进行实验,而实际移动机器人在煤矿井下工作时,会面临不同的速度要求,因此未来可以考虑与惯性传感器相结合,进一步提升变速机器人的定位精度。同时煤矿井下不仅有低纹理、低光照,还可能存在烟雾、粉尘等更特殊场景,后续可以考虑添加去雾以及图像增强算法,进一步提高定位系统在煤矿井下的适用性。
-
表 1 EuRoC数据集上均方根误差对比结果
Table 1 Root mean square error comparison results on EuRoC dataset
Method MH_01 MH_03 MH_05 V2_01 V2_02 V2_03 Avg. ORB-SLAM3 0.172 0.088 0.089 0.071 0.064 0.106 0.098 PL-SLAM 0.188 0.145 0.189 0.127 0.087 0.127 0.143 OKVIS 0.386 0.181 0.178 0.105 0.091 0.131 0.178 SL-SLAM 0.103 0.072 0.097 0.058 0.059 0.102 0.081 表 2 OIVIO数据集上均方根误差对比结果
Table 2 Root mean square error comparison results on OIVIO dataset
Method MN015 MN050 MN100 TN015 TN050 TN100 Avg. ORB-SLAM3 0.075 0.071 0.068 0.103 0.093 0.080 0.082 PL-SLAM 0.126 0.112 0.104 0.211 0.209 0.198 0.156 OKVIS 0.233 0.169 0.166 0.183 0.191 0.145 0.181 SL-SLAM 0.069 0.067 0.063 0.097 0.091 0.082 0.078 -
[1] 王国法,张良,李首滨,等. 煤矿无人化智能开采系统理论与技术研发进展[J]. 煤炭学报,2023,48(1):34−53. WANG Guofa,ZHANG Liang,LI Shoubin,et al. Progresses in theory and technological development of unmanned smart mining system[J]. Journal of China Coal Society,2023,48(1):34−53.
[2] 王国法,庞义辉,任怀伟,等. 智慧矿山系统工程及关键技术研究与实践[J]. 煤炭学报,2024,49(1):181−202. WANG Guofa,PANG Yihui,REN Huaiwei,et al. System engineering and key technologies research and practice of smart mine[J]. Journal of China Coal Society,2024,49(1):181−202.
[3] 林伯强. 以煤矿智能化建设推动煤炭工业协同转型[J]. 人民论坛·学术前沿,2025(2):26−35. LIN Boqiang. Promoting the collaborative transformation of the coal industry through the intelligentization of coal mines[J]. Frontiers,2025(2):26−35.
[4] 王国法,任怀伟,富佳兴. 煤矿智能化建设高质量发展难题与路径[J]. 煤炭科学技术,2025,53(1):1−18. doi: 10.12438/cst.2024-0550 WANG Guofa,REN Huaiwei,FU Jiaxing. Challenge and path of high-quality development of coal mine intelligent construction[J]. Coal Science and Technology,2025,53(1):1−18. doi: 10.12438/cst.2024-0550
[5] 孙凌飞,刘亚,彭继国,等. 基于惯性技术的掘进机组合定位方法[J]. 煤炭科学技术,2024,52(12):300−310. SUN Lingfei,LIU Ya,PENG Jiguo,et al. Integrated positioning method of roadheader based on inertial technology[J]. Coal Science and Technology,2024,52(12):300−310.
[6] 张旭辉,陈鑫,杨文娟,等. 基于单激光束信息的掘锚装备视觉定位方法研究[J]. 煤炭科学技术,2024,52(1):311−322. doi: 10.12438/cst.2023-1674 ZHANG Xuhui,CHEN Xin,YANG Wenjuan,et al. Research on visual positioning method of digging and anchoring equipment based on single laser beam information[J]. Coal Science and Technology,2024,52(1):311−322. doi: 10.12438/cst.2023-1674
[7] 戚群涛. 矿井环境下基于改进卡尔曼滤波的UWB定位算法研究[D]. 包头:内蒙古科技大学,2023. QI Quntao. Research on UWB positioning algorithm based on improved Kalman filter in mine environment[D]. Baotou:Inner Mongolia University of Science & Technology,2023.
[8] 毛清华,周庆,安炎基,等. 惯导与视觉信息融合的掘进机精确定位方法[J]. 煤炭科学技术,2024,52(5):236−248. doi: 10.12438/cst.2023-1003 MAO Qinghua,ZHOU Qing,AN Yanji,et al. Precise positioning method of tunneling machine for inertial navigation and visual information fusion[J]. Coal Science and Technology,2024,52(5):236−248. doi: 10.12438/cst.2023-1003
[9] 程德强,钱建生,郭星歌,等. 煤矿安全生产视频AI识别关键技术研究综述[J]. 煤炭科学技术,2023,51(2):349−365. CHENG Deqiang,QIAN Jiansheng,GUO Xingge,et al. Review on key technologies of AI recognition for videos in coal mine[J]. Coal Science and Technology,2023,51(2):349−365.
[10] KLEIN G,MURRAY D. Parallel tracking and mapping for small AR workspaces[C]//2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality. Piscataway,NJ:IEEE,2007:225-234.
[11] MUR-ARTAL R,MONTIEL J M M,TARDÓS J D. ORB-SLAM:A versatile and accurate monocular SLAM system[J]. IEEE Transactions on Robotics,2015,31(5):1147−1163. doi: 10.1109/TRO.2015.2463671
[12] MUR-ARTAL R,TARDÓS J D. ORB-SLAM2:An open-source SLAM system for monocular,stereo,and RGB-D cameras[J]. IEEE Transactions on Robotics,2017,33(5):1255−1262. doi: 10.1109/TRO.2017.2705103
[13] CAMPOS C,ELVIRA R,RODRÍGUEZ J J G,et al. ORB-SLAM3:An accurate open-source library for visual,visual–inertial,and multimap SLAM[J]. IEEE Transactions on Robotics,2021,37(6):1874−1890. doi: 10.1109/TRO.2021.3075644
[14] MU Q,WANG Y H,LIANG X,et al. Autonomous localization and mapping method of mobile robot in underground coal mine based on edge computing[J]. Journal of Circuits,Systems and Computers,2024,33(1):2450018.
[15] RUBLEE E,RABAUD V,KONOLIGE K,et al. ORB:An efficient alternative to SIFT or SURF[C]//2011 International Conference on Computer Vision. Piscataway,NJ:IEEE,2011:2564-2571.
[16] 江松,崔智翔,代碧波,等. 暗环境适应性的基于SLAM的煤矿井下机器人定位方法[J/OL]. 煤炭科学技术,1−14[2024−12−06]. http://kns.cnki.net/kcms/detail/11.2402.td.20240325.1341.004.html. JIANG Song,CUI Zhixiang,DAI Bibo,et al. SLAM-based positioning method for underground robot in coal mine based on dark environment adaptability[J/OL]. Coal Science and Technology,1−14[2024−12−06]. http://kns.cnki.net/kcms/detail/11.2402.td.20240325.1341.004.html.
[17] 高毅楠,姚顽强,蔺小虎,等. 煤矿井下多重约束的视觉SLAM关键帧选取方法[J]. 煤炭学报,2024,49(S1):472−482. GAO Yinan,YAO Wanqiang,LIN Xiaohu,et al. Visual SLAM keyframe selection method with multiple constraints in underground coal mines[J]. Journal of China Coal Society,2024,49(S1):472−482.
[18] DETONE D,MALISIEWICZ T,RABINOVICH A. SuperPoint:Self-supervised interest point detection and description[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Piscataway,NJ:IEEE,2018:337-33712.
[19] GROMPONE VON GIOI R,JAKUBOWICZ J,MOREL J M,et al. LSD:A fast line segment detector with a false detection control[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2010,32(4):722−732. doi: 10.1109/TPAMI.2008.300
[20] BURRI M,NIKOLIC J,GOHL P,et al. The EuRoC micro aerial vehicle datasets[J]. The International Journal of Robotics Research,2016,35(10):1157−1163. doi: 10.1177/0278364915620033
[21] SARLIN P E,DETONE D,MALISIEWICZ T,et al. SuperGlue:Learning feature matching with graph neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE,2020:4937-4946.
[22] ZHANG L L,KOCH R. An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency[J]. Journal of Visual Communication and Image Representation,2013,24(7):794−805. doi: 10.1016/j.jvcir.2013.05.006
[23] ZHANG B S,MA X G,MA H J,et al. DynPL-SVO:A robust stereo visual odometry for dynamic scenes[J]. IEEE Transactions on Instrumentation and Measurement,2024,73:5006510.
[24] 李用杰,秦广健,武利明,等. 基于点线面特征的无漂移旋转视觉里程计[J]. 计算机应用研究,2023,40(12):3805−3809. LI Yongjie,QIN Guangjian,WU Liming,et al. Drift-free rotation visual odometry based on point-line-plane feature fusion[J]. Application Research of Computers,2023,40(12):3805−3809.
[25] SUN Y Y,WANG Q,TANSEY K,et al. Multi-constrained optimization method of line segment extraction based on multi-scale image space[J]. ISPRS International Journal of Geo-Information,2019,8(4):183. doi: 10.3390/ijgi8040183
[26] XU K,HAO Y F,YUAN S H,et al. AirVO:An illumination-robust point-line visual odometry[C]//2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway,NJ:IEEE,2023:3429-3436.
[27] HE Y J,ZHAO J,GUO Y,et al. PL-VIO:Tightly-coupled monocular visual–inertial odometry using point and line features[J]. Sensors,2018,18(4):1159. doi: 10.3390/s18041159
[28] KASPER M,MCGUIRE S,HECKMAN C. A benchmark for visual-inertial odometry systems employing onboard illumination[C]//2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway,NJ:IEEE,2019:5256−5263.
[29] GOMEZ-OJEDA R,MORENO F A,ZUÑIGA-NOËL D,et al. PL-SLAM:A stereo SLAM system through the combination of points and line segments[J]. IEEE Transactions on Robotics,2019,35(3):734−746. doi: 10.1109/TRO.2019.2899783
[30] LEUTENEGGER S. Okvis2:Realtime scalable visual-inertial slam withloop closure[J]. arXiv preprint arXiv:2202.09199,2022.