点击上方“3D视觉车间，选择星标
第一时间送达干货
作者丨paopaoslam
来源泡泡机器人SLAM
标题：MSC-VO: Exploiting Manhattan and Structural Constraints for Visual Odometry
作者：Joan P. Company-Corcoles, Emilio Garcia-Fidalgo and Alberto Ortiz
来源：CVPR 2021
编译：
审核：阮建源 王志勇
面对低纹理场景，视觉里程计算法往往会退化。例如，人工环境往往很难找到足够的点特征。而其它几何视觉线索，如线，通常可以在这些场景中找到，可以变得特别有用。此外，这些场景通常表现出结构规律，如平行或正交，以满足曼哈顿世界的假设。在此前提下，我们介绍了这项工作MSC-VO，一种基于rgb-d结合点和线特征的视觉里程计方法，如果存在，可以利用这些结构规则和场景的曼哈顿轴。在我们的方法中，这些结构约束最初被用来准确估计提取线的三维位置。这些局部地图优化，将这些约束与估计的曼哈顿轴和点和线的重投影误差相结合，细化相机姿态。这种组合使我们的方法能够在没有上述约束的情况下工作，从而允许它在更广泛的场景中工作。此外，我们还提出了一种新的多视点曼哈顿轴估计方法，主要依赖于线特征。MSC-VO使用几个公共数据集进行评估，性能优于其他最先进的解决方案，甚至与一些SLAM方法不相上下。
大多数vo slam该方法依赖于点特征，但在低纹理区域容易退化。使用点和线特征可以减少跟踪失败。
使用曼哈顿世界假设slam该方法不考虑室内环境，假设不能严格建立，容易导致跟踪失败
同时，大部分工作依靠平面来检测和跟踪曼哈顿主轴，但这意味着更高的计算时间
本文结合几何约束和线特征MA对齐，提出了新的RGB-DVO框架
一种针对低纹理环境的鲁棒RGB-DVO结构规律和框架可以存在于场景中MA对齐时提高姿态精度。否则，我们的解决方案仍然可以运行，这将显示在实验结果中。
基于场景中呈现的结构信息的三维端点计算方法。
一种精确高效的三维局部地图优化策略，将重投影误差和结构约束MA对齐结合。
一种新颖的MA通过在多图非线性最小二乘公式中使用多帧观测来提高传统平均位移算法的估计。
在几个公共数据集中，对提出的方法进行了广泛的评估，并与其他方法一起使用VO和SLAM比较最先进的方法。
源代码作为额外贡献，MSC-VO开源 http://github.com/joanpepcompany/MSC-VO。
跟踪线程负责估计捕获的每帧的位置。此外，该模块还可以决定是否需要创建一个新的关键帧。如果可能的话，它还将每条新的地图线和其中一条MA关联起来。
点特征通过ORB通过检测和描述检测和描述LSD检测和使用LBD后来，我们使用描述子描述p_i用线段起点来表示图像坐标中的点特征s_j和终点e_j表示。最后，归一化线段l_j以下表示
将点特征反向投影到相机坐标系，但对于线特征，这个简单的过程可能度不连续和屏蔽的影响，这个简单的过程可能会导致不准确的3D线。为了减少这种影响，我们提出了鲁棒计算三维线端点的两步方法。首先，对于每个线段，我们计算其结束点的初始三维位置{Sjc，Ejc}，通过反向投影符合图像中直线点的子集，然后在[14]中执行鲁棒拟合步骤。三维归一化线Lcj类似于公式1的计算方法。接下来，我们利用场景的结构约束来细化每条检测到的线。我们从平行和垂线开始。为此，在当前图像中检测到的每一对可能的线(Lcm，Lcn)，我们通过点积计算两个方向量之间的夹角
我们只选择余弦值接近0或1的线段，分别表示垂直和平行线。我们将旋转误差D定义为
当垂直线和平行线分开时，我们分别定义垂直和平行误差
其中的wn定义为从LSD返回权重项的最终误差方程定义为
一旦提取特征，优化程序估计当前相机方向R和平移t。首先，在前一帧中观察到的地图点和线被投影到当前帧中，假设是一个恒速运动模型。接下来，计算两组2D-3D对应项，一组用于[2]点，另一组用于[5]线。然后利用这些关联优化当前的相机姿态，最小化以下成本函数
使用和ORB-SLAM类似的策略，但同时考虑线段匹配。与ORB-SLAM不同的是，我们不使用最少数量的跟踪条件。这个想法背后的基本原理是，提出的方法集中在低纹理环境中，每帧跟踪的特征数量通常会在场景之间发生很大的变化。因此，不可能确定一个合理的阈值。相反，我们建议使用地图上跟踪的当前帧特征与这些特征与可能创建的特征之间的比例。一旦生成了一个新的关键帧，点和线将包含在本地地图中，并挑选冗余的特征，正如在[2]中执行的那样。对于每一个新的地图线段，我们在局部地图中搜索平行或垂直的线对应关系。另外，如果可能的话，每一行都有一行MA相关关联，如下一节所述。
当添加新的关键帧时，我们将每个新的地图线与每个曼哈顿轴进行比较。如果公式3中的值足够接近1，则认为它与曼哈顿轴平行。这些关联用于局部地图优化，以减少相机的旋转漂移。请注意，考虑到结构约束和这一点MA对齐组合，我们的方法可以在这些轴不可用的情况下运行。
延续使用ORB-SLAM2中共视图局部优化策略优化位置、地图点和地图线
误差项分别式8、9、4、5、5定义。
本文提出了从粗到细的一种MA最粗糙的估计扩展了估计策略Kim等人的工作[10]。然后，通过考虑沿着不同关键帧的多线观察来细化估计的MA。我们通过下面的多关键帧观测来细化估计的曼哈顿轴方向。
Visual odometry algorithms tend to degrade when facing low-textured scenes —from e.g. human-made environments—, where it is often difficult to find a sufficient number of point features. Alternative geometrical visual cues, such as lines, which can often be found within these scenarios, can become particularly useful. Moreover, these scenarios typically present structural regularities, such as parallelism or orthogonality, and hold the Manhattan World assumption. Under these premises, in this work, we introduce MSC-VO, an RGB-D -based visual odometry approach that combines bothpoint and line features and leverages, if exist, those structural regularities and the Manhattan axes of the scene. Within our approach, these structural constraints are initially used to estimate accurately the 3D position of the extracted lines. These constraints are also combined next with the estimated Manhattan axes and the reprojection errors of points and lines to refine the camera pose by means of local map optimization. Such a combination enables our approach to operate even in the absence of the aforementioned constraints, allowing the method to work for a wider variety of scenarios. Furthermore, we propose a novel multi-view Manhattan axes estimation procedure that mainly relies on line features. MSC-VO is assessed using several public datasets, outperforming other state-of-the-art solutions, and comparing favourably even with some SLAM methods.
本文仅做学术分享，如有侵权，请联系删文。
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题