点击上方“3D视觉车间，选择星标
第一时间送达干货
泡泡图灵智库作者
来源泡泡机器人SLAM
RGB-D SLAM with Structural Regularities
下载链接：https://arxiv.org/abs/2010.07997
代码：https://github.com/yanyan-li/PlanarSLAM
作者：Yanyan Li, Raza Y unus, Nikolas Brasch, Nassir Navab, and Federico Tombari
来源：ICRA，2021
机构：Technical University of Munich, Germany
编辑：陈嘉豪
审核:欧阳展鹏
摘要
这项工作提出了一个专门为结构化环境设计的RGB-D SLAM该系统旨在依靠从周围提取的几何特征来提高跟踪和测绘的精度。除了特征点，结构化环境还提供了大量的几何特征，如直线和平面，我们使用这些特征来设计我们SLAM跟踪和构图组件系统。基于曼哈顿世界的跟踪部分(MW)假设探索了这些特征之间的几何关系，并提出了一种基于点、线面的解耦调整方法，并在额外的姿态调整模块中使用曼哈顿关系。在地图部分，我们以较低的计算成本重建不同层次的稀疏地图。提出了基于实例的网格划分策略，通过独立划分平面实例来构建致密地图。最后，我们在公共基准上评估了姿态估计和重建的整体性能，表明我们的方法比最先进的方法提高了性能。
主要工作和贡献
基于平面特征，本文为基础Manhattan在调整模块中，用于估计初始平移向量并保留Manhattan关系是约束。在此基础上，还提出了基于稀疏地图获得的平面区域重建场景结构的高效网格划分模块。其主要贡献如下：
在基于MW的解耦姿态估计基础上，通过将点、线特征与平面相结合和附加的曼哈顿关系的姿态细化步骤来改进平移估计。
基于平面实例种基于平面实例的网格重建方法，从稀疏的点云中生成紧凑的环境。
实时RGB-D SLAM这些组件用于结构化环境下的高精度定位和地图构建。
算法流程
1. 总览
在结构化环境中给境RGB-D帧序列，我们的目标是重建3D同时估计场景6D每帧摄像头的姿态。
A 特征集扩展
：在帧中提取ORB特征点，线段特征LSD(使用描述子LBD）之后，利用相机的固有参数和深度图对点和线进行反投影，得到三维点和三维直线。深度映射并不总是正确的，尤其是在不连续的深度，如对象边界。因此，鲁棒需要一种三维直线拟合方法。首先，我们计算被检测线段与非零深度值相交的像素数量。如果数量超过一定阈值，则通过RANSAC估计三维直线，去除潜在的离群值。
：使用积分图像对10进行平滑法线×10像素内的深度图像的切向向量进行平均计算的。平面检测后，我们使用它 [6: Point-plane SLAM using supposed planes for indoor environments] 该策略将观测到的平面与地图中存在的平面相关联。为了将观察到的平面与地图上的平面相匹配，我们首先检查法线之间的角度。若低于阈值θ，检查它们之间点到平面的距离。与观测平面的距离最小，位于距离阈值θ以下平面与观测平面相匹配。在实验中，θθ分别设为10°和0.1m。此外，我们还保持地图平面之间的平行和垂直关系，利用跟踪过程中的额外约束。它们由平面法线之间的夹角决定。我们不考虑它们的距离，因为它们只提供方向约束。
B 估计和改进解耦姿态
为了减少帧间的误差传播，我们首先建立了基础MW假设单目系统结构用于计算旋转运动，然后固定从上一步计算的旋转，并根据特征估计相应的平移运动。工作结束后，我们使用线来优化旋转估计和平面来优化平移估计。
不同于Structure-SLAM本文还利用局部地图中平面的几何关系（平行或垂直）作为约束，大大提高了系统的准确性。
2. 追踪
与传统的姿势估计方法不同，我们将6D相机姿态解耦为旋转和平移。MW在假设的基础上，我们得到了它MW与相机之间的旋转运动。这样，旋转估计不会受到最后一帧或最后一个关键帧姿势的影响，并有效地减少漂移。然后，使用点、线、表面特征和初始旋转矩阵进行平移估计，只有三个自由度(dofs)。
A 旋转估计
无漂移旋转的估计方法不是直接从帧跟踪摄像头到帧，而是通过建模室内环境MW估计每帧和曼哈顿坐标帧之间的旋转，以减少帧跟踪到帧的漂移。曼哈顿坐标帧可以对齐到相机的起始帧。第一个坐标系的坐标通常被视为世界坐标系。所以我们可以使用它：
这意味着世界来了MW的关系，由MW获得初始化步骤，是的MW到第(k 1)坐标系的关系。这两个矩阵通过 sphere mean-shift算法计算，其中法线和归一化消失方向投影在当前旋转估计的切平面上。然后在切平面上执行mean-shift 步骤，生成新的中心，并将其反向投影到球面上作为新的估计。更多关于球面平均移位方法的细节，请参考[24 :Divide and Conquer: Ef?cient Density-based Tracking of 3D Sensors in Manhattan Worlds]和[26: Visual Odometry with Drift-free Rotation Estimation Using Indoor Scene Regularities]。为了处理只有一个平面或没有平面检测到的困难场景，我们为单位球体提供了详细的3D线的消失方向和平面的表面法线是一种更稳定的方法。
B 平移估计
旋转估计后，用点、线、面估计平移。我们将最后一帧的3D将点重新投影到当前帧中，并根据重新投影的误差定义误差函数如下：
对于直线，我们从二维端点得到归一化的直线函数如下：
然后，我们与关键帧匹配的3D线投影的3D端点之间的点线距离推导出误差函数。误差函数记录为：
为了获得最优平面的最小参数化，我们将其表示为法线的方位角和仰角：
因此，帧间观测平面与相应地图上的平面误差函数为：
从世界坐标到摄像头坐标的转换。假设观察服从高斯分布，最终非线性最小二乘成本函数t?可以写成：
其中π逆协方差矩阵分别为点、线、面，ρρ和ρπ分别是鲁棒的Huber成本函数。在这里，我们使用它LevenbergMarquardt算法确定一个解。
C 位姿调整
最后两步假设场景是一个很好的曼哈顿模型，但环境并不严格遵守MW假设导致精度下降。因此，在通过解耦旋转和平移策略获得初始姿态后，调整模块将微调姿态以补偿偏差MW或初始估计偏差不稳定。在细化步骤中，为了减少帧间姿态估计的漂移，基于从地图到帧的策略，优化了关键帧结构的局部地图。我们使用关键帧构建局部地图，地图中的点、线和面路标将投影到当前帧进行搜索匹配。此外，我们还讨论了局部地图中的平面与当前帧中检测到的平面之间的关系。平行约束和垂直约束描述为：
其中π，是从世界坐标到摄像头坐标的转换。对于垂直平面，其平面线旋转90度(R⊥)构建误差函数。合并这两个误差函数，在调整模块中建立联合优化函数。
3. 建图
本节描述了SLAM基于关键帧的3D建图策略。关键帧和3D每当有新的关键帧和新的特征可用时，节点和边缘就会更新。
A 稀疏地图
如下图所示，稀疏地图模块采用关键帧提取的点-线-面特征进行重构。第一帧设置为第一个关键帧，由此检测到的地标初始化。当在新的关键帧中检测到不在全球地图中的新点、线和表面时，它们将首先保存在局部地图中。然后我们在当地地图上检查路标的质量，然后将可靠的路标删除到全局地图。与点和线的匹配方法不同，对于在新的关键帧中检测到的每个平面，我们首先使用第三节描述的策略来检查它是否与地图面相关。如果我们找到一个关联，我们将是新平面的3D将点添加到全局地图中的相关平面上，用体素网格过滤掉冗余，然后得到紧凑的点云。如果入平面与全局地图中的任何平面没有关联，则将其作为一个新平面添加到地图中。
B 平面实例级网格划分
上一节中获得的稀疏图对于涉及机器人-环境交互的应用程序仍然不够，但它提供了关于平面和非平面实例的信息。因此，我们使用实例划分策略构造一个更密集的映射。室内场景可分为平面和非平面区域。平面区域，如地板、墙壁和天花板通常有很大的范围，但是高密度的像素信息并不能增加质量，而且是高度冗余的。因此，我们不使用surfel 或TSDF，而是将平面区域视为包含少量且固定数量的元素的实例，这些元素独立于它们的大小。特别地，我们将平面实例输入到网格划分模块，该模块独立地对它们进行网格划分。首先，属于一个平面的点被组织成一个kd-tree数据结构。不同于非结构化输入，我们的方法需要更少的时间搜索几个最近邻。然后，我们使用贪婪曲面三角剖分(GST)建立一个实例级网格，用于处理平面曲面。需要注意的是，在我们的实验中，选择三角剖分邻居的初始搜索半径设置为5m，乘子设置为5，以修改最终搜索半径，以适应平面区域上不同的点密度。
4. 实验
我们提出的SLAM系统以公共数据集的ICL-NUIM和TUM RGBD基准，并比较与其他先进的方法的性能，比较的系统包括：基于特征的ORB-SLAM2，PSSLAM等（此时全局BA被移除），基于MW假设的LPVO和L-SLAM，直接法DVO-SLAM，使用GPU实现基于RGB和深度图像的实时SLAM的InfiniTAM。此外，我们还提供了我们在ICL-NUIM数据集上重建模型的重建精度，并与其他常用的密集重建方法进行了比较。最后，为了证明我们的系统随着时间的推移具有鲁棒性，我们还对一个来自TAMU数据集的序列进行了测试。所有实验都是在Intel酷睿i7-8700 CPU (@3.20GHz)下进行的，不使用GPU。
A ICL-NUIM RGB-D数据集
B TUM RGB-D 数据集
C TAMU数据集（大规模室内序列）
D 重建精度
点击， 即可获取本文下载链接。
本文仅做学术分享，如有侵权，请联系删文。
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题