文章：Road-SLAM : Road Marking based SLAM with Lane-level Accuracy
作者：Jinyong Jeong, Younggun Cho, and Ayoung Kim1
编译：点云PCL
本文仅进行学术分享。如有侵权行为，请联系删除。欢迎加入我们。，获取PDF论文，欢迎转发朋友圈。如有错误，请评论并留言。
对本文以及俯视图生成点云，及点云路标地图感兴趣的。与此相关的内容分享有：
AVP-SLAM：自动停车系统中的语义SLAM
RoadMap：面向自动驾驶的轻型语义地图视觉定位方法
LaneLoc：基于高精度地图的车道线定位
有很多地方可以讨论和交流。欢迎您给我们一些建议！同时，微信官方账号还将分享更多与此类型相关的文章，包括引用文献。请期待。
按姓名欢迎自动驾驶行业的小伙伴 加微信学校/公司备注ly920177957交流或加入群聊。
摘要
在本文中，我们提出了基于道路标记SLAM该算法充分利用从相机图像中获得的道路标记，分类良好，信息丰富，实现全球定位。为了利用道路标志匹配实现环路闭合，我们的方法将由道路标志和周围车道组成的特征定义为子地图。该方法采用随机森林法，利用包含道路信息的子地图提高匹配精度。随机森林将道路标志分为六类SLAM结果与RTK全球定位系统（GPS）比较数据验证了该方法的有效性，精确的环路检测通过补偿里程计传感器中的累积误差来提高全局精度，该方法在4.7 km实现了1的路径长度.098 m具有实时性能的平均全局精度。
介绍
为了避免传感器的高成本，研究侧重于从车载相机图像中估计的视觉系统和位置。我们的研究将检测路面上的路标和车道，并将其转换为车道级定位SLAM的特征，Ranganathan等人从每个道路标路标志中提取拐角，并与以前一起使用高精度GPS比较生成的轻型先验地图来估计准确的位置，Rehder其他人使用相机图像和里程计生成局部网格地图，并通过匹配每个地图来估计车辆的自我运动。在类似的研究中，将当前的道路特征与以前的保存特征进行比较，以存储道路标记特征并用于位置误差校正。这些方法的主要局限性在于，当标线和车道具有相似的形状和重复模式时，会导致模糊。
为了解决这个模糊的问题，本文提出的随机森林树训练方法只对可分辨的道路标志进行分类，避免了形状相似的视觉锯齿形，大大提高了匹配性能，然后通过这些明显的标志和周围车道构建的子地图进行匹配，只能使用视觉道路标志来识别位置，这些标志对环境变化（如照明、时间和周围环境）不敏感SLAM如图1所示，并有以下贡献：
?使用信息特征选择的稳健匹配
?具有自动匹配检测的实时性能
?视觉环路的精确定位（cm级）
主要内容
实验中使用了类似于汽车的平台上的建图系统，如图3所示，配备了前视ZED摄像机、IMU两轮编码器，两个车内传感器，一个IMU车轮编码器用于导航，道路标记和车道检测图像，RTK-GPS安装在车辆上，仅用于最初设置车辆的位置和方向，并提供真实值，虽然ZED与图形处理单元相机（GPU）高精度的深度图像也可以一起使用，但在本文中，我们只使用它作为单摄像头(10 Hz），而不使用GPU和深度图像。
如图所示，整体算法架构首先通过逆透视转换相机获得的图像（IPM）使用自适应二值化算法生成点云，以提取属于道路标记的点云IPM图像进行二值化[，对生成的点云进行分割累积点云获得的子地图分为几个部分，然后使用机器学习方法称为随机森林，构成子地图的每个部分分为六类，为了提高子地图的匹配精度，只选择可以降低子地图模糊度的线段，并将其包含在最终子地图中进行匹配。最后，子地图匹配模块检测回环，以匹配前一流水线中确定的子地图。
对于子地图的生成，首先是IPM预处理和二值分类后的图像构建子地图。子地图是环路检测的匹配候选组，子地图生成模块仅包括子地图中的道路标志和车道线。
点云的使用IPM算法生成属于道路标记的点，IPM鸟瞰图像是通过逆透视转换图像来创建的IPM方程是在假设车辆前方道路平坦的基础上推导出来的，所以车辆的小俯仰运动可能会导致IPM为了克服这个问题，考虑到相机俯仰角的变化，图像中的大失真采用了自适应IPM模型，然后用自适应二值化算法过滤道路上的信息标记，IPM二值化过程的结果如图4所示。
图像预处理后，二值化点被送入三维(3D）在点云生成阶段，算法仅限于相机附近的感兴趣区域（ROI），以避免IPM在导航传感器(如车轮编码器和IMU）在里程计上投影二值化点生成车道线和标记点云，子地图是车辆局部坐标系中的3D道路标记点组成的地图，用于环路检测。子地图是在车辆行驶方向检测到道路标志时生成的。因此，通过检查点云生成模块ROI点数(图4c中间的黄色框)检测道路标记，然后，当检测到累积的三维点云时，该算法将其存储为初始子地图。
给出二值点云，然后划分道路标志的两个方面。首先，并不是所有的道路标志都对姿势估计有意义。例如，中央车道不能捕捉沿线的运动，因此仅限于估计整个六个自由度（DOF）变换，人行横道具有丰富的特征点，但即使在IPM在失真很小的情况下，重复的图案也会令人困惑，所以在提出的方法中，我们决定删除这些信息量较小的元素，并通过分割来提高匹配的准确性。发现虚线车道、箭头、道路标志和数字可作为匹配信息。
在同一场景中，多条道路标线和车道通常被捕获作为示例。a从二值化显示IPM由图像提取点组成的示例路线图。
如图所示，菱形道路标志与虚线车道非常接近。对于道路上的数字，每个数字都是分开的，虚线车道可能靠近这些数字。当道路标志靠近车道元素时，我们采用从粗到细的两个阶段进行分割，所有的小段都被分割，以便先排除车道，然后只使用没有车道元素的路段，在应用中，更大的分段将道路标志合并到单个簇中。
端到端分割模块如图5所示。由于累积点云是从多个图像中获得的，许多点往往混乱地聚集在一个片段周围。为了解决这个问题，分割模块首先进行
（i）体素化有效地表示重复点。
（ii）过滤半径异常值以去除噪声。
我们第一次分割的目的是排除大簇（如中心线和停车线）和虚线车道，以便清楚地检测明显的道路标志。初始分割过程将点分为小半径。这样，大簇元素将分为单个路段，虚线车道将分为多个组，使用特征的线性检查这些初始路段，以便提前检测和分类车道，然后，后续分割排除车道和大线段的点使用相对较大的半径值。因此，按一定距离分隔的段（如数字或人行横道）组合成一段，也在候选组中分类。
一旦建立了分段标记，分类线程将被区分IPM为了实现鲁棒匹配，使用先前分割的道路标志(图7)
我们通过形状函数集合（ESF）提取特征，ESF形状函数的640元组直方图由三个参数定义：两个随机选择点之间的距离、三点之间的面积和三个随机选择点之间的角度。利用ESF结构的特征向量作为随机森林的输入，以区分每个片段。在训练阶段，随机森林的最大深度设置为100随机森林的输出由道路标志、数字、箭头、车道、人行横道等六类组成。最后，在分类为随机森林的路段，匹配过程的子地图中只包含信息类(如道路标记、编号、箭头和车道)。
当一个地方被重新访问时，当给出正确的循环封闭候选人时，我们将匹配子地图，并使用距离当前车辆位置的距离阈值选择该候选人方案。这些候选人的正确示例如图8所示。
/p>
匹配过程使用广义迭代最近点（ICP）算法在候选对象中选择匹配成本最小的子地图，如果ICP匹配成功，则使用ICP结果计算两个子地图之间车辆的相对位置，计算出的相对姿势作为约束信息传递给增量平滑和建图（iSAM）姿势图，以创建回环。
所提出的方法Road SLAM是基于姿势图的方法，该方法最小化了以下误差函数:
对于里程计约束的生成，车辆的位置是通过基于获取摄像头图像的时间同步所有传感器来计算的,xt是车辆的位置,六自由度变换（zt；从车轮编码器和IMU传感器获取节点之间的t+1）,该方法通过子地图之间的匹配过程，在车辆再次访问之前经过的同一地点时检测环路,整个SLAM框架如图9所示,黑色圆圈点和边表示车辆节点（姿势）和链接（约束）,时间链路由里程测量构建，而穿过顺序节点的非时间链路由基于子地图的链路,相应节点的子地图显示如图。
实验
我们使用建图的汽车平台获得的真实数据验证了所提出的方法，我们的目标环境是复杂的城市道路，而不是高速公路，使用了50至60 km/h的平均车速，这对算法的性能影响很小.该代码是使用一台板载PC（Intel i7-6700，16G RAM）实现的,对于传入的摄像头图像（10 Hz）和导航传感器（100 Hz），该算法在不使用GPU的情况下实时运行,总体轨迹和实验区域（600m×400m）如图11a所示,从实验来看，该算法能够在4.7 km的行程距离上实现1.0987 m的平均误差。
评估用于选择构成子地图的元素的随机林的结果。随机森林的训练数据是使用相同的绘图系统从大约25km的数据收集中获得的，使用ESF特征提取的数据通过手动标记分为六类（即道路标记（1）、数字（2）、箭头（3）、车道（4）、人行横道（5）和其他（6）），下表数据集的分类结果，在检验个体分类误差时，分类器的准确率约为81.92%。
与基于里程计的m地图（图11c）相比，使用所提出方法的SLAM结果如图11所示。当累积里程计误差通过仅使用道路标线的精确环路检测进行补偿时，会出现这种巨大的改善，为了定性评估定位的准确性，我们提供了环路闭合区域的反向投影路线图，通过在每次重访时叠加道路标记点，我们从地图点的一致性来评估定位精度，图12a至图12d示出发生环路检测的区域（绿色区域），为了评估环路检测的准确性，根据校正后的车辆位置生成道路标记，无需进一步处理，如图12a至12d所示，环路闭合附近的道路标记正确重叠，即使车辆已反复通过同一区域，另一方面，图12e至图12h示出了环路检测失败的区域，特别是在交叉口的情况下，与其他区域相比，环路检测几乎没有发生，因为为了环路检测的准确性，人行横道被移除。此外，在图12h中，道路标记颜色非常混浊，因此未检测到环路，即使对于图12e和图12f的区域，最大误差也低于2.0 m，因为漂移由附近的回环闭合器校正。
图10显示了通过SLAM和RTK-GPS数据计算的路径比较计算出的误差
下表总结每个模块的计算时间，表中列出了每个模块所用的平均和最大时间，请注意，自适应IPM在捕获图像数据时执行，而其他模块仅在创建子地图时发生。
总结
在本文中，我们提出了一种SLAM算法，该算法仅使用一个摄像头传感器，并利用对光线和环境变化具有鲁棒性的道路标记信息，SLAM算法的准确性可以通过分类和消除使用随机森林在各种道路标记之间增加环路检测模糊度的元素来提高，此外，尽管使用了不带全局位置传感器的航位推算传感器，但通过非常精确的环路检测实现了较高的全局位置精度，这一结果还表明，利用道路标线的初步信息可以实现定位，我们发现，周围物体的阴影在某些情况下会产生显著的影响，我们未来的工作是遵循类似的研究路线，朝着光照条件不变的算法发展。
3D目标检测：MV3D-Net
三维点云分割综述（上）
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
win下使用QT添加VTK插件实现点云可视化GUI
JSNet：3D点云的联合实例和语义分割
大场景三维点云的语义分割综述
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
基于局部凹凸性进行目标分割
基于三维卷积神经网络的点云标记
点云的超体素(SuperVoxel)
基于超点图的大规模点云分割
更多文章可查看：点云学习历史文章大汇总
【论文速读】AVP-SLAM：自动泊车系统中的语义SLAM
【点云论文速读】StructSLAM:结构化线特征SLAM
SLAM和AR综述
常用的3D深度相机
AR设备单目视觉惯导SLAM算法综述与评价
SLAM综述(4)激光与视觉融合SLAM
Kimera实时重建的语义SLAM系统
SLAM综述(3)-视觉与惯导，视觉与深度学习SLAM
易扩展的SLAM框架-OpenVSLAM
高翔：非结构化道路激光SLAM中的挑战
SLAM综述之Lidar SLAM
基于鱼眼相机的SLAM方法介绍
如果你对本文感兴趣，请后台发送“知识星球”获取二维码，务必按照“姓名+学校/公司+研究方向”备注加入免费知识星球，免费下载pdf文档，和更多热爱分享的小伙伴一起交流吧！
以上内容如有错误请留言评论，欢迎指正交流。如有侵权，请联系删除
扫描二维码
关注我们
让我们一起分享一起学习吧！期待有想法，乐于分享的小伙伴加入免费星球注入爱分享的新鲜活力。分享的主题包含但不限于三维视觉，点云，高精地图，自动驾驶，以及机器人等相关的领域。
分享及合作方式：微信“920177957”（需要按要求备注） 联系邮箱：dianyunpcl@163.com，欢迎企业来联系公众号展开合作。
点一下“在看”你会更好看耶