从第八篇 SLAM：自动驾驶当前趋势综述 - 知乎】
《Simultaneous Localization And Mapping: A Survey of Current Trends in Autonomous Driving》。
1 引言
SLAM问题被认为是实现真正独立机器人的关键之一，因此它是自动驾驶汽车的一个重要方面。然而，许多问题仍然阻碍了它SLAM算法用于在非常不同的条件下行驶数百公里的车辆。最后一份声明包括处理自动驾驶汽车的声明SLAM两个主要问题：。前一个问题是SLAM众所周知，社区。随着行驶距离的增加，SLAM估计算法给出的局部和增量定位往往偏离真实轨迹。没有先验知识或绝对信息，几乎不可能正确定位几公里。这导致了第二个问题，即地图足以完成定位任务，无论条件如何。地图绘制最近引起了很多关注，其目的是在不同的季节、天气或交通条件下提供必要的定位车辆的信息。我们已经想象了许多解决方案来解决这两个问题，比如通过仔细选择独特的信息来构建地图，以便在未来重用它或使用新的通信系统来共享和增强其他道路用户构建的地图。
2 SLAM问题
SLAM问题由Smith和Cheeseman[1]始于1986年，在1990年代随着许多结构化工作(如[2]或[3])而流行起来。多年来，出现了使用不同传感器(相机、激光、雷达等)的新方法，创建了新的数据表示形式，从而产生了新的地图类型。同样，在SLAM领域也出现了各种估计技术。10年前，在[4]和[5]中制作了快速全景图。寻求全局SLAM有问题的读者也可以参考[6]和[7]全面介绍主题，并参考[8]全面了解SLAM当前面临的挑战。
SLAM该方法需要广泛的算法来确保所提供的定位。、[9]、[10]或[11]也是与SLAM相关主题的一部分。然而，在本文献综述中，我们将首先关注现有的主要内容，然后介绍自动驾驶汽车应用领域的当前趋势。
SLAM问题通常以概率的给出问题。整个目标是能够同时估计车辆的状态和正在构建的地图。车辆状态可以根据应用进行不同的定义：2D位置和方向，6D姿势、速度、加速度等。我们将xk估计车辆为时间k的车辆姿态，m表示环境地图。为了估计这些变量，我们可以使用我们所说的控制输入uk，它表示对k-估计1和k之间的运动。它们通常来自车轮编码器或任何能够初步了解位移的传感器。SLAM该方法的特殊性是考虑传感器读数并表示为zk的测量值。它们有助于构建和改进地图，间接估计车辆姿势。
SLAM问题可以用两种方式来表达。。图形表示可以在图1中看到。这叫完整SLAM根据整个传感器数据计算所有问题：
完整的SLAM问题可能很难实时处理，因为变量的数量会增加问题的复杂性。SLAM想法是估计车辆的当前位置，通常基于最终传感器信息。图表如图2所示。贝叶斯规则可以获得问题的增量性质：
估计技术可分为两类：和。前者对应于迭代过程，因此适用于在线SLAM，后者重组因此，通常用于解决完整问题SLAM问题，即使这种趋势在过去十年里发生了变化。
A 基于滤波的SLAM
基于过滤器的方法来自贝叶斯过滤器，并作为两个迭代过程。
第一步是使用进化模型和控制输入uk预测车辆和地图的状态。
在第二步中，传感器数据的当前观测值zk匹配地图以纠正以前的预测状态。与地图相关的观察模型称为观测模型。
这两个步骤迭代并增量集成传感器数据来估计车辆姿态和地图。
1)扩展卡尔曼滤波器
卡尔曼滤波器是基于滤波器方法的第一个分支(KF)[12]相关延伸方法。这些基于卡尔曼滤波器的方法首先假设数据受到高斯噪声的影响，这在我们的例子中不一定是正确的。就其基本形式而言，KF旨在处理线性系统，虽然具有良好的收敛性[13][14]，但很少用于SLAM。另一方面，扩展卡尔曼滤波器(EKF)非线性滤波和[15]SLAM常用工具。EKF线性化步骤被添加到非线性模型中。围绕当前估计，通过一阶泰勒展开线性化执行。只要状态向量的真实值线性化，就证明了EKF的最优性。在实践中，它是要估计的值，所以不能使用。这可能导致一致性问题：真实值可能超过估计的不确定性[16][17]。
KF适用于线性系统的处理slam不适用
- 一种利用线性系统状态方程通过系统输入输出观测数据来优化系统状态的算法。由于观测数据包括系统中噪声和干扰的影响，最佳估计也可视为滤波过程。
- 卡尔曼滤波法的线性系统： 运动方程和观测方程都是线性方程，卡尔曼滤波器假设马尔可夫，我们知道k-1时后验分布估计当前时间后验分布。可分为以下步骤： 第一步：使用k-1平均值和协方差预测当前时间的先验平均值和协方差 第二步:利用先验均值和协方差的卡尔曼增益稀疏 第三步:更新后检平均值与协方差
- 一般SLAM系统不是线性系统，我们一般将系统做运动方程在k-1时刻的展开，将观测方程在预测k时首先验证一阶泰勒展开近似线性系统，计算步骤与线性系统一致。
- EKF的局限性：
- 假设马尔可夫性，当前数据可能与之前的数据有关。
- EKF泰勒在离工作点很远的地方可能不允许展开，只相当于迭代更新。没有优化的方法是准确的。优化是每次优化后在优化点进行一次。
- 存储状态量的平均值和协方差，存储量过大，不适合大型场景。
- EKF系统没有异常检测机制，遇到异常值可能会发散。
拓展：EKF（扩展卡尔曼滤波器）将卡尔曼滤波器扩展到非线性系统。通常的做法是考虑泰勒的运动方程和观测方程，只保留一个阶段，即线性部分，然后根据线性系统进行推导。
（1）EKF假设马尔可夫性，k时间状态只与k-1时刻有关。 (2)非线性优化利用所有历史数据，全局slam。 （3）EKF线性化处理后，在工作点使用一阶泰勒展开式近似整个函数，工作点不一定在远处建立。（4）每次迭代一次非线性优化，状态估计将发生变化，泰勒将展开新的估计点。
- 总而言之，EKF可视为只有一次迭代BA。
然而，在大多数情况下，估计值足以接近允许使用的事实EKF。例如，提供范围信息的传感器(如激光扫描仪)特别适用于[18][19]。声纳最早用于水下应用EKF SLAM方法之一[20][21]。这两种传感器结合在[22]中EKF SLAM方法中。视觉与激光的耦合也在[23]中提出。单眼方法也得到了广泛的研究。在[24]中，只有在足够准确的情况下，构成地图的地标才会插入EKF中。在[25]中，提出了具体的地标参数化。为了限制线性误差，作者研究了卡尔曼增益对更新的影响。
估计值足够接近事实，允许使用EKF
[22] P. Newman, J. Leonard, J. D. Tard′os, and J. Neira, “Explore and return:Experimental validation of real-time concurrent mapping and localization,” in Proc. IEEE Int. Conf. Robot. Autom., 2002, vol. 2, pp. 1802–1809.
[23] P. Newman, D. Cole, and K. Ho, “Outdoor SLAM using visual appearance and laser ranging,” in Proc. IEEE Int. Conf. Robot. Autom., 2006,pp. 1180–1187.
[24] A.J. Davison, “Real-time simultaneous localisation and mapping with a single camera,” in Proc. IEEE Int. Conf. Comput. Vis., 2003, pp. 1403–1410.
[25] J. Montiel, J. Civera, and A. J. Davison, “Unified inverse depthparametrization for monocular SLAM,” in Proc. Robot., Sci. Syst.,2006, p. 8.
[26] G. Bresson, T. F´eraud, R. Aufr`ere, P. Checchin, and R. Chapuis, “Realtime monocular SLAM with low memory requirements,” IEEE Trans.Intell. Transp. Syst., vol. 16, no. 4, pp. 1827–1839, Aug. 2015.
不断增长的地图大小使得EKF无法支持大规模SLAM，因为更新时间以二次方式取决于状态向量的大小。为了克服这个问题，创建了子图的概念。每次地图变得太大时（可以使用各种标准来决定），新的空白地图会替换旧地图。更高级别的地图跟踪子地图之间的链接，以免丢失信息。在第一个基于子图的方法中，我们可以引用[27]的约束相对子图过滤器，其中子图彼此去相关，但很难执行闭环（基于对先前访问过的地方识别的漂移校正）。恒定时间SLAM[28]和网络耦合特征图[29]以类似的方式工作，只是保留了子图之间共有的地标以简化从一个到另一个的变化，但这些方法忽略了相关数据。Atlas框架[30]利用了一个图结构，其中节点是子图，顶点是两个子图之间的转换。闭环只能离线应用。埃斯特拉达等人通过维护两个高级地图[31]来解决这个问题，但仍然在多个子地图中使用地标。[32]中提出了条件独立的子图作为该问题的解决方案。这个想法是边缘化两个子图不共有的信息，以便在给定公共部分的情况下使它们独立。在[33]中选择了一种不同的方法。提出了一种分而治之的方法来加入创建的局部地图以恢复精确的全局地图。还提出了决定何时创建子图的新标准，例如[34]中同时可观察的地标的数量或[35]中地标之间的相关性。子图的替代方案，压缩EKF SLAM，已在[19]中提出。在这项工作中，状态向量被分为一个活跃的（和更新的）部分和另一个被压缩成一个光辅助系数矩阵的部分。
2）Unscented Kalman 滤波器
为了补偿具有高度非线性系统的EKF的弱点，Julier等人引入了无迹卡尔曼滤波器（UKF）[36]，它避免了雅可比行列式的计算。这个想法是对称为sigma点的粒子进行采样，由于似然函数，这些粒子在预期值周围进行了思考。然后将这些sigma点传递给非线性函数并重新计算估计值。这种方法的主要缺点是它的计算时间。大多数使用UKF的工作发生在2000年代初期[37][38]。在[39]中已经证明了对单目情景中的实时应用。
3）信息滤波器
卡尔曼滤波器的另一个变体是信息滤波器(IF)[40]，它是卡尔曼滤波器的逆形式。其特殊性是将信息矩阵定义为协方差矩阵的逆矩阵。一个主要优点是更新步骤变得可加，并且不依赖于整合观察的顺序[41]。也可以通过打破数据[42]之间的弱链接来使信息矩阵更稀疏，从而确保接近恒定时间的更新[43]。尽管在[44][45][46]中有一些应用，但IF在单车SLAM中不如EKF流行，因为有必要将每个度量转换为其逆形式，这可能是昂贵的。然而，IF被更多地用于多车辆SLAM（参见第V节）。
4）粒子过滤器
过滤SLAM算法的第二个主要分支是。它们的原理如下：用一组粒子根据其概率密度对状态进行采样。然后，与每个过滤器一样，完成对每个粒子位移的预测，并根据观察结果进行更新。在更新阶段，粒子根据它们关于度量的可能性进行加权。最有可能的粒子被保留，其他的被消除并产生新的[3]。将此方法直接应用于SLAM很难处理，因为它需要每个地标一组粒子。然后出现了PF的变体，例如分布式粒子方法DP-SLAM[47]和DP-SLAM 2.0 [48]，它们提出使用最小祖先树作为数据存储结构。它通过引导PF来实现快速更新，同时减少后者的迭代次数。然而，最著名的PF算法是FastSLAM[49]，它在该主题上受到了先前工作[50][51]的极大影响。使用EKF估计每个地标，并且粒子仅用于轨迹。FastSLAM已在[52]中实时应用。PFs的主要优点是它们不需要高斯噪声假设并且可以适应任何分布。尽管如此，PFs也存在长期不一致的问题[53]。在[54]中，这个问题是通过将FastSLAM与IF相结合来解决的，但结果计算量很大。在[55]中，FastSLAM被应用于激光数据，其中匹配给出了里程计测量，然后用于在重采样阶段对粒子进行加权。仍然关于FastSLAM，其贝叶斯基础在[56]中扩展到可转移信念模型框架（TBM），从而允许在所使用的网格图中表示冲突。
当涉及到视觉传感器[24]和带有激光数据的2D占用网格时，基于过滤器的方法现在往往依赖于3D点。后者在[57]和[58]中介绍，特别适合SLAM，因为由于网格本身导致的空间离散化允许在更新步骤期间测试有限数量的候选位置。地标不确定性由单元的占用概率表示，这使得地图部分的更新成为可能。在更新步骤中，经典方法是最大化测量值与地图之间的相似性，如贝叶斯形式主义中的[59]或TBM环境中的[60]中的相似性。尚未提及，在[61][62][63]中使用基于滤波器的方法已经证明了雷达在SLAM中的使用。然而，由于信号的噪声性质，它们在大规模实验中的使用仍然有限。它们通常用于障碍物检测。
B 基于优化的SLAM
面向优化的SLAM方法通常由两个子系统组成，如基于滤波器的SLAM。第一个是通过查找新观测值与地图之间的对应关系，根据传感器数据识别问题的约束条件。第二个子系统计算或细化车辆姿态（和过去的姿态）和给定约束的地图，以便拥有一个连贯的整体。至于过滤器，我们可以将这些方法分为两个主要分支：捆集 调整和图SLAM。
1）BA(Bundle Adjustment)
捆集调整是一种的视觉技术。大多数早期的工作都集中在3D重建[64]，但从那时起它就被应用于SLAM。主要思想是通常使用[65]优化一个目标函数。后者将（图像中的观察值与重投影的过去特征之间的距离）最小化，从而提供最佳相机和地标位置。然而，核心捆绑调整算法的计算量可能很大，因为它会同时考虑所有变量以进行优化。
Bundle Adjustment : 从视觉重建中提炼出最优的3D模型和相机参数（内参和外参），好似每一个特征点都会反射几束光线，当把相机位姿和特征点位置做出最优的调整后，这些光线都收束到相机相机光心。也就是根据相机的投影模型构造构造代价函数，利用非线性优化（比如高斯牛顿或列文伯格马夸而尔特）来求最优解，利用雅克比矩阵的稀疏性解增量方程，得到相机位姿和特征点3D位置的最优解。
(通俗解释)流程：先按照正常的步骤计算出3D点的坐标；然后重投影（按理说一个正向计算，一个反向计算，误差是0才对），但是由于各种原因（不清楚具体是啥）存在了重投影（像素坐标）误差。因此需要求MIN的误差。求的过程中需要不断调整3D点位置与相机外参，因此求出MIN误差的时候，也获取了最优的3D点位置与相机姿态。
- 暴力匹配是，确定匹配最小距离，汉明距离要小于最小距离的两倍才是正确的匹配。（工程经验，当描述子的距离大于最小距离的两倍时，认为匹配有误）。
- 使用KNN-matching算法，令K=2。则每个match得到两个最接近的descriptor，然后计算最接近距离和次接近距离之间的比值，当比值小于阈值时，才作为最终match。
- RANSAC（随机抽样一致)，利用RANSAC找到最好的对极约束D 1.从匹配好的点中找八对点，然后计算其他匹配点到极线的距离，当距离小于内点时看作内点。 2.当内点的数目占95或者到达迭代次数k时把当前的本质矩阵作为最好的模型。 3.以当前的本质矩阵求解出相机的运动。（使用RANSAC找到最佳单应性矩阵。由于这个函数使用的特征点同时包含正确和错误匹配点，因此计算的单应性矩阵依赖于二次投影的准确性）
从那时起，已经提出了许多方法来执行局部优化。在[66][67]中，提出了一种处理较小块的分层方法。然后以分层方式合并获得的部分3D模型。为了降低复杂性，在所有帧中选择或创建两个虚拟关键帧来表示给定部分。这减少了要优化的变量数量。在[68]中，类似的方法已应用于自动驾驶，具有准确的定位结果，但需要离线地图构建。
在[69]中，提出了一种仅对新信息进行优化的增量方法。在最坏的情况下，它相当于一个完整的捆绑调整。在[70]中，作者在。在优化阶段考虑两个视图之间的共同点。三组图像的原理在捆绑调整社区中很常见。与每一种优化技术一样，当给出一个好的粗略估计时，捆绑调整效果很好。从这个意义上说，过滤异常值很重要。Niste ́retal。[71]提出了一种基于抢先式RANSAC的选择方法[72]。尽管它允许实时应用（13Hz），但结果不如[68]中的准确。在[11]中提出了一种。目标是根据最后N帧(N≥n)中点的2D重投影局部优化最后n个摄像机位置。可以调整这些参数以获得具有良好结果的实时方法。在[73]中提出了惯性测量的整合。由于机器学习方法，双目标函数（视觉和惯性目标函数）使用系数集进行加权。另一种选择是仅优化一组帧以解决闭环问题。这是[74]中提出的想法，作者保留主要架框架并边缘化过程中的大部分特征和框架。这种方法非常接近于图SLAM技术。
2）图SLAM
贝叶斯SLAM的图形表示（见图2）特别适合通过优化方法解决。图3显示了一个来自[75]的示例。基于此图形表示，可以轻松地构建描述地标和车辆姿态之间关系的矩阵并在优化框架中使用。
许多定位问题可以使用图形表示进行建模，并通过找到遵循以下形式的代价函数的最小值来解决：
其中x是包含不同车辆姿态的向量，m是地图，eij是计算预测和观察之间距离的误差函数，Ωij是相关信息矩阵。
最优值x∗和m∗可以通过优化得到：
通常，非线性函数F(x,m)的最小化通常通过使用流行方法（例如Gauss-Newton、Levenberg-Marquardt、Gauss-Seidel松弛或梯度下降）的局部近似来简化。这些方法既可以通过优化整个轨迹来工作，也可以通过小位移增量来实时使用。与过滤方法类似，最小化的成功取决于初始化。
TORO算法[76]在图中应用具有新颖节点参数化的随机梯度下降变体。这种参数化采用树结构的形式，在每次迭代时定义和更新局部区域。一个不同的想法是不考虑欧几里得空间，而是考虑流形。它是算法HOG-MAN[77]的基础，其中提出了对流形的分层优化。最低级别代表原始数据，而最高级别捕获环境的结构信息。在g2o[78]中，采用了类似的表示。g2o使用Hessian矩阵的结构来降低系统的复杂度进行优化。COP-SLAM[79]优化了位姿图。后者考虑位移和相关的不确定性来构建一系列姿势。在另一种方法中，TreeMap[80]利用地图的树结构并制作地标的拓扑组，以使信息矩阵更稀疏，从而加快处理速度（n个地标的O(logn)）。即使没有利用图结构，iSAM（增量平滑和映射）[81][82]也简化了信息矩阵以加速底层优化。这里，目标是这个稀疏信息矩阵的QR分解。
基于过滤器的技术和优化方法的SLAM应用对比是困难的，因为它们通常在不同的范围内考虑。这种比较工作已在[83]中提出，然后在[84]中扩展到单目方法。结果是优化往往比更容易受到线性化问题的过滤器提供更好的结果。然而，作者得出结论，“如果有少量处理预算，基于过滤器的SLAM框架可能是有益的，但BA优化在其他地方优于资源有限的地方”[83]。
C 相关综述和存在数据集
由于SLAM是移动机器人和现在自动驾驶的中心话题，它继续引起许多研究人员的关注。在本节中，我们将引导读者阅读最近的调查文章，这些文章涵盖了此处未涉及的方面。我们还描述了用于对当前方法进行基准测试的不同现有数据集。
如前所述，[4]和[5]对该领域进行了很好的介绍，并概述了SLAM涉及的不同方面。在[85]中，对最常见的基于滤波器的估计技术进行了简要调查，并列出了每个主要范式的优缺点。Dissanayake等人对SLAM提出了一个有趣的看法。在[86]中，并在[87]中进行了扩展，讨论了SLAM的可观察性、收敛性、一致性以及计算效率。在[7]中，回顾了三种估计技术：EKF-SLAM、PF-SLAM和基于图的SLAM。还回顾了最近使用视觉的SLAM 作品。特别关注室内SLAM和RGB-D相机。由于传感器的成本及其信息丰富性，社区对基于视觉的SLAM有着浓厚的兴趣。一些作品在[88]中进行了回顾。在[89]和[90]中，作者涵盖了视觉里程计（VO）的主题，其中重点是定位（和轨迹）而不是地图。视觉SLAM也是[91]的核心，其中解决了特征选择、匹配和地图表示。最近，Ros等人在[92]中提出了无人驾驶汽车的视觉SLAM挑战：构建长寿命地图、如何在车辆之间共享地图以及处理高级特征以简化识别的必要性。最近还发表了一份关于视觉位置识别的非常完整的调查[93]。作者介绍了该领域必不可少的不同模块：图像处理（描述符等）、地图（表示）和称为信念生成的估计部分。虽然这项调查还将探讨位置识别，因为它是SLAM的一个重要方面，但我们将关注其在自动驾驶汽车中的应用以及现有方法的成熟度。前面已经提到过Cadena等人的大量工作。在[8]中，对SLAM主题进行了整体审查。某些方面，不一定适用于自动驾驶，这里不会涉及（例如主动SLAM）。再次，我们将坚持关于自动驾驶汽车的关键主题和当前最先进方法的实验结果。最后，在[94]中，作者回顾了多机器人SLAM方法，并描述了基础数学公式。在我们的专门部分中，我们将使用基于云的方法完成这项调查，并就该领域的当前结果以及自动驾驶的预期未来方向提供一些见解。
最近已经做出了很大的努力来提供可以用来对不同的SLAM算法进行基准测试的数据集。Rawseeds项目是最早提出基准测试工具[95]的项目之一，该工具包含具有基本事实的室外和室内数据集。以类似的方式，New College数据集[96] 是在室外环境中使用相机和激光的2.2公里轨迹。最著名的是KITTI数据库 [97]，其中包含从城市和城市周边环境中的汽车获取的各种数据集。它的受欢迎程度与数据集的多样性（车辆配备立体摄像头和3D激光扫描仪）以及网站提供的评估可能性有关。它是目前评估SLAM算法定位精度（平移和旋转误差）的主要工具。表 I 根据[98]提出的比较表提供了不同可用数据集的摘要。
我们现在将通过分析KITTI上排名靠前的方法来展示SLAM方法在自动驾驶方面的限制，然后讨论如何减轻这些限制。
3 经典方法在自动驾驶中的局限性
A 问题识别
KITTI数据库提供了一个有趣的向量来评估自动驾驶的里程计/SLAM算法的当前状态，因为提供的数据集是使用装备好的车辆进行的，主要是在城市和城郊道路上，预计这些方法将是最有效的。KITTI里程计数据集上排名第一的定位方法是[105]，它将用于。3D激光用于创建视觉特征的深度图，并。获得的变换用于初始化与地图匹配的ICP。这种方法能够在KITTI基准上达到0.68%的平移误差和0.0016deg.m-1的旋转误差。KITTI上最好的立体方法是一种名为。该算法基于精细的特征选择和跟踪。在两个图像中都提取了类似角的特征。通过小窗口上的SAD（绝对差异和）寻找对应关系。这些特征必须在两个连续的图像中匹配才能可行。执行归一化互相关(NCC)测试以去除最后的异常值。使用不同的算法分别估计帧到帧的运动以进行旋转和平移。在[107]中选择了类似的方法。基于对地标重投影误差的分析的异常值去除方案用于定义拒绝异常值的标准。[108]中描述了另一种有趣的方法。作者使用最先进的单目技术，但应用于立体系统。这再次意味着对内点识别和跟踪的强烈关注。这些视觉方法的性能达到平移误差约1%和低于0.003deg.m-1的旋转误差。
这四种方法在KITTI上排名较好。尽管结果令人印象深刻，但影响它们的漂移使它们无法长距离使用。例如，仅1%的平移漂移（无旋转误差）意味着100米后，车辆距离其真实的绝对定位只有1米。因此，必须考虑限制、纠正或避免这种长期漂移的方法。自动驾驶所涉及的大规模环境是一个重要的问题，因为在几公里内必须保持分米精度（通常推荐20厘米的精度[109]）。因此，找到解决方案至关重要，无论是在绝对约束的形式下，还是通过研究漂移是如何发生并建模的。
显然，SLAM算法中使用的模型（车辆模型和观察模型）的非线性主要是由旋转引起的（参见图4示例），对定位的散度有很大的影响。然而，重要的是要提到收敛特性已经在SLAM的线性案例[14]中得到证明，在该领域使用卡尔曼滤波器就是一个很好的例子。
关于过滤方法，EKF SLAM的发散问题已被多次陈述。在[17]中，作者表明，当执行的线性化远离真实值时，滤波器往往会给出有偏差的估计。这意味着与状态（车辆或地图）相关的不确定性太小：估计是不一致的，真实值超出了估计的不确定性。定位逐渐漂移，过滤器计算有偏差的车辆姿态和地图[110]。非线性模型不是漂移的唯一来源。朱利尔等人在[16]中补充说，数据之间被忽略的相关性也会引起分歧。卡尔曼滤波器产生乐观的结果，这意味着他们认为来自传感器的一段数据是全新的，因此与其余数据在时间上去相关（白噪声假设），但事实并非如此，因此会导致不一致。
最后一段中提出的问题也适用于在本地环境中工作的优化方法，这是实时估计的必要条件。之前引用的优化SLAM工作也清楚地表明了旋转在该漂移中的重要性。多位作者都观察到了这一点[111]。它也在[112]和[113]中被实验证明。在[114]中，作者表明SLAM问题的2D公式不是凸的，因此具有可以陷入优化的局部最小值。然而，在不包括旋转误差的情况下，问题接近二次函数，因此变得凸。
许多实际原因也会影响SLAM算法的行为。例如，当静态世界假设是先决条件时，动态障碍的存在就是一个因素。场景中少量的地标或缺乏足够显着的特征也会导致错误的关联，从而导致系统发散。当然，对于嘈杂的真实传感器数据所使用的模型的准确性是另一个可能对计算定位的完整性产生强烈影响的因素。大多数直接解决这种不一致问题的工作都倾向于找到局部避免或减少漂移的方法。
B 避免或减少漂移的影响
避免或至少减少分歧的第一种可能性是将地图划分为子地图[31]。之前介绍的这些方法将全局地图分解为子地图，每个子地图都有自己的参考框架。通过这样做，可以通过只允许每个子图的短轨迹来在局部级别避免漂移。因此，必须校准子图的大小，并在减少漂移和处理引起的信息丢失之间做出折衷。然而，即使有适当的大小（例如参见[35]），也不能保证定位的一致性会得到保留。事实上，每一项措施都会导致系统不一致，即使只有几条数据也可能发生这种现象。此外，即使在子地图中避免了分歧，在全局地图中也不会跟踪子地图的连接方式。因此，它更多地是问题的局部解决方案。
以类似的方式，以机器人为中心的方法大大减少了分歧[115]。估计总是与车辆位置相关，而不是具有固定的世界框架。不一致问题不太常见，因为它们不像通常情况那样累积。该框架中的估计允许比经典EKF SLAM[116]更好的一致性。然而，与子图一样，分歧并没有完全解决，因为地标可能在少数测量的情况下发散。一些SLAM方法已经成功地使用了以机器人为中心的框架[117][118]。地标一旦不可见就会被遗忘，这将这些方法与视觉里程计联系起来，因此是完全合适的。
其他实际原因可能会造成漂移和不一致，例如在预期静态世界时存在移动障碍物。这个问题已经在SLAMMOT（移动对象跟踪）或SLAM-DATMO（移动对象检测和跟踪）方法[119][120][121]中得到解决。这个想法是利用地图构建过程通过分析与车辆位移不一致的观察结果来直接检测和跟踪障碍物。或者，代表模糊信息的可信方法[60]可以间接处理动态障碍。他们不检测或跟踪这些障碍物，而是将它们视为冲突，这允许算法在估计车辆位移时对这些观察结果影响非常低的权重。
更一般地说，SLAM过程中选定地标的质量和数量对系统的行为方式有明显的影响。歧义会导致匹配错误，从而导致产生的估计不一致。与这个问题相关，故障检测和隔离（FDI）系统建议利用信息冗余来测量不同来源（传感器、模型等）的一致性，并检测其中一个来源的错误或故障。通过这样做，可以知道系统是否处于容易出错的情况，从而拒绝虚假措施以避免漂移。在[122]中，作者建议使用阈值分析一组卡尔曼滤波器的残差，以确定一个滤波器是否发散。[123]中描述了一种类似的方法，但决策部分交给了神经网络。Sundvall和Jensfelt在[124]中添加了不同估计之间的一致性度量。在[125]中，使用归一化创新平方(NIS)测试将故障检测应用于GPS。[126]中使用神经网络通过使用近似器进行测量预测来检测传感器故障。在[127]中，作者提出了一种视觉里程计，其中在最小化步骤中考虑了光度相机校准，以减少由镜头衰减、伽马校正等影响引起的漂移。与更简单的相机模型相比观测质量得到了提升。
在SLAM算法中经常被认为可以对抗漂移的一个方面是多源的使用和融合。与前面描述的FDI方法相反，其想法不是拒绝虚假测量，而是让各种传感器相互补偿。根据罗等人的说法[128]，可以识别三个级别的信息融合：原始数据的低级，特征的中级和对象的高级。在[129]中，作者建议将激光与相机数据相结合。融合是在里程碑级别完成的（激光估计，然后是相机细化）。在[130]中，相机、激光和GPS基于信息相干性进行融合。之前已经讨论过，[105]中描述的方法结合了视觉和3D激光数据以产生低漂移算法。然而，即使耦合信息可以使算法的准确性和一致性受益，它也不能保证它不会漂移。它仅部分纠正了由一个传感器引起的漂移。
即使这些方法已被证明可以减少或部分避免漂移，它也不允许在长时间内进行无漂移估计。以可靠的方式校正漂移涉及到关于车辆相对于先前已知的、局部或绝对的参考的位置的限制应该被固定考虑。
C SLAM在自动驾驶中的评估准则
虽然前面描述的方法可以成功地应用于具有专用探索方案的自主室内移动机器人，但对于自主驾驶环境的大规模环境来说还不够。这意味着有必要依赖先前的知识（绝对或本地信息）或能够随着时间的推移改进构建的地图，直到它足够准确（例如闭环）。因此，地图方面是自动驾驶汽车的核心，并为如何构建或使用紧凑、相关、可靠和不断发展的地图提出了重要挑战。
我们已经确定了6个标准，我们认为SLAM方法必须满足这些标准才能使自动驾驶可行。它们描述如下：
• 准确性：指的是车辆定位的准确性，无论是在世界坐标中还是相对于现有地图。理想情况下，准确度应始终低于阈值（通常约为20厘米[109]）。当然，在直线中，纵向定位可能不太准确，但不会产生重大后果。
• 可扩展性：指车辆处理大规模自动驾驶的能力。SLAM算法应该能够在恒定的时间和恒定的内存使用情况下工作。它意味着在需要时使用地图管理器来加载数据。第二个方面是构建和/或使用的地图必须是轻量级的（或存储在远程服务器上并即时检索），以便该方法易于在长距离上推广。
• 可用性：指SLAM算法直接提供足够准确的定位的可能性，如果足够准确，可以立即用于自动驾驶。换句话说，构建环境地图不需要算法的第一次通过，这意味着该方法能够利用现有的地图资源（或更一般地集成绝对信息）。这一标准对于不限制自动驾驶汽车可以在哪里运行（全球地图绘制过程成本高昂且需要专用手段）。
• 恢复性：指对车辆在一张大地图里面进行定位的能力。最初，车辆不知道它在哪里，并且大多数时候需要一个专门的过程来大致了解它在地图中的位置。这也是一种从故障中恢复的方法（被绑架的机器人问题）。
• 可更新性：指识别地图和当前观测之间的永久变化。它还包括集成这些持久更改而不是临时更改所需的更新策略。长期的自动驾驶需要地图更新的自动化。
• 动态性：指SLAM方法如何能够处理动态环境和变化。这包括可能扭曲定位估计的动态障碍。它还整合了可能变化的天气条件以及季节变化（树木落叶等）。长期SLAM的挑战之一是找到足够区分的特征或方法，以便对这些变化具有鲁棒性。
我们现在将研究现有的单车和多车SLAM方法，并将它们与之前定义的标准进行比较，以便全面了解自动驾驶SLAM方法的成熟度。
4 单车SLAM
从上面详述的标准中出现的所有挑战都指向构建更好地图的必要性，旨在度量和拓扑级别的环境表示和识别方面。为了涵盖这个广泛的主题，我们将作品分为三类，这反映了SLAM社区通常如何考虑他们的贡献。第一个涉及闭环（识别先前建图的位置），这是SLAM的重要组成部分，因为它允许校正地图并使它们连贯。一个有趣的方面是这些算法通常适用于在其环境中重新定位车辆，从而为恢复标准提供答案。第二类处理先前构建的地图中的本地化。如前所述，这是一种约束漂移的直接方法。从理论上讲，每个SLAM方法都可以重用其地图，但我们将重点关注明确这样做的文章以及解决重用地图的长期挑战的文章。第三部分侧重于利用现有数据的定位方法，以避免专门配备的车辆的第一次通过。对于本节的每个部分，我们将提供所讨论方法的综合，它们如何响应先前建立的标准，并简要讨论剩余的挑战。
A 重定位与回环检测
识别先前地图的位置，从而减少SLAM算法引起的漂移，被认为是SLAM的重要组成部分。主要困难来自于估计过程不一致并且不能被信任找到那些循环的事实。这意味着，在大多数情况下，这个问题是通过一种始终运行的专用算法来解决的，独立于估计过程。这种专用算法还经常用于在先前构建的地图（被绑架的机器人问题）中重新定位车辆，这在考虑自动驾驶车辆时是最重要的。
由于视觉信息的丰富性，大多数方法使用相机来查找循环。威廉姆斯等人[131]已经确定了可以将这些算法分开的3类：
1）图像到图像的方法[132]
在图像到图像的方法中，环路检测发生在传感器空间中。[132][135]属于这一类。这个想法是建立一个字典，其中每个单词代表相似的描述符。SIFT[136]通常用于查找描述符并比较它们，因为它对图像中的缩放、旋转或视点变化具有良好的鲁棒性。可以以冗余方式（SURF、CenSurE等）考虑许多视觉描述符，以便拥有尽可能大的数据库和有代表性的字典。一旦构建了后者，它就可以用来检查某些图像是否可以用相同的词来描述，从而有资格代表同一个地方。
诸如FAB-MAP（）[99]（及其扩展FAB-MAP 2.0 [137]）和PIRF-Nav（位置不变鲁棒特征导航）[138]等算法是的SLAM解决方案的两个示例用于闭环。在第一个中，具有强依赖性的信息被提取以避免错误识别，这通常会影响闭环算法。该方法已在1000公里的室外数据集上进行了评估，结果表明，使用离线构建的字典，该算法可以提供适当的拓扑闭环并使地图更加连贯（未评估准确性的增益）。在[138]中，目标是相同的，但允许对动态变化具有鲁棒性的特征受到青睐（PIRF）。与FAB-MAP的一个主要区别是整个过程是在线的和增量的。然而，它不能很好地扩展（图像检索的二次复杂度），因此没有应用于车辆对比FAB-MAP方法。
仍然为了减少误报的数量，SeqSLAM[139]建议减少对单个图像的区分，而是分析序列以确保正确匹配。22公里和8公里数据集的结果证明了SeqSLAM在FAB-MAP所处的不同天气条件下实时处理日/夜匹配的能力（即使计算时间与数据集的大小成线性关系）无法正常运行。SeqSLAM被证明是一种纯粹的位置识别方法，即使有可能，它也不会应用回环来纠正先前的测量。SeqSLAM甚至已经扩展到通过使用表示潜在道路的图形结构和粒子滤波器来集成匹配之间的运动估计，以保持定位的一致性[140]。这种方法SMART PF 显示出比SeqSLAM 更好的结果。[141]中显示了另一种有趣的方法，其中测试了算法以找到不同季节的闭环。为此，还通过使用图像序列解决了该问题。构建了一个流网络（一个具有开始和结束遍历节点的有向图），并用于将图像匹配制定为最小成本流问题。在建议的数据集（夏季/冬季匹配）上，该方法优于SeqSLAM。处理每张图像需要几秒钟。[142]中介绍了这种方法的演变。作者用来自深度卷积神经网络的全局图像特征图替换了用于表示图像的HOG特征。他们能够获得更好的表现。在具有里程计约束的基于图的方法（g2o[78]）中考虑了找到的循环，而没有提供关于达到的准确性的见解。该方法在GPU上运行，因此比之前的实现更快（实时数据集包含48,000张图像），尽管它的速度仍然取决于数据集的大小。
2）地图到地图的方法[133]
地图到地图的方法完全基于地图中包含的信息。[143]中提出的GCBB算法（几何约束分支定界）就是这种情况。原理是定义地图中地标对与当前观测值之间的几何约束。建立关联树以便找到对应地图中地标的几何组织的最可能的关联假设。即使未测量结果地图的准确性，它也已在[133]中以分层方法成功应用于户外实验。
Li等人在[144]和[145]中提出通过使用遗传算法来合并占用网格以找到可能的最佳对齐方式。低成本GPS用于将搜索空间限制在较小的区域。与前面的示例类似，地图的一致性得到了显着提高，但其准确性没有被测量。在可以近似估计漂移的情况下，JCBB算法（Joint Compatibility Branch and Bound）[146]根据其不确定性选择兼容的地标。
地图到地图的方法很难在没有任何提示的情况下应用，因为地图要么太稀疏而无法足够区分（例如单目SLAM），要么太复杂而无法实时进行完整的探索。在这种情况下，像[145]中那样使用GPS是有意义的，因为它允许系统大大减少探索空间。
3）图像到地图的方法[134]
最后一类，称为图像到地图（或更一般的传感器到地图），从传感器空间中提取信息并将其直接与地图进行比较。[134]中描述的方法基于在检测到的地标上训练的分类器。闭环阶段在图像上使用这些分类器来检查是否存在匹配。然后，RANSAC算法采用相应的3D位置来计算车辆的新姿态。单个摄像头的结果表明地图在户外场景中变得连贯。
关闭循环或重新定位车辆的另一种可能性是使用分层技术来加快处理速度。低分辨率地图首先用于识别车辆的粗略定位，然后随着地图分辨率的增加对其进行细化。这些方法特别适用于占用网格，并已成功应用于[147]中带有激光传感器的自动车辆。在此示例中，使用从粗到细的方法在地图内重新定位车辆，而不是执行回环。实验表明该方法效果很好，但地图的大小是一个关键方面。
4）讨论
我们专注于如何在SLAM算法中应用闭环。近年来，人们清楚地关注如何应对季节性或天气变化，我们向读者推荐本调查[93]，以获取该领域的详细视图，与闭环无关。
即使看起来图像到图像的方法受到青睐，最近的方法也倾向于结合不同的方法来确保正确识别一个地方。例如，可以在[148]中找到具有视觉里程计的FAB-MAP应用。作者依靠密集立体建图并使用FAB-MAP来指示闭环。它们的度量积分是在图形公式中完成的，并使用观测值和先前构建的地图之间的迭代最近点(ICP)算法[149]进行计算。即使不直接测量精度，构建的地图也表示一致的地图。在[150]中，首先采用词袋方法生成候选者，然后使用条件随机场（CRF）进行检查，其中约束确保地标之间的几何一致性。整个方法应用于视觉SLAM框架。在表II中，我们简要概述了此处描述的与自动驾驶问题相关的主要方法。
基于既定标准，我们可以看到这些方法提出了恢复问题的解决方案。然而，闭环最初被视为一种纠正漂移的方法。虽然它产生了更连贯的地图，但这里引用的文章并没有清楚地揭示准确性的提高。在[151]中，作者解释说关闭循环可以抵消循环内部的漂移，但结果总是过于自信。[152]中提出了另一种方法，当识别出循环时，错误以概率方式围绕过去的轨迹重新分布。它避免了前面提到的过度自信问题，但不保证定位的一致性。
它还解释了为什么社区不一定专注于提高准确性，而是专注于解决困难的条件和构建一致的地图。即使结果令人印象深刻，尤其是在季节性变化和晴雨条件下，这里引用的方法，当考虑自动驾驶时，可以被视为更好的GPS，但在给定区域内。因此，它为未来带来了两个主要挑战：这些方法是否可以通过使用已有信息（地图、图像等）来推广以避免区域限制？能否将这些方法扩展并集成到SLAM框架中，以提供对自动驾驶可行的非常有弹性的方法？
B 在建好的地图中定位
在先前构建的地图中对车辆进行定位与上一节中介绍的关于闭环和重新定位的方法紧密相关。事实上，第一个必要的行动是全局识别车辆在地图中的位置。一旦完成这第一步，就可以使用更经典的数据关联算法。如果通过闭环无法完全消除漂移，则将定位限制在给定地图内是自动驾驶的可行解决方案。然而，构建一个可伸缩的、可以更新的或在任何条件下都可以工作的地图并不是一项简单的任务。我们将介绍现有的方法，这些方法表明在没有或使用专门的地图构建过程的情况下重复使用地图是可能的。
1）首次建图与即时定位的一致方法
任何SLAM算法的逻辑扩展都是。虽然它仍然需要第一次通过，但地图可以立即使用，不需要专门的离线处理。然而，并非所有方法都证明它们在涉及不断构建或丰富地图的情况下是可行的。
地图管理被所有涉及子地图的方法广泛覆盖，这使得SLAM算法能够以近乎恒定的时间和内存消耗工作[28]。但是，这些方法不一定要考虑重用地图。在[59]中，PML-SLAM被提出来使用激光扫描仪和占用网格来解决这些问题（基于车辆位置的RAM和硬盘驱动器之间的地图加载和卸载等）。这种方法已被证明在某些领域的[153]中可用于自动驾驶。地图也可以持续更新，但没有专门的进程处理它，这意味着临时更改也将被集成。
在[154]中，作者描述了一个长期的制图过程，其中新的测量改进了地图。该方法基于视觉和惯性传感器，并使用姿势图表示来集成新数据。由于姿态图的减少，已知区域的可扩展性得以实现。不控制更新是否对应于永久更改。之前已经提到，麦当劳等人的工作在[150]中，使用锚节点将在不同会话期间获取的姿势图链接在一起。这样，生成的视觉SLAM地图都可以考虑在内。与[154]类似，所有地图都没有区别地集成。[155]的作者提出了一种单目方法，该方法使用少量的地标及其视觉斑块来表征它们。地标在图像中被重新投影并通过归一化互相关[156]的补丁进行匹配。
即使这种方法资源非常少，也没有专门的机制能够处理不再需要的地图部分。图像存储器的使用非常普遍[157][158][159]。原理是将当前图像与存储在内存中的参考数据库进行比较，这可能是昂贵的并且是地图的限制因素。在这种情况下，数据关联也可能是一个问题。在[160]中，作者提出数据关联图作为建模和解决此问题的一种方式。
是一项主要在室内环境中解决的挑战。动态姿势图[161]维护两个地图：。标记激光扫描点以识别移动障碍物，然后可以相应地更新两个地图。位姿图表示允许系统删除不活动的节点并保持更易于处理的表示。在[162]中，视觉里程计方法与位置识别机制相结合，以拼接在不同时间获取的地图。当旧视图不再相关时，旧视图将被删除，从而允许系统维护最新的地图，即使也集成了临时更改。
在[163]中提出了一个为期3个月的户外实验，其中作者引入了塑料地图的概念，作为一种随着时间的推移整合视觉体验的方式。这个想法是视觉里程计试图与过去的经验相关联。如果不存在，则创建一个新的。体验可以沿着轨迹是部分的，以便仅将更改存储在专用部分而不是整个地图上。作者通过实验表明，所需经验的数量往往会随着时间的推移而受到限制。这个概念的主要优点是它允许以统一的方法检测突然和长期的变化。收集所有需要的经验需要多次穿越同一条道路，而这只能在世界范围内使用探测车完成。
2）精简地图构建处理
计算机容量的不断增加，再加上使用SLAM进行自动驾驶需要第一次遍历这一事实，导致研究人员专注于如何构建可能用于在线开发的最佳地图。
大多数时候，地点识别方法也属于这一类，因为它们需要先前的段落来构建特定的数据库，然后再利用这些数据库。在[164]中，每个特征一个SVM在多个图像上进行训练。通过丢弃相邻图像中不够准确或不够独特的检测器来确保鲁棒性。这些分类器及其时间连接可以看作是地图。作者证明了定位失败的显着减少，但没有直接评估该方法的准确性。[165]中的PoseNet算法训练卷积网络以将图像与相应的位置和方向相关联。然后应用CNN来实时定位图像。这些方法确实将车辆定位在地图内，但不能像更经典的方法那样确保定位服务的连续性。
随着时间的推移，许多方法也选择了改进地图。在[166]中，作者认为，在未来，地图将来自集中收集服务。因此，他们提出了一个系统，其中通过优化2D-3D关联使用视觉构建的地图用于为数据库提供数据。离线过程利用所有这些信息来生成包含所有有意义数据（最常见的地标）的摘要地图。在各种条件下，定位精度都在30 cm以下。提到了这种方法的可扩展性问题，但没有解决。在[167]中，作者考虑了一个初始度量和语义图，并提出了一种无监督方法，使它们在停车环境中随时间演变。度量图使用姿势图松弛算法以考虑多个通道。由于机器学习技术，语义部分得到了更新。[168]中维护了多个时间尺度，以便选择最适合当前观察的时间尺度。执行第一次运行以获得初始地图。之后，本地地图通过短期记忆在线维护，而离线更新允许系统构建更一致的全球地图。室内实验表明，地图会慢慢适应长期变化。
在[169]和[170]中提出了一种不同的方法，其中球形图像（强度、深度、显着性和采样球体）是由多个图像构建的。球体的主要优点是覆盖给定区域，而不仅仅是一个位置。基于单目输入的在线注册方法用于定位车辆。在[171]中，提出了一个两步过程。在第一阶段（教学），使用SURF关键点和子图技术构建数据库。然后，重复阶段根据构建的地图对机器人进行定位，以使其遵循与之前相同的路径。类似地，在[172]中，首先使用分层束调整方法离线构建视觉数据库。然后，车辆实时将自身定位在地图内。这两种方法都不允许系统在构建后修改地图。在[172]中，结果显示出令人印象深刻的精度（大约2厘米，路径完全相同）。但是，地图仍然很重（大约100 Mb一公里）。仍然与视觉有关，在[173]中，提出了一种地理参考视觉地图方法。该地图首先是在基于图形的优化框架内使用SURF特征和GPS约束离线构建的。在线，不使用GPS，仅使用地图和立体视觉。地图内存是作者引用的问题之一（1公里有500,000个地标），平均精度为30厘米。
[174]中提出了拓扑定位。在第一个通道期间，GPS与视觉和距离传感器相结合，以创建紧凑特征的数据库（每张图像的描述符以及每张图像之间的距离和标准偏差值）。然后使用贝叶斯过滤器进行在线定位。已经进行了广泛的实验（超过4个月），以显示特征对各种条件的弹性。平均定位误差约为1米。仍然在多传感器环境中，从图像和激光网格图[176]中提取最大稳定极值区域(MSER)[175]。与GPS-RTK相结合，它们可以在第一次通过时建立数据库。然后粒子过滤器在线跟踪车辆姿态。对于50厘米以下的平均误差，7公里需要2574个地标。最后，一种有趣的方法，首先在[177]中提出，然后在[178]中扩展，专注于使用3D激光构建高质量的路面地图。提出了一种反射率值的校准方法，然后使用具有惯性和GPS约束的图形方法计算地图。直方图过滤器用于地图内的在线定位。结果已在6公里以上的自动驾驶中得到了证明，精度不到10厘米。地图管理器确保恒定的内存使用。1.6公里需要10MB。作者指出，在复杂的天气环境中，对所建地图的依赖可能会产生不恰当的后果。Napier和Newman在[179]中没有使用激光构建的地图，而是通过视觉里程计方法构建路面的正交图像。在在线定位阶段，生成基于预测姿态的合成图像，并使用互信息与地图进行比较，以优化定位。该方法目前无法实时工作，其准确性尚未直接评估。
3）讨论
表III概述了本节讨论的主要方法以及它们如何满足我们的自动驾驶标准。
我们可以看到，几乎所有方法都提出了一个（除了没有提到的[173]之外），这对于先前构建的地图中的定位是有意义的。仅视觉就足够了，需要密集的表示或大量的地标。还值得注意的是，所有这些方法之间的实验条件并不相同，因此一种方法无法在不同的环境中达到适当的精度。构建长期地图仍然是一项艰巨的任务，并且始终不清楚是否总是更新地图是好的策略。我们还注意到，这种方法的缺点是不限制地图的大小（即使这种效果是有限的），从长远来看这可能是有问题的。许多方法没有提出存储部分地图的特定机制，因为实验范围不一定需要它。然而，大多数方法所需的信息密度使得目前难以设想在全球范围内进行部署。地图的直接可用性是主要问题，但值得注意的是，[166]提到探测车（配备多个传感器的车辆）作为未来减少此问题的方法。这将在第五节中进一步讨论。
从这个简短的分析来看，构建能够以有限的方式考虑永久变化以及季节和天气的终身地图的问题似乎仍然是一个挑战。关于准确性，即使显示了一些令人印象深刻的结果，也很难预测一个地图表示将如何在不同的环境中工作。由于没有明确的方法来评估这一点，因此需要在各种条件下进行更多测试。最后一个更大的问题是这些地图的创建如何在世界范围内推广？目前尚不清楚它是否会发生，因为全球范围内的原始传感器数据可能永远无法获得。
C 在已存在的地图中定位(更强调不同源)
即使没有全球范围内的原始传感器数据，也存在许多已经提供大规模信息的不同来源。为了促进自动驾驶汽车的部署，许多研究人员提出了利用这些地理信息源的方法。在这一部分中，我们将首先关注新的地图（或可能是新的）格式及其应用，因为它可能会在不久的将来推动信息的收集方式。然后，我们将讨论已经整合现有广泛可用的数据来构建先前地图的定位方法。
1）构建和使用未来地图
近年来，研究人员提出了自定义地图格式，以满足自动驾驶先验知识的需求。一些人考虑了以自动方式构建全球地图的实际挑战。
在[180]中，作者提出了一种自定义格式），可用于车道级定位。基于GNSS和航位推算测量，车道表示为一系列直线、圆或回旋曲线。这种地图格式已在[181]中进行了30分钟的实验，其中车道准确度达到了（大多数时间误差低于1米）。最初由DARPA指定的路由网络定义文件格式(RNDF)的扩展在[182]中进行了讨论。这种新格式RNDFGraph通过包含车道关系和车道变更信息克服了原始定义的一些限制。这可以通过使用图形表示来实现。样条线也基于航路点生成，以确保平滑的轨迹。这种格式已在德国高速公路中用于路径规划，但不直接用于定位目的。准确的车道级地图生成也是[183]中追求的目标。在这里，作者将从3D激光和图形SLAM方法中提取的线段特征与OpenStreet Map地图相结合。粒子滤波器用于获得车道估计，然后将其集成到地图中。作者表明，他们能够达到5厘米的平均精度。文章中没有提出定位算法中的地图利用。仍然关于自动车道级地图生成，Guo等人在[184]中（并在[185]中扩展）提出了一种的正交图像的低成本方法。这个想法是这样的系统可以被探测车使用，并且可以概括地图构建过程。首先，将INS和GNSS测量一起优化以获得车辆定位。执行使用视觉里程计的第二次优化。然后根据从OSM提取的局部地图片段对齐图像。最后从正交图像中提取车道。仍然以路径规划使用为中心，在[186]中提出了lanelets。该格式建议使用从卫星视图手动创建地图的工具。该地图表示已在[109]中使用，但也构建了用于定位的专用地图。最后，在[187]中，提出了一种基于高精度GNSS、3D激光和向下摄像头的系统来构建地图。根据GNSS生成并定位鸟瞰图像。然后从中提取车道标记和路缘石并进行人工审查。提出了一种定位应用程序LaneLoc，其中使用估计的车辆位置在图像中重新投影地图（在定位阶段不使用激光）。它简化了车道标记和路缘石的后续提取。定位大部分时间都能够达到地图精度（大约10厘米）。
目前，所有先前引用的方法都将几何信息引入仅拓扑图。因此，利用这种先验信息的方法在不久的将来可能是可行的。在[188]中提出了一种地图辅助定位，它利用了关于车道和停车线的先验知识。检测这些车道并将它们与地图进行比较的视觉系统在粒子过滤器中实现，该过滤器还集成了IMU和GPS测量。该照明系统能够达到50厘米的精度。在[189]中，作者仅使用路段并将它们集成到FastSLAM中。这种道路约束方法的想法是通过将横向偏差和角度误差与从地图计算的预期值匹配来限制它们。后者是使用差分GPS构建的。达到车道精度，平均误差为1.4m。同样，在[190]中构建并使用了车道标记的准确数字地图。与GPS和本体感受信息融合后，车道检测允许将定位限制在沿横轴10厘米的范围内。然而，纵向上，误差在1米左右。一般来说，车道方法很难应用在更复杂的环境中，如交叉路口和环形交叉路口，其中准确性是一个重要问题。
[191]的作者没有使用车道，而是使用包含周围墙壁的地图。贝叶斯网络决定使用激光扫描仪检测最合适的墙壁，以便以自上而下的方式达到定义的精度目标。使用构成场景的墙壁的精确地图可以达到20厘米的精度。先前构建的极点数据库在[192]中用作参考地图。精度取决于磁极的频率，但平均约为1米。在[193]中，作者利用了整个杆状基础设施。首先使用立体视觉和高精度DGPS/INS组合构建地图。在定位阶段，与地图的立体匹配以及里程计和GPS都集成在粒子滤波器中。精度不是直接测量的，但作者声称横向精度约为20厘米。
2）平衡当前地图资源
世界各地已经收集了大量数据（拓扑图、全景图等），可用于创建不需要特定车辆事先通过的特定地图。然而，利用手头的可用资源来制作高质量的地图并不容易。
一些方法开始使用Google街景图像（参见图5）或等效方法。在[194]中，飞行器利用街景来定位自己。创建人工视图以克服视点的差异，然后使用近似最近邻对提取的特征进行比较。目标是用飞行器解决城市环境中的地点识别问题。在[195]中，从街景图像中提取SIFT描述符并在树结构中进行索引，然后使用最近邻算法从当前图像的描述符中进行浏览。然后完成对候选人的投票以选择最接近的图像。这项工作已在[196]中使用贝叶斯跟踪滤波器进行了扩展，以确保定位的连续性。即使过滤器允许更平滑的轨迹，仍然会发生围绕位置的突然跳跃。这种城市规模的定位精度从1米到12米不等。在[197]中，视觉词袋方法用于使用SIFT和MSER（最大稳定极值区域）检测器从街景图像构建两个字典，以便同时具有局部和区域特征描述符。基于这些，可以恢复与真实