实时单目同时定位和建图(SLAM)三维重建已成为一个越来越受欢迎的研究课题。两个主要原因是：（1）它们在机器人领域的应用，特别是无人机(UAV)导航)增强现实和虚拟现实的应用正在慢慢进入大众市场。

直接视觉里程计(VO)该方法绕过这一限制，直接优化图像的灰度以获得几何图像，该方法可以使用图像中的所有信息。可以提供更多关于环境几何的信息，除了更高的准确性和鲁棒性，特别是在关键点较少的环境中，这对机器人或增强实际应用非常有价值。

虽然RGB-D直接图像对齐算法已经很好地确定了相机或双目传感器，但直到最近才提出单目直接VO算法。在文献[20、21、24]中，精确、完全致密的深度图采用变分公式计算，但该方法计算量大，需要最先进GPU实时运行。在文献[9]中，提出了一密度深度滤波公式，大大降低了计算的复杂性CPU即使在现代智能手机上实时运行。文献[10]通过将直接跟踪与关键点相结合，实现了嵌入式平台上高帧率的实时运行。然而，所有这些方法都是纯视觉里程计，它们只在局部跟踪相机的运动，不能建立一致的、全球的、带回环的环境地图。

这是一种名字SLAM该技术用于构建一致的全球地图。世界被称为由位置约束连接的几个关键帧，可以使用通用的图形优化框架(如g2o)进行优化。

在文献[14]中，基于位置图提出了一种RGB-D SLAM该方法引入几何误差，允许在纹理较少的场景中跟踪。解决单目问题SLAM文献[23]提出了基于关键点的单目标SLAM该系统将相机置表示为3D类似的变化，而不是刚体运动。

我们提出了大规模直接单目SLAM(LSD-SLAM)该方法不仅可以局部跟踪相机的运动，还可以建立一致的大规模环境地图（见图1和图2）。该方法采用直接图像对齐，并结合文献[9]中首次提出的基于滤波的半密度深度图进行估计。整体地图以位置图的形式表示，关键帧为顶点，3D似变换作为边，优雅地融入环境的尺度比例，并允许检测和修正累积漂移。该方法在CPU上实时运行，甚至在现代智能手机上作为里程计运行。本文的主要贡献如下。(1)一种用于大规模直接的单目SLAM的框架，特别是一种新的尺度感知图像对齐算法，可以直接估计两个关键帧之间的相似性变换 ξ ∈ s i m ( 3 ) \xi \in \mathfrak{sim}(3) ξ∈sim(3)。(2)概率一致地将估计深度的不确定性纳入跟踪。

在本章中，我们对相关的数学概念和符号作了简要的总结。特别地，我们将位姿用李代数表示(第2.1节)，推导出李流上直接图像对齐的加权最小二乘(第2.2节)，并简要介绍不确定性的传播(第2.3节)。

符号。我们用粗体大写字母( R \pmb{R} RRR)表示矩阵，用粗体小写字母表示向量( ξ \pmb{\xi} ξ​ξ​​ξ)。矩阵的第 n n n行记作 [ ⋅ ] n [\cdot]_n [⋅]n​。图像记作 I :   Ω → R I:\ \Omega \rightarrow \mathbb{R} I: Ω→R，其中 Ω ⊂ R 2 \Omega \subset \mathbb{R}^2 Ω⊂R2为归一化的像素坐标， R \mathbb{R} R表示一维实数。像素级逆深度图记作 D :   Ω → R + D:\ \Omega \rightarrow \mathbb{R}^+ D: Ω→R+。像素级逆深度方差图记作 V :   Ω → R + V: \ \Omega \rightarrow \mathbb{R}^+ V: Ω→R+。在整篇文章中，我们使用 d d d来表示路标点深度 z z z的倒数，即 d = z − 1 d=z^{-1} d=z−1。

3D刚体变换。三维刚体变换 G ∈ S E ( 3 ) \pmb{G} \in \mathrm{SE}(3) GGG∈SE(3)表示三维的旋转和平移，记作 G = ( R t 0 1 )    R ∈ S O ( 3 ) ,   t ∈ R 3 (1) \pmb{G}=\begin{pmatrix} \pmb{R} & \pmb{t} \\ \pmb{0} & 1 \end{pmatrix} \ \ \pmb{R} \in \mathrm{SO}(3), \ \pmb{t}\in \mathbb{R}^3 \tag{1} GGG=(RRR000​ttt1​)  RRR∈SO(3), ttt∈R3(1) 在优化过程中，需要一个相机位姿的最小表示，它由相关李代数的对应元素 ξ ∈ s e ( 3 ) \pmb{\xi} \in \mathfrak{se}(3) ξ​ξ​​ξ∈se(3)给出。李代数通过指数映射转换为李群，即 G = e x p s e ( 3 ) ( ξ ) \pmb{G}=\mathrm{exp}_{se(3)}(\pmb{\xi}) GGG=expse(3)​(ξ​ξ​​ξ)。该映射的逆变换为 ξ = l o g S E ( 3 ) ( G ) \pmb{\xi}=\mathrm{log}_{SE(3)}(\pmb{G}) ξ​ξ​​ξ=logSE(3)​(GGG)。此外，我们使用 s e ( 3 ) \mathfrak{se}(3) se(3)中的元素来表示位姿，直接写作向量 ξ ∈ R 6 \pmb{\xi}\in \mathbb{R}^6 ξ​ξ​​ξ∈R6。从坐标系 i i i移动一个点到坐标系 j j j的变换记作 ξ j i \pmb{\xi}_{ji} ξ​ξ​​ξji​。为方便起见，我们将位姿连接操作符 ∘ : s e ( 3 ) × s e ( 3 ) → s e ( 3 ) \circ: \mathfrak{se}(3) \times \mathfrak{se}(3) \rightarrow \mathfrak{se}(3) ∘:se(3)×se(3)→se(3)定义为， ξ k i : = ξ k j ∘ ξ j i : = l o g S E ( 3 ) ( e x p s e ( 3 ) ( ξ k j ) ⋅ e x p s e ( 3 ) ( ξ j i ) ) (2) \pmb{\xi}_{ki} :=\pmb{\xi}_{kj} \circ \pmb{\xi}_{ji} := \mathrm{log}_{SE(3)}\big( \mathrm{exp}_{se(3)}(\pmb{\xi}_{kj}) \cdot \mathrm{exp}_{se(3)}(\pmb{\xi}_{ji}) \big) \tag{2} ξ​ξ​​ξki​:=ξ​ξ​​ξkj​∘ξ​