传感器集成是自动驾驶汽车的关键技术之一。这是自动驾驶汽车工程师必须具备的技能。原因很简单：视觉传感器无处不在，一直在使用。
自动驾驶汽车通过感知、定位、规划和控制四项关键技术工作。
传感器集成是感知模块的一部分。为了增加冗余、确定性或利用多个传感器的优们希望将视觉传感器的数据集成起来。
在感知步骤中，使用激光雷达、雷达和摄像头来理解环境是很常见的。这三种传感器各有优缺点，使用它们可以帮助你拥有所有的优点。
如上图所示：
-
相机擅长处理对象分类和理解场景。
-
激光雷达作为飞行时间传感器，非常适合估计距离。
-
雷达可以直接测量障碍物的速度。
在本文中，我们将学习激光雷达和摄像头的集成，以估计距离并查看3D世界。
相机是输出边界框、车道线位置、交通灯颜色、交通标志等许多其他东西的知名传感器。在任何自动驾驶汽车中，摄像头从来都不是问题。
这2怎么用？D传感器，并与3D3.传感器(如激光雷达)D世界？
激光雷达代表光检测和测距。D传感器，输出一组点云；每个都有一个(X,Y,Z)坐标。可在3D许多应用程序在数据中执行：包括运行机器学习模型和神经网络。以下是输出示例。
如何将此3D传感器和相机等2D传感器配合使用？
今天，我们将介绍激光雷达与相机融合的数据。
2.
有许多传感器集成算法。许多不同的方法是可能的。我们想要什么样的集成？至关重要。
对融合算法进行分类的方法有三种：
-
按抽象级：何时融合？when
-
按集中级别:哪里融合？where
-
按竞争水平：融合什么？what
什么很清楚:我们的目标是竞争和冗余。在哪里不重要，很多解决方案都可以解决。剩下的什么时候...
在传感器融合中，有两种可能的过程：
-
早期集成：集成原始数据-像素和点云。
-
后期融合：激光雷达和相机的边界框。
在本文中，
We then check whether or not the point clouds belong to 2D bounding boxes detected with the camera.
This 3-step process looks like this:
我们从早期融合开始。
从传感器的原始数据中集成早期集成。因此，一旦插入传感器，过程就会很快发生。
最简单最常见的方法是点云(3)D)投影到2D图像。然后检查点云和相机检测到的2D边界框的重叠。
如下所示：
本文将此过程分为低级传感器集成。
第一个想法是激光雷达帧中的3D点云转换为相机帧中的2D为此，几何原理的应用如下：
（输入点云在激光雷达帧/欧几里得坐标中。）
-
将每个3D将激光雷达点转换为齐次坐标。 输出:激光雷达帧/齐次坐标
-
应用转换点的投影方程(平移和旋转)将该点从激光雷达帧转换为相机帧。 输出:相机帧/齐次坐标:
-
最后，将点转换为回欧几里的坐标。 输出:相机帧/欧几里坐标
如不熟悉投影、旋转和齐次坐标，可学习立体视觉课程。
这是第一步的结果。
下一部分是用相机检测物体。这部分不过多描述，像YOLOv该算法可以执行对象检测。
最后一部分称为感兴趣的区域匹配。我们将简单地整合每个边界框中的数据。
什么是输出？
-
对于每个边界框，相机给出分类结果。
-
每个激光雷达投影点都有非常准确的距离。
因此，我们得到了物体的准确测量和分类。
有一个问题：我们选择哪一点作为距离？
-
每个点的平均值？
-
中位数？
-
中心点？
-
最近的？
使用2D检测障碍物时，会遇到以下问题。如果我们选择的点属于另一个边界框怎么办？还是背景？这是一个棘手的过程。由于点与像素的精确匹配，分割方法可能更好。
以下是结果，箭头显示融合可能失败的点。
3.
独立检测后独立检测后的结果。
我们能想到的一种方法是运行独立检测，在两端获得3D边界框，然后整合结果。
另一种方法是运行独立检测，得到两端的2D边界框，然后整合结果。
所以我们有两种可能性；2D或3D中融合。
下面是一个2D示例：
本文将介绍3D因为这个过程更难。同样的原则适用于2D。
过程如下：
3.使用激光雷达D众所周知，寻找障碍物的过程。有两种方法：
-
简单的方法，使用无监督的3D机器学习。
-
使用深度学习方法RANDLA-NET等算法。
这个过程要困难得多，时，这个过程要困难得多。D在寻找障碍物时，我们需要准确地了解我们的投影值（内外校准），并使用深度学习。如果我们想要得到正确的边界，了解车辆的大小和方向也很重要。
本文是关于整合的文章，不介绍测试部分。
最后，注意匹配。
Here's an example coming from the paper 3D Iou-Net (2020) .
匹配背后的过程很简单:如果摄像头和激光雷达的边界框是2D或3D中重叠，我们认为障碍是一样的。
以下是论文3D Iou-Net(2020)示例。
利用这个想法，我们可以在不同的传感器之间关联空间中的物体
此过程归类为中级别传感器融合。
中级传感器融合和高级传感器融合的区别在于高级传感器的融合包括跟踪。
要添加时间跟踪，我们需要一个称为时间关联的类似过程。
在障碍物追踪课程中，讲了一种使用卡尔曼滤波器和匈牙利算法从帧到帧在时间上关联对象的技术。结果使我们能够在帧之间跟踪对象，甚至预测它们的下一个位置。
如下所示：
IOU匹配的原理完全一样：如果从第一帧到第二帧的边界框重叠，我们认为这个障碍物是相同的。
此处，我们跟踪边界框位置并使用IOU（Intersection Over Union）作为指标。我们还可以使用深度卷积特征来确保边界框中的对象是相同的--我们将此过程称为SORT（简单在线实时跟踪），如果使用卷积特征，则称为深度SORT。
由于我们可以在空间和时间中跟踪对象，因此我们还可以在这种方法中使用完全相同的算法进行高级传感器融合。
4.
我们现在已经研究了激光雷达和相机融合的两种方法。
让我们总结一下我们学到的东西：
传感器融合过程是关于融合来自不同传感器的数据，此处是激光雷达和摄像头。
可以有早期或后期融合--早期融合（低级传感器融合）是关于融合原始数据。后期融合是关于融合对象（中级传感器融合）或轨迹（高级传感器融合）
在做早期传感器融合时，要做点云和像素或者框的关联。
在进行后期传感器融合时，我们想要做结果（边界框）之间的关联，因此有诸如匈牙利算法和卡尔曼滤波器之类的算法来解决它。