YOdar：带摄像头和雷达传感器的车辆检测基于不确定性的传感器集成
（略读）
论文 YOdar: Uncertainty-based Sensor Fusion for Vehicle Detection with Camera and Radar Sensors
摘要
在论文中，我们提出了一种基于不确定性的传感器与相机和雷达数据集成的方法。两个神经网络的输出，一个处理相机，另一个处理雷达数据，以不确定性感知的方式组合。为此，我们收集了两个网络的输出和相应的元信息。对于每个预测对象，通过梯度增强处理收集到的信息，以产生两个网络的联合预测。在我们的实验中，我们将YOLOv3目标检测网络与定制的一维雷达分割网络相结合nuScenes在数据集中评估我们的方法。 我们特别关注夜间场景，其中基于相机数据的目标检测网络的能力可能有限。我们的实验表明，这种不确定的性感知集成方法也具有非常模块化的性质，显著提高了单传感器基线的性能，并在基于深度学习的特殊定制集成方法范围内。
介绍
计算机视觉系统在自动驾驶中面临的最大挑战之一是在任何特定情况下正确识别汽车环境。在有限的计算资源下运行时，必须正确解释不同传感器的数据。除了交通密集外，太阳、大雨、雾、雪等不同的天气条件对最先进的计算机视觉系统也是一个挑战。以往的研究表明，使用多个传感器，即所谓的传感器集成，可以提高目标检测精度，如组合相机和激光雷达传感器[1{5]，包括雷达数据和另一个传感器真实街道场景数据集是一个例外，尽管使用不同的传感器（如相机和雷达传感器）合成数据可以使用卡拉[6]或LSGVL生成[7]等模拟器.随着nuScenes随着数据集[8]的发布，科学界获得了使用不同传感器（包括雷达）记录的真实街道场景。汽车周围共有5个雷达传感器生成数据。从那时起，nuScenes在数据集的帮助下，雷达与其他传感器结合的已发表论文数量增加，如[9{11]。让我们简要回顾一下这些方法。 文献[9]作者提出了一标检测的卷积神经网络（CNN），称为RVNet，它有两个输入分支和两个输出分支。一个输入分支处理图像数据，另一个处理雷达数据。YOLOv3[12]类似地，该网络使用两个输出分支提供边界框预测，即一个分支用于检测较小的障碍物，另一个分支用于检测较大的障碍物。作者得出结论，雷达特征可用于在二元分类框架中检测道路障碍物。另一方面，由于数据稀疏，从雷达数据中提取的特征似乎在多类分类框架中没有用处。 另一种基于深度学习的雷达和相机传感器集成用于目标检测CRF网络（CamerarAdarfusionet）[10]它自动学习哪个级别的两个传感器数据集成最有利于目标检测。CRF所谓网络使用BlackIn训练策略与视网膜网相结合（VGG主干网络)、定制雷达网络和金字塔网络，用于分类和回归问题（FPN）。五个主分支VGG块组成，每个块接收预处理的雷达和图像数据进一步处理，然后转发给FPN块。网络在nuScenes测试了数据集和自建数据集。 作者提供的证据表明，BackIn训练策略利用最先进的目标测试网络测试分数。
此外，在[11]中介绍了激光雷达和雷达的集成方法。该方法设计用于行人、自行车、汽车和噪声（感兴趣的空白区域）的各种目标检测。为此，首先分别处理激光雷达和雷达数据。 激光雷达分支检测对象并随时跟踪。另一方面，雷达分支提供三个独立的快速傅里叶转换，用于距离多普勒角度谱（FFT）。时间同步后，两个分支合并形成感兴趣的区域。VGGNet这些区域被馈送到架构CNN，该架构计算类概率。由于该方法适用于车辆和噪声分类，但存在行人和骑车人分类问题，因此通过在分类器上应用跟踪滤波器对网络进行了改进。他们使用了一个贝叶斯过滤器，这提高了两个具有挑战性的类别的分类性能。 综上所述，[9，10]提出的工作旨在同时整合和解释CNN内部图像和雷达数据。激光雷达和雷达数据首先集成在[11]中CNN处理集成后的输入。 虽然这些方法有利于最大限度地提高性能，但当传感器丢失时，它们需要额外的退货解决方案。与其他传感器集成解决方案相比，我们的方法保留了两个网络的冗余选项。 这样，场景构建可以替代融合方法提供的主场景，只能使用一个网络指示。 似乎不可避免地需要额外的不确定性测量来验证开发方法和网络的质量。在[13]中引入了一种称为MetaSeg的语义切分工具，该工具在切分级别上估计预测质量，并在[14{16]中进行了扩展。它学习预测预测成分是否与基本事实相交，这可以被视为两类之间的元分类（IoU=0和IoU>0）。 为此，从CNN输出中导出测量，并将其传输给另一个元分类器。[17]扩大了假阳性检测的工作，只需支付少量额外的假阳性，就可以减少被忽视的物体数量。 MetaSeg抑制误报的过度发生。根据这些不确定性量化方法，我们从两个方面使用它们CNN输出测量。我们将其传输给梯度增强分类器，以减少误报预测的数量。此外，通过降低目标检测的得分阈值，我们可以提高每个单传感器网络的性能。