学习笔记25--多传感器前融合技术

前融合技术：指所有传感器的数据信息在原始数据层直接集成，然后根据集成的数据信息实现感知功能，输出结果层的检测目标。 基于神经网络的常见融合方法，如：MV3D(Multi-View 3D Object Detection)、AVOD(Aggregate View Object Detection)、F-PointNet(Frustum PointNets for 3D Object Detection)等。

MV3D拍摄激光雷达探测点云数据和可见光摄像头RGB图像集成，其输入数据是激光雷达投影的鸟瞰图(LIDAR bird view)、前视图(LIDAR front view)和二维RGB图像，网络结构主要由三维区域生成D proposal network)以及基于区域的集成网络(region-based fusion network)，使用深度融合(deep fusion)如下图所示： 激光雷达点云数据是一个无序的数据点构成的集合，在用设计好的神经网络模型处理点云数据前，为了更加有效保留三维点云数据的信息，方便处理，MV3D将点云数据投影到特定的二维平面，得到鸟瞰图和前视图。 3D proposal network，类似于Faster-RCNN在检测模型中应用的区域生成网络(Region Proposal Network，RPN)，在三维推广中，实现的功能之一是生成目标的三维候选框；这部分功能在鸟瞰图中完成，鸟瞰图的目标较少，候选框提取效率最好。 提取候选框后，映射到三张图片中，获得各自感兴趣的区域(Region of Interest，ROI)，进入region-based fusion network融合；在选择融合方法时，有：早期融合(early fusion)、后期融合(late fusion)、深度融合(deep fusion)，三种比较方法如下图所示： 论文原文链接

F-PointNet结合成熟的二维图像中的目标检测方法，在相应的三维点云数据中获得视锥体(frustum)，并返回边界框以完成检测任务，如下图所示： F-PointNet整个网络结构由三部分组成：视锥体(frustum proposal)、三维实例分割(3)D instance segmentation)、回归三维边界框(amodal 3D box estimation)；网络结构如下图所示： F-PointNet利用RGB基于图像分辨率高的优点FPN检测模型首先得到目标在二维图像上的边界框，然后根据已知的摄像头投影矩阵将二维边界框提升到定义目标三维搜索空间的视锥，并收集截面中的所有点，形成锥点云； 上图说明:图(a)是摄像头坐标系，图(b)是锥体坐标系，图( c )是三维掩膜局部坐标系，图(d)是T-Net预测的3D对锥体点云数据锥体点云数据和模糊问题，F-PointNet使用PointNet(或PointNet )实例分割模型；在三维空间中，物体之间大多是分离的，三维分割更可靠；通过实例分割，可以得到目标对象的三维掩膜（即目标的所有点云），并计算其纹理作为新的坐标原点，如图所示( c )最后，将目标点云数据转换为局部坐标系，以提高算法的平移不变性；F-PointNet使用带T-Net的PointNet(或PointNet )回归模型，预测目标三维边界框的中心、大小和方向，如图所示(d)最终完成检测任务；T-Net其功能是预测目标三维边界框真实中心与目标质心之间的距离，然后以预测中心为原点目标坐标系。

小结： F-PointNet为了保证每个步骤点云数据的视角不变，最终更准确地回归三维边界框，视锥体转换、掩膜纹理转换、T-Net预测。 论文原文链接