点击上方“”，选择加""或“”
重磅干货，第一时间送达文章导读
本文是对激光雷达三维目标检测的综述性文章的解读和分析《Deep 3D Object Detection Networks Using LiDAR Data A Review》，从激光雷达的基本介绍出发，总结了三维目标检测的网络设计方法，并给出了模型的评价方法，最后讨论和分析了一些公共问题。
三维检测的基本介绍
回顾三维检测算法
三维检测评价指标
讨论三维检测的问题
激光雷达的主要测距方法是基于TOF：激光脉冲的飞行时间乘以光速。
根据激光雷达的扫描方法，可分为三种类型：
机械式雷达
混合式雷达
固态式雷达
360°不同数量的发射器可以产生不同密度的三维图像；
单脉冲激光通过调整微镜的角度反射到不同的方向，具有成本低、体积小的优点；
OPA激光雷达采用相关光的原理。采用多光源阵列，通过控制激光发射的时差，在特定方向合成主光束。然后改变主光束相位的方向，在不同方向进行全景扫描。
Flash激光雷达成像类似于相机成像。它首先向前视图发射激光，然后接收反射信号来构建视图图像。Flash激光雷达成像速度快，但受电子设备功率限制，探测距离短。
点云是一些通过LiDAR扫描点的集合包括物体表面信息的特征和环境点的空间分布。每个点包含相对传感器中心的3D坐标向量（x，y，z），与激光的反射强度有关r。如下图所示：
p点的坐标向量可通过以下计算：
x = Lcos(ω)cos(φ)
y = Lcos(ω)sin(φ)
z = Lsin(ω)
三维空间任意分布的原始点云，在网络处理之前通常采用视图投影或体素化将其特征化为规则格式。
和图像的目标检测一样，检测网络可以分为两类，如下图所示：
首先提出候选区域，最大限度地提高网络召回率，然后使用详细的网络提取RoI特征向量，并预测目标分类得分以及回归到原始RoI重叠框架最终通过后处理消除了位置偏移。
在网络的单一推理中，利用深度网络强大的的单一推理中预测对象的位置和类别。重叠框架最终通过后处理消除。
三维外接框表示目标位置、尺寸和方向属性，主要有三种编码方法：
八个顶点八顶点坐标（xyz)，总共24个值。目标的方向通常假定为边长；
四个顶点和两个高度：保持边界盒顶角与底角对齐的物理约束。四个定点是底部的四个点，两个高度值是底部和顶部相对地面的偏移；根据四个角计算四个可能的方向，并选择最新的方向量；
中心点和尺寸：7d向量表示3D框架，中心坐标x，y，z；长宽高l，w，h；朝向角θ；
点云的表征决定了三维检测网络的设计，因此根据点云的特征化方法，所有算法可分为三类：
基于投影的方法；
基于体素的方法；
基于点的方法；
主要侧重于观察点云的角度，将点云投影到2D在平面上，然后使用类似于图像平面上目标检测的二维卷积网络。前视投影和鸟瞰投影可分为不同的投影方向：
二维前视图类似于圆柱形图像。每个像素都充满了几个特征通道。研究人员设计了各种统计前视特征，以充分保留点云特征，进一步提高目标定位和分类精度。常见的前视特征如下：
前视投影通常制作致密的2D使用现成的2D探测器。前视图中编码了深度信息，以获得不同视图之间的依赖关系。然而，由于透视性、尺度变化和屏蔽等问题，信息损失是一个主要困难。
压缩三维点云x-y方向的平面空间通常编码Z方向的高度，并将其转换为高差和平均高度。为了弥补维度降低的损失，还将引入点云的密度信息，作为通道的叠加。
但基于投影的方法更依赖于2D检测算法需要在2中设计人工特征D保持投影中的空间特征。但由于投影的分辨率和特征通道影响计算效率，投影中仍存在一些不可逆转的信息损失，限制了目标检测的准确性。
将不规则点云数据格式化为纯矩阵以适应卷积。D空间被分散到固定尺寸的体素格栅中。每个元素都容纳非结构化点。原始点云数据的三维结构保留了体素的方式。但稀疏的点云数据引入了大量的空体素。在提高体素分辨率的同时，3D计算空间量程指数增长。
目前有几种方法可以分析稀疏体素：
Efficient Localizing Object in Large 3D Voxel Space
Learnable Voxel Feature Encoding
Efficient Vertical Feature Processing
Optimizing Voxelization Process
Exploring Depth-Aware Features
Combining Image Features
比较经典的体素网络，比如经典的体素网络VoxelNet结构：
虽然体素方法可以统计每个子空间中离散的特征，但这种建模中稀疏的表达和不可避免的计算限制了体素方法的实时性。
与前两种直接对点云数据建模减少信息损失的方法相比，更经典PointNet该系列提出了一个统一的深度网络系统结构，直接利用不规则点获取局部和全局点的特征，如下图所示：
基于点的算法大多是正确的PointNet从不规则点获得3系列改造D特点。基于点的方法在三维检测任务中表现出强大的能力和潜力。
基于以上三种方法，论文给出了优缺点对比图：
检测任务中常用的是IoU的方式计算mAP。通过三维预测盒与三维地面真实值盒的交集IoU与阈值相比，确定检测是真阳性的(TP)还是假阳性(FP)。
准确性是判断为真实的例子，占所有判断为真实的样的比例
召回率是分类器中确定为真实例的比例
单一的精度或召回率是片面的，可以通过P-R曲线可用于观察模型精度与召回率之间的平衡。
另一种评估方法是用二维中心距离测量代替IoU，允许在3D解耦对象在边界框计算中的位置、大小和方向减少IoU测量时存在TP目标不匹配的问题。
除了mAP除了测量，还测量了一组真正的测量（TP度量），以量化每个TP包括盒子的位置、大小、方向、属性和速度。
TP包括以下五个错误：
平均平移误差（ATE)：二维欧式中心距离；
平均尺度误差（ASE）：校准方向和平移后3D IoU的误差；
平均方向误差（AOE）：角度和GT角度之间的误差；
平均速度误差（AVE）：通过平面状态L2后速度误差；
平均属性误差（AE）：1- 类别精度
公式如下：
可以考虑从局部点云生成目标三维形状和形状几何的推断。或者将多层次的点特征从粗到细进行融合，保持稀疏目标特征更为详细的信息。
没有拓扑关系的点云在卷积提取特征时往往不能表现出好的效果。可以考虑图卷积网络来处理原始点云，引入可学习的卷积参数对拓扑图进行优化，有利于不规则图的特征学习。
不同传感器带来的特征信息确实能够对场景进行相互补充。比如使用图像颜色和纹理特征来补充点云数据的形状特征。
较流行的方案是以点云生成三维提议框，将图像的RGB矢量、分割特征或类概率直接附加到三维空间中相应的投影点上，构造丰富的逐点输入数据。
三维环境的感知是将多个任务协同工作，每种任务带来的信息输出是可以给其他任务作为参考，所以在多个任务之间共享特征和传输信息是值得的，可以有效提高3D目标检测的效果。
实验室中的算法原型开发一般只针对特定场景或者特定数据集跑出一个很好的效果，但是真实场景下，雨、雾很容易被雷达反射，同时引入噪声点。所以在实际应用中有许多额外的因素需要考虑：
检测算法是否能较鲁棒的处理噪声数据；
类别的增多是否需要增加锚点引起计算压力；
特殊场景的小样本数据是否会有不均衡问题；
在「」公众号后台回复：即可下载全网第一份OpenCV扩展模块教程中文版，涵盖等二十多章内容。
在「」公众号后台回复：即可下载包括等31个视觉实战项目，助力快速学校计算机视觉。
在「」公众号后台回复：即可下载含有个基于实现20个，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。在群内发送广告，否则会请出群，谢谢理解~