作者丨疯子_Zhang 编辑丨3D视觉开发者社区 ?如果你得文章内容不错，别忘了三连的支持哦~
Frustum PointNets for 3D Object Detection from RGB-D Data (有代码，级联法)
文章目录
- 简要说明
- Contributions(不对应原文)
- 具体方案
-
- 锥形推荐区：
- 三维实例分割
- Amodal 3D Box Estimation：
- 多任务损失：
- 实验
-
- 1.比较其他方法
- 2. In-depth分析验证方法
- 3.定性实验
- 代码学习
简要说明
问题:通常的三维目标(图像获取，3D体素)检测方法忽略了3D目标的自然状态和3D数据不变性； 方案:直接raw点云操作； 进入新问题：如何在更大的尺度下高效地进入3D在点云空间定位目标对象； 方法:使用有效成熟的2D目标检测器结果融入点云空间3D目标检测； 效果：在选定区域内直接操作点云：效率高，但对强屏蔽的同类目标效果差；
Contributions(不对应原文)
?使用2D目标检测结果生成3D锥形推荐区D目标检测，省略了大范围空间的直接检索，也提高了目标识别的准确性；
?直接从原始点云中划分3D目标的mask和回归3D bounding box；
?该方法检测精度高，执行效率高；
具体方案
减少搜索区域的方法： 1）通过2D目标检测，提取3D目标锥形点云区； 2)两个变化PointNet网络模型实现分割和目标检测；分割是实现实例分割，回归网络估计目标三维框的位置；
由于投影矩阵已知，因此可以从二维图像区域获得三维截锥； 
包括三个模块： 1)锥形推荐区域； 2）3D实例分割； 3）3D模态目标估计；
锥形推荐区：
与二维图像传感器相比，目前的三维传感器效果较差，因此选择图像进行目标识别和二维目标区域定位；
已知的投影矩阵，二维区域可域转换为平头锥形三维区域；该区域的所有点都被视为平头锥点云；因为锥形会朝不同的方向发展. blog.csdnimg.cn/e7cb4e48db734b6d84c774b40613efc9.png)
因此，本文将其转换为垂直于图像的平面，并将这些椎体标准化。作者表示，它有助于提高目标的旋转不变性（原因简单：学习各种目标的旋转，并在测试过程中从多个方向进行测试）。
2D目标检测模型在ImageNet上和MS-COCO预训练，然后在上面KITTI 2D 微调；
三维实例分割
有了2D目标检测区和锥形目标区如何获得目标对应的3D点云？
考虑到目标是3D在自然状态下，它是自然分离的。采用3D实例分割获得粗略的目标3D点云； 本文的方法是分割一个点云对象，被完全遮挡的点云视为背景；
直接从深度图中估计3D目标；3D bounding box； 考虑到目标是3D的自然状态下是自然分离的，3D点云分割比图像更容易、更自然；基于这一事实，本文使用了3D实例分割；这就是为什么使用3D实例分割。mask-RCNN分割(是否是目标)；通过3D实例分割可以得到大致属于这个目标的点云；
使用基础PointNet实例分割的网络，在得到这些分割的目标点后，我们进一步整合其坐标，以提高算法的平移不变性。下一步是Amodal 3D Box Estimation中心位置进一步计算；
Amodal 3D Box Estimation：
分割的掩模中心坐标可能远离真实框架， 因此，使用轻量级回归PointNet（T-Net）来估计整个目标的真实中心，使预测的中心更加准确。
通过T-Net进行基于学习的3D对齐，即使我们根据纹理位置对齐分割对象点，我们也会发现掩模坐标框架的原点(图4（c））也许离模块框还很远。 因此，使用轻量级回归PointNet（T-Net）估计整个物体的真实中心，然后改变坐标，使预测中心成为原点图4（d）。
最终输出参数 center (cx, cy, cz) size (h, w, l)*4 heading angle (theta)*2 (3个位置，2个航向，4个尺寸；)
多任务损失：
依次为：实例分割损失和中心估计损失（c1是对于T-Net的，c2是box中心回归损失)、航向角预测和回归、尺度预测和回归、一角损失(定义如下)；
引入新的正则损失（Corner Loss）：定义8个角和Ground truth距离偏差之和；
带**的P是 翻转的ground truth；
实验
分为三部分：
1比较其他方法
数据集：KITTI，SUN-RGBD；
2Ablation Study
锥形建议区域旋转归一化，目标点云中心归一化 Corner loss 等组件的影响
3主观实验结果
分析和主观结果Open Problem
1.比较其他方法
KITTI的结果 测试集上的3D目标检测性能；
鸟瞰图在测试集上的定位精度；
验证集上的结果 （左是3D右边是鸟瞰定位)
在SUN-RGBD上的结果
2. In-depth分析验证方法
与三维检测的替代方法相比 点云归一化的影响 回归损失公式和角落损失的影响
3.定性实验
这是为了说明在有遮挡的时候可以表现出更好的效果。
另外，抛出open的问题： 1)大小和方向估计不准确； 2)一个锥体有两个相同的目标(本文是单一类别的方法，不能处理)
代码学习
请参阅以下博文：
https://blog.csdn.net/ShuqiaoS/article/details/82754126
版权声明：本文由作者授权转载D视觉开发者社区编辑整理发布，仅进行学术分享，未经授权不得二次传播，版权归原作者所有，涉及侵权内容请联系删除。
3D视觉开发者社区是奥比中光为所有开发者创建的共享和交流平台，旨在使用3D向开发者开放视觉技术。该平台为开发者提供3D免费视觉课程、奥比中光独家资源和专业技术支持。
点击加入3D与开发者讨论和分享视觉开发者社区~ 也可以移动微信关注官方账号 3D视觉开发者社区 ，获得更多货！