本文主要介绍3D目标检测的一些重要数据集合在一起github上面比较好用的3D目标检测项目。它包含最热最热的KITTI到当前研究前沿的多模态，时序融合等的新数据集。分类方法如下，数据集可根据场景分为室内外数据集。然后分别介绍3D目标检测室内外常用数据集；然后介绍一些易于研究的项目，并做一些简单的异同总结。
室内3D目标测试的研究是一项相对较新的研究任务。目前的数据集主要包括 ScanNetV2和SUN RGB-D。
官方网址：http://www.scan-net.org/ 论文链接：https://arxiv.org/abs/1702.04405 Benchmark: http://kaldir.vc.in.tum.de/scannet_benchmark/ ScanNetV由斯坦福大学、普林斯顿大学和慕尼黑工业大学组成CVPR18SH提出的室内场景数据集。ScanNet是一个RGB-D视频数据集，语义分割和目标检测任务共1513个采集场景数据(每个场景中点云的数量不同，如果需要端到端，可能需要采样（FPS采样)，使每个场景的点相同)，共有21类对象，其中训练场景1201个，测试场景312个。数据集包含2D和3D数据，2D数据包括每个场景中的N帧(为了避免帧间的重叠信息，通常每50帧取一帧)2D提供标签和实例数据.png图像文件。8位彩色图像RGB的形式提供.jpg深度图片为16位 .png文件。每帧包含的信息是color，depth，instance-label，label，and corresponding pose。3D数据是一系列ply文件。
官方网址：http://rgbd.cs.princeton.edu/ 论文链接：http://rgbd.cs.princeton.edu/paper.pdf 室内数据集由普林斯顿大学提出，可分割和检测任务。该数据集包含10335rgb-d图像，其规模和pascal voc相似。整个数据集有密集的注释，包括146617个二维多边形注释和64595个具有准确对象方向的三维边界框，以及每个图像的三维房间布局和场景类别。该数据集是NYU depth v2 , Berkeley B3DO , and SUN3D ，并集三个数据集。
3D目标检测官网链接：http://www.cvlibs.net/datasets/kitti/eval_object.php?obj_benchmark=3d 论文链接：http://www.cvlibs.net/publications/Geiger2012CVPR.pdf KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究所联合创立，是世界上最大的计算机视觉算法评估数据集。该数据集用于评估立体图像(stereo)，光流(optical flow)，视觉测距(visual odometry)，3D物体检测(object detection)和3D跟踪(tracking)计算机视觉技术在车载环境中的性能。KITTI包括市区、农村、高速公路等场景收集的真实图像数据，每幅图像最多15辆车和30名行人，以及各种程度的遮挡和截断。整个数据集由389对立体图像和光流图组成，39.2 km视觉测距序列超过200k 3D标记物体的图像组成 ，以10Hz采样和同步频率。总的来说，原始数据集被分类为‘’Road’, ’City’, ’Residential’, ’Campus’ 和 ’Person’。对于3D物体检测，label细分为car, van, truck, pedestrian, pedestrian(sitting), cyclist, tram以及misc组成。
官网链接：https://www.nuscenes.org/object-detection?externalData=all&mapData=all&modalities=Any 论文链接：https://arxiv.org/abs/1903.11027
Nuscence数据集由1000个场景组成，每个场景scenes长度为20秒，包含了各种各样的情景。在每一个scenes有40个关键帧（key frames），也就是说，每秒有两个关键帧，其他帧是sweeps。手工标注关键帧后，每帧都有几个annotation，标注的形式为bounding box。不仅标有大小、范围、类别、可见度等。不久前，这个数据集发布了一个数据集teaser版本(包括100个scenes），正式版（1000个scenes）于2019年发布。第二个版本将于2020年发布。
官网链接：https://waymo.com/open 官网下载地址：https://waymo.com/open/download/ 官方数据格式分析：https://waymo.com/open/data/ 代码地址：https://gitee.com/cmfighting/waymo_read 谷歌母公司Alphabet自动驾驶公司Waymo数据开放项目于2019年8月21日在其博客上公布（Waymo Open Dataset），该项目及以前的学术benchmark与奖金相比benchmark。就数据而言，waymo包括3000段驾驶记录，共16次.7小时，每段平均长度约20秒，约60万帧，共2500万300万帧D边界框、2200万2D边界框，以及各种自动驾驶场景。
官网链接：https://scale.com/open-datasets/pandaset 自动驾驶数据集的采集场景是旧金山。共有4.8万个相机图像，1.6万次LiDAR扫描，100 每个场景8秒，共有28个注释和37个语义细分标签。它是自动驾驶场景目标检测数据集，集成了工业和学术界。
官网链接：https://robotcar-dataset.robots.ox.ac.uk/ 文章链接：https://robotcar-dataset.robots.ox.ac.uk/images/robotcar_ijrr.pdf 牛津大学机器人实验室提出了这个数据集Navtech CTS350-X毫米波调频连续波（FMCW）在使用的配置中，扫描雷达提供4.38cm的范围分辨率和0.旋转分辨率为9度，最大范围为163度 m。
官网链接：https://github.com/I2RDL2/ASTAR-3D#Dataset 数据集下载地址：https://github.com/I2RDL2/ASTAR-3D#Download 该数据集仍在更新中，在论文中比较的对象是KITTI总共有230个数据集K人工标记的3D39179激光雷达点的云帧和对应面对象的注释-RGB图像。在新加坡收集数据集。文章通过实验表示A*3D数据集训练后的模型KITTI特别是对moderate和hard类别。
官网链接：http://semantic-kitti.org/ 论文链接：https://arxiv.org/abs/1904.01416 benchmark: https://competitions.codalab.org/competitions/24025#learn_the_details-overview 该数据集不是一个用于3D目标检测的数据集是自动驾驶场景中语义分割的数据集。这个数据集是一个大型数据集KITTI Vision Benchmark的LiDAR逐点提供数据label。它基于里程计任务数据，并提供28种标记信息。
官方网址：https://level5.lyft.com/dataset/?source=post_page 目前，该数据集也是论文中经常读到的数据集KITTI数据集还使用64线雷达和多个摄像头来收集数据。数据集包括4000多个手动注释的语义元素，包括车道段、人行横道、停车标志、停车区、减速带和减速带。
官网数据集链接：https://usa.honda-ri.com/H3D 文章链接：https://arxiv.org/pdf/1903.01568 点云目标检测数据集是本田提供的自动驾驶场景，从HDD数据收集，HDD数据集是旧金山湾区收集的大规模自然驾驶数据集。H3D360度完整LiDAR来自数据集Velodyne-64密集点云)，1071302 个3D边界框标签。该数据集还包含时序信息。每2HZ手动注释一并线性传播10HZ。
数据集连接：https://github.com/VCCIV/BLVD 文章链接：https://arxiv.org/pdf/1903.06405 该数据集主要侧重点在其数据集关注点在车辆自我周围物体的有意义的动态变化，因此引入了这么一个数据集BLVD，这是一个大规模的5D语义基准，它没有集中于之前已经充分解决的静态检测或语义/实例分割任务。取而代之的是，BLVD旨在为动态4D（3D +时间）跟踪，5D（4D +交互式）交互式事件识别和意图预测的任务提供一个平台。BLVD数据集包含654个高分辨率视频剪辑，这些剪辑来自中国江苏省常熟市，提取了120k帧。官方完全注释了所有帧，并总共产生了249129个3D标注，以进行跟踪和检测任务。
官方链接：https://uwaterloo.ca/waterloo-intelligent-systems-engineering-lab/projects/precise-synthetic-image-and-lidar-presil-dataset-autonomous 文章链接：https://arxiv.org/abs/1905.00160 该自动驾驶数据集由滑铁卢大学提供和分享，PreSIL数据集包含50,000多个实例，包括具有完整分辨率深度信息的高清图像，语义分割（图像），逐点分割（点云），gt标签（点云）以及所有车辆和行人的详细标注。官方通过在对最先进的3D对象检测网络进行数据预训练后，在KITTI 3D对象检测基准测试中显示出高达5％的平均精度提高，从而证明了数据集的有效性。该数据集尚未公布。
官网链接：http://wad.ai/2019/challenge.html 该数据集由百度公司提供。该数据集的3D Lidar对象检测和跟踪数据集由具有高质量label标注的LiDAR扫描点云组成。它是在中国北京各种照明条件和交通密度下收集的。更具体地说，它包含了非常复杂的交通流，其中混杂着车辆，骑自行车的人和行人。数据集包含了大约53分钟的训练序列和50分钟的测试序列组成。以每秒10帧的速度捕获数据，并以每秒2帧标注数据。
百度 apolloscape各种任务 连接对应有各种不同的任务包括目标检测、车道线提取、轨迹追踪等.
官网链接：https://cvgl.stanford.edu/projects/pascal3d.html 该数据集是对PASCAL数据的一个3D模型重建，更像是一个分类和POS检测数据集。
官方链接：https://cs.stanford.edu/people/teichman/stc/ 数据量比较少。发布时间也很早（2011）。
官网链接：http://data.ign.fr/benchmarks/UrbanAnalysis/# 该数据集是一个非常的dense的室外数据集。包括分割和检测多项任务，更偏向于语义分割任务，采用移动激光（MLS）在巴黎扫描出超过100个场景。该数据集更多的是为激发来自不同领域（例如计算机视觉，计算机图形学，地理信息学和遥感）的研究人员，共同致力于处理3D数据，对3D MLS数据进行基准划分和分类为目标。
这里主要介绍3D点云目标检测的几个重要项目，都是目前比较流行的codebase，如下。
项目链接：https://github.com/traveller59/second.pytorch 主要优点： （1）包含了kitti和nuscence两个点云3D目标检测数据集的实现 （2）含有Kitti_viewer网页版可视化工具 （3）实现了second,voxelnet,pointpillars三种点云目标检测算法。 缺点： 应该是该领域的先行者，具有一定的阅读难度，不支持多模态。
项目链接：https://github.com/poodarchu/Det3D 主要优点： （1）代码在second.pytorch重构后显得清晰易读 （2）包含多个数据集的实现，包括KITTI,Nuscence,lyft三个数据集，waymo在进行中 （3）目前实现的算法包括voxelnet,sencod,pointpillars和CBGS（second_multihead） （4）apex训练加速 缺点： 不支持多模态和可视化，较长时间未更新。
项目链接：https://github.com/open-mmlab/OpenPCDet 优点： （1）集成了nusecne,kitti数据集，waymo在进行中 （2）包含算法有pointRCNN,PartA2,voxelnet,PointPillar,SECOND,PV-RCNN，SECOND-MultiHead (CBGS)。 （3）更多的特征提取结构，包括了点和voxel两个方面的特征提取器都有。 （4）具有可视化demo （5）代码风格清晰易读 缺点： 无多模态
项目链接：https://github.com/open-mmlab/mmdetection3d 主要优点： （1）支持多模态融合，二维网络和三维网络可结合。 （2）支持多种算法和模型，超过40多种算法，300多个模型，包括有VoteNet，PointPillars，SECOND，Part-A2。（不包含PVRCNN） （3）更快的训练速度，比前面介绍到的codebase都要更快。 （4）支持多种数据集，包括室内和室外数据集。