自动驾驶仿真框架的详细解释OpenCDA: An Open Cooperative Driving Automation Framework Integrated with Co-Simulation》 本文介绍了自动驾驶仿真框架 OpenCDA。本文将介绍论文作者的另一个最新工作 OPV2V，论文收录于 。
OPV2V 数据集主要 feature 有：
- 提出了首个
多车协同感知大型数据集，同时戳下包含多辆自动驾驶汽车3D点云与相机RGB图像； - 囊括了
73个不同的场景，6种道路类型，9个不同的城市； - 数据共含有
12K LiDAR frames，48K RGB camera images，230K 3D标注bounding box； - 提供一个包含
综合16个模型benchmark。
作者还开源了第一个协同感知代码框架 OpenCOOD，主要feature有：
- 它提供了一套简单易用的套装API方便用户阅读
OPV2V数据转换为相应的格式供应pytorch直接使用模型； - 提供了多个
SOTA 3D LiDAR detection backbone, 包括PointPillar, VoxelNet, Pixor, SECOND； - 支持多种常见的多智能体感知集成方法，包括
前融合、中后融合； - 提供多种协同感知
SOTA并不断更新模型； - 提供实用的
log replay tool来回放OPV2V在不改变原始数据事件的情况下，支持用户添加新的传感器并定义新的任务。
论文链接：https://arxiv.org/pdf/2109.07644v3.pdf
项目链接：https://mobility-lab.seas.ucla.edu/opv2v/
0. Abstract
简单介绍下论文摘要：
- 利用自动驾驶技术
车与车通信来提高感知性能然而，它引起了相当大的关注，因为缺乏合适的数据集基准算法使协同感知技术的开发和评价变得困难。 - 为此，作者提出
第一个模拟数据集大规模用于车辆和车辆感知。它包含70多个场景、11464帧和232913个带注释的3D车辆 bounding box，从九个城镇镇。 - 然后作者构建了综合评价基准，共有
16个模型评估几种信息融合策略 (即早、晚、中融合) 和最先进的LiDAR检测算法。此外，作者还提出了一种新的方法注意力中间融合策略来融合来自多个网联车辆的信息。实验表明，所提出的融合策略可以很容易地与现有的3D LiDAR检测器即使，即使在很大压缩比也能获得优异的性能。
1. Introduction & Related Work
虽然在感知领域3中，作者介绍了研究背景D物体检测取得了重大突破，但仍存在一些挑战：如果物体被严重堵塞或大小小时，检测性能将显著下降。为了解决这个问题，研究人员开始研究协同感知，利用 V2V 技术，网车（CAVs）共享信息可以是原始数据、中间特征、单是原始数据、中间特征、单然而，目前最大的障碍是缺乏大规模的数据集，所以作者用OpenCDA 和 CARLA 模拟器收集了73个不同场景的数据集；为了弥补模拟与现实世界交通流的差距，作者建立了数字城市：Culver City。
作者首先介绍了研究现状 V2V 感知 常见的融合方式：
- 前融合：在通信范围内，在线汽车共享原始数据，汽车根据聚合数据进行预测。这样，传感器数据完整，但需要大带宽，难以满足实时要求。
- 后融合： 只传输检测结果，自行车根据接收到的检测结果进行整合，需要较低的带宽，但严重取决于每辆车的检测性能。
- 中间融合:为了满足检测精度和带宽的要求，只传输中间特性，根据聚合特性推理周围物体，如
V2VNet、F-Cooper。
2. Dataset
作者使用 CARLA 和 OpenCDA 生成数据。数据主要来自 CARLA 每帧提供的8个默认城镇平均有2个.89辆网络车(至少2辆，最多7辆)；每辆 CAV 配备4个摄像头(可覆盖360°视野)和64线激光雷达 GPS/IMU 数据流频率为20Hz，记录频率为10Hz。为了更好地模仿现实世界和评估域自适应能力，作者还使用了配备32线激光雷达的车辆含2个摄像头) Culver City 传感器数据在高峰期收集。然后使用 RoadRunner 建立道路拓扑，选择一致的建筑，模拟真实的交通流，建立数字城市(如下图所示)。
表1和2是数据集的统计，可以看到帧数、注释数、数据大小CAV与其他数据相比，数量和城市数量非常丰富。数据集包括6种道路类型，平均持续时间为16.4秒，平均联网车辆2秒.平均交通密度为269辆.平均交通速度为33.1km/h，CAV 平均速度为37.5km/h。
下面是 3D box 从图3可以看出，数据集中相当一部分物体占100m视野之外，这与 KITTI、Waymo 相反，从图4可以看到数据集的使用 V2V 当有遮挡时，技术可以增加感知距离 CAVs 能够提供互补信息。
3. Attentive Intermediate Fusion Pipeline
注意力中间集成框架如下图所示，包括元数据共享、特征提取、压缩、特征共享、注意力集成和预测六个模块。
- 首先是
CAVs之间的相对位置和外参广播，建立一个空间图，每个节点都在通信范围内CAV。然后选一个CAV为自行车，所有相邻的CAVs将其点云投影到自行车坐标下并提取特征，特征提取器可以是现有的3D物体检测器主干网。 - 由于硬件限制，需要压缩传输数据，作者使用编码器-解码器架构来压缩共享信息。编码器由一系列2组成D 卷积和max pooling组成、然后征图广播给自车，解码器包括一些逆卷积层，还原被压缩信息。
- 注意力融合：作者为特征图中的每个特征向量构造一个局部图，为来自不同网联车辆的相同空间位置的特征向量建立
edge。融合后的特征传输至预测头，生成bounding box和置信度。
4. Experiments
作者选择了4个3D物体检测器（SECOND、VoxelNet、PIXOR、PointPillar），然后与三种融合策略集成，同时作者还研究了不融合的车辆检测性能，加在一起总共有16个模型。
从表3可以看到，任意一种融合方式都比不融合的检测性能提高了至少10个百分点；进一步可以看到，前融合准确率都要高于后融合，在大多数情况下，中间融合都取得了最高的准确率，证明本文提出的自注意力方式捕获了 CAV 感知信息的相互关系。
图7和8分析了 CAV数量和不同压缩比率对协同感知性能影响，可以看到中间融合都取得了最好的性能。 最后是一个可视化例子，协同感知能够检测到更密集的车辆（即使被遮挡）。