传感器校准是自动驾驶的基本要求。一辆车配备了多个/多个传感器，需要统一空关系。传感器数据校准主要是为了定位的准确性。 1.传感器分类
机器人有多种传感器，每种数据类型不同，数据精度不同。这些数据应该统一集成和处理。传感器主要包括Camera、激光雷达、IMU、毫米波雷达，gps等传感器。
- 摄像头是RGB图像的像素阵列；
- 激光雷达是3-D点云距离信息(可能带反射值的灰度值)；
- GPS-IMU给车身位置姿态信息；
- 雷达是2-D反射图。
比较几种传感器的优缺点:
1.1、摄像头
相机可分为以下几种:单目， 双目和深度相机。 相机的优点是成本低，应用广泛。还有更多的人使用相机进行算法开发，技术相对成熟。相机的缺点，首先，很难获得准确的三维信息（单目相机几乎不可能，有些人提出双目相机或三目相机）；另一个缺点是受环境光的限制较大；计算量相对较大。 摄像头获取图像的变化有以下原因： 摄像头通常获得2D图像，获取深度不方便。
- 单目:相机的移动必须得到深度，会有很多问题
- 双眼:可以通过两个角度的视觉深度
- 深度相机：通过结构或结构IO方式。后者类似于激光雷达。 视觉测距需要大量的计算，测量结果很容易随光线变化而变化。若机器人在光线较暗的房间内运行，则基本上不能使用视觉测距方法。当然，随着深度相机的出现，这种情况发生了变化。但近年来，有一些方法可以解决上述问题。一般来说，视觉测距一般采用双目视觉或三目视觉方法。使用视觉方法进行测距，机器人可以更好的像人类一样进行思考。另外，通过视觉方法可以获得相对于激光测距和超声波测距更多的信息。然而，更多的信息意味着更高的处理成本，但随着算法的进步和计算能力的提高，上述信息处理问题正在缓慢解决。
1.2、激光雷达
激光雷达的优点是探测距离远，能准确获取物体的三维信息；激光准确，数据量少，计算量小；稳定性高，鲁棒性好。但目前激光雷达成本高，产品最终形式尚未确定。激光测距单元的另一个问题是它通过玻璃平面的问题。此外，激光测距单元不能用于水下测量。
1.3、超声波
超生波测距和声波测距在过去得到了广泛的应用。与激光测距单元相比，其价格相对便宜；但其测量精度较低。激光测距单元的发射角仅为0.25°，因此，激光基本上可以看作是直线；相对而言，超声波的发射角达到30°，因此，其测量精度较差。但在水下，由于其穿透力强，是最常用的测距方法。最常用的超声波测距单元是Polaroid超声波发生器。
1.4、IMU
IMU陀螺仪和加速度计(惯性测量单元)IMU其精度直接影响惯性系统的精度。
2、时间标定
由于时间不同，采样频率不同，多个传感器需要及时校准。由于多个传感器的安装位置和旋转角度不同，需要校准空间。
2.时钟硬同步
所谓时间硬同步，就是通过唯一的时钟源为每个传感器提供相同的基准时间。每个传感器根据提供的基准时间校准自己的时钟，从硬件上实现时间同步，即统一的时钟源。目前，自动驾驶的主流时间同步是基于GPS时间是基准时间 ，采用PTP/gPTP时钟同步协议完成传感器之间的时间同步，PTP 前提是交换机需要支持PTP协议可以实现高精度同步。 与PTP还有一种同时出现NTP，即网络时间协议，区别在于PTP硬件级实现，NTP在应用层实现。
2.2.采样频率同步
由于各传感器采样频率不一致，如lidar通常为10Hz，camera通常为25/30Hz，不同传感器之间的数据传输仍有一定的延迟，因此最近的相邻帧可以通过寻找相邻的时间戳来找到。如果误差很大，可以用硬同步触发，调整传感器的固有频率以达到一致性。
2.3.时间软同步
分为帧率与整数倍数关系传感器和非整数倍数关系传感器之间的时间对齐，整数倍更容易处理，非整数倍可以使用插入推法，主要使用两个传感器帧上的时间标签，计算时差，然后通过包含运动信息的目标帧和时差，计算新帧的位置，在原两帧之间建立新帧。
3、空间标定
根据实现原理，空间融合标定分为硬件层融合， 如禾赛和Mobileye等传感器厂商, 数据层， 利用传感器获得的各种后期数据，即每个传感器独立生成目标数据，然后将这些特征数据与主处理器集成，实现感知任务；任务层， 先由各传感器完成感知或定位任务, 如障碍物检测，车道线检测、语义分割与跟踪、车辆自身定位等， 然后添加置信度进行融合。
3.1.内外标定
传感器校准分为单传感器校准和多传感器校准，主要是外部校准和内部校准，目的是确保不同传感器的空间关系，统一在车辆坐标系下，获取不同传感器收集的相同障碍的信息，便于后续集成处理。 内参决定了传感器内部的映射关系，如相机的焦距、偏心和像素的横纵比（ 畸变系数)，外参决定了传感器与外部坐标系之间的转换关系，如姿态参数(旋转和平移6自由度)。摄像头的校准曾经是计算机视觉中的3-D重建的前提。
3.2、设备标定
一般传感器安装后，需要对车辆进行校准。校准分为基于校准设备的校准和基于自然场景的校准。 基于校准设备更容易理解，即根据传感器的安装位置进行校准。首先，根据制造商提供的传感器尺寸和内部参数进行校准，计算原点之间的距离，即平移距离，这相对简单。旋转角度难以计算，需要特殊的方法。 基于自然场景的校准方法是利用外部场景中的静态路标（如树木、电线杆、路灯杆、交叉路灯杆） 通过标志等。)和清晰的车道线进行校准。让移动汽车跑几圈，校正传感器获得的数据和实际外部场景的路标。
3.3.坐标系同步
空间同步，即，一般理解为车辆坐标系下传感器的校准参数，其中一部分是运动补偿，如纯估计补偿，使用括ICP(Iterative Closest Point，迭代最近点算法)及其相关变体(VICP)线性补偿，但这是基于匀速运动假设。
3.里程计辅助
里程计辅助法用于运动补偿法IMU信息解决了激光数据中每个激光点对应的传感器位置，即解决相应时间的传感器位置，然后将所有激光点转换为相同的坐标系，然后包装成 发布一帧激光数据(可以理解为激光点云 去畸变)。 1）通过IMU与点云数据时间对齐，然后对每个点进行速度补偿，通过时间戳进行线性插值，然后将所有点云数据转换为初始点云IMU坐标下 2)匹配上一帧的去畸变点云数据，计算激光姿态。并通过计算姿态对每个点云进行线性补偿，根据时间戳将所有点云数据转换为最后一个点云数据时间戳，即完成里程计方法的补偿。
4.相机与其他传感器融合
多相机校准主要是长、中、短焦距校准，相机和Lidar最常见的激光和相机联合校准方法是将激光产生的点云投影到图像中，然后找到标记（可能是校准设备，也可能是边缘明显的静态物体），检查边缘轮廓对齐，如果在一定距离内（一般选择50-60m） 点云边缘和图像边缘可以重叠，可以证明校准结果的精度很高。
4.1、标定场地
我们的校准方法是基于自然场景的，因此理想的校准场地可以显著提高校准结果的准确性。我们建议选择一个纹理丰富的场地，如树木、电线杆、路灯、交通标志、静态物体和清晰的车道线路。下图是一个更好的校准环境示例：
4.2.相机到相机
智能车通常有多个相机， 用长焦距检测远处场景(视野小)， 近距离短焦距检测(视野大)。Apollo例如： 基本方法：根据长焦相机投影到短焦相机的集成图像，绿色通道为短焦相机图像，红蓝通道为长焦投影图像，视觉判断检查对齐。在集成图像中的集成区域，选择场景中距离较远（50米以外）的场景进行对齐判断。如果可以重叠，则精度高。如果出现粉色或绿色重影（错位），则存在误差。当误差大于一定范围（范围取决于实际使用情况）时，需要重新校准（正常情况下，由于视差的影响，近处物体在水平方向错位，距离越近，错位越大，这是正常现象。垂直方向不受视差影响)。 结果示例：如下图所示，图2要求的外参效果，图3为不满足精度要求的现象，请重新校准过程
- 好的相机到相机标定结果，中间部分是集成结果重叠较好:
- 错误的相机到相机标定结果，，中间部分为融合结果，有绿色重影：
4.3、相机到激光雷达
基本方法：在产生的点云投影图像内，可寻找其中具有明显边缘的物体和标志物，查看其边缘轮廓对齐情况。如果50米以内的目标，点云边缘和图像边缘能够重合，则可以证明标定结果的精度很高。反之，若出现错位现象，则说明标定结果存在误差。当误差大于一定范围时（范围依据实际使用情况而定），该外参不可用。
- 良好的相机到多线激光雷达标定结果:
- 错误的相机到多线激光雷达标定结果： 具体来说，就是先把3D激光雷达2D化，投射到2D的相机图像中，然后看其候选框是否吻合。 或者反过来，把2D的图像3D化，然后投射到3D的激光雷达中，看其在3D下的候选框是否吻合。
可能出现多个候选框，则需要用NMS（非最大值抑制）去除重叠的候选框。至于判断吻合的方法有多种，这里只说明原理，不详细描述。具体参考下面链接： 无人驾驶中视觉和雷达多传感器如何融合？
4.4、相机到毫米波雷达
基本方法：为了更好地验证毫米波雷达与相机间外参的标定结果，引入激光雷达作为桥梁，通过同一系统中毫米波雷达与相机的外参和相机与激光雷达的外参，计算得到毫米波雷达与激光雷达的外参，将毫米波雷达数据投影到激光雷达坐标系中与激光点云进行融合，并画出相应的鸟瞰图进行辅助验证。在融合图像中，白色点为激光雷达点云，绿色实心圆为毫米波雷达目标，通过图中毫米波雷达目标是否与激光雷达检测目标是否重合匹配进行判断，如果大部分目标均能对应匹配，则满足精度要求，否则不满足，需重新标定。 参考文章： 多传感器融合SLAM、导航研究和学习专栏汇总 多传感器融合标定方法汇总
- 良好的毫米波雷达到激光雷达投影结果:
- 错误的毫米波雷达到激光雷达投影结果:
4.4、相机到IMU标定
虽然Apollo中没有, 但这是视觉slam中的常见传感器标定, 利用Kalibr 对 Camera-IMU 进行标定。
参考文献
多传感器信息融合(标定, 数据融合, 任务融合) 自动驾驶系统的传感器标定方法 “多模态”和“多传感器融合”的相同点和不同点都有哪些？ 多传感器融合同步标定技术整理 SLAM与多传感器融合定位（专栏文章汇总） 多传感器融合SLAM、导航研究和学习 多传感器融合标定方法汇总 9种自动驾驶传感器融合算法 多视图几何基础——深入理解相机内外参数