论文作者：Kejie Qiu, Tong Qin, Jie Pan, Liu Siqi, and Shen Shaojie
这是Shen Shaojie课题组的论文方法虽然不是特别创新，但却深入系统。
文章来源：IEEE TRANSACTIONS ON ROBOTICS，2021年4月，第37卷第二期
论文链接：https://ieeexplore.ieee.org/document/9271875
翻译：chaochaoSEU
鲁棒的准确校准对多传感器集成系统至关重要。异构传感器的校准特别具有挑战性，因为传感器获取数据的方式差异很大。目前，许多校准方法忽略了时间校准。事实上，时间校准和空间校准同样重要。本文专注于异构传感器的时间校准，并提供相应的外部旋转参数。大多数现有的方法都是专门用于特定的传感器组合，例如IMU-相机或相机-激光系统。但异构多传感器融合是机器人领域的趋势，因此需要统一的校准方法。为此，我们用3D由于使用多种里程计方法来获得3，因此不需要辅助校准旋转运动特性。D传感器的运动信息。使用高频IMU以校准为参考IMU该中心方案旨在实现一个可独立估计3的统一框架D各种目标传感器旋转运动。结合独立IMU对于中心校准组合，任何传感器也可以使用相同的参考IMU进行校准。因为采用了新颖的3D因此，实时估计时间偏移可以实现运动相关性的量化和分析机制。传感器运动给定时间对齐，可以在同一3D外部旋转参数在运动相关机制中通过分析找出。与最新的校准方法相比，某些传感器组合的实验结果显示了该方法的准确性和鲁棒性，异构多传感器集的校准结果显示了该方法的可扩展性和多功能性。
多传感器集成是各种精确环境感知机器人应用的基础，如同时定位和构图（SLAM）[1]和动态环境感知[2][3]。不同的传感器可以互补，整合系统的整体感知能力将显著提高。例如，IMU更新率高，但噪声和漂移；相机具有高分辨率的感知能力，但图像模糊和尺度模糊，激光雷达具有精确的距离感知能力，但水平分辨率和FOV有限。不同传感器的数据同步对于集成系统来说非常重要，以实现与鲁棒传感器的有效集成。利用高频实现高精度的时间同步和空间校准IMU，设计了一个IMU中心校准方案如图1所示。使用一个IMU作为公共校准的参考，所有目标传感器都可以与中心相比IMU校准并使用相同的参考IMU任何两个传感器也可以相应校准。
许多传感器集成方法首先假设不同传感器的时间戳对齐[1]、[4]-[6]，这实际上只能通过严格的硬件同步来保证。但对于大多数低成本、自建的传感器集，硬件同步是不可用的。事实上，传感器的时间戳会受到不同时钟、触发机制、传输延迟、数据堵塞、抖动和倾斜的影响。正如文献[7]所指出的，上述因素的校正被称为时钟同步，本文重点关注时间校准，即定测量实例和时间戳之间的恒定偏移过程。因此，精确的时间校准是传感器集成的主要前提。大多数校准方法是专门为某种传感器组合而设计的，如相机-IMU系统或相机-激光系统。然而，自动驾驶等多源异构传感器在当今的应用场景中很常见。新传感器将来也会出现。因此，需要统一、无目标、实时、高精度的校准方案。本文主要研究基于3D异构传感器时间校准的运动相关分析。同样的三维相关分析也可以估计关键的外部旋转参数。我们的方法适用于任何可以独立估计三维旋转的自动运动（ego-motion:在计算机视觉领域，自我运动是指估计相机相对于固定场景的运动。自我估计的一个例子是估计汽车相对于从汽车本身观察到的道路或街道标志线上的移动位置。自我运动的估计在自主机器人导航的应用中非常重要）。
现有的校准算法大多属于优化方法的范畴：目标是拟合/对齐不同传感器的传感器数据。校准问题可以表示为状态估计问题，可以通过滤波或优化解决。另一种是利用运动相关分析校准类似[8]和[9]的传感器。事实上，相关分析是估计两个信号之间时移最标准的方法[10]和[11]。但相关方法的弱点是估计精度。例如，文献[8]的结果需要通过优化进一步优化。受[8]和[9]的启发，我们将一维相关分析扩展到三维相关分析，充分利用三维运动，设计了速度平衡滤波器（a rate balance filter）来平衡中心IMU与目标传感器的更新率不同，可以实现更高的校准精度和鲁棒性，可基于优化的方法相媲美。
众所周知，每个外部感应传感器都能根据特定的物理特性感知一些环境，即发光强度、纹理、边缘、深度、光谱反射率等。即使两个传感器可以测量相同的量，测量结果也会与另一个传感器不同，具体的感知FOV也可以不同于感知面积。如果我们使用原始传感器数据进行校准，准确的传感器数据关联是最大的问题。例如，传统的双目相机校准方法依靠重叠区域的极限约束或重投影误差来解决外参，这意味着它不能处理两个相机没有重叠区域的情况。相反，自我运动由所有集中在同一传感器中的传感器共享，以校准异构传感器，从而实现统一的校准风格。
如今，许多里程计算法和SLAM该算法已开发出具有特定外部感觉传感器的三维自我运动，如单目相机ORB-SLAM[13]、DSO[14]用于激光LOAM[15]和用于RGBD相机的RGBD-SLAM。而IMU作为载体传感器，可以直接测量角速和线性加速的三维自我运动特性。如果我们从不同的运动估计方法中提取运动特征作为独立信号，我们不需要辅助校准板。可以通过精心设计的三维相关分析来估计相应的时间偏移，这对多个几何变换是不变的。两个传感器可以通过充分的运动激励和精确的时间校准来观察到最大的运动相关性。此后，外部旋转参数的推导类似于普氏分析[17][18]的几何对准方法。通过对具有相同三维相关分析机制的特征方向分析，可以进一步推导外部旋转参数。运动相关性的一个优点是，时间校准可以应用于外部旋转参数校准。由于时间偏移和外部旋转是两个不相关的量，如[8]指出的共同估计将损害估计结果。由于时间和空间的不对齐导致拟合误差，优化算法同时对所有状态量进行联合估计。此外，与优化方法相比，该方法具有更大的时间偏移估计范围。另一个优点是，基于时间校准的三维相关分析可以快速推导出外部旋转参数，这意味着外部旋转参数的初始估计不需要，而且大多数优化方法依赖于精确收敛的初始猜测。
据作者所知，这项工作是第一个统一解决异构多传感器的实时时间偏移和外部旋转参数估计，无需初始猜测和额外的校准板辅助。贡献如下：
针对多源异构传感器校准，提出了一种统一、实时的时间偏移校准方法。
基于时间校准结果，外部旋转参数校准在相同的三维相关分析机制中进行了分析。
通过比较参考值和最先进的校准方法，展示了我们方法的校准精度和鲁棒性。
本文其余部分的结构如下。Section II介绍了不同传感器之间的时空校准。Section III介绍了相关的公式和原则。Section IV介绍了三维运动的评价和关键方法。Section V展示了使用EuRoC数据集[19]模拟结果。Section VI给出了实际的实验结果，并与其他校准方法的结果进行了比较。Section VII为总结。
传感器延迟是实时应用中常见的问题，如图2所示，不同传感器的延迟差偏移，如图2所示。大多数时间校准方法集中在估计时间偏移，而不是传感器延迟，因为传感器数据的不对准将极大地影响传感器集成的质量。首先假设延迟是完全已知的[20]-[23]或时间偏移是大致已知的[24]和[25]。
近年来，各种公开的传感器校准方法：从单时间/空间校准[26]到联合校准[8]和[27]，从离线校准[28]到实时校准[27]，从分析解决方案[26]到迭代优化解决方案[29]。然而，分析方案不能用于时间校准。显然，无目标实时校准方法更具吸引力，因为它具有很强的适应性和灵活性。基于非线性成本函数迭代最小化的优化方案更准确，但计算成本更高，需要良好的初始估计来准确收敛。Tungadi and Kleema[30]提出通过计算周期运动的相移来估计移动机器人的激光雷达和车轮里程计之间的时间偏移，但这种方法需要已知外部旋转参数。Fleps将传感器轨迹建模成B样条，并联合优化B样条的控制点和空间配准参数。由Furgale[28]提出的工具箱Kalibr，时间偏移和相机运动可以同时进行估计，外部旋转和平移可以通过连续批量优化进行估计，并给出估计偏移的不确定性。然后，它扩展到激光雷达-相机校准等多传感器系统的一般时空校准，并解释了适用于硬件同步以外的同步方案的问题[7]。此外，Rehder等 [9]将Kalibr扩展到多IMU外参校准。两者均采用b样条参数传感器运动，实现角加速平滑。
估计两个信号之间时两个信号之间的峰值 [10][11]。例如，Mair等 [8]一种IMU时间和空间与相机之间的初始化方法。它首先使用相互关联或相位一致性来估计时间偏移，这与空间对齐无关。使用改进的手眼校准方法估计给定估计的时间偏移IMU旋转参数与相机分析。然而，取绝对转速(1D）交叉相关和相位分析。使用一维相关的估计精度有限，使用相位一致无法获得噪声数据的精确时间对齐。因此，它只被用作滤波或优化方法的初始化方法。我们充分利用三维运动，并评估与三维相关性的运动相关性，以更鲁棒和准确的校准，实现与优化方法相当的精度。事实上，三维动态相关分析已经用于动态对象跟踪[31]和[32]中的运动分解。
最近，一些视觉惯性紧耦合的实时运动估计方法将时间偏移作为附加状态[27][33]。它可以处理时间偏移偏移的不确定性也可以用这种方法来建模。[33]的工作是一种滤波方法，[27]的工作是一种优化方法。与之前的框架相比，这两种方法都只稍微增加了计算复杂度，而没有估计时间偏移。为了使残差对时间偏移可微，Li和Mourikis[33]对传感器集相对于估计时间偏移的位置和方向应用一阶近似，而Qin和Shen[27]假设每个特征点在图像平面的短时间间隔内以恒定的速度移动。实际上，一阶近似[33]是传感器运动本身在短时间间隔内的另一个恒定速度假设。然而，它们是专门为IMU-相机系统设计的。此外，由于恒定速度假设，两种方法的收敛范围受到有限，换句话说，与其他迭代解一样，它们需要对精确收敛有很好的初始猜测。
对于外参的估计，这个问题可以从统计形状分析的角度抽象为点集配准。它可以用典型的普氏对准方法[17]、[18]来求解，除刚性变换外，还能找到尺度和反射变换。利用奇异值分解(SVD可以有效地计算外参。然而，普氏对齐假定数据点关联良好，或者换句话说，传感器的运动数据可以很好地同步。[33]和[27]在运动跟踪过程中都一直在估计平移和旋转参数。Li和Liang[34]提出了一个使用无迹卡尔曼滤波的时空配准模型来进行多个不同的传感器融合。Zhang专注于使用两个解析解[26]来校准IMU和磁力计之间的外参，从而消除传统方法中的迭代过程。然而，Zhang和Song[26]假设IMU的尺度因子和偏差被预先校准，传感器是同步的。Kelly和Sukhatme[35]提出了时延迭代最近点来估计本体感受传感器和外部感受传感器之间的时间偏移和外在旋转参数。该算法通过在三维方向空间中调整曲线来迭代计算时空变换。
最近提出了各种针对激光-相机校准的外参估计方法。Scaramuzza等[38]介绍了一种三维激光雷达和全向相机的外参校准技术，采用相机和激光雷达之间的手动校准技术。文献[39]提出了一种单目相机和平2D面激光雷达之间的统一时空校准方法。[7]中的激光相机校准案例也使用二维激光雷达，并要求环境至少部分由平面组成。Faraz等[40]使用人工标定板估计了激光-相机的外参，其中也估计了激光雷达的内参，而Pande等[41]提出了一种无目标的外参校准方法，利用Barzilai–Borwein steepest gradient ascent algorithm将激光雷达反射率和光学图像最大化交互信息。基于标准化的交互信息的工作也提出了[42]，可以应用于更一般的环境，因为它不仅是基于激光雷达的反射率，而是使用粒子群优化，这并不局限于凸问题，所以单扫描校准是可能的。然而，所有这些方法都是为纯粹的外参校准而设计的，并假设传感器数据具有较好的同步。
IMU模型：
根据目标传感器，将不同IMU中心组合两类：IMU-IMU和IMU-一般传感器校准。在不失去一般性的情况下，我们选择了中心IMU和一个目标传感器进行标准说明，使用相同参考IMU的任意两个传感器可以通过组合相应的中心IMU标准对进行校准。
在本文中，我们将关键的时间偏移td视为观测持续时间内一个恒定的未知值，并将我们之前的工作[27]中的IMU-相机时间偏移定义扩展到一般的目标传感器:
时间偏移是移动目标传感器时间戳的时间，使目标传感器和中心IMU数据流保持时间一致的时间。它可以是一个正值或负值；如果目标传感器序列的延迟比IMU序列更长，则td为一个负值，反之亦然。
相关性分析是一种广泛使用的相似度测量技术，特别适用于分析时移序列。我们没有对提取的绝对角速度[8]等一维运动特征进行三维相关性评估（相关性系数），而是直接测量原始三维运动的三维相关性，从而实现高精度的时间偏移估计和基于解析解的外部旋转参数。两个多变量随机过程之间的稳健相关性度量是轨迹相关 [43]。它也用于动态对象[32]的运动分解和尺度估计，其中动态对象的度量尺度优化通过最小化的相关对象运动和主体的运动，而在本文中，我们提出通过最大化相应的运动相关性来校准两个传感器的时间偏移和外部旋转参数。
整个算法流程：
给定两个随机向量x=[x1,x2,x3]T和y=[y1,y2,y3]T可以用x和y的样本数据估计互协方差和自协方差：
CCA[44]的目标是找到a和b的线性组合向量对，从而使相关系数Corr(aTx, bTy)最大。
事实上，通过矩阵的特征值分解，可以以解析解的形式计算出三对标准变量：
x和y之间的迹相关被定义为正则相关系数的平方的均方根：
与两个随机变量之间的归一化相关系数相似，迹相关是两个随机向量之间的另一个归一化测量，不受绝对值或尺度的影响。由于迹相关计算的特征值分解操作和协方差计算的零均值归一化操作，迹相关的另一个特性是它对缩放、旋转、平移变换是不变的，这将显著简化不同参考系中表示的两个传感器运动之间的相关测量，使时间偏移估计与未知的标度、旋转和平移无关。换句话说，时间校准与其他状态估计被解耦。然而，对于优化方法，它们都需要联合估计。我们将迹相关的多重几何变换不变性总结为：
我们用于运动相关分析的关键运动特征是三维载体的角速度，它可以用三维随机过程来表示。首先，我们直接利用中心IMU的原始数据作为关键校准参考。对于不均匀分布的IMU样本，采用了基于双线性插值的数据均值化预处理步骤。
对于以IMU为中心的传感器同步，根据IMU测量模型，我们有以下连续时间关系
在实际实践中，测深方法的估计方向在频率fG中离散分布，比IMU采样频率远小于fI。如果我们直接使用估计的转速和原始的转速来进行数据关联，就会出现严重的不一致问题。因为目标传感器的估计转速实际上是△t（从tk到tk+1的1/fG秒）内的平均测量值，该时间长于IMU采样时间δt（1/fI秒）。目标传感器的平均体角速度可以估算为
为了解决这种不一致，一种解决方案是使用广泛使用的b样条[28]、[45]或其他插值方法来拟合目标传感器的运动，并且可以从较短的时间窗口δt来估计旋转速度。但使用插值方法的精确表示在很大程度上依赖于主题模型的选择和拟合参数的调整，这也引入了一个巨大的计算负担，如相关方法所示。因此，我们没有插值目标传感器的低频数据，而是设计了一个速率平衡滤波，它对IMU的高频数据应用类似的平均效应，以实现一致的数据关联，并避免了复杂的计算。这样，用于数据关联的运动特征实际上是在1/fG秒内的平均角速度。这两种解决方案的详细比较如图4所示。
现在我们可以把这种关系总结为：
给定数据对齐的测量值，下一步是建立时间偏移的连接和相应的相关评估。由于我们只有离散运动测量而不应用连续时间插值，因此我们使用时间偏移枚举来解决优化问题。如图5所示。枚举的ωkG的ωkI将会以IMU采样间隔作为枚举步骤进行采样，平均角速度计算的开始时间和结束时间将偏移td：
通过最大化迹相关，可以估计最优的时间偏移：
为了进一步提高估计精度，我们应用对前三个最大迹相关采样点的二次拟合进行估计细化，如图6所示。
给定两个传感器之间精确的时间校准，可以在相同的三维运动相关评估框架下推导出相对旋转。假设di，i∈{1,2,3}是IMU坐标空间中的三个正交方向。显然，投射在ωI轴di上的运动分量和投影在ωG轴RIGdi上的运动分量是严格相关的，这意味着：
因此，相对旋转RIG在以下条件下只对应于矩阵：
在实践中，我们将在一定程度上软化必要的条件，以获得更高的估计率，即
外部旋转的一个致命的简并运动情况是对称运动，其中投射在两个非线性轴上的运动分量是严格的正相关或负相关的。当对称运动发生时，就存在模糊的坐标解。例如，在图7中，如果目标传感器在蓝轴、绿轴上的运动投影严格正相关或严格正相关，则表示目标传感器的真坐标为实体坐标，且该坐标至少有三个模糊解，如虚线所示。为了消除对称运动可能引起的模糊解，我们进一步检查了以下可观测性条件：
在满足必要条件和可观测条件的情况下，可以在RRT=I和det(R)=1的约束下相应地估计外部旋转矩阵（SVD）：
外部旋转参数是时间偏移估计的副产品，因为它可以在给定时间对齐运动数据的解析解计算，只需要一个SVD操作和可观测性检查。换句话说，在我们的校准框架中，外部旋转参数估计所增加的计算复杂度几乎为零，这进一步确保了在多传感器系统内的实时性能。
我们分别使用ORB-SLAM[13]和LOAM[15]作为相机和激光雷达的自我运动估计方法。相机和激光雷达之间的时间偏移量和外参：
F 异构多传感器校准结果
本文提出了一种异构多源传感器校准的中心IMU时间偏移和外部旋转参数的估计算法。该校准方法与优化方法具有相当的估计精度，具有更大的时间偏移估计范围和解析式的外部旋转参数。它可以实时的在没有标定板的自然场景中工作。算法比较总结见表V。该方法在通用性、计算效率和较大的时间偏移估计范围等方面都优于其他先进的方法。此外，使用与中心参考IMU相同的多个独立标定线程可以一起校准同一传感器集中任意两个传感器之间的时间偏移和外部旋转矩阵。研究了退化的情况和相应的可观测性条件，进一步提高了校准的鲁棒性。通过对基准数据集的仿真和广泛的真实实验，验证了该算法的估计精度和通用性。接下来，只要其中一个传感器的更新速率足够高，将不再需要中心IMU，以中心IMU的校准方案就可以扩展到直接校准两个传感器。例如，新兴的事件相机[46]等高速相机就是中心校准参考的良好替代品。
作者也是我们特邀嘉宾：
本文仅做学术分享，如有侵权，请联系删文。
在「计算机视觉工坊」公众号后台回复：，即可下载深度学习算法、3D深度学习、深度学习框架、目标检测、GAN等相关内容近30本pdf书籍。
在「计算机视觉工坊」公众号后台回复：，即可下载计算机视觉相关17本pdf书籍，包含计算机视觉算法、Python视觉实战、Opencv3.0学习等。
在「计算机视觉工坊」公众号后台回复：，即可下载独家SLAM相关视频课程，包含视觉SLAM、激光SLAM精品课程。
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群，请扫描下面微信号加群，备注：”研究方向+学校/公司+昵称“，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进去相关微信群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题