针对不同需求下的动态因素、大规模定位和定位策略选择。
提出融合KF-INS、GNSS与VINS-Mono多定位方法集成框架；
提出基于DNN对潜在动态物体中的所有特征点进行临时筛选；
基于速度观测约束的提出VINS初始化方法。
扩展的VINS-Mono在美国匹兹堡的25公里高速公路、隧道、桥梁、城市峡谷和郊区的行程中，有了显著的改进和卓越的性能。我们的集成方法也为具有不同精度、速度和延迟属性的特定坐标系提供了多种选择。
我们提出了一种被称为扩展的东西VINS-Mono使用系统方法VINS-Mono对于大型户外道路环境中的实际车辆定位，这种最先进的单目视觉惯导相对定位方法。我们提出的集成方法将各种独立的定位方法联系起来，并在所需的坐标系中提供各种（预测）状态估计，以满足不同的精度、速度和延迟要求。我们使用绝对定位方法(如GNSS）以及基于卡尔曼滤波的相对定位方法(如INS）来扩展VINSMono，为导航/路线提供全局状态估计，为规划/控制提供局部状态估计。另外，扩展VINSMono解决了VINS-Mono在大型户外道路环境中使用的两个重要缺点。首先，在一个几乎是平面的路面上的运动将使VINS-Mono尺度无法观察。其次，动态场景中的移动物体会降低精度。我们速度读数扩展我们VINS-Mono(重新)初始化过程，引入速度因子处理VINS-Mono尺度估计问题。一种基础DNN物体检测掩膜的动态特征点过滤方法可以处理动态环境，重新收集停放的汽车等静态物体的特征点。与VINS-Mono与穿越匹兹堡的高速公路、隧道、路、隧道、市区和郊区的25公里行程中，使用了扩展VINS-Mono全局准确性更好。因此，扩展VINS-Mono可用于动态道路环境中可靠准确的绝对定位。在全球坐标系中，我们还评估了多种定位方法的准确性、定位率和延迟。因此，我们的集成方法可以满足智能车辆各种任务的不同定位要求。
本文的主要贡献是采用系统的方法连接各种独立的定位方法，提供不同精度水平、速度和延迟的状态估计，以满足各种任务的定位要求。这种系统的关联被设计为通用和可扩展的。
此外，在大型户外车辆环境中使用VINS-Mono面临两个关键问题。
1)在几乎平坦的道路上运动使尺度不可观。
2)在动态道路场景中，移动物体上有许多检测和跟踪移动物体上，许多车辆可以向同一方向移动。
为了解决第一个问题，直接使用车速读数而不融合，并做出类似二维平面假设的假设来恢复VINS-Mono中等尺度观测。为了有效可靠地初始化车辆状态，我们提出了一种新的初始化方法。
基于第二个问题，我们使用它DNN轻量级、快速的物体检测方法DNN检测潜在的移动物体，如车辆和行人，以掩盖任何特征点。我们提出了一种修正过滤器的方法，暂时筛选掩膜中的所有特征点，并收集停放的汽车等静态物体的特征点。
本节介绍了我们的融合方法VINS-Mono绝对定位方法GNSS相对定位方法KF-based INS系统关联。由于本文中使用的所有定位方法都是在三维直角坐标系中定位的，所以我们只讨论这类坐标系的关联。然而，为了支持不同类型坐标系之间的关联，可以推广我们的融合方法。此外，在我们的系统方法中，绝对定位意味着固定原点的定位方法，而相对定位意味着动态原点的定位方法。因此，我们的系统方法旨在获得和更新绝对/相对定位方法的多个坐标系之间的动态转换关系。
在自己的坐标系中输出状态估计值。如图2所示，GNSS绝对定位方法在以G表示的全局坐标系UTM中输出全局状态估计值{ gt}，VINS-Mono在X表示的局部坐标系中输出局部状态估计值的相对定位方法{ xt}，INS在Y表示的另一个局部坐标系中输出局部状态估计值的相对定位方法{ yt}。对于GNSS绝对定位方法，其全球坐标系的原点OG它是预定义的，并保持不变。相对定位方法VINS-Mono和INS，局部坐标系的框架起源OX和OY动态定义是其初始化后相对定位的基础。同时，定位结果是估计某种定位方法的身心状态。
在我们的实现中，我们首先切断时间戳t前的状态估计，然后使用存储IMU测量值重新传播时间戳t后的状态估计。
我们现在正在讨论VINS-Mono扩展(重新初始化使用速度读数)。VINS-Mono图纸优化中的速度因素是直接的，这里不讨论。由于车辆的速度读数通常来自后轴的中心，我们使用阿克曼模型将原始速度读数转换为安装在车辆前部的Camera-IMU系统。
我们首先对VINS-Mono简要概述初始化过程。其基本思想是通过解决线性最小二乘法问题来获得速度、重力矢量和尺度，从而产生Camera的SfM与IMU预积分结果一致。
我们在自主车辆平台凯迪拉克SRX和凯迪拉克CT评估我们的扩展VINS-Mono。
我们将有一个全球快门相机（Flea3，1280×1024，30fps）和一个IMU（Memsense3030，9轴，800Hz）形成相机-IMU系统。工作频率为500Hz工作频率为5Hz的低成本GPS接收器ReachRTK全球工作频率为500Hz的SRX的高成本Applanix POS LV工作频率为200Hz的CT6.相对便宜的高级导航惯性导航系统（AdvNav）提供真值。通过高速公路、隧道、桥梁、城市峡谷和郊区，我们公路、隧道、桥梁、城市峡谷和郊区。我们使用RTK模块作为高速公路、桥梁和郊区环境中的绝对定位方法，提供全球定位。然而，在城市峡谷中，我们使用基于全球对齐和缩放地图的单目匹配ORB-SLAM2(定位模式)[26]作为提供全局位置的绝对定位方法。为了故意给ORB-SLAM三个月前收集的不同数据集生成了绝对定位误差。一个基于KF的INS在100Hz下操作通过两个投影提供相对和绝对定位，如图1所示s和3所示。在隧道中没有全局位姿，我们只能依靠VINSMono和基于KF的INS提供全局状态估计。我们的整合方法是1Hz变化关系的速度更新。禁止评估扩展，禁止使用松耦合的融合VINS-Mono，而没有来自GPS/RTK或ORB-SLAM2的优化。
对于每种方法，我们重复了五次初始化实验，并在图7中给出了统计结果。我们的初始化方法在初始化完成后有最长的有效时间Δt，而且明显优于其他证明其可靠性的方法。由于需要额外的计算，其初始化时间t成本略长于其他方法。然而，在实践中仍然可以接受和使用它。从箱形图可以看出，我们的方法t成本离群值较长，远低于其他方法。这表明我们的方法更高 这说明我们的方法在初始化方面成功率更高。结论是，我们的初始化方法在整个25公里的行程中是有效的，因此可以为下一次扩展做出贡献VINS-Mono状态估计提供了可靠的初始状态。
接下来，我们测量了所有定位方法对值（GT）的偏移量（误差）（预测）全局状态估计。结果分为三个部分：表一为城市前，表三为城市峡谷闭环测试，表二为城市后。最长的前城市段是具有挑战性的，因为它包含一个没有任何全局状态估计的隧道，而且在从桥到公路的南岸段，可见卫星的数量通常低于6颗。对于Extended VINS-Mono来说，后城市段比较容易，因为RTK模块提供了一路有效的全球定位。城市峡谷环路测试比城市后段更难，因为来自ORB-SLAM2的全局定位及其故意引入的误差比来自RTK的全局定位要嘈杂得多。
在表I-III中，全局精度由全局误差的平均值μe和标准差σe来衡量（第二列组），对GT的偏移量的CDF（累积分布函数）范围为0.5m至3.0m（第三列组）。我们将VINS-Mono与绝对定位方法联系起来，从相对定位方法中获得预测的全局状态估计值，我们以独立的GT为参考，计算其偏移量（误差）进行评估。因此，"全局误差 "和 "对GT的偏移量（CDF）"的绝对值反映了多种相关定位方法的总体精度水平。然而，我们更关注的是绝对定位方法和相对定位方法之间的相对关系。我们的目标是证明相对定位方法的预测全局状态估计值应该比绝对定位方法的全局状态估计值具有类似或更高的总体精度水平。
从表二和表三来看，扩展的VINS-Mono（第6行）和其相关的基于KF的INS在城市后段的表现比使用RTK和ORB-SLAM2在城市场景测试中的表现更好。这个实验表明，我们的融合方法将绝对定位方法的全局精度传播给了相对定位方法，并在相对定位的约束下提高了该投影全局状态的精度。对于城市前的路段，在进入隧道前，Extended VINS-Mono、相关的INS和RTK的总体精度与城市后的路段处于相似的水平。然而，在离开隧道后，扩展的VINS-Mono和相关的基于KF的INS的整体精度明显下降。在隧道内和前城市段的某些部分没有绝对的定位方法，相对定位方法的累积误差降低了它们的整体精度。在未来的工作中，我们将在隧道内加入其他互补的绝对定位技术来解决这个问题。
在表I-III中，即使采用我们的融合方法，将局部状态估计动态地投影到全局坐标系中，VINS-Mono的全局精度（第1行）在所有三个路段中都非常低。这是因为在大规模的室外道路环境中，如果没有速度因素，VINS-Mono的尺度估计是不可靠的。这个缺点导致了随着时间的推移出现相当大的漂移，相反，扩展的VINS-Mono的全局精度（第2行）在只有速度因子的情况下得到了明显改善。
尽管我们用图5中的例子证明了对静态物体的特征点重新收集，但从表一到表三中可以看出，它对整体精度的影响并不明显，正如人们所期望的那样。一个可能的原因是，与COVID19之前的水平相比，由于流量较少，数据集包含的动态对象较少。因此，"RANSAC First "方法（第3-4行）即使在去除一些内部掩码后，仍然有足够的特征点。另一个可能的原因是，VINS-Mono的深度估计首先来自于旧状态和新状态之间的三角测量，这是从IMU传播中初始化的。反过来，由 "无遮挡 "方法（第2行）接受的移动特征点在接下来的鲁棒化优化中会有一个可行的但错误的深度值。
估计延迟是指从最新的GT时间戳到最新的状态时间戳的时间间隔。负值表示定位方法有延迟，正值表示定位方法提供的值比GT早。从表一到表三，我们看到我们的融合方法中基于KF的INS提供了高速率和低延迟的绝对定位输出，在全局坐标系中具有可接受的整体精度水平。
最后，我们强调，表一至表三中所有具有不同精度、速率和延迟属性的输出都来自于我们的系统性关联。基于各种任务的预期要求，我们的系统方法可以提供相应的定位选择。
我们提出了扩展的VINS-Mono，使VINS-Mono[4]能够同时提供相对和绝对的定位，用于大规模户外道路环境中的规划/控制和导航/路线。我们提出的融合方法系统地关联了多种相对/绝对定位方法，为智能车辆的各种任务提供多种状态估计选择。此外，我们使用车辆的速度读数来获得尺度指标，以实现可靠的（重新）初始化和与尺度相关的位置/速度估计。为了处理有移动车辆的动态环境，我们修改了传统的滤波程序，并利用DNNs的车辆和天空掩膜，去除动态但重新收集静态特征点。与VINS-Mono相比，扩展的VINS-Mono在穿越美国匹兹堡的高速公路、隧道、桥梁、城市峡谷和郊区的25公里行程中产生了明显的改进和卓越的性能。我们的融合方法还在一个给定的坐标系中提供了多种选择，具有不同的精度、速率和延迟属性。在未来，我们将重点评估Extended VINS-Mono内其他定位方法所提供的多种状态估计的可靠性。
作者也是我们特邀嘉宾：
本文仅做学术分享，如有侵权，请联系删文。
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题