点击上方“3D视觉车间，选择星标
第一时间送达干货
作者丨paopaoslam
来源丨泡泡机器人SLAM
原文链接: https://fujie.ece.ufl.edu/wp-content/uploads/sites/79/2022/02/SemanticSLAM-Covisibility-RAL2022.pdf
标题：Towards Accurate Loop Closure Detection in Semantic SLAM With 3D Semantic Covisibility Graphs
作者：Zhentian Qian, Jie Fu, Jing Xiao
机构：Worcester Polytechnic Institute
来源：RAL 2022
编译：zhuhu
审核:介来拉石
摘要
回环纠正未知场景SLAM累积误差是必要的。然而，传统的回环方法是基于low-level几何信息或图片特征点可能导致严重歧义，无法区分类似场景，从而导致错误的环路闭合。虽然在一些论文中已经考虑了使用2D用语义图像信息检测环路闭合，但用三维场景作为语义SLAM比较一个组成部分的工作很少。本文介绍了一种叫做SmSLAM LCD结合的方法high-level的3D语义信息和low-level特征信息集成到语义SLAM用于实现准确的回环检测，有效减少漂移误差。在我们提出的方法中，测试显示了该方法的有效性。
主要工作和贡献
语义SLAM专注于3D对象的表示、构图和定位。
在本文中，我们提出了一种新的基于单目视觉的语义SLAM充分利用系统中的循环检测和漂移校正方法high-level语义信息和low-level几何信息。我们称之为：SmSLAM LCD（Semantic SLAM Loop Closure Detection）
将语义对象信息融入3D在语义共视图中
一种基于分层的环路检测方法low-level提出的环路候选具有几何特征，然后通过比较相应的3D语义共视图来避免FP（False Positives）的情况
一种从粗到精计算环路闭合的方法SIM(3)的变换
模拟数据集和真实场景数据集用于检测环路检测是否产生FP的情况
测试结果证明了介绍SmSLAM LCD方法的有效性
方法
作者根据上一篇文章的语义SLAM整合。检测和跟踪单目相机输入中的语义物体。从ORB-SLAM2的跟踪模块提供视觉里程计。此外，基于Yolov用于检测图像中对象的检测模块。有检测对象的ROI中提取ORB特征点并用BoW表示检测到的对象。最后一步是执行对象级数据关联，匹配检测到的对象和地图对象。
语义构图模块是通过语义对象检测和跟踪产生的新关键帧来实现的。当添加新的关键帧时，我们将更新关键帧、地图对象和语义关键帧的数据。
每个图像关键帧构建的语义对象将进一步构建到对象的共识图中，这也是基于新的观察。
在构图模块处理完关键帧后，语义回环检测模块将关键帧其他存储在地图数据库中的关键帧进行比较，以检测回环。
对象共视图
图的定义
在地图上维护一个对象的共视图，以提供结构化的环境表示。
顶点V：共视图顶点的语义SLAM算法构建的3D语义地标是地图数据库中的地图对象。每个构建对象宇对象标签的概率分布是相关的，用于表示感知的不确定性。此外，本文还将交换地图对象和语义地标，每个地图对象包含以下信息：
椭球体的主轴长度可以包围地图对象，表示主轴
地图对象的中心
表示对象类别的集合，表示类别中的概率分布集合，对象类的概率分布存储在顶点， 给定对象类别，顶点是类别的概率.
共享地图对象观测的特征点集合
计算的词袋向量集合在关键帧上包含地图对象的区域
边Edges：只要在同一语义关键帧中观察到与两个顶点相关的地图对象至少三次，就会在两个顶点之间添加一个边缘
图纸的结构和维护
如图2所示，当添加新的语义关键帧时，对象共视图将更新。
首先，更新共视图的地图对象。如果在语义关键帧中观察到新对象，则新对象不包含在共视图中，如图2中的锅，则添加到顶点集合中。其次，如果在同一语义关键帧中观察到任何一对地图对象三次，如图2中的冰箱和洗衣机，则添加一个侧面。
语义回环检测
语义回环检测如图3所示。
实验部分
结论及未来展望
本文介绍了我们SmSLAM LCD，很好地继承了我们以前的语义SLAM语义闭环法在系统中。我们的方法来自SLAM环路检测和漂移校正系统的高层语义和低层几何信息。具体地说，SmSLAM LCD在映射的3D在语义对象上构建共视图，并不断用最新的观测更新。在进行环路检测时，该方法通过比较与环路候选帧相关的对象共视子图来检查基于低层几何特征的环路候选人。为了纠正积累的漂移，我们的方法包括一种从粗到精计算闭合帧之间变化的方法.
我们使用TUM RGB-D测试了我们自己的虚拟和真实数据集SmSLAM LCD。实验结果表明，和ORB-SLAM2和ORB-SLAM3相比，SmSLAM LCD在检测到环路闭合后，可以现更准确的漂移校正，区分类似场景，避免ORB-SLAM2和ORBSLAM报告中的误报环路关闭。
在本文中，我们假设每个对象对检测真实环路闭合或拒绝假环路闭合都有同样的贡献。我们计划以不同的方式修改和处理静态对象和移动对象。我们还将研究在共同视图中使用权重来改善动态环境中的环境检测。
参考文献
Zhentian Qian, Kartik Patath, Jie Fu, and Jing Xiao, "Semantic slam with autonomous object-level data association’’, In 2021 IEEE International Conference on Robotics and Automation (ICRA), 2021, [PDF].
本文仅进行学术分享。如有侵权行为，请联系删除。
1.自动驾驶领域的多传感器数据集成技术
2.自动驾驶领域3D点云目标检测全栈学习路线！(单模态 多模态/数据 代码)3.彻底了解视觉三维重建：原理分析、代码解释、优化和改进4.中国第一门面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码解释6.彻底理解视觉-惯性-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底了解基础LOAM框架的3D激光SLAM: 从源代码分析到算法优化8.室内外激光彻底分析SLAM关键算法原理、代码和实战(cartographer LOAM LIO-SAM)
9.从零开始建造一套结构光3D重建系统[理论 源码 实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
15.国内首个3D缺陷检测教程：理论、源码与实战
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题