资讯详情

基于语义图的三维点云场景识别

标题:Semantic Graph Based Place Recognition for 3D Point Clouds

作者:Xin Kong, Xuemeng Yang , Guangyao Zhai , Xiangrui Zhao ,Xianfang Zeng , Mengmeng Wang , Yong Liu , Wanlong Li and Feng Wen

Zhejiang University

来源:arxiv 2020

编译:丛阳滋

审核:zhiyong

转载:泡泡机器人SLAM

由于空间屏蔽和视角的变化,提取用于三维激光点云场景识别的描述仍然是一个开放的问题。与大多数基于原始点云数据的局部、全球和统计特征的场景描述不同,本文主要依靠语义信息来提高对不同场景的适应性。模仿人类的认知习惯,利用场景中的语义目标和空间位置分布信息,提出了基于语义图的场景识别方法。首先,我们创新地提出了语义图的表达,直接保留了原始点云的语义和拓扑信息,然后将场景识别建模为图匹配问题,并利用提出的网络计算图之间的相似性。Kitti结果表明,我们的方法在很大程度上优于SOTA,并且开源。

  1. 基于人类的认知习惯,我们提出了语义图来表达原始点云中的语义信息和语义目标之间的拓扑关系;

  2. 我们提出了一种用于估计图匹配相似性的网络,可用于回环检测;

  3. KITTI上的大量实验证明我们的方法达到SOTA对于反向回环、遮挡和视觉变换,效果非常好。

如上图所示,本文方法的流程主要分为语义图表达和基于学习的图相似度计算两部分。

我们利用RangeNet 使用SemanticKITTI语义标签对数据进行语义分割,然后通过聚类获得语义目标,如上图所示,每个节点由中心点坐标和语义信息组成;

受SimGNN我们将语义目标表达为灵感DGCNN中的superpoints,利用EdgeConv为了提取局部空间特征,我们利用K邻近构建欧氏空间关系,将两部分分别融合,如上图所示;

加权每个结点以获得整体图的表达,并通过上述公式计算整体图的上下文信息(Global Graph Context);

通过上述公式,我们认为更类似于整体上下文信息的节点具有更大的权重,最终我们得到了语义图的嵌入式表达(Graph Embedding);

一对图之间的关系可以使用NTN估计方法,如上图所示,从而测量图间相似性。

本文利用KITTI如上图所示,数据集的广泛测试效果优于现有方法;

我们使用最多F定量评价1分,可见S08数据表现尤为突出;

为了测试鲁棒性,我们使用屏蔽数据来评估方法,结果如上图所示;

从上图可以看出重访区域的相似性;

本文还测试了不同阈值对方法精度的影响,如上图所示。此外,本文的方法可以实现实时效率。

------------------------------------------------

Due to the difficulty in generating the effective descriptors which are robust to occlusion and viewpoint changes,place recognition for 3D point cloud remains an open issue.Unlike most of the existing methods that focus on extractinglocal, global, and statistical features of raw point clouds,our method aims at the semantic level that can be superiorin terms of robustness to environmental changes. Inspiredby the perspective of humans, who recognize scenes throughidentifying semantic objects and capturing their relations, thispaper presents a novel semantic graph based approach for placerecognition. First, we propose a novel semantic graph representation for the point cloud scenes by reserving the semantic andtopological information of the raw point cloud. Thus, placerecognition is modeled as a graph matching problem. Thenwe design a fast and effective graph similarity network tocompute the similarity. Exhaustive evaluations on the KITTIdataset show that our approach is robust to the occlusion aswell as viewpoint changes and outperforms the state-of-theart methods with a large margin. Our code is available at:https://github.com/kxhit/SG_PR

本文仅进行学术分享。如有侵权行为,请联系删除。

在「3D视觉工坊」微信官方账号后台回复:即可下载 3D干货的视觉相关数据涉及相机校准、三维重建、三维视觉、SLAM、深度学习、点云后处理、多视图几何等方向。

在「3D视觉工坊」公众号后台回复:可下载包括等。

在「3D视觉工坊」微信官方账号后台回复:独家下载即可学习课件和视频网站;背景回复:独家下载即可学习课件和视频网站。

扫码添加小助手微信,可

也可以申请加入我们的细分交流群。目前主要有等微信群。

注:

标签: at三维激光传感器

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

 锐单商城 - 一站式电子元器件采购平台  

 深圳锐单电子有限公司