作者颍川滞@知乎
来源丨https://zhuanlan.zhihu.com/p/453038352
编辑丨3D视觉工坊
Hello，大家好，我是清华自动化的小郭。两个月前我开始做了SLAM目的是研究，在大量学习和调研之后选择follow港大MARS实验室相关Livox利用雷达的结果r3live刚开源不久(2021年最后一天开源)的机会，我就蹭热度，如题所示，这篇文章是刚开源的R3LIVE经验和测试，r3live的github链接：https://github.com/hku-mars/r3live
R3LIVE我已经关注这项工作很长时间了是传统的SLAM框架下搭建了一套的体系，将Lidar-相机-IMU更直接有效的融合。它同时构图RGB信息通过VIO子系统给点云上色，并通过定的方法优化上色。
给点云的xyz加上了RGB和协方差信息之后，数据的信息要素就变多了，可拓展性也变强了。
可以说，
https://www.bilibili.com/video/BV1d341117d6?from=search&seid=12107213485081421560&spm_id_from=333.337.0.0
此外，本文还提供了高效的三维点云重建mesh根据三维重建的结果，作者制作了一个小游戏。
视频地址：https://www.bilibili.com/video/BV1e3411q7Di?from=search&seid=12107213485081421560&spm_id_from=333.337.0.0
看完演示和论文，我直呼小母牛倒立-NB冲天（图0-1）
另外，看了作者(Jiarong Lin)发表的所有历史工作之后，发现所有他的文章都有
https://paperswithcode.com/search?q=author:Jiarong Lin
这里我简单介绍一下。hku-mars几项相关工作
作者：Jiarong Lin and Fu Zhang 代码链接：https://github.com/hku-mars/loam_livox 简介：也就是说r3live作者写的这篇文章是经典的loam在系统的基础上，针对livox高频率小fov不规则采样的特点，设计了 实时激光雷达建图算法；livox-loam二是增加了高效的回环检测方案(非常符合测绘逻辑)。 再说说Livox这种雷达采用花瓣扫描(图1-1)的方式，类似于人类视网膜(图1-2)的扫描方式，然后用于机器学习 可能非常NB。
图1-1：livox-avia扫描方式
图1-2：livox雷达与人眼扫描注意力对比图
作者：Wei Xu, Yixi Cai 等 代码链接：https://github.com/hku-mars/ikd-Tree 简介：FASTLIO利用紧耦合迭代扩展卡尔曼滤波器提出了激光雷达的特性点IMU数据集成，我的理解FASTLIO做了两份工作， 一是使用流形约束SO3，一是设计迭代卡尔曼滤波器代替loam非线性优化方案。 FASTLIO2更有趣，更好地利用实验室设计的动态增量KD树，在ikdtree在高速运算的加持下，不需要zhangji那种手工 提取角点面点的旧方法，直接采样ICP这样这样匹配get我们不知道它的一些重要特征。3、live系列：r2live\r3live：
作者：Jiarong Lin and Fu Zhang 代码链接：https://github.com/hku-mars/r2live 简介：r2live，将fastlio2变成lio加入子系统vio子系统在误差卡尔曼滤波器内部估计状态，用因子图进一步改进整体 精度。一般来说，雷达和相机在不同的环境中有自己的优势。在卡尔曼滤波框架下，雷达场景不会退化。雷达不能放在相机的顶部。 不行上IMU顶。看完了r2live论文和介绍视频后，我说是骡子是马拉出来，我立即带我们节省手持设备（图2-1）在校园测试，真的随意扫描，实时操作，如何扫描，计算效率特别高，也很棒（图2-2），扫描后我有一种感觉：真的很棒
图2-1:我们的设备和采集过程
图2-2：r2live扫描校园效果1
图2-3：r2live扫描效果2
有朋友问，这个r2live（图3-1）和r3live(图3-2)有什么区别？看完论文可以判断。r3live应以前作为基础r2live的基础上开发的，也是分为俩个子系统，即：激光惯导子系统(LIO)视觉惯导子系统(VIO)。如下列框架图所示，r3live和r2live的LIO系统没有太大区别，它们最大的区别在于VIO的设计上。r2live采用的是ESIKF filter-based odometry pose graph optimization的pipeline，通过ESIKF filter快速迭代出最优状态，然后通过pose graph optimization的进行refine。而在r3live中，VIO直接使用子系统的原因LIO通过地图纹理(即点云)，系统的点云地图RGB对系统状态进行更新。简而言之，r3live中的LIO系统负责构建地图的几何结构（geometry structure), VIO子系统负责渲染地图的纹理(texture, 即点云的颜色信息)。
由于这种设计，r3live比r2live的多传感器融合的更直接有效。
图3-1 r2live
图3-2：r3live
r3live效果展示
首先，我的电脑配置：32GRAM，i7-10700U的NUC，没有显卡，跑起来没有压力，所有截图都是实时数据的实时截图。
我运行的数据是作者提供的数据集：
开头的数据集表示容易退化场景，似乎有loam-livox的陈年老bag
开头是香港大学室内外场景的数据集
一开始，香港科技是一个大型校园数据集
从树木多的公园类型的数据集开始
这些数据集基本上代表了大部分slam作用环境，跑这个数据验证很有说服力，也可以跑自己的数据（r2live收集的数据)。但是，在运行自己的数据时，要联合校准相机雷达，并在config的yaml在文件中配置相机内外参。
直接硬白墙雷达必然退化，相机容易漂浮的场景可以保持稳定NB
再来一张
hkust01的bag，走第二圈这个楼梯的时候还是同一个栏杆非常的NB
走树林的场景回环的很好
点云上色的质量非常的好
港科技萌萌的地面
每一根毛都清清楚楚
有一种身临其境的感觉
树林一角
校园风景
校园总览
地面纹理相当清晰
车道线表达也相当稳健
三维重建及其应用
建图效率非常的好，作者把该功能集成在了roslaunch中，用起来也非常方便，有心了。
内存查看器：在运行r3live的roslaunch的终端里面，作者给我们维护了一个内存监视器，可以实时查看内存占用情况，还是很好用的。
在实际测试中，除了实时重建的彩色地图给了我很大的震撼，我还关注到以下几点，首先是内存占用问题，通过作者提供的内存查看器，我门可以很清楚的看到，r3live的内存占用是比较大的，9GB大小的香港科技大学的bag，在内存中表现总占用了27GB RAM，可以看出来，R3LIVE的地图记录了不止点位的几何位置信息，还记录了RGB颜色、协方差等一堆参数，导致R3LIVE在内存占用上还是很高的，不知道后续作者会不会针对这个问题做相关的优化。
第二点就是在进行三维重建之后，在树和房子之间的部分，建图效果不是很理想，语义分割后再进行mesh是不是会好一些？
本文仅做学术分享，如有侵权，请联系删文。
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题