作者丨Coulson@知乎
来源丨https://zhuanlan.zhihu.com/p/55825255
编辑丨3D视觉工坊
最近，在车辆中增加了障碍物检测模块。激光雷达可用于物体聚类，但我们使用16线velodyne，线数还是有点稀疏，对于远物太稀疏的线数聚类效果不好，所以考虑用视觉检测目标，然后投影到3D点云里面，获取障碍物位置，同时视觉还可以给出障碍物类别信息。
目标检测采用视觉，检测结果2D bounding box坐标信息投影到点云，3D bounding boxx坐标需要联合校准摄像头和激光雷达，即获得两个坐标系的空间转换关系。
相关代码已我同步github-smartcar：https://github.com/sunmiaozju/smartcar
标定部分在detection/calibration文件夹, 信息集成部分在detection/camera_point_fusion
联合标定的作用是建立点云point和图像pixel对应关系，
将点云3维坐标系下的点投影到相机3维坐标系下，需要获取相机和激光雷达的外参。
还需要通过相机标定获得相机内参，即将相机3D坐标系下的点投影到成像平面。具体如下:
上图显示了联合标定获得的4×4转换矩阵的作用，我们的3D点云转换为相机坐标
这张图显示了相机坐标系和成像坐标系之间的关系。相机校准将获得相机中的参矩阵和畸变系数。畸变系数可以消除相机凸透镜的畸变效应，相机中的参信息可以将相机坐标下的3D点投射到2D像素平面上。相机校准的具体原理可参考：https://zhuanlan.zhihu.com/p/24651968
需要一个标定板，要硬质板或者泡沫的标定板，因为标定板的平面要保证是平的。标定板的文件可以到opencv官网下载。
首先做相机标定，相机标定模块在detection/calibration/camera_calibration
编译
cd your_rosworkspace_path/ catkin_make -DCATKIN_BLACKLIST_PACKAGES=ndt_mapping;static_map;ndt_localization 我们先不编译ndt_mapping;static_map;ndt_localization这三个软件包
若出错，可先编译消息文件，再编译全部文件：
catkin_make -DCATKIN_WHITELIST_PACKAGES=smartcar_msgs;yunle_msgs;smartcar_config_msgs catkin_make -DCATKIN_WHITELIST_PACKAGES=“” 然后要修改detection/calibration/camera_calibration/nodes文件夹下面python文件的可执行权限：
sudo chmod a x your_path/detection/calibration/camera_calibration/. 启动摄像头驱动节点
roslaunch cv_camera cv_camera_driver.launch 注意你自己的相机video_id，使用以下命令查看
ls /dev/video* 然后根据需要进行修改your_path/driver/cv_camera/launch/cv_camera_driver.launch里面的
<param name="device_id" type="int" value="1" /> 新终端，执行
rosrun calibration cameracalibrator.py --square 0.13 --size 8x6 image:=/cv_camera/image_raw 弹出界面如下所示：
需要做的是移动校准版，让右上角的四条变绿(我这里的绿色已经调好了，未调整的是黄色)
x代表左右移动，y代表上下移动，size代表远近移动，skew可上下倾斜，也可左右倾斜。
只有四个尺度的信息满足要求后，右边的信息calibration图标将显示，此时代表可以计算校准结果，点击calibration，然后save，将保存校准结果home下面是文件夹。
使用联合标定autoware的CalibrationTookit模块，代码在detection/calibration/calibration_camera_lidar文件夹下面
编译代码后，首先启动摄像头和激光雷达的驱动节点
roslaunch cv_camera cv_camera_driver.launch 新终端
roslaunch velodyne_pointcloud VLP16_points.launch 然后驱动联合标定节点
roslaunch calibration_camera_lidar camera_lidar_calib.launch 启动后可以看到UI界面，具体操作指南，可参考文件：detection/calibration/calibration_camera_lidar/CalibrationToolkit_Manual.pdf 的2.3节
也可参考链接：https://blog.csdn.net/AdamShan/article/details/81670732#commentBox
如何使用这个模块上的链接已经说得很清楚了里简单说一下:
首先左上角load将之前校准的相机内参文件导入相机内参
调整点云的视角（操作方法参考上述链接），然后确保图像和点云可以看到完整的白色标记板，点击右上角grab捕获单帧图片和点云
在捕获单帧的点云上，选择图片中对应的校准板的位置，选择圆圈中的所有点，不仅包含信息，还包含平面法相量，校准必须确保法相量垂直于平面，因为一开始我没有注意到这一点，投影点在图片上，没有投影在图像范围内。
校准后，右上角有一个project，您可以查看校准效果，一般来说，您可以看到以下效果：
左下角图片上的红线是右下角点云红线投影到图片上的位置。以下图片从另一个角度投影，点也投影，的相对位置基本相同：
这种效果基本可以，点击save，将保存输出的外参文件home下面是文件夹。
有了联合校准的外参文件，我们可以整合信息。
主要有两个模块：点云到图像 、 图像到点云
5.1 image2points
这部分代码在your_path/deteection/camera_point_fusion/packages/joint_pixel_pointcloud这个pkg下面
这部分代码实现的功能是建立velodyne-点云投影640×在480图像上，如果点云投影的二维点在图像640上×在480范围内，然后写下三维激光雷达点的位置，匹配图像上相应像素的颜色，变成pcl::XYZRGB点返回并显示。
此外，该模块还可以订阅目标检测信息，通过目标检测模块获取图像，获得2Dbounding box坐标利用点云与图像像素的对应关系获得3Dbounding box信息，并在RVIZ显示在中间。
编译代码后，操作：
roslaunch joint_pixel_pointcloud joint_pixel_pointcloud.launch 同样，摄像头驱动节点也需要运行velodyn驱动节点，还有目标检测节点，不过目标检测模块因为某些原因不能公开到github，你可以使用自己的目标检测模块，作为ROS节点添加到工作空间即可。
代码运行效果如下所示：
这个就是图像像素所对应的点云，可以看到点云已经被加上了黑白的颜色，点云周边有一些比较淡的颜色，下面这幅图加深了颜色，同时显示出图像对应的点云在整个点云帧的位置：
下面是目标检测的效果：
可以看到，图像上检测出来的物体，基本都在3D场景下对应出来了，其中，不同的颜色代表不同的物体类别。
不过，因为这个目标检测模型是针对于自动驾驶场景的，分类对象都是car,pedestrian,info signs等，而因为实验条件的原因我还没有来得及拿出去测试代码效果，就先在房间测试了一下，所以可以看到目标检测的框是有些没意义的东西，不过不影响验证信息融合效果。
这个节点可以便于我们进行障碍物检测，因为视觉信息进行障碍物检测是要优于低线数激光雷达聚类的，但是视觉信息识别物体虽然准，却没有距离信息，激光雷达可以提供距离信息，因此，视觉和激光雷达二者结合，就可以获得障碍物的距离、类别以及位置了
5.2 points2image
这个是把点云投影到图像上，具体运行基本同理我就不说了。
代码的具体效果如下所示：
可以看到，点云基本是和图像是匹配的。
这个节点的作用是可以帮助我们进行红绿灯识别或者其他info_sign识别。因为进行红绿灯检测最好是可以获取红绿灯在图像上的位置，即ROI，然后再进行识别会容易很多。我们可以在事先建立好的场景语义地图中，加入红绿灯的位置，这样车辆到达该位置的时候就可以立刻找到红绿灯在图像上的ROI，这样会优化info sign的检测。具体如下所示：
本文主要介绍了关于视觉和激光雷达进行信息融合相关内容，包括相机标定，摄像头与激光雷达联合标定，信息融合节点等等
利用激光雷达和视觉信息融合,我们可以结合二者的优点优化障碍物检测或交通标志的识别，以及优化其他相关任务等等。
本文仅做学术分享，如有侵权，请联系删文。
在「3D视觉工坊」公众号后台回复：即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
在「3D视觉工坊」公众号后台回复：即可下载包括等。
在「3D视觉工坊」公众号后台回复：即可下载独家学习课件与视频网址；后台回复：即可下载独家学习课件与视频网址。
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题