点击上方“3D视觉车间，选择星标
第一时间送达干货
本文介绍了视觉摄像机、毫米波雷达、超声波雷达、激光雷达等几种主流环境感知传感器。通过分析比较各传感器的原理、优缺点，进一步了解如何在不同场景下构建感知方案。
在无人驾驶过程中，传感器负责感知车辆周围的环境信息，包括车辆、行人、交通信号灯、交通标志、场景等。为无人驾驶汽车的安全驾驶提供及时、可靠的决策依据。常用的车载传感器包括相机、毫米波雷达、超声波雷达、激光雷达等。根据各传感器的特点，在实际应用中，环境感知通常采用各种互补的传感器功能。
相机属于被动触发传感器，被摄对象反射光，传播到镜头，通过镜头聚焦CCD/CMOS芯片上，CCD/CMOS根据光的强度积累相应的电荷，通过周期性放电，产生电信号，通过预放电路放大，AGC由图像处理芯片处理成数字信号的自动增益控制。
一般分为感光元件CCD和CMOS两种：CCD的灵敏度高，噪声低，成像质量好，具有低功耗的特点，但是制作工艺复杂，成本高，应用在工业相机中居多；CMOS价格便宜，性价比高，多用于消费电子。为了满足不同功能的视觉需求，有许多不同类型的相机。
组合相机:指无人驾驶前视环境感知中常见的单目/双目/三目，由不同焦距组成的光学阵列，用于探测不同范围内的目标。
传统单目做前视感知FOV景深较小，可探测远距离障碍物，如mobileye52用于早期产品°当然，现在主要的镜头是100°摄像头能感知到更广的范围。
双目相机利用视差原理计算深度，由于相机视角不同而形成视差。双眼立体视觉在测距精度上比单眼深度估计准确得多。
三目相机采用三种不同焦距单目相机的组合，弥补了视野范围和景深的问题。视野宽的摄像头感知近距离，视野中的摄像头感知中距离，视野窄的摄像头感知远距离目标。AutoPilot 2.0方案中的三个摄像头是前视窄视摄像头(最远感知250米)、前视主视摄像头(最远感知150米)和前视宽视摄像头(最远感知60米)。
鱼眼相机：由十几个不同的镜头组成。在成像过程中，入射光被不同程度地折射到有限大小的成像平面上，使鱼眼镜头具有更大的视野范围。鱼眼相机的视角一般可达190°，广阔的视野也带来了严重的图像畸变。通常用于自动驾驶停车功能，安装在车辆前后保险杠上，左右后视镜下，四个鱼眼相机拼接成全景图，覆盖车身5米左右进行停车位线测试。
红外相机：普通使用CCD相机能感受到红外光的光谱特性，以红外光为照明源，达到夜视成像的效果。通常在芯片表面添加滤光涂层或在镜头中添加滤光片，以恢复原有的颜色，具有夜视效果。虽然近红外线的绕射能力可以穿透烟雾、墨水污渍、聚酯丝等材料，但不能穿透所有的丝绸织物，因此红外相机不能实现人体的透视功能~~~。
除上述相机外，还有事件相机、结构光相机、全景相机等，目前对无人驾驶的感知较少。
视觉摄像机能获得丰富的纹理、特征信息，与毫米波、激光雷达相比，采用图像数据可实现车道线路检测、交通标识符检测，freespace等功能。但也有其缺点，如：
相机易受光照影响：
强光直射或阴影背光成像质量差；
物体在高速运动时容易产生运动模糊；
毫米波雷达发射无线电波，然后接收反射信号，计算目标的相对距离距离；根据多普勒原理，当发射的无线电波与被测目标有相对移动和回波时，通过检测频率差计算目标的相对速度。
毫米波雷达可分为脉冲测距雷达和连续波测距雷达。由于调频连续波技术成本低、技术成熟、信号处理复杂性低，FWCW毫米波雷达是主流。内部结构主要包括收发天线、射频前端、调制信号、信号处理模块等。
常用的车载毫米波雷达按频率分为24GHz、77GHz和79GHz，还有一些地区研究其他频率的毫米波雷达，如日本60GHz。频率越低，绕射能力越强，信号损失越小。通常是24GHz用于近距离探测的毫米波雷达77GHz79毫米波雷达用于远距离探测GHz毫米波在带宽、分辨率等方面均优于前者，将成为未来的发展方向。
近距离雷达（SRR）：如上图所示，车辆周围的角雷达和安装在车辆后面的雷达通常是24GHz毫米波探测40米以内的目标。
远距离雷达（LRR）：安装在车辆前保险杠上的前雷达通常是77GHz毫米波探测200米以内的目标，并与摄像头的目标输出相结合。
79GHz毫米波雷达的频率更高，波长更短，分辨率更高，因此在远距离测方面比77更好GHz，而且由于体积小，是未来的发展趋势。
毫米波雷达测量距离较远，通常超过200米，受天气影响较小。电磁波在雨雪、雾和灰尘中具有良好的渗透性。但也有其缺点，如：
行人、锥桶或塑料制品等某些材料回波弱的识别率较差；
对金属材料特别敏感，导致虚警率高；
采样稀疏导致原始数据噪声大，目标抖动；
径向目标探测准确，但切向目标敏感性差；
原始数据只有距离和角度信息，缺乏目标高度信息；
超声雷达通过声音在空气中传输的时间来判断障碍物的距离，5米以内的精度可以达到厘米范围。其原理是利用超声波在空气中的传播速度，测量发射后障碍物反射的时间，并根据发射和接收的时差计算障碍物的距离。主流工作频率为40KHz、48KHz、58KHz三种。
停车场景一般在车辆周围安装12个超声雷达，前后安装4个短距离超声雷达，左右安装2个长距离超声雷达。
短距离超声波（UPA）测量范围一般在3米以内，如上图所示，安装在车辆前后保险杠上检测近障碍物，常用于倒车报警功能。
远距离超声波（APA）测量范围一般在5米以内，安装在车辆左右两个，用于检测近距离障碍物，判断空停车位，常用于停车辅助功能。
超声雷达受雨水、灰尘、沉积物干扰小，空气渗透性强， 衰减小，短距离检测精度高，常用于停车场景。但也有其缺点，如：
声波的传输容易受到天气温度的影响，高低温下的测距误差较大；
与光速相比，声速慢，速度快时超声波测距跟不上车距的实时变化，误差大；
超声雷达的输出是视觉范围内的距离值，但目标位置不能准确给出；
激光雷达是一种主动测量传感器，通过发射激光脉冲进行物体检测和测距。根据测距方法的不同，可分为三角测距TOF法测距，相干法测距。市面上用的比较多的还是TOF测距的激光雷达。
基于TOF测距的激光雷达通过激光器以不同的角度发送多束激光，遇到障碍物后反射回来由接收器接收，最后激光雷达通过计算激光发射和接收的时间差，计算障碍物的相对距离，并根据接收到的强度信息分析障碍物的材质。
激光雷达从工作方式上可以分为
机械式激光雷达
混合固态激光雷达
固态激光雷达
机械式激光雷达通过底部旋转马达带动激光束进行360°扫描，每扫描一圈得到一帧激光点云数据，扫描一圈的时间称为一个扫描周期。通过测量激光信号的时间差和相位差来确定距离，并根据每条扫描线的角度和扫描旋转角度构建极坐标关系。
混合固态激光雷达将机械式的外部旋转元器件做到了设备内部，比如MEMS技术直接在硅基芯片上集成体积十分精巧的微型扫描镜，并通过 MEMS 扫描镜来反射激光器的光线，从而实现微米级的运动扫描。
固态激光雷达比如相阵控技术通过调节相位偏移来改变激光束的发射方向，从而实现整个平面的扫描。其原理是相控阵发射器由若干发射接收单元组成一个矩形阵列，通过改变阵列中不同单元发射光线的相位差，可以达到调节射出波角度和方向的目的。
波长：大多数激光雷达采用905nm波长的光源，也有部分远距离探测雷达使用1550nm的波长。波长越长功率越大，通俗点说就是通过大力出奇迹的方式堆功率来探测的更远。针对多个激光雷达相同波段干扰问题，可以采用连续波调频技术解决。
线数：激光雷达可以分为单线、16线、32线、64线、128线等，线数越多单位时间内采样的点数就越多，分辨率越高。单线激光雷达常出现在机器人领域用于扫地机避障等功能；16线激光雷达在园区小车上曝光率较多，用于slam或者近距离障碍物检测；32线和64线激光雷达由于点云更加稠密，采用深度学习技术进行目标识别具有很好的周围环境感知能力。
分辨率：包括水平角分辨率和垂直角分辨率，机械式激光雷达水平角分辨率一般在0.08°，垂直角分辨率根据线数的不同有较大的变化，16线激光雷达的垂直角分辨率为2°，呈现出的一帧点云较为稀疏。
视场角：包括水平视场角和垂直视场角，机械式激光雷达的水平视场角为360°，垂直视场角一般在20°~50°之间。固态激光雷达达不到全视野范围，水平视场角通常小于100°，垂直视场角通常在20°~70°之间。
扫描频率：采样频率在5~20Hz之间，一般默认10Hz，线数越多，每一帧的点数越多。比如16线激光雷达，按照10Hz采样，每帧大约30000多个点。
激光雷达对光照变化不敏感，不受夜晚场景的影响，可以全天候工作；测距精度相比其他传感器都要高，具有一定的抗干扰能力；感知周围信息量较为丰富；但是也有其不足之处，比如：
受雨雪、雾天、粉尘等气候影响性能下降；
对某些低反射特性的材料测距精度不佳；
硬件价格昂贵
毫米波雷达（长距）和激光雷达（远距离）均能探测到200左右的物体；摄像机虽然能看到更远的物体，但是远距离测量精度不准，单目估计在20米以外精度就开始下降，立体相机测量80米以外的物体精度也明显下降；超声波雷达用于近距离探测，探测距离通常在3米以内。
只有毫米波雷达能够通过多普勒频移直接获得物体速度；激光雷达，摄像机，超声波三种传感器均不能直接获得物体速度。
摄像机作为被动传感器，依赖外部环境光，在夜间的探测能力较大；而毫米波雷达、超声波雷达、激光雷达均是有源传感器，不受白天/黑夜的影响，具有较好的鲁棒性。在雨雪、大雾、粉尘等天气状况下，毫米波雷达具有良好的穿透性，所以性能不受显著影响；而摄像机、激光雷达在探测性能上有不同程度的衰减。
光学摄像机 |
毫米波雷达 |
超声波雷达 |
激光雷达 |
|
探测距离 |
中 |
远 |
近 |
较远 |
探测精度 |
低 |
中 |
较高 |
高 |
抗干扰能力 |
受光照、雨雪、粉尘影响 |
全天候不受环境影响 |
受大风、温度影响 |
受雨雪、粉尘影响 |
硬件成本 |
中低 |
中 |
低 |
高 |
本文仅做学术分享，如有侵权，请联系删文。
在「3D视觉工坊」公众号后台回复：即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
在「3D视觉工坊」公众号后台回复：即可下载包括等。
在「3D视觉工坊」公众号后台回复：即可下载独家学习课件与视频网址；后台回复：即可下载独家学习课件与视频网址。
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题