通过传感器计算打造视觉雷达，下一代自动驾驶系统的关键构成-锐单电子商城

点击上方“迈微AI研习社”，选择“星标★”公众号

重磅干货，第一时间送达

作人：鉴智机器人

2021年10月25日，特斯拉市值达到万亿美元，成为美国第五家市值超过万亿美元的企业，几乎超过了美国所有主要汽车公司的总市值。特斯拉在资本市场的成功刺激了投资者的神经，也促使市场再次关注自动驾驶领域，进一步思考自动驾驶技术路线的发展方向。

本文希望从技术角度客观分析和回答以下问题：提高自动驾驶水平需要解决哪些关键问题？什么样的自动驾驶计划更有可能实现大规模无人驾驶？自动驾驶作为一个现实世界AI问题和困难在哪里？上述问题促使我们理性、客观地思考如何实现自动驾驶——这种技术生产力变化，承载着太多的期望，不断激发公众神经，从而促进行业的冷静和务实发展。

1.自动驾驶的眼睛：基于高质量图像成像的视觉雷达

随着自动驾驶等级的不断提高，控制权和责任主体逐渐从驾驶员转换为车辆，智驾系统的定位也将由扩增人的感知能力到接管车辆自主驾驶。由此对智驾系统之于物理世界环境理解的要求完全不同，将由对物理世界部分信息的提取提升到事无巨细的全面感知与理解。而这种变化，首要就是对2D图像成像与3D对建模的要求越来越高：1）2D图像成像；2)对物理世界准确而密集的实时3D建模。

Camera它是自动驾驶感知物理世界中最重要的传感器。其分辨率的提高将大大提高图像的信息承载能力，使自动驾驶系统能够感知到更详细、更远的驾驶环境。目前，主流自动驾驶前视镜摄像头的分辨率已达到800多万像素，更高的分辨率在未来是不可避免的。自动驾驶汽车面临着开放的外部环境。除了提高分辨率外，还需要提高各种驾驶路况下自动驾驶的图像成像质量，如不同的光环境、夜间、夜间、不同的气候环境、雨、雪、雾等。与传统汽车应用的车载成像相比，自动驾驶对车载成像质量的要求将大大提高，如何通过成像计算获得更高质量的图像已成为解决的关键问题。

自动驾驶汽车在三维物理世界中运行，必然需要对物理世界有更深入的三维理解。目前，高级辅助驾驶在道路上不断发生各种事故。这些事故的发生很大程度上是因为它们没有识别异形和非标准物体，如带树的卡车corner case它不能耗尽。3.实时密集的驾驶环境D建模不仅可以识别异形和非标准物体，还可以判断道路的坑洼和起伏，这无疑将大大提高自动驾驶的安全水平。目前，自动驾驶3D环境感知主要依靠激光雷达等主动投射测量装置，但其分辨率远低于Camera，没有颜色信息。单目深度估计，双目立体视觉，随着深度学习的发展，SFM、MVS其他问题可以通过深度神经网络建模，基于多目视觉通过AI实时生成3种方法D点云，其视觉点云自然与图像对齐，其分辨率也可以达到图像分辨率的水平。因此，如何通过多眼视觉实现高分辨率的实时密度3D视觉雷达是另一个需要解决的关键问题。

视觉传感器的信息承载量极高，目前远未被充分挖掘，但无论2D图像成像还是实时密集3D建模需要强大的算法和计算能力来支持，这需要算法和计算能力的协同设计。视觉传感器计算能力算法的传感器计算模式将更基本地促进自动驾驶面临的关键问题的解决，即从2开始D和3D对物理世界的层次感知和理解。

鉴智机器人核心团队拥有十多年的图像处理，AI以视觉传感器为核心业经验将以视觉传感器为核心，解决车载问题ISP、视觉雷达等视觉传感器2D、3D成像的核心问题是创造更强大的自动驾驶眼睛，从而促进自动驾驶安全水平的提高。

1.1 从手机ISP到车载ISP

ISP（Image Signal Processor）是指通过一系列数字图像处理算法完成对数字图像的成像处理。在摄像机成像的整个环节中，ISP接收感光元件的原始信号数据可以理解为整个相机图像输出的第一步。ISP它在提高图像质量和数据一致性方面起着极其关键的作用。

由于智能手机的发展和手机摄像头像素的增加，手机ISP在过去的几年里，随着手机摄影和视频的快速发展和进步，手机摄影和视频的质量越来越高，甚至达到了惊人的水平。例如，在夜间等场景中，你可以拍摄比人眼看到的更清晰、光线更充足、颜色更丰富的照片；例如，在进出隧道等光线变化剧烈的场景中，你也可以录制比人眼更稳定、更清晰的视频。这些效果不仅来自于手机摄像头硬件的升级，还来自于特殊的AI ISP处理算法和芯片也起着至关重要的作用。

随着自动驾驶对车载成像质量的逐步提高需求，车载ISP，特别是驾驶场景优化AI ISP处理算法和芯片将迎来爆炸性发展。AI在车载ISP特别是在降噪、去模糊、HDR在夜间、阳光直射、隧道等暗光、强光、高动态场景等问题上，可以获得远远超过人眼的成像效果，最大限度地解决问题Sensor噪声、模糊等问题。AI计算前置在ISP计算Pipeline中间，通过流式计算ISP的计算Pipeline不被打断也会大大提高AI ISP性能功耗比。

鉴智机器人具有全链路芯片级ISP IP将解决设计能力ISP特别是AI ISP在车载场景的核心问题上，使车载摄像头成像更加清晰，从而进一步提高后续任务的准确性，如视觉雷达点云生成和图像语义感知。

图1:鉴智机器人有全链路ISP算法硬核化设计能力

1.2 从2D感知视觉雷达

面对大规模自动驾驶，3D点云对信息密度、场景泛化和性能可扩展性提出了更高的要求。基于视觉雷达，通过双目或多目三维视觉计算，实时致密3D点云是更好的方式。

双眼立体视觉是机器视觉的重要形式，与人眼相似。它是基于视差原理，通过计算图像对应点之间的位置偏差来获取物体三维几何信息的方法TOF、结构光原理的深度相机不同。它不主动向外界投射光源，完全依赖于两张照片（彩色）RGB或灰度图)计算深度。

传统的双眼三维匹配算法对纹理弱、反射等区域效果差，对物体语义信息使用少，算法适用范围有限，点云效果上限明显。随着基于深度学习技术的发展CNN、Cost Volume、Transformer立体匹配算法具有很强的算法效果和潜力。目前，著名的自动驾驶数据集KITTI基于深度学习的算法是立体匹配任务排名第一的。基于深度学习的双目立体匹配算法用于计算芯片AI计算能力提出了较高的要求，对研发模式也提出了新的要求，需要从传统的双目相机研发模式转变为AI研发模式是核心、软硬结合、数据驱动。

通过相机姿态估计、深度估计、光流估计、MVS等算法，以及一系列相互监督的自我监督算法，可以获得360度的点云数据，即视觉雷达，从而形成匹配图像分辨率的密集点云。同时，以摄像头算力算法为核心的视觉雷达也具有产业链成熟可控、成本可控、设备稳定性保证、满足汽车规格等优点，更容易实现大规模的大规模生产。

图2:鉴智机器人视觉雷达Roadmap

2自动驾驶大脑：强大的自行车智能由全过程数据驱动

自动驾驶的大脑负责从感知到决策的整个驾驶过程，也是自动驾驶最复杂、最核心、最困难的部分。传统的以规则为核心的软件1.0工程系统在可维护性、可扩展性和进化性方面具有一定的局限性。AI和软件2.以0为核心，感知、预测、监控算法和强大的自行车智能解决方案无疑是实现大规模无人驾驶更可行的解决方案。

智能机器人核心团队AI算法和应用、软件2.拥有丰富的基础设施和数据驱动的大规模实践经验，将通过全过程数据驱动的自动驾驶大脑建立强大的自行车智能，减少对外部基础设施的依赖，更有利于自动驾驶的复制和推广。

2.1深度学习带来的2D感知技术突破

感知是自动驾驶获取信息的第一个一步, 所谓感知是指通过摄像头或其他传感器识别所看到的物体并理解该物体是什么，这对自动驾驶是至关重要的环节。自动驾驶车辆首先是要识别车道线，然后还要识别红绿灯、标志牌，除此之外就是识别障碍物比如前后左右有没有车辆，有没有行人，才能够进一步规划行驶路线。

过去十年是人工智能技术的黄金十年，深度学习改变了计算机视觉整个领域，也带来了2D感知各个方向技术的突破。2D感知主要有图像分类、图像（物体）识别、细粒度识别（人脸识别）等方向，所采用的技术也从最早的模板匹配、线性分类到现在所广泛使用的深层卷积神经网络，再到最近刷新各大视觉任务榜单的Transformer。随着硬件计算能力的不断提升、算法范式的不断改进、可利用数据资源的不断增长，基于摄像头的2D感知已经成为了乘用车智能驾驶的主流方案，同时也成为了很多解决方案的核心差异点。

鉴智机器人核心团队在国内最早基于深度学习在2D视觉感知各个方向开展系统性研究和大规模落地应用，在众多全球最具影响力的2D感知AI比赛和评测中获得冠军，发表顶级会议和期刊论文几十余篇，在多个业务领域实现了人工智能2D感知技术的大规模应用落地。

(a)目标检测、人体骨骼点

(b)全景分割

(d)单目测距

图3：鉴智机器人在2D感知方向具有世界一流的核心能力

2.2 从2D感知到4D感知

如果说2D感知还是在平面上检测、识别、分割物体，那么加入深度信息后，基础的2D感知即转化为3D感知。如果进一步在3D的基础上加入时间这一维度，进化得到的则是4D感知。在自动驾驶领域，4D感知可以完整且连续的探测车辆周围的物体。

基于深度学习和三维视觉技术不断发展，随着Cost Volume、Optical Flow、differentiable Homography、Transformer等技术的成熟，以及多传感器融合、众包重建、稠密重建、自动标注等方向不断发展，可以高效率的提供高质量、大规模的4D场景数据，端到端的4D感知正在成为技术趋势。相比于传统的2D感知+后融合的方案，端到端的4D感知拥有很多优势，可以解决测距抖动较大、多摄像头拼接不准确、时序结果不稳定、迭代效率较低等一系列问题。

更进一步，基于端到端的4D感知，可以进行更好的4D预测，一方面可对于交通参与者进行更优的运动轨迹预测，从而实现性能更加优异的规划控制；另一方面可对于道路行驶区域预测更加精细的3D结构化信息，在线生成局部实时3D地图，降低对高精地图等基础设施的依赖。

图4：鉴智机器人针对复杂路口驾驶场景的4D感知结果

自动驾驶被认为是目前最重要的硬科技创新之一。在汽车行业百年未有之大变革的历史性时刻，中国由于在电动汽车领域的提前布局、全面开花，以及完整产业链的巨大优势，国内企业在自动驾驶方向拥有非常好的机会和产业优势，有机会通过电动化和智能化实现百年汽车工业这一最重要的支柱产业的超车和领先。但自动驾驶的发展速度仍然低于大众和市场的预期，这里存在若干影响自动驾驶等级提升的关键性问题亟待解决，鉴智机器人基于自身在AI算法、AI算力层面的积累，致力于解决自动驾驶成像计算和下一代自动驾驶方案的关键性问题，从而推动自动驾驶的创新发展。

投稿或寻求报道微信：MaiweiE_com

更多细节可参考论文原文，更多精彩内容请关注迈微AI研习社，每天晚上七点不见不散！

GitHub中文开源项目《计算机视觉实战演练：算法与应用》，“免费”“全面“”前沿”，以实战为主，编写详细的文档、可在线运行的notebook和源代码。