视觉算法的应用已经成为自动驾驶发展过程中不可或缺的一部分。然而，目前的视觉算法仍然存在一些局限性：一方面，相机容易受到光、暗突变和背光的影响；另一方面，相机运行时产生的数据量非常大，因此对计算能力的要求特别高。
如今，市场上出现了一种新的相机传感器，或者可以有效地解决这些痛点，即事件相机。事件相机具有响应速度快、无效信息减少、计算能力和功耗降低、动态范围高等优点。它可以帮助自动驾驶车辆降低信息处理的复杂性，提高车辆的驾驶安全性，并在极亮或极暗的环境中正常工作。
本文将从事件相机、商业模式和竞争模式、商业化前景三个方面进行详细介绍。
事件相机最初的技术来自苏黎世，也被称为仿生视觉传感器。它是一种受生物启发的视觉传感器，早期用于无人机、机器人、航空航天等领域。事件相机和人眼一样，对运动物体非常敏感，能够有效地处理动态和静态信息。
事件相机与传统帧相机相比：帧相机以固定帧率输出帧图片，最终形成视频流；事件相机只记录亮度变化的像素点。
有些人会想，什么是事件？这里的事件不是字面意义上的事件，而是将事件相机记录的像素点的光强变化称为事件。
与传统帧相机相比，事件相机具有响应速度快、无效信息减少、计算能力和功耗降低、动态范围高等优点。
帧相机总是输出帧图像，面对人突然穿越时，响应速度可能不及时。例如，第一帧图像显示行人在左侧，第二帧图像显示在中间，第三帧图像显示在右侧，行人穿越场景可以结合三个图像来判断；事件相机识别频率很高，相当于达到1000帧帧相机效果，可以更快地预测行人穿越。
帧相机会产生大量无效信息；事件相机会根据物体表面的光强变化产生事件流。
一家传感器公司的专家解释说：事件相机主要显示前面移动物体的外部框架，因为变化部分主要在物体框架内，其内部区域的可能性没有变化。这相当于压缩图像，减少无效信息，只输出动态信息，并可以在低带宽线路上提供高质量的信息。
帧相机需要处理每帧图像。例如，30帧相机可以在10秒内生成300个图像。如此庞大的数据量对芯片的计算能力要求更高，功耗也会更大。在自动驾驶领域，虽然帧相机也可以通过注意机制将视觉信息集中在一些感兴趣的区域，但前提是所有图像数据都需要预处理。
事件相机在二维结构上表现出一定的稀疏性(例如，一个目标只在于t0时移动，但之后一直保持静止，只会在t0始终显示事件，然后没有数据)，也就是说，它只会在10秒内产生脉冲信号，可能只有几十秒KB它不需要处理太多的数据量。事件相机可能只需要传统的计算能力CIS芯片的1%甚至更低，相应的功耗也会更低。
一般来说，高动态范围是指在极端光强变化下，相机也能保持图像的清晰度。
帧相机的动态范围通常只能达到60dB，事件相机的动态范围可达120dB，甚至更高。高动态范围可以帮助事件相机在光线极暗、曝光过度、光线突变等情况下保持有效工作，为自动驾驶增加安全冗余。
一家传感器公司的专家通过一个形象的例子说：例如，当一辆车驶出黑暗的隧道时，普通的相机会过度曝光，需要一段时间才能恢复。虽然算法也可以克服这个问题，但事件相机在这方面会表现得更好。
事件相机是如何工作的？具体来说，当相应像素坐标点的光强变化超过预设阈值时，事件相机会以微秒分辨率标记时间戳，输出异步事件流。
通过下图中的小球实验，我们可以更直观地发现，只要小球发生变化，就会发生事件流，而小球静止时，就不会发生事件流。
帧相机通过设置恒定速率获取场景信息，只记录每帧中每个像素点上的光强信息，而不记录此时相对于前一刻产生的光强变化。
事件相机记录了光强差的变化和特定像素坐标位置的变化，从而引发了事件流的产生。需要注意的是，对于相对静态的物体，事件相机没有信号返回；对于相对移动的物体，特别是物体的外框，会产生相应的光强变化。
帧相机总是输出帧图像，每帧图像都非常稳定和均匀。对于一个30帧的相机，当车辆经过一个不变的场景时，相机仍然每秒拍摄30个重复的图像——其中29个是浪费。
另一方面，事件相机由事件组成。它不能像帧相机一样输出图像视频，而只记录像素点上的正负光强变化，输出光强变化信号。因此，事件相机的数据特征并不均匀和稳定。
宇勘科技商务总监金光旭解释说：帧相机的读取电路是行列扫描的一种形式，是矩阵数据整体读取的一种形式，在像素坐标轴上记录像素点RGB信息；事件相机通过AER编码方法仅以时间戳和坐标的形式以事件发生的顺序异步传输事件。
与传统的帧相机相比，事件相机在电路设计上完全不同，最大的区别在于图像传感器。
在发展的早期阶段，由于事件流不易理解和处理，一些事件相机制造商在事件相机中更快地产品化和应用于更多的场景pixel加一个结构设计APS电路。
针对APS一家传感器公司的专家解释说：所谓的理解APS其实在某种程度上是这样的CIS pixel，它将提供辅助参考。
目前，市场上主流的事件相机产品主要有三类：DVS、ATIS以及DAVIS，它们都采用差异化视觉采样模型。此外，还有其他类型的事件相机，如CeleX、Vidar,但从商业化进程来看，上述三类事件相机商业化发展迅速，这里重点介绍这三类。
| 简介 |
早期事件相机只输出事件流 |
基于DVS改进只在输出事件流的同时输出灰度信息 |
基于DVS改进可同时输出事件流和灰度信息 |
| 电路结构 |
由对数光感受器、差分电路、两个比较器(阈值比较器和内部握手电路)组成 |
它由两部分组成，有两个感光器 |
由DVS相机和APS相组成，并共用一个感光器。 |
| 优势 |
电路设计简单，像素面积小 |
能提供灰度信息，功耗相对DAVIS较低 |
能提供灰度信息，像素面积相对ATIS更小。 |
| 挑战 |
纯事件数据的可视化程度较低，无法提供精细化的图像 |
不适用在环境亮度变化不频繁的场景 |
APS部分无法与DVS做到精准同步 |
DVS是最先发展起来的一款事件相机，它采用AER异步传输方式的差分型视觉采样模型，以异步时空脉冲信号表示场景光强变化，对有光强变化的部分做出响应，而对无光强变化的部分则不会做出响应。DVS将这些运动变化信息转化为空间稀疏、时间密集的事件流。
DVS像素电路由对数光感受器、差分电路、两个比较器（阈值比较器与内部握手电路）组成。其中，对数光感受器能感知光强变化并及时做出反应；差分电路可以将感光电路的输出信号进行放大；两个比较器主要是比较电压的变化实现ON/OFF事件脉冲的输出。
电路设计简单，像素面积小。
纯事件数据的可视化程度较低，无法提供精细化的图像。
ATIS在DVS的基础上进行改进了数据的可视化，可以只在电路产生事件信号的同时，触发光强测量电路，从而对事件提供一定的灰度信息。
ATIS像素结构分为两个部分（A和B），它包括两个感光器。其中，A部分包含完整的DVS像素结构，可以检测光强的变化并激发事件；B部分包含的感光器是用来检测光照强度的变化并进行曝光。
能提供灰度信息，功耗相对DAVIS较低。在启动后，由于直接发放了一次脉冲，可以直接获取到相机前方的所有灰度信息，然后根据运动区域内，将在产生的脉冲信号上不断更新相应灰度信息。
不适用在环境亮度变化不频繁的场景。比如在高速运动场景下，由于光强测量结果是在脉冲信号产生后的一段时间内的平均光强，所以存在事件与灰度信息重构更新不匹配的情况。
DAVIS也是在DVS基础上改良而来，可同时输出事件信息和灰度信息，与ATIS的区别在于只有一个感光器。
DAVIS是DVS相机和APS相结合而成，两者共用一个感光器。
DAVIS与ATIS一样，也可以提供灰度信息；同时，DAVIS由于共用一个感光器，像素面积相对ATIS更小。
APS电路的采样速度远不如DVS电路，导致二者无法做到精准同步。再者，APS电路在高速场景下存在拖影现象。
事件相机产业链的情况与传统帧相机几乎是相同的，主要包括上游是零部件供应商（镜头组零部件、胶合材料、图像传感器芯片等）、中游是模组供应商与系统集成商等、下游是主机厂。
产业链中的不同之处主要是在图像传感器芯片、算法软件，比如更适合事件相机的芯片是类脑芯片、更适合的算法则是脉冲神经网络。
当前事件相机的商业模式还没有完全成熟，产业链的各个玩家都在探索适合自己商业化之路，初创型科技企业和大型Tier 1企业根据自身的实际情况，各有不同的商业模式。
从短期内来看，在整个事件相机产业尚未成熟前， 初创型科技企业无法找到合适的供应商，所以他们通常会覆盖整个产业链工序，包括芯片、算法、软件、模组。比如一家芯片公司，会联合相机模组或整机的合作伙伴，配合上自己的芯片，与最终客户共同开发在特定应用场景下的应用。
一方面，客户还没有找到事件相机合适的落地场景前，他们不会投入多余的人力、物力、财力在算法的开发上；另一方面，事件相机算法的门槛较高，对应场景的算法开发也需要一定的经验和数据的积累。
从中长期来看，这些事件相机的初创企业还是会向着软硬件解耦的模式去发展，即各家只做自己擅长的部分，并随着整个产业的工业化成熟度越来越高后，产业分工会越来越明确。
一方面，在市场体量不够大的情况下，提供解决方案会使相机的成本提高，不利于市场推广；另一方面，由于产业尚未实现标准化，第三方公司也没有能力提供除芯片外的全部工序。
本文简要地梳理了国内外的几家典型事件相机玩家及部分典型事件相机产品的主要参数信息。具体如下：
| 地区 |
日本 |
韩国 |
法国 |
瑞士 |
| 成立时间 |
1946 |
1969 |
2014 |
2015年 |
| 商业模式 |
提供芯片 |
提供芯片 |
提供相机 |
提供相机 |
| 主要产品 |
IMX636、IMX637（芯片） |
Gen1~Gen4（芯片） |
Metavision传感器、EVK评估套件 |
DAVIS346、DVXplorer Lite |
| 融资阶段 |
已IPO上市 |
已IPO上市 |
C轮 |
- |
| 投资方 |
- |
- |
小米、英特尔、博世等 |
三星 |
| 应用领域 |
工业、机器人、安防、科研、游戏 |
初期定位于ADAS系统 |
智能驾驶、医疗、工业自动化等 |
物联网、自动驾驶、机器人、工业视觉 |
| 资料来源：相关公司提供、公开信息整理 |
||||
| 地区 |
北京 |
上海 |
上海 |
| 成立时间 |
2019 |
2021 |
2017 |
| 商业模式 |
提供芯片或一整套解决方案 |
提供芯片 |
提供芯片 |
| 产品 |
ALPIX（芯片）、ALPIX-Titlis传感器等 |
YK-D-RH02（芯片） |
CeleX-V |
| 融资阶段 |
Pre-A轮 |
天使轮 |
已被收购 |
| 投资方 |
中科创星、联想创投、海康 |
- |
百度、韦尔股份 |
| 应用领域 |
汽车、安防、消费电子等 |
航天星载应用 |
车内驾驶员监控（DMS）和驾驶辅助系统（ADAS） |
| 资料来源：相关公司提供、公开信息整理 |
|||
| 厂商名 |
索尼 |
索尼 |
三星 |
iniVation |
芯仑科技 |
| 发布年份 |
2021 |
2021 |
- |
2020 |
2018 |
| 分辨率 （pixels） |
1280×720 |
640×512 |
1280×960 |
346×260 |
1280×800 |
| 动态范围（dB） |
大于86 |
大于86 |
90 |
120 |
120 |
| 功耗（mW） |
- |
- |
140 |
- |
- |
| 像素芯片尺寸 （μm×μm） |
4.86 |
4.86 |
4.95 |
18.8 |
9.8 |
| 资料来源：相关公司提供、公开信息整理 |
|||||
事件相机的优势在于响应速度快、高动态范围等，较适应于以下场景：
第一，城区场景中的鬼探头。传统帧相机在面对横向的鬼探头场景时，无法快速做出反应，而事件相机可以更快的感知到危险信号。
第二，高速场景下的避障。比如车辆在高速路上快速行驶时，遇到前方路面有一个轮胎，帧相机不能及时做出反应，而事件相机可以依靠它的低时延性优势，快速识别出前方的轮胎，并及时做出避障动作。
第三，光线过亮或者过暗的场景。比如在深夜的环境下，帧相机由于周围极暗的光线而无法识别周围事物，而事件相机依然可以有效的识别周围事物。
第四，光强突变较为明显的场景。比如车辆从隧道出来后，面对高曝光的场景，帧相机会受到高爆光的影响，从而产生失效的工况，而事件相机不会受到影响。
事件相机不适合落地的场景，主要是在城区场景的某些工况下，比如车辆前方有无数行人在穿插过马路。再或者一些恶劣天气环境下，比如大雨、大雪、沙尘等。
以上两种场景下，前方的目标物都存在数量多且无规律运动的特点，这会对事件相机产生很多无效的噪点。
在与一些自动驾驶从业者交流时，不少人也问道：“那车辆在道路上行驶时，周围的物体看上去都在移动，是否说明事件相机不适合应用在自动驾驶？”
对此，某事件相机方面的专家说：“这种相对的移动是有规律可循的，周围的物体都是以相对车辆的一个速度在后退，而这个速度就是车辆自身的行驶速度，可以在后台处理数据时，通过某些算法将车辆自身的速度作为一个参数，从而过滤掉一些原本静止的物体。”
帧相机输出的是帧图像，并且已拥有了成熟的应用和标定数据库；而事件相机只能给出比较原始的数据信息，比如目标物的外部轮廓，并且也没有一个自己独立的数据库来匹配这些轮廓信息。
若想要得到更深层次的信息，仍需要帧相机作为辅助，比如先从事件相机识别出前方雪糕筒的形状，而后在经过神经网络算法的训练后，发现该形状与之前的雪糕筒相似，从而判断出前方物体具体是什么。
当前事件相机使用的是原来帧相机的一整套架构体系（比如所使用的芯片类型、算法模型等），但基于帧图像的架构并不能完全处理好事件流，而现有的大部分事件相机产品只是做了简单的架构平移。但两者的工作原理完全不同，若只是简单的架构平移，就如同将一台普通的轿车引擎装在一辆超跑上。
目前事件相机用的主要是传统的CIS的图像传感器芯片，主要以处理帧图像的方式来处理事件流，两者的契合度较低。
而类脑芯片一般指神经形态芯片，它是一种参考人脑神经元结构和人脑感知认知方式来设计的芯片，旨在突破“冯˙诺依曼瓶颈”，可实现类似人脑的超低功耗和并行信息处理能力，从这一点来看，非常匹配事件相机的性能。
当前类脑技术仍然属于探索阶段，尚未大规模商业化。相对国内的进度来说，国外的类脑芯片玩家相对走得更快一步，比如英特尔、时识科技等，而目前国内的类脑芯片技术仍主要处在学术阶段。
徐波说道：“事件相机的算法有一些特殊的神经网络，但是当前大家通用的还是基于frame的网络，数据的稀疏性会对传统神经网络算法产生影响，所以这也是目前事件数据比较难处理的地方。”
而脉动神经网络具有事件驱动、异步运算、极低功耗等特点，并且脉冲信号的产生与事件相机基于时间戳的事件流输出方式非常契合。不过，目前脉冲神经网络仍然处于学术阶段，虽然也有部分企业在尝试该技术，但更多的是一种早期项目，并没有找到能够大规模应用的场景。
阈值是衡量事件输出的标准，当目标物的光强变化量（亮度由低到高或者由高到低）超过预设的阈值就会产生事件。其基本的原理是：通过调整阈值可以改变相机对噪点的敏感度，当阈值越大时，相机对噪点越不敏感，能捕捉到的事件也会越少；当阈值越小时，能捕捉到的事件也会越多。
对于如何调整阈值大小，森云智能CEO徐波说道：“具体如何设置阈值需要看具体场景需求，比如车在城区或者高速等不同场景下，每个时刻的阈值设定都是不同的。而阈值的多少，取决于你想看到哪些东西，想看多一些，还是想看少一些。”
一方面，在不同的场景环境下，阈值的初始状态设定也不同，比如白天的阈值会比较高，而晚上的阈值会比较低。
另一方面，事件相机在使用过程中，它的阈值通过算法会不断动态调节，形成一个自适应地过程。
而在自动驾驶领域，具体如何设定阈值也是一个难题：一方面，车在行驶过程中，与周围的事物始终保持着相对运动，随着物体表面光强亮度的变化就会一直有事件产生，此时阈值应该越大，从而减少噪点；另一方面，事件数据的特点是具有稀疏性（比如一个静止的物体，事件相机只会再t0时刻产生事件，之后就不会有新的事件产生），从冗余安全的角度来看，为了降低数据过少的风险，阈值应该越小。
总的来说，阈值大小的设定是决定事件相机是否能在自动驾驶中用好的关键一步，这需要大量场景数据的积累、算法的优化、设备运行时动态地调整阈值。
帧相机处理数据的原理，是在等整张图像处理完了后才能做出决策；而事件相机的数据处理原理是出现一个事件就处理掉一个事件，然后快速地做出决策。
但当前的商业应用中，市场上还没有针对事件数据处理的成熟方法，所以已有的事件相机产品都是采用帧相机的数据处理方式来处理事件数据。
举例来说，若一个事件相机在60秒内，只有在第60秒才产生一个事件。此时，我们按照30帧的帧率去处理事件数据，就需要将60秒的数据切割成每30秒一组数据，然后在传统的神经网络算法模型下进行运算，可以发现，前一组30秒数据并没有事件产生，但在传统网络模型下前一组数据也必须要进行运算，这就违背了事件相机的处理数据原理，让其丧失了低时延的优势。
由于事件相机无法单独提供深层次的数据，比如测距、测速、表面具体颜色等，只能获取到物体的轮廓，所以单纯地使用一个事件相机是无法给到自动驾驶车辆足够的冗余安全，与其他传感器的融合才是更好的感知方案。
在与其它传感器融合时，需要把事件流与其它传感器的信号进行同步匹配。
以事件相机与激光雷达的融合为例，事件相机与激光雷达都有帧的概念，激光雷达也是以某一恒定帧率发射点云。若想要把这两个传感器同步起来，就需要做到两个方面：一方面，时间戳的一一对应；另一方面，需要在做好标定的基础上，将事件相机的像素点云映射到激光雷达的点云上。
在商业应用层面，事件相机主要存在应用场景较少和供应链体系不成熟的问题。
在现有相机体系越来越成熟的趋势下，当前事件相机能给自动驾驶能带来的增量价值过小，并且它只能通过与其它传感器融合使用才能发挥更大的价值，但作为新型传感器在进入市场前，事件相机需要经历漫长的场景功能开发，从而慢慢挖掘出一些它的潜在价值。
事件相机处在早期发展阶段，产品的标准化程度较低，在推广过程中不得不提供一整套解决方案，导致产品的成本较高。以事件相机的算法开发供应商为例，某自动驾驶公司传感器专家提到，现有的事件相机相关的算法开发商，主要是以demo为主，没有针对特定场景去做配套算法的开发。
总的来说，事件相机在理论上具备一定的优势，或许某一天能成为自动驾驶领域内一种全新的传感器选项，但现阶段技术成熟度与产业成熟度仍需要时间去慢慢打磨。
某事件相机厂商市场负责人说道：“不同应用领域内的潜在客户都意识到事件相机的独特优势，但是作为一项新技术，上下游的发展成熟仍需要一段时间，大家都在期待技术的更将成熟、价格的进一步下降，并且能够有丰富、成熟、可靠的配套算法。预计2023到2024年间，部分事件相机厂商会开始往一些量产型号去设计一些应用，但事件相机仍需要在产品的可靠性方面得到进一步的验证。”
【1】自动驾驶感知领域的革命：抛弃帧的事件相机将给高算力AI芯片沉重打击
https://mp.weixin.qq.com/s/iEBPf4VZYUv-hYLnYdJcYg
【2】事件相机，自动驾驶感知的革新？
https://mp.weixin.qq.com/s/sF4eHls3FMNbktXXCcV_zw
【3】基于事件的视觉传感器及其应用综述，孔德磊，方正
【4】神经形态视觉传感器的研究进展及应用综述，李家宁，田永鸿
【5】事件视觉传感器发展现状与趋，方应红