深度相机(TOF)的工作原理

TOF（Time of flight）直译为飞行时间。测距原理是通过连续向目标发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间获得目标距离。该技术与3D激光传感器的原理基本相似，只有3D激光传感器逐点扫描，TOF相机同时获取整个图像的深度(距离)信息。

TOF它是由什么组成的？

一、TOF主动光探测通常包括以下几个部分：

1、照射单元

发射前需要调制光源，调制的光脉冲频率可达100MHz。因此，在图像拍摄过程中，光源将打开和关闭数千次。每个光脉冲只有几纳秒钟。相机的曝光时间参数决定了每个成像的脉冲数。

为了实现准确的测量，必须准确地控制光脉冲，使其具有完全相同的持续时间、上升时间和下降时间。因为即使只有一纳秒的偏差也高达15秒 c m距离测量误差。

如此高的调制频率和精度只能使用LED只有激光二极管才能实现。

一般照射光源采用人眼看不见的红外光源。

2、光学透镜

用于收集反射光并在光学传感器上成像。然而，与普通的光学镜头不同，需要添加一个带过滤器，以确保只有与照明光源波长相同的光才能进入。其目的是抑制非相关光源，降低噪声，防止外部光干扰过度曝光。

三、成像传感器

TOF相机的核心。传感器结构与普通图像传感器相似，但比图像传感器更复杂。它包含两个或两个以上的快门，用于不同时间采样和反射光。TOF芯片像素比一般图像传感器像素大得多，一般为100um左右。

4、控制单元

相机电子控制单元触发的光脉冲序列与芯片电子快门的开闭精确同步。它读取和转换传感器电荷，并将其引导到分析单元和数据接口。

5、计算单元

计算单元可以记录准确的深度图。深度图通常是灰度图，每个值代表光反射表面与相机之间的距离。数据校准通常是为了获得更好的效果。

二、TOF如何测距？

照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。深度相机的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关（下图的G1，G2)电流可以导入不同的存储电荷(下图)S1，S2)电容。

相机上的控制单元打开光源，然后关闭，发出光脉冲。同时，控制单元打开并关闭芯片上的电子快门。光脉冲产生的电荷S存储在感光元件上。

然后，控制单元第二次打开并关闭光源。这次快门打开时间较晚，即在光源被关闭的时间点打开。现在生成的电荷S也存储在感光元件上。 由于单个光脉冲的持续时间很短，这个过程将重复数千次，直到曝光时间到达。然后读取感光传感器中的值，并根据这些值计算实际距离。

记光速度为c，tp为光脉冲的持续时间， S0表示早期快门收集的电荷， S1表示快门收集的延迟电荷，因此距离d可以通过以下公式计算： 最小可测量距离为：在较早的快门期S在延迟快门期间，0中收集所有电荷S1没有收集到电荷，即S1 = 0.代入公式将获得最小可测量距离d=0。

最大可测距离为：S所有的电荷都是在1中收集的S0中根本没有收集电荷。然后，公式得出结论d= 0.5 x c × tp。因此，最大可测距离由光脉冲宽度决定。tp = 50 ns，代入上式，获得最大测量距离d = 7.5m。

三、TOF会受到什么影响？

多重反射。

距离测量要求光只反射一次。但镜面或某些角落会导致多次反射，导致测量失真。如果多重反射使光完全偏转，则没有反射光进入相机，因此无法正确测量反射面的距离。相反，如果其他方向的光通过镜面反射进入芯片，则可能会过度曝光。见下图。 2、散射光

如下图所示，散射光会导致图像褪色、对比度下降等不会导致图像褪色、对比度下降等不良影响。因此，应避免相机前面有强烈反射的物体。 3、环境光

正如我前面所说，深度相机镜头上会有一个带滤光器的光，以确保只有与照明光源波长相同的光才能进入，从而抑制非相关光源，提高信噪比。这种方法确实可以有效地过滤掉人工光源，但我们常见的太阳几乎可以覆盖整个光谱范围，包括与照明光源相同的波长。在某些情况下（如夏季烈日），这部分光强可以达到很大程度，这将导致过度曝光传感器。因此，如果相机想在这种情况下正常工作，仍然需要额外的保护机制。

4、温度

电子元件的精度受温度的影响。因此，当温度波动时，会影响电子元件的性能，从而影响脉冲调节的精度。前面说过，一纳秒的脉冲偏差可以产生高达15秒的脉冲偏差 c m距离测量误差，因此相机作，以保证测量精度。

四、那TOF相机的最终输出是什么？

TOF相机内部每个像素经过上述过程都可以得到一个对应的距离，所有的像素点测量的距离就构成了一幅深度图，如下图所示。左边是原图，右边是对应的深度图。 可以看出，深度图实际上是一个灰度图，它是一个三维图：水平垂直坐标对应于像素位置，灰度值对应于像素与摄像头的距离。因此，深度图中的每个像素都可以表示空间中一个点的三维坐标，因此深度图中的每个像素也被称为体像素（voxel）。