转自 |睿慕课
前言
立体视觉传感器原理简介
工业应用
主流立体视觉产品
TOF相机工作原理
TOF工业应用
一些TOF研究机构
在机器视觉应用中，获取物体的三维形状变得越来越重要。在本系列中，我们将讨论目前可用于机器视觉行业的3D图像采集设备和最常见的技术。我们还将简要描述在不同技术下进行三维重建的原理。
三维重建有两个基本原则：三角测量和飞行时间(TOF)测量。初中几何学习了三角测量的基本数学原理。一旦你知道前两点的坐标和连接前两点到第三点的两个角，你就可以计算出第三点的坐标。相比之下，TOF相机辐射并测量辐射反射回传感器的时间。
请注意，本系列描述的传感器没有一个完整的三维重建返回对象。相反，它们返回到二维平面上的每个点的距离。因此，它们最多可以重建物体表面的一半。。这通常是通过使用多个传感器,或旋转和移动对象的传感器和合并结果2?D.重建。尽管如此，我们还是会按照行业标准的做法和要求，称这些传感器为3D传感器。
立体传感器的原理及HVS同样：用两台相机从不同的位置观察场景。为了正确重建运动物体，相机的同步非常重要。就像同时看人的眼睛一样，很难想象不同步会看到什么。
相机的不同视点导致与相机一定距离的点在两个图像中的不同位置，导致视差。视差是实现场景中点三维重建的基本信息。(如何亲自测量视差？把手指放在眼前，切换左右眼，发现每只眼睛看到的位置不一样。
为了进行三维重建，相机必须进行校准并确定其相对方向，校准通常由传感器制造商进行。校准数据使三维传感器能够测量三维点。三角形的已知边三维系统的基线，即连接两个相机的两个投影中心（入口瞳孔）的线段。此外，一旦你知道两个相机的内部位置，相机本质上就是一个角度测量装置。。描述三维重建的等价方法如下：一旦在图像中识别相应的点，就可以在空间中计算光。重建后的三维点由两束光的交点决定。
请注意，场景中的某些点可能会从一个或两个相机的角度被屏蔽。例如，在图1中，矩形矩形体底部周围的所有点都至少被一个相机屏蔽。显然，这些点的三维位置无法重建。这个问题发生在所有基于三角测量的传感器上。
相应的点通常通过匹配两个图像中的一个小矩形窗口来确定。它也可以通过特征点进行匹配。无论如何，图像都必须包含足够数量的结构或纹理。否则，不能唯一确定相应的点。由于许多工业物体没有纹理，因此在场景中使用随机纹理。投影仪通常安装在相机之间，在场景中投射一个静态模式，或在场景中投射多个随机模式。为了在深度不连续时获得更准确的三维重建结果，匹配窗口的大小可以减少到1*1.这将在深度不连续的情况下进行非常准确的三维重建，但计算量也非常大。使用多种模式的缺点之一是对象不能移动。
立体传感器大多是基于面阵相机的，也可以用线扫描相机进行立体重建。立体线传感器可以实现非常高分辨率的三维重建。然而，物体必须与传感器相比移动才能进行三维重建。
主要用于无人驾驶、立体视频、虚拟现实、三维跟踪、移动机器人、医疗机器人等领域。
知名产品有
1）STEROLABS 推出的ZED 2K Stereo Camera
它具有高分辨率和帧率
可感知室内/室外.5~20m是深度范围
2）Point Grey 公司推出的 BumbleBee
Bumblebee 系列采用双目三维匹配计算，可实时获取场景深度信息和三维模型，可快速构建三维视频和三维重目 目前包括双目和三目，实时3D每秒产生100万3个数据转换D点。
它的分辨率不如上面那个高
CWM TOF相机辐射通常在近红外线范围内，即振幅调节到一定频率fm正弦波，在15到30兆赫之间，辐射被场景中的物体反射并被相机接收。相机在调节辐射周期内测量四次反射辐射的量，这将创建测量mi,i= 0,… ，3，间隔时间隔为π/ 2接收波。发射波与接收波之间的相移可解调如下：
它返回的结果是[0，2π)。此外，这四个测量值可以用来计算场景强度
和幅值
可用于预测量的质量。多次测量传感器的集成时间（曝光时间），以提高信噪比。
在所谓的无歧义距离范围内，这个相位是唯一的:
其中
以光速为例，
,则
.如果场景中的距离大于
的物体，则相位将出现折回干扰。这样一来，必须使用相位展开算法，这是非常耗时的，几乎从未使用过。因此，对于距离大于 
的对象，将返回一个错误的对象距离。
如果对象距离d在无歧义范围内，则可计算为：
CWM TOF相机会发生系统和随机的错误。例如,距离测量可能依赖于积分时间,这可能会导致错误1到10厘米,相机内部的散射辐射会导致相对较大的距离误差,因为距离的测量可能取决于场景中的物体的反射,故可能存在系统的深度失真(摆动)，因为发射的辐射并不完全是正弦波。
CWM TOF相机可以有高达30HZ的高帧率。然而，它们的缺点之一是相对较小的分辨率:大多数商用传感器的分辨率低于320X240像素。
PM TOF相机发射辐射脉冲，通常在近红外范围内，直接或间接测量辐射脉冲从辐射源到目标再返回传感器的飞行时间。让这个往返时间称为 
。然后，相机到物体的距离为：
虽然 
的直接测量在原则上是可行的，但在PM TOF相机中，往返时间是通过测量传感器接收到的辐射强度间接推断出来的。
一种基于 
间接测量的PM TOF相机，其工作原理是发射一定持续时间 
的辐射脉冲，如 
。脉冲持续时间决定了可以测量的最大目标距离(距离范围)
例如，对于 
，最大距离为4.497 m。在三个积分周期内测量返回到传感器的辐射。第一积分周期与辐射脉冲的发射同步。在三个积分周期内测量返回到传感器的辐射。第二个集成周期紧跟着第一个集成周期。这两个积分周期测量的是场景中物体反射的相机辐射强度。这两个测量值是用来推断场景中物体距离的主要数据。第三个积分周期发生在辐射脉冲发射前或发射后足够长的时间。其目的是对场景中物体反射的环境辐射效应的距离测量进行校正。
我们检查前两个积分周期，并假设场景中没有环境辐射反射。在第一个集成期间，靠近相机的物体反射的辐射会对传感器上的电荷产生很大的贡献。物体离传感器越近，相机上的电荷就越高。另一方面，在第二次积分期间，距离相机较远的物体反射的辐射对传感器的电荷有很大的贡献。物体离传感器越远，相机上的电荷就越高。
例如，在d = 0处的物体在第一个积分周期内只产生一个电荷，而在第二个积分周期内由于在第一个集成期间，整个辐射脉冲返回到传感器而不产生电荷。另一方面，d = dmax处的物体在第二次积分期间只会产生一个电荷，因为在第一次积分期间脉冲无法返回传感器。最后一个例子是，在d = dmax/2处的物体在第一个和第二个积分期间会产生相等的电荷。。然后，可以证明
注意，对于距离大于dmax的对象，在本例中，q1 = 0，因此降为td = tp。这就是为什么距离大于dmax的物体无法被正确测量的原因。
上式假设没有环境辐射。这在实践中很少是真的。第三个积分周期可用于校正环境辐射效应的深度测量。
让第三个积分周期产生的电荷记为q3。然后，q3可以从q1和q2中减去，抵消环境辐射，得到：
因此，场景中某点的距离
上述测量在传感器的曝光时间内进行多次，以提高信噪比。
目前还不存在对PMTOF相机的系统和随机错误影响的全面分析。我们可以假设已知的对CWM TOF相机存在影响的因素也会影响PMTOF相机。
例如，我们知道PM TOF相机会受到依赖于场景中物体反射率的深度偏差的影响。PM TOF相机的时间噪声可以达到几厘米级。
PM TOF相机支持高帧率(高达30赫兹)。此外，它们提供比CWM TOF相机更高的分辨率。目前市面上出售的PM TOF相机的分辨率从320×240到1280×1024像素不等。
与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。TOF相机能够实时快速的计算深度信息，达到几十到100fps；而双目立体相机需要用到复杂的相关性算法，处理速度较慢。TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测；而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。
。
：
：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；
：进行 Peoplecounting 确定进入人数不超过上限；通过对人流或复杂交通系统的counting，实现对安防系统的统计分析设计；敏感地区的检测对象监视；
：
工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备。
本文仅做学术分享，如有侵权，请联系删文。
在「3D视觉工坊」公众号后台回复：即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
在「3D视觉工坊」公众号后台回复：即可下载包括等。
在「3D视觉工坊」公众号后台回复：即可下载独家学习课件与视频网址；后台回复：即可下载独家学习课件与视频网址。
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题