转自 |睿慕课
前言
立体视觉传感器原理简介
工业应用
主流立体视觉产品
TOF相机工作原理
TOF工业应用
一些TOF研究机构
在机器视觉应用中，物体三维形状的获取变得越来越重要。在这个系列里，我们将讨论目前在机器视觉行业中可用的3D图像采集设备， 以及最常见的技术。我们还将简要描述在不同技术下进行三维重建的原理。
三维重建有两个基本原则：三角测量和飞行时间(TOF)测量。初中几何学习了三角测量的基本数学原理。一旦你知道前两点的坐标和连接前两点到第三点的两个角，你就可以计算出第三点的坐标。相比之下，TOF相机辐射并测量辐射反射回传感器的时间。
请注意，本系列描述的传感器没有一个完整的三维重建返回对象。相反，它们返回到二维平面上的每个点的距离。因此，它们最多可以重建物体表面的一半。。通常使用多个传感器，或旋转和移动对象的传感器和合并结果2D.重建。尽管如此，我们还是会按照行业标准的做法和要求，称这些传感器为3D传感器。
立体传感器的原理及HVS同样：用两台相机从不同的位置观察场景。为了正确重建运动物体，相机的同步非常重要。就像同时看人的眼睛一样，很难想象不同步会看到什么。
相机的不同视点导致与相机一定距离的点在两个图像中的不同位置，导致视差。视差是实现场景中点三维重建的基本信息。(如何亲自测量视差？把手指放在眼前，切换左右眼，发现每只眼睛看到的位置不一样。
为了进行三维重建，相机必须进行校准并确定其相对方向，校准通常由传感器制造商进行。校准数据使三维传感器能够测量三维点。三角形的已知边三维系统的基线，即连接两个相机的两个投影中心（入口瞳孔）的线段。此外，一旦你知道两个相机的内部位置，相机本质上就是一个角度测量装置。。描述三维重建的等价方法如下：一旦在图像中识别相应的点，就可以在空间中计算光。重建后的三维点由两束光的交点决定。
请注意，场景中的某些点可能会从一个或两个相机的角度被屏蔽。例如，在图1中，矩形矩形体底部周围的所有点都至少被一个相机屏蔽。显然，这些点的三维位置无法重建。这个问题发生在所有基于三角测量的传感器上。
对应的点通常通过匹配两图像中一个小矩形窗口来确定的。特征点也可以匹配。无论如何，图像都必须包含足够数量的结构或纹理。否则，相应的点不能唯一确定。由于许多工业物体没有纹理，因此在场景中使用随机纹理。投影仪通常安装在相机之间，在场景中投射静态模式，或在场景中投射多个随机模式。为了在不连续的深度下获得更准确的三维重建结果，可以减少匹配窗口的大小，甚至1*1.这将在深度不连续的地方进行非常精确的三维重建，但计算量也非常大。使用多种模式的缺点之一是对象不能移动。
立体传感器大多是基于面阵相机的，也可以用线扫描相机进行立体重建。立体线传感器可以实现非常高分辨率的三维重建。然而，物体必须与传感器相比移动才能进行三维重建。
主要用于无人驾驶、立体视频、虚拟现实、三维跟踪、移动机器人、医疗机器人等领域。
知名产品有
1）STEROLABS 推出的ZED 2K Stereo Camera
它具有高分辨率和帧率
可感知室内/室外.5~20m是深度范围
2）Point Grey 公司推出的 BumbleBee
Bumblebee 该系列采用双目立体匹配计算，可实时获取场景深度信息和三维模型， 能够快速构建立体视频和立体重目 目前包括双目和三目，实时3D每秒产生100万3个数据转换D点。
它的分辨率不如上面那个高
CWM TOF相机辐射通常在近红外线范围内，即振幅调节到一定频率fm正弦波，在15到30兆赫之间，辐射被场景中的物体反射并被相机接收。相机在调节辐射周期内测量四次反射辐射的量，这将创建测量mi,i= 0, … , 3, 间隔为π/ 2.接收波。发射波与接收波之间的相移可解调如下：
它返回的结果是[0，2π)。此外，这四个测量值可以用来计算场景强度
和幅值
可用于预测量的质量。多次测量传感器的集成时间（曝光时间），以提高信噪比。
该相位在所谓的无歧义距离范围内是唯一的：
其中以光速为例，,则. 如果场景中的距离大于对于物体，相位会出现折回干扰。这样，相位展开算法必须使用，这是非常耗时的，几乎从未使用过。因此，距离大于对象，将返回错误的对象距离。
若对象距离d在无歧义范围内，则可计算为：
CWM TOF相机会导致系统和随机错误。例如，距离测量可能取决于积分时间，这可能导致1到10厘米的错误，相机内的散射辐射可能导致相对较大的距离误差，因为距离测量可能取决于场景中物体的反射，因此可能存在系统的深度失真（摆动），因为辐射不完全是正弦波。
CWM TOF高达30个相机HZ高帧率。然而，它们的缺点之一是分辨率相对较小：大多数商用传感器的分辨率低于320X240像素。
PM TOF相机发射辐射脉冲，通常直接或间接测量辐射脉冲从辐射源到目标返回传感器的飞行时间。让这个往返时间称为。然后，相机到物体的距离是：
虽然原则上直接测量是可行的，但在PM TOF通过测量传感器接收到的辐射强度的辐射强度间接推断往返时间。
一种基于间接测量的PM TOF相机的工作原理是发射一定的持续时间辐射脉冲，如。脉冲持续时间决定了最大目标距离(距离范围)
例如，对于，最大距离为4.497 m。回到传感器的辐射在三个积分周期内进行测量。第一点周期与辐射脉冲的发射同步。回到传感器的辐射在三个积分周期内进行测量。第二个集成周期紧跟第一个集成周期。这两个点周期测量场景中物体反射的相机辐射强度。这两个测量值是推断场景中物体距离的主要数据。辐射脉冲发射前后发生第三个积分周期。其目的是校正场景中物体反射的环境辐射效应的距离测量。
我们检查前两个积分周期，并假设场景中没有环境辐射反射。在第一个集成期间，靠近相机的物体反射的辐射会对传感器上的电荷产生很大的贡献。物体离传感器越近，相机上的电荷就越高。另一方面，在第二次积分期间，距离相机较远的物体反射的辐射对传感器的电荷有很大的贡献。物体离传感器越远，相机上的电荷就越高。
例如，在d = 0个物体在第一个积分周期中只产生一个电荷，而在第二个积分周期中，整个辐射脉冲返回传感器而不产生电荷。另一方面，d = dmax由于脉冲不能在第一次积分期间返回传感器，物体在第二次积分期间只产生一个电荷。最后一个例子是，在d = dmax/2处的物体在第一个和第二个积分期间会产生相等的电荷。。然后，可以证明
注意距离大于dmax在本例中，q1 = 0，因此降为t = tp。这就是为什么距离大于dmax的物体无法被正确测量的原因。
上式假设没有环境辐射。这在实践中很少是真的。第三个积分周期可用于校正环境辐射效应的深度测量。
让第三个积分周期产生的电荷记为q3。然后，q3可以从q1和q2中减去，抵消环境辐射，得到：
因此，场景中某点的距离
上述测量在传感器的曝光时间内进行多次，以提高信噪比。
目前还不存在对PMTOF相机的系统和随机错误影响的全面分析。我们可以假设已知的对CWM TOF相机存在影响的因素也会影响PMTOF相机。
例如，我们知道PM TOF相机会受到依赖于场景中物体反射率的深度偏差的影响。PM TOF相机的时间噪声可以达到几厘米级。
PM TOF相机支持高帧率(高达30赫兹)。此外，它们提供比CWM TOF相机更高的分辨率。目前市面上出售的PM TOF相机的分辨率从320×240到1280×1024像素不等。
与立体相机或三角测量系统比，TOF相机体积小巧，跟一般相机大小相去无几，非常适合于一些需要轻便、小体积相机的场合。TOF相机能够实时快速的计算深度信息，达到几十到100fps；而双目立体相机需要用到复杂的相关性算法，处理速度较慢。TOF的深度计算不受物体表面灰度和特征影响，可以非常准确的进行三维探测；而双目立体相机则需要目标具有良好的特征变化，否则会无法进行深度计算。
。
：
：通过 TOF 相机迅速获得包裹的抛重（即体积），来优化装箱和进行运费评估；
：进行 Peoplecounting 确定进入人数不超过上限；通过对人流或复杂交通系统的counting，实现对安防系统的统计分析设计；敏感地区的检测对象监视；
：
工业定位、工业引导和体积预估；替代工位上占用大量空间的、基于红外光进行安全生产控制的设备。
本文仅做学术分享，如有侵权，请联系删文。
在「3D视觉工坊」公众号后台回复：即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
在「3D视觉工坊」公众号后台回复：即可下载包括等。
在「3D视觉工坊」公众号后台回复：即可下载独家学习课件与视频网址；后台回复：即可下载独家学习课件与视频网址。
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题