3D成像方法总结介绍：
这里要介绍的是真正的3D成像，得到物体的三维图形，是三维图像。而不是利用人眼视觉差异的特点，错误地感知假三维信息。
双眼立体视觉法(Stereo Vision)
激光三角法(Laser triangulation)
3、结构光3D成像(Structured light 3D imaging)
4.飞行时间法ToF（Time of flight）
5.光场成像法（Light field of imaging）
6.全息投影技术(Front-projected holographic display)
7.补充:戳穿假全息
上述原理之间可能会有交叉。
激光雷达不是3D成像原理上的分类是一种具体的方法。
激光雷达的3D成像原理包括三角测距法、飞行时间ToF法等。
激光雷达按实现方式分类：机械式、混合固态、基于光学相控阵固态 、基于MEMS混合固态，基础FLASH式固态等。
就像人们的两只眼睛一样，大多数两个相机的手机都使用这种方法获取深度信息，以获得三维图像。。
视差图：双目立体视觉融合两只眼睛获得的图像并观察它们之间的差别，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，这个差别，我们称作视差(Disparity)图像。对视差的理解可以自己体验的理解:把手指放在离眼睛不同距离的位置，轮流睁开和闭上左右眼睛。可以发现手指在不同距离的位置，视差也不一样，距离越近，视差越大。
说到视差图，就有，深度图像也叫距离影像，是指(深度)值作为像素值的图像。
点云：当一束激光照射到物体表面时，反射的激光会携带方向、距离等信息。如果激光束按照一定的轨迹扫描，则会在扫描时记录反射的激光点信息。由于扫描非常精细，可以获得大量的激光点，从而形成激光点云。深度图像可以通过坐标转换计算为点云数据；有规则和必要信息的点云数据可以反算为深度图像。两者在一定条件下可以相互转化。
双眼立体视觉是通过三角法原理获取三维信息的，即两个相机的图像平面和被测对象之间形成三角形。通过了解两个相机之间的位置关系和左右图像中对象的坐标，可以获得两个相机公共视野中对象的三维尺寸和空间对象特征的三维坐标。因此，双眼视觉系统通常由两个相机组成。
深度与视差成反比
：(属于以下结构光原理)
激光测距原理图如下图所示。
激光头Laser与相机在同一水平线(称为基准线)上的距离s，相机焦距为f，激光头与基准线的夹角为β。激光头Laser与相机在同一水平线(称为基准线)上的距离s，相机焦距为f，激光头与基准线的夹角为β。假设目标对象Object反射回相机成像平面位于点状激光器的照射下P。假设目标对象Object反射回相机成像平面位于点状激光器的照射下P。
三角形由几何知识、激光头、摄像头和目标对象组成，类似于摄像头、成像点P和辅助点P′。P与辅助点P′。
设 PP′=x，q、d如图所示，由相似的三角形可得：PP′=x，q、d如图所示，则 相似三角形可得：f/x=q/s ==> q=fs/x
X计算可分为两部分：X=x1 x2= f/tanβ pixelSize* position
其中pixelSize是像素单位的大小， position与成像中心相比，成像的像素坐标位置。
最后，可以得到距离d: d=q/sinβ
：（同属于下面结构光原理）
激光条的中心点P1、成像点P1′、以相机和激光头为基准面，中心点P1.符合单点结构光测距。三角测距也可以得到任何点(该点不在基准面上)。激光条的中心点P1、成像点P1′、以相机和激光头为基准面，中心点P1.符合单点结构光测距。三角测距也可以得到任何点(该点不在基准面上)。
如上图所示，将成像平面镜像放在另一边。其中P1′，P2′和分别是P1和P对于点的成像位置P2、成像点P2′、相机和激光头形成的平面与基准面有夹角θ，也符合单点结构光测距。此时焦距为f′，x单点激光测距原理具有几何意义。如上图所示，将成像平面镜像放在另一边。其中P1′，P2′和分别是P1和P对于点的成像位置P2、成像点P2′、相机和激光头形成的平面与基准面有夹角θ，也符合单点结构光测距。此时焦距为f′，x单点激光测距原理具有几何意义。
d'/baseline=f'/x
d′是P2与baseline所成平面上P2到底边的高度(类比于单点激光测距原理)q）。同样的x可分为两部分d′是P2与baseline所成平面上P2到底边的高度(类比于单点激光测距原理)q）。同样的x可分为两部分：
x=f'/tanβ pixelSize* position
上述平面与基准面的夹角为θ上述平面与基准面的夹角为θ：
f'/f=cosθ tanθ=(|P2'.y-P1'.y|)/f
可求得f′：可求得f′：f'=f/cos(arctan((P2'.y-P1'.y)/f))
OPPO Find X和IphoneX等手机前置摄像头纷纷搭载。
光源本身就知道什么是结构光：它有一定的结构，我们知道光源的结构。
基于光学三角测量原理的结构光三维视觉。光学投射器将某种模式的结构光传递到物体表面，形成被测物体表面形状调制的光条三维图像。由于摄像机在另一位置检测三维图像，从而获得光条二维畸变图像。光条的畸变程度取决于光学投影仪与相机之间的相对位置和物体表面形状的轮廓(高度)。直觉上，沿光条显示的位移(或偏移)与物体表面高度成比例，扭结表示平面的变化，表面的物理间隙不连续显示。当光学投影仪与相机之间的相对位置确定时，物体表面的三维形状轮廓可以通过畸变的二维光条图像坐标重现。结构光三维视觉系统由光学投影仪、摄像机和计算机系统组成。
结构光模式可分为点结构光模式、线结构光模式、多线结构光模式、表面结构光模式、相位法等。
：(和上面介绍的三角测距一样)如图所示，激光发出的光束投射到物体上产生光点，通过相机的镜头在相机的图像平面上成像，形成二维点。相机的视线与光束在空间中的光点相交，形成简单的三角几何关系。这种三角几何约束关系可以通过一定的校准得到，光点在已知世界坐标系中的空间位置可以由其唯一确定。
：（与上述三角测距相同）线结构光模式是向物体投射光束，由于物体表面深度的变化和可能的间隙，表现在图像中是变形和不连续，变形程度与深度成正比，不连续显示物体表面的物理间隙。任务是从畸变的光条图像信息中获取物体表面的三维信息；事实上，线结构光模式也可以说是点结构模式的扩展。过相机光心的视线束在空间中与激光平面相交产生很多交点，在物体表面处的交点则是光条上众多的光点，因而便形成了点结构光模式中类似的众多的三角几何约束。显然，与点结构光模式相比，线结构光模式的测量信息量大大增加，其复杂性并没有增加，因此得到了广泛的应用。
：多线结构光模式是光带模式的扩展。如图所示，光学投影仪将多个光条投射到物体表面。一方面，其目的是在图像中处理多个光条，提高图像的处理效率。另一方面，实现物体表面的多光条覆盖，增加测量信息量，从而获得物体表面更广泛的深度信息。也就是所谓的光栅结构模式
：当使用表面结构光时，将二维结构光图案投射到物体表面，无需扫描即可实现三维轮廓测量，测量速度非常快。光结构光中最常用的方法是将光栅条纹投射到物体表面。当投影结构光图案复杂时，需要编码投影图案，以确定物体表面点与图像素点之间的对应关系，因此这种方法也称为编码结构光测量法。图案编码分为空域编码和时域编码。空域编码方法只需一次投影即可获得物体深度图，适用于动态测量，但分辨率和处理速度不能满足实时三维测量的要求，翻译要求很高。时域编码需要组合多个不同的投影编码图案来解码，这样更容易解码。主要的编码方法有二进制编码、二维网格图案编码、随机图案编码、彩色编码、灰度编码、邻域编码、相位编码以及混合编码。
：近年来基于相位的光栅投影三维轮廓测童技术有了很大的发展，将光栅图案投射到被测物表面，受物体高度的调制，光栅条纹发生形变，这种变形条纹可解释为相位和振幅均被调制的空间载波信号。采集变形条纹并且对其进行解调可以得到包含高度信息的相位变化，最后根据三角法原理计算出高度，这类方法又称为相位法。基于相位测量的三维轮廓测量技术的理论依据也是光学三角法，但与光学三角法的轮廓术有所不同，它不直接去寻找和判断由于物体高度变动后的像点，而是通过相位测量间接地实现，由于相位信息的参与，使得这类方法与单纯光学三角法有很大区别。
飞行时间是从Time of Flight直译过来的，简称TOF。其基本原理是通过连续发射光脉冲（一般为不可见光）到被观测物体上，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行（往返）时间来得到目标物距离。
TOF法根据调制方法的不同，一般可以分为两种：脉冲调制（Pulsed Modulation）和连续波调制（Continuous Wave Modulation）。
：脉冲调制方案的原理比较简单，如下图所示。它直接根据脉冲发射和接收的时间差来测算距离。
：实际应用中，通常采用的是正弦波调制。由于接收端和发射端正弦波的相位偏移和物体距离摄像头的距离成正比，因此可以利用相位偏移来测量距离。
目前的消费级TOF深度相机主要有：微软的Kinect 2、MESA的SR4000 、Google Project Tango 中使用的PMD Tech 的TOF深度相机等。这些产品已经在体感识别、手势识别、环境建模等方面取得了较多的应用，最典型的就是微软的Kinect 2。
TOF深度相机对时间测量的精度要求较高，即使采用最高精度的电子元器件，也很难达到毫米级的精度。因此，在近距离测量领域，尤其是1m范围内，TOF深度相机的精度与其他深度相机相比还具有较大的差距，这限制它在近距离高精度领域的应用。
但是，TOF深度相机可以通过调节发射脉冲的频率改变相机测量距离；TOF深度相机与基于特征匹配原理的深度相机不同，其测量精度不会随着测量距离的增大而降低，其测量误差在整个测量范围内基本上是固定的；TOF深度相机抗干扰能力也较强。因此，在测量距离要求比较远的场合（如无人驾驶），TOF深度相机具有非常明显的优势。
光场就是光辐射在空间各个位置各个方向的传播。
全光函数：全光函数包含7个变量。
空间位置(3D)、特定方向(2D)、特定时刻(1D)、特定波长(1D)
L=p(x, y, z, θ, φ ,t, λ)
如图所示：
若一条光线通过两个平面UV和ST所产生的交点坐标分别为(u,v)和(s,t)，此时就可以通过光场函数L(u,v,s,t)来表示这条光线的分布。L代表光线的强度，而(u,v)和(s,t)共同确定了光线在空间中分布的位置和方向。。
为什么要用这种双平面的方式来确定光场的分布呢？这是因为常规的相机一般都可以简化成两个互相平行的平面——镜头的光瞳面和图像传感器所在的像平面。对于常规的相机来说，每个像素记录了整个镜头所出射光线会聚在一个位置上的强度。
所以，传统的相机只能获取一个像平面的图像。而如果能够获取到整个相机内的光场分布情况，我们就可以将光线重新投影到一个虚拟的像平面上，计算出这个新的像平面上所产生的图像。光场相机的目的就在于对相机的光场分布进行记录。
：光场相机由镜头、微透镜阵列和图像传感器组成，其中微透镜阵列是多个微透镜单元所组成的二维阵列。镜头的光瞳面（UV面）和图像传感器的光敏面（XY面）关于微透镜阵列（ST）成共轭关系，也就是说，镜头经过每个微透镜单元都会投影到图像传感器上形成一个小的微透镜子图像。每个微透镜子图像包含了若干个像素，此时各像素所记录的光线强度就来自于一个微透镜和镜头的一个子孔径区域之间所限制的细光束，如下图。
这里的细光束也就是光场的离散采样形式，通过微透镜单元的坐标ST和镜头子孔径的坐标UV即能够确定每个细光束的位置和方向，获得L(u,v,s,t)的分布。
如下图：
：正如前面所说，获得相机内的光场分布后，就可以重新选择一个虚拟的像平面，如上图。
可以选择更远或更近的像面位置，计算出所有的光线在这个平面上的交点位置和能量分布，从而就得到了一幅新像面上的图像。这个过程等价于传统相机的调焦过程，只不过是通过数字计算来实现，因而被称为数字调焦。
利用光场相机的数字调焦能力，只需要一次曝光就可以计算出不同像平面位置的图像，能够实现大光圈条件下的快速对焦。更进一步，利用不同深度平面的图像序列，可以完成全景深图像合成、三维深度估计等功能。
全息投影技术是利用。
其第一步是利用干涉原理记录物体光波信息，此即拍摄过程：被摄物体在激光辐照下形成漫射式的物光束；另一部分激光作为参考光束射到全息底片上，和物光束叠加产生干涉，，从而利用干涉条纹间的反差和间隔将物体光波的全部信息记录下来。记录着干涉条纹的底片经过显影、定影等处理程序后，便成为一张诺利德全息图，或称全息照片。
其第二步是利用衍射原理再现物体光波信息，这是成象过程：全息图犹如一个复杂的光栅，在相干激光照射下，一张线性记录的正弦型全息图的衍射光波一般可给出两个象，即原始象（又称初始象）和共轭象。再现的图像立体感强，具有真实的视觉效应。全息图的每一部分都记录了物体上各点的光信息，故原则上它的每一部分都能再现原物的整个图像，通过多次曝光还可以在同一张底片上记录多个不同的图像，而且能互不干扰地分别显示出来。
如下图。离轴全息和同轴全息。
这里要解释一下，人们看到的，一般来说，只是一层介质膜，被商家炒概念为全息，只是。
，原理是利用了人眼的视差。3D眼镜有:互补色、偏振光、时分式。
VR虚拟现实就不说了，只是前期把各个位置各个角度的内容录制合成，后期通过传感器探测人的动作来对应的切换内容。
AR增强现实，如下图分两步，
AR增强现实，如下图分两步，，获取三维世界的方法一般是：双目、TOF、结构光。
Google Glass：核心器件是：偏振分光棱镜PBS ，和舞台上的效果类似。一层偏振膜来给人三维的感觉。
灵犀科技AR、magic leap 、lumus等核心器件使用：阵列波导，一种光波导，把和偏振分光棱镜类似，增大了视角。
微软HoloLens的核心器件是：。光栅是在波导的表面：光栅衍射导光。
增强现实核心技术产业联盟（ID：CARA--2019）
来源：CSDN
作者：路人甲ing..
原文链接：https://blog.csdn.net/tyfwin/article/details/89110067
本文仅做学术分享，如有侵权，请联系删文。
在「3D视觉工坊」公众号后台回复：即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
在「3D视觉工坊」公众号后台回复：即可下载包括等。
在「3D视觉工坊」公众号后台回复：即可下载独家学习课件与视频网址；后台回复：即可下载独家学习课件与视频网址。
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题