相机标定原理
-
基本概念
视角 ： 视觉边界的夹角，即成像范围
图像噪音 ： 指图像中杂点的干挠。图像中有固定的彩色杂点。
彩色深度 ： 反映对色彩的识别能力和成像的色彩表现能力，实际就是A/D转换器的量化精度是指将信号分为多少个等级。常用的颜色位数(bit)表示。颜色深度越高，图像颜色越华丽动人。
自动白平衡调整 ： (AWB)在不同的色温环境下，屏幕上的图像也应该是白色的。色温表示光谱成分和光的颜色。低色温表示许多长波光成分。当色温发生变化时，光源中的三基色（红、绿、蓝） 的比例会发生变化，需要调节三基色的比例来达到彩色的平衡，这就是白平衡调节的实际。
格式 ： raw格式文件本质上是一个没有任何图像处理的源文件，它可以原本记录相机拍摄的信息， 未经图像处理（锐化、色彩对比增强）和压缩造成的信息丢失，使用户能够在后期大大制作，无论如何操作，照片都能无损地恢复到原始状态。相比之下，JPEG压缩处理后，格式数据无法完全保存原始图形的所有数据。但是存储数据量太大，打开速度太慢，JPEG就小很多；
JPEG：(joint photographic expert group)静态图像压缩模式。压缩模式损坏图像。 压缩比越大，图像质量越差。当图像精度要求不高，存储空间有限时，可以选择此格式。目前很大 使用一些数码相机JPEG格式。光线 ： 光沿直线传播，且光路具有可逆性
漫反射 ： 投射在粗糙表面的光向各个方向发射的现象，即当投射到粗糙表面时，虽然平行（如阳光） 在表面，由于各点的法线方向不一致，发射光不规则地反射到不同的防线上。
实像 ： 透镜后折射光(实际光)聚集物体的反射光(或光源物体的发射光)，可用屏幕承担；
虚像 ： 它是物体的反射光，通过透镜折射的光的反向延长线聚集在一起。因为虚拟图像是实际光无法实现的， 不能用屏幕进行，但由于人眼晶状体相当于镜头，具有聚光功能，人眼也可以看到虚拟图像；虚拟图像不需要物理空间位置来呈现它的存在，因为它是虚拟的实际光。例如，放大镜成像：当物体在凸透镜的两倍焦距内时，其反射光通过凸透镜折射进入人眼。人眼根据折射光在视网膜上成像，实际物体的虚拟图像可以通过折射光的反向延长获得。因此，虚拟图像中的物体在人眼中成为图像，因此人眼可以看到虚拟图像，但事实上，虚拟图像中的物体本身并不存在，虚拟图像偏离实际物体的另一侧，但人眼还能看到； 如 ： 放大镜成像，平面镜成像平面镜成像过程是：物体表面的光（实际上物体上的反射光）发射在镜子上，反射进入人眼，人眼是物体通过平面镜反射的虚拟图像
注 ： 实像与人眼看不见无关，实像与人眼看不见无关；实像与虚像的本质区别在于实像 是否可以达到光，如果实际光可以达到，则为实像，如果实际光不能达到，则为虚像； 注 ： 在满足物体和光线的条件下，能否成像取决于小孔成像模型的条件。例如：相机中的凸起 透镜，人眼中的晶状体是一种特殊的小孔成像模型，因此可以成像；
-
摄像机原理
. 成像原理
i). 小孔成像
由于光线沿直线传播，物体和图像在孔的两侧，就像上下左右倒立的图像；当空气相对较小时，物体的不同部分发出的光也达到图像的不同部分，即物体的不同部分发出的光不会重叠，就像 比较清晰。而一旦孔大到一定程度，物的不同部分发出的光线就会发生重叠，像自然就不在清晰了，所以小孔相当于一个分解器，将来自物的不同部分的光线分解了，即在一定程度内，孔只允许物上的每一部分的光线通过小孔仅被传送到像唯一的位置，才能成像。孔的大小与物相比，物大孔可以大，物小孔必须小。如果孔的大小和孔与物之间的距离是一定的，那么屏幕 离孔越远，成像的分辨率越高，但分辨率的极限是孔的大小，即成像对象上比孔小的细节无法清晰区分。【与相机模型相反，相机中变化的时物与镜头的距离】
ii). 凸透镜成像
成像理论 ： 1/f = 1/m 1/n ，f 为焦距， m 为像距，n为物距 可得： 当物距（f,2f）时，像距 >2f， 倒立放大图像；【投影仪、幻灯机、电影放映机】 当物距 = 2f 时，像距 = 2f, 倒立等大像； 当物距 >2f 时，像距（f, 2f），倒立缩小的图像； 相机，相机iii). 相机成像模型
当 物距 >> f 时，有 n = f，此时，镜头成像模型可以用小空成像模型代替，物理上相当于薄镜头，其成像关系是线性的，不考虑镜头畸变，在大多数情况下，该模型可以满足精度要求，即使用几何线性模型–小孔成像模型可作为摄像机模型；此时，在校准摄像机参数时，内部参数只需考虑小孔成像模型下的透视投影，即离散过程中的参数和5参数模型（4/5/6参数可能）；线性模型忽略了镜头的变形过程，只能用于视野狭窄的摄像头校准。当镜头变形明显时，特别是使用广角镜头时，远离图像中心会有较大的变形。此时，线性模型无法准确描述成像几何关系，此时需要在线模型上添加畸变矫正过程，成为非线性模型；
iv). 鱼眼相机模型
鱼眼相机视角大(可大于180)°），其成像模型有多种，包括等距投影、等立体角投影模型、正交投影模型、体视投影模型
. 成像过程
输入光源 -> 镜头 -> 光学图像 ->图像传感器（CCD或CMOS SERSOR） | V 图片输出 <- DA转换 <- DSP处理器 <- 数字图像 <- AD转换 <- 电信号被摄物体反射光线，传播到镜头，经镜头聚焦到图像传感器芯片上，它根据光的强弱积聚相应的电荷，经周期性放电，产生表示一幅幅画面的电信号，经过预中放电路放大、AGC模数自动增益控制（AD）转换传输到图像数字信号处理IC（即DSP）。同步信号发生器主要产生同步时钟信号（由晶体振荡电路完成），即产生垂直和水平扫描驱动信号到图像处理IC。然后，经数模（DA）转换电路通过输出端输出标准复合视频信号。该标准的视频信号与家用视频相同，VCD机器和家用摄像机的视频输出是一样的，所以你也可以录像或接收电视。图像数字信号处理主SONIX(松翰)和VIMICRO(中星微)等。
图像传感器(SENSOR)：它是一种包含数十万至数百万光电二极管的半导体芯片。光电二极管受到光照射时，就会产生电荷。目前市场上主流摄像头使用的感光元件主要是CCD和CMOS两种。它们的功能相当于传统相机中的底片。CCD分辨率高，色彩还原逼真，灵敏度高，噪音低，信噪比大，但成本高，生产工艺复杂，功耗高。已成为数百万像素级数码摄影设备的主角，用于视频或图像扫描；CMOS集成度高，功耗低(不到)CCD成本低，但噪音大，灵敏度低，对光源要求高。但在百万像素中CMOS感光效果可以完全和谐CCD所以几乎所有的相机都可以比较，所以几乎所有的相机都使用CMOS作为感光元件。
芯片的数字信号处理DSP(DIGITAL SIGNAL PROCESSING)功能：主要通过一系列复杂的数学算法运算优化数字图像信号参数，通过处理信号优化处理信号USB等接口传到PC等设备。它可以拍一些照片和显示（JPEG编解码)、视频和回放（Video 编解码)，H.编解码264，还有很多其他方面的处理，总之是处理数字信号。可以认为ISP图像信号的特殊处理是一种DSP。
DSP结构框架: ISP(image signal processor)(镜像信号处理器) 图像传感器主要通过ADC处理后的Raw Data进行处理，如进行：AEC(自动曝光控制)， AGC(自动增益控制)，AWB(自动白平衡)，色彩校正，Gamma校正，消除坏点， Auto Black Level、Auto White Level 等功能处理。 JPEG encoder(JPEG图像解码器) USB device controller(USB设备控制器). 镜头
主要由主控芯片、感光芯片、镜头和电源组成。好的电源也是保证摄像头工作的一个方面。目前，五玻镜头是主流。简单来说，镜头是由镜头组成的，镜头通常是由玻璃镜头组成的(glass)或塑料镜片(plastic)组成的。玻璃镜头可以获得比塑料镜头更清晰的图像。这是因为通过普通玻璃镜头的光损失通常只有5%~9%，而塑料镜头的光损失高达11%~20%。部分镜头还采用多层光学涂层技术，有效减少光折射，过滤杂波，提高通光率，获得更清晰的图像。如今，为了节约成本，追求高利润，许多小工厂经常减少镜头的数量，或使用廉价的塑料镜头。虽然这些产品价格便宜很多，看起来很有吸引力，但实际的成像效果真的令人称赞。现在市面上大多数摄像头采用的都是五玻镜头，但是不乏少数商家将塑料镜头说成五玻镜头的。
. 普通摄像头
将三维空间的风景投影到二维空间是相机与我们眼睛共享的基本原理。这种投影是透视，透视有很多规律，最基本的是近大远小。众所周知，附近的风景只是看起来很大，而不是真的变大了。所以我们的大脑会自动纠正这种认知，你通常用肉眼看世界不会感到任何异常。但是，视角越大，近大远小的程度就越大。假如视角超过了人眼的习惯视角，甚至超过了大脑可以自动修正的程度，这样的视角就会使人产生失真感。这就是你所谓的透视失真。
注：透视和畸变是不同的，透视是一个客观的规则，只要你仍然把三维空间投影到平面上，无论如何都是不可避免的。畸变是由成像技术缺陷引起的，人们可以通过技术进步来改进甚至避免。基本上，把直线拍成斜线是透视，把直线拍成曲线是畸变。虽然人眼视角接近180度，但大多属于眼角余光，舒适视角约为中间55度。出于本能习惯，大多数人主要使用这60度的舒适视角来观察风景。对于相机，没有舒适的视角，视角和感光元件的大小与焦距直接相关。我们经常使用等效焦距（也是感光元件为135底片大小，即36*24mm时的镜头焦距）来衡量视角。焦距越短，视角越大（可以百度搜索一下等效焦距和视角的对应关系的公式和表格）。基本上视角接近人眼舒适视角（55度左右）的镜头称为标准镜头，而视角更大的就是广角镜头，更小的则是远摄镜头。在同等情况下，广角镜头相对长焦距的镜头来说，更难以控制畸变的产生。如果要控制畸变就需要更高端的技术和更高昂的成本。甚至有一些超广角镜头干脆不控制畸变反而强调这种变形，这就是鱼眼镜头。
. 鱼眼摄像头
鱼眼镜头是一种焦距为16mm或更短的并且视角接近或等于180°。 它是一种极端的广角镜头，鱼眼镜头的成像有两种，一种像其他镜头一样，成像充满画面;另一种成像为圆形。无论哪种成像，用鱼眼镜头所摄的像，变形相当厉害，透视汇聚感强烈。 对于典型的胶片格式（感光芯片），鱼眼镜头的焦距是一种典型的15-16毫米，成像结果为全帧鱼眼图像（此时镜头采到的图像部分呈现在感光芯片上）；另一种是典型的8-10毫米，成像结果圆形鱼眼图像（此时镜头采集到的图像全部呈现在感光芯片上）。不同的模型所采用的原理是不同的，这对选择图像的校正模型方案非常重要。
-
坐标变换
首先空间中的一点由世界坐标系转换到摄像机坐标系，然后再将其投影到图像坐标系（摄像机的CCD），最后再将图像坐标系上的数据转换到像素坐标系（最后生成的图像）。
齐次坐标 ： 使用N+1维坐标来表示N维坐标，例如在2D笛卡尔坐标系中加上额外变量w来形成2D齐次坐标系(x,y)⇒(x,y,w) 齐次坐标具有规模不变性，同一点可以被无数个齐次坐标表达.(x,y,1)⇒(ax,ay,a)齐次坐标转化为笛卡尔坐标可以通过同除最后一项得到.
点的齐次表示 ： 对于直线l=(a,b,c)T上的一点(x, y)T，有ax+by+c=0，写成向量内积的形式为(x, y,1) (a,b,c)T = 0。其中(x, y,1)T就是点(x, y)T的齐次向量表示形式。点的任意齐次向量表示为(x1, x2, x3)T ，代表平面R2上的一点(x1/x3, x2/x3 )T，其中前者为该点的齐次坐标，后者为非齐次坐标。以齐次向量表示的点也是投影空间P2的元素。【三维坐标点齐次表达类似】
单应性变换 ： 单应性变换是对齐次坐标下点的线性变换
投影平面模型 ： 二维投影空间P2可以看做三维实数空间R3上的一组射线组成的集合。2D投影几何研究的是投影空间P2在投影变换中的不变属性。
像平面 ： 感光芯片确定的平面 光轴 ： 经过光心且垂直于像平面的射线成为光轴 光心 ： 摄像机镜头的光心（规则凸透镜的物理中心） 主点 ： 光轴与像平面的交点p是摄像机的主点。
世界坐标系： （Xw,Yw,Zw） 符合右手法则的3维物理坐标系，该坐标系描述环境中任何物体的位置，根据具体情况而定；
像机坐标系：（Xc,Yc,Zc） 符合右手法则的3维物理坐标系，是由摄像机镜头所确定的坐标系。以镜头的光心为原点Oc，以光轴为Zc 轴，并垂直于成像平面，取摄影方向为正方向，Xc、Yc轴与图像物理坐标系的x,y轴平行，且OcO为摄 像机的焦距f，以毫米为单位；
图像坐标系： 图像物理坐标系 （x,y） 2维物理坐标系，位于感光芯片所确定的平面上，以光轴与平面的交点为原点O，以毫米为单位；
像素坐标系： 图像像素坐标系 （u,v） 与图像物理坐标系位于同一个平面，以平面左上角为坐标原点（可以理解为感光芯片的左上角），u v坐标轴 可以是互相垂直（即分别平行于图像坐标系中的xy轴），也可以不行平，以像素为单位；
-
相机标定
摄像机标定方法有很多种，根据标定过程是否需要参照物来看，可以将标定方法分为基于标定物的方法和摄像机自标定方法。基于标定物的方法需要借助一个形状。尺寸抑制的标定物，使用图像处理方法，利用数学变换，去求相机模型的内参和外参。基于标定物的方法可以分为：利用非线性最优化算法的标定方法、利用透视变换矩阵的标定方法、基于径向约束的两步法、双平面标定发、张正友标定发等。摄像机自标定方法不依赖于参照物，利用相机在运动过程中图像与图像之间的对应关系对相机的参数进行标定， 常见的摄像机的自标定方法有：基于Kruppa方程的自标定方法、基于主动视觉的自标定方法、分层逐步标定方法、基于二次曲面的自标定方法等；张正友标定法事实上是介于以上两种类型之间的一种标定方法，其思想是利用一块标定板（且令世界坐标Z=0），相机对标定板从不同位置拍摄图像，根据标定板上的几何结构特点，通过线性模型分析求得相机参数的解，该方法鲁棒性灵活性、实用性都很好，是目前被广泛采用的摄像机标定方法；
-
普通摄像机的标定 【内参、外参、畸变矫正】
（1） 外参
. 世界坐标系 ---> 摄像机坐标系 【刚性变换】 刚性变换： 旋转，平移 通过刚性变换可以实现将任意一个坐标系转换到另一个坐标系下； 其中： i). 旋转 包括分别绕 x y z轴进行的旋转，每个旋转变换矩阵为 3X3 矩阵R1，R2，R3 旋转变换操作为 R = R1R2R3，该变换中涉及3个独立的变量，即分别绕x y z轴的旋转角度 量a1,a2,a3 ii).平移 该平移量是一个3X1的矩阵（x0,y0,z0）T该变换过程中涉及的参数都与摄像机本身无关，故在标定过程中被称为外参，外参共6个。三个坐标轴的旋转参数分别是（w、δ、θ），把每个轴的33旋转矩阵进行组合（矩阵之间相乘），得到集合三个轴旋转信息的R，其大小还是33；T的三个轴的平移参数（Tx、Ty、Tz）。R、T组合成3*4的矩阵，其是转换到标定纸坐标的关键；
（2） 内参
. 摄像机坐标系 ---> 图像坐标系 【透视变换，3D转2D】投影： 将3维转为2维可通过投影的方法，常用的有正交投影和透视投影，正交投影将用于三维建模，而透视投影和人的视觉系统相似，多用于在二维平面中对三维世界的呈现；
对于普通相机及广角相机（一定角度范围内），采用平面透视投影模型即可满足精度需求，此时采用的是小孔成像的线性模型。当物距 >> 焦距，凸透镜的像平面无限趋近于焦点处，再利用平面透视模型将像平面对称变换到镜头与物体中间，再利用平面透视投影模型（相似三角形定理）计算点投影后的位置；（对于鱼眼镜头，由于视角较大（>=180°），采用球面透视投影模型来进行校正图像是比较合适的，此时的投影过程中，先将所有的点映射到一个单位球面上，得到球面投影图像，再将球面投影图像投影到像平面上即可；）
. 图像坐标系 ---> 像素坐标系 【离散化】 （+【畸变矫正】（如果有））像素坐标系和图像坐标系都在成像平面上，只是各自的原点和度量单位不一样。图像坐标系的原点为相机光轴与成像平面的交点。图像坐标系的单位是mm，属于物理单位，而像素坐标系的单位是pixel，我们平常描述一个像素点都是几行几列，所以二者需要进行转换；
这些参数是只有相机来决定的，不会因为外界环境而改变，故称为内参。内参共6个 ： 1/dx、1/dy、r、u0、v0、f。opencv中的内参是4个，分别为fx、fy、u0、v0。其实opencv中的fx也就是F*Sx，其中F是焦距上面的f，Sx是像素/每毫米也就是上面的1/dx。其中：
i). f 即是相机镜头的焦距； ii). dx和dy表示x方向和y方向的一个像素分别占多少个单位，是反映现实中的图像物理坐标关系与像素坐标系转换的关键，dx,dy一般认为是相同，但也可以不相同； iii). u0，v0代表图像坐标系的原点（光轴与像平面的交点）在像素坐标系中所对应的像素坐标,理论上图像物理坐标系的中心点即（u0,v0）应该在像素坐标系的中心点，但是由于安装精度的问题，通常二者之间会存在一定的偏差； iv). r 为坐标轴倾斜参数，理想情况下为0 注 ： 若是涉及三维变换，（3） 畸变矫正 【内参】
. 径向畸变 : 发生在相机坐标系转图像物理坐标系的过程中，径向畸变的主要原因是镜头径向曲率的不规则变化（凸透镜的固有属性，中间厚边缘薄），它会导致图像的扭曲变形，表现为光线在远离透镜中心的地方比靠近中 心的地方更加弯曲。这种畸变的特点是以主点为中心，沿径向移动，离的距离越远，产生的变形量就越大。径向畸变是导致图像畸变的主要因素,径向畸变主要包含桶形畸变和枕形畸变两种。径向畸变的数学模型可以用主点周围的泰勒级数展开式的前几项进行描述，通常使用前两项，即k1和k2，对于畸变很大的镜头，如鱼眼镜头，可以增加使用后续项k3，k4，k5等来进行描述：
. 切向畸变 : 切向畸变是发生在相机安装过程，其是由于感光元平面跟透镜不平行。这种畸变使得一些区域看上去比预期的近，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致，此畸变使用两个参数p1，p2来描述；
. 薄棱镜畸变 ：
（4） 标定过程
内参：4/5个 （fx,fy,u0,v0,r, 其中fx = f/dx, fy = f/dy, r为像素坐标系两个坐标轴的 扭曲，对大多数标准相机来说r设为0）
外参：6个 （世界坐标系到摄像机坐标系变换过程中的 旋转角 a1,a2,a3及平移量b1,b2,b3）
畸变：径向畸变: k1,k2,... 切向畸变：p1,p2 （薄透镜畸变，一般不考虑）
标定方法：张正友标定法（Opencv已支持）
i). 角点检测与提取
. 标定板的内角点的世界坐标提取（真实棋盘格行列各减1）（标定板至少有3张不同角度的图片）
. 标定板的角点的图像坐标的提取（为了提高经度，可以讲提取到的像素坐标精度精确到亚像素）
ii). 求单应性变换矩阵
. 在世界坐标系中，令标定板的棋盘平面所在平面为 Z=0，则标定板的棋盘平面到图像平面的变换对应一个单应性变换；
. 对单张图像至少要有4组角点，因为单应性变换矩阵H（齐次矩阵）有8个参数，每组对应角点对应两个方程，故要解的
该张标定板图片的H，至少需要有4组对应角点（每组点是指标定板上的角点的世界坐标及其在图像像素坐标系中对应的
坐标）；
iii). 求内参
. 在求得单应性变换矩阵的前提下，求解内参变量；
. 内参有5个，根据外参中旋转矩阵的正交特性，对每张标定棋盘图像获得的单应性变换矩阵，可获得两个约束方程，
因此求解内参至少需要3张标定棋盘图像；
. 为了方便计算通过对一个对称矩阵来求解
iv). 求外参
. 根据已求得的内参，通过透视变换矩阵及单应性变换矩阵，矩阵运算求解外参
. 对不同的棋盘标定图像其外参是不同的
v). 最大似然估计 ??????
. 为了增加标定结果的可靠性，使用最大似然估计来优化标定过程中求得的内参、外参值
. 将每张图像的控制点根据求解的参数重投影回三维空间，最小化与真实值的差异
. 它是利用采集的不同角度的标定棋盘图像中的所有角点，通过LM（莱文贝格-马夸特）方法来进行
非线性的迭代求解，求使；
vi). 畸变矫正
. 径向畸变矫正（2-4参）：根据角点组计算
. 切向畸变矫正（2参）：根据焦点组计算
vii). 畸变矫正的最大似然估计 ??????
. 方法同求内外参的最大似然估计过程相同
注意事项：
. 棋盘摆放的是否平整（其影响远大于噪声造成的影响）
. 棋盘标定模板图片在一定范围内越多越好，摄像头与棋盘平面的夹角最好在45度以内（角度太大会影响角点提取的像素精度）
. 光线影响很重要，一定要保证有足够的光照亮度
-
鱼眼相机的标定
(1). 对鱼眼相机的参数标定方法有如下几种，
. 一种是可以根据镜头的投影模型进行，包括：
i). 球面投影模型【等距投影、等立体角投影模型、正交投影模型、体视投影模型】，在应用这些模型时， 球面就相当于是平面透视的投影平面，也就是鱼眼镜头的成像面。球面上的所有点在非线性的投影到 鱼眼图像的成像平面上。该类方法需要根据镜头的确切的设计投影模型进行建模，用一个尽可能接近的模型去描述镜头，但前提是镜头需要严格按照设计模型进行精密的加工，较高的工艺要求提高了镜头的成本，限制了镜头的使用范围；
ii). 抛物面成像模型，该成像模型相对比较复杂，与球面成像模型类似，此模型把抛物面作为鱼眼镜头的成像面，但该模型计算比较复杂，如果想要恢复场景深度可以使用该模型来获得精确的结果但该模型计算过于复杂，一般使用较少。
. 一种是一般通用模型，称为多项式逼近模型，三维空间中任意一点投影到图像平面时，通常理解为进行了两次变换，首先是透视变换，然后就是鱼眼镜头的畸变，因此可以通过射影不变性来分析鱼眼镜头的畸变。 方法有：Kannala 等用一个只包含齐次项的多项式来关联r与θ的关系；Ying等用多项式描述镜头的径向失 真和且向失真；Scaramuzzza 提出一种基于泰勒级数模型的全向视觉传感器建模和标定方法，该模型不仅可以用于折反射全向系统，也适用于鱼眼镜头，尽管引入更多的模型参数可以适当提高标定精度，但随之而来的计算代价和求解不稳定性也会带来操作上的困难，但由于其简单实用，因此被普遍采用。这类方法不需要知道镜头的严格工艺模型，具有一定的普适性。
. 上述这些方法又可以从2D，3D空间进行鱼眼图像的校正来分类。2D空间的鱼眼校正用不到空间信息，直接在 2D空间进行鱼眼图像的校正，并找出带校正鱼眼图像与校正图像之间的坐标变换关系，最后采用像素差值技术恢复校正图像，方法包括：球面坐标定位法（经度坐标校正法），多项式坐标变换法，射影不变性以及利用极坐标映射法来进行畸变校正；3D 空间进行鱼眼校正的方法包括：投影转换方法（利用透视投影图像成像原理）；
(2). Scaramuzza 成像模型
采用鱼眼镜头的通用模型， 即 scaramuzza 提出的泰勒级数模型，成像过程如下：
. 世界坐标系 <---> 相机坐标系 Pm(X,Y,Z) = R*Pw(X,Y,Z) + T 该变换过程同普通相机的成像模型是一个包含【旋转变换+平移变换】的刚性变换过程 . 相机坐标系 <---> 传感器平面坐标系 Pm(X,Y.Z) = Pi(x,y,f(p)), f(p) = a0 + a1p + a2p^2 + a3p^3 + ... + anp^n; 其中 p^2 = x^2 + y^2, 即p为畸变成像点到成像平面中心（光心）的距离；为非线性变换，此处采用一个 泰勒多项式来逼近鱼眼镜头的一般化模型； . 传感器平面坐标系 <---> 像平面坐标系 (u,v) = (c d) (x,y) + (xc, yc) (e 1) 此处变换为一个仿射变换，（xc, yc）为像平面的中心（实际应该是光心），c,d,e是仿射变换系数;(3). Scaramuzza 标定过程
(4). NXP-SV3D-Project 标定过程
内参标定
求解鱼眼镜头的内部参数有【畸变，仿射变换，像平面中心】 i). 棋盘标定板模版图像采集 . 标定板至少有3张不同角度的图片,保证能至少求解出三个独立的单应性矩阵 ii). 角点检测与提取 (棋盘格标定板) . 标定板的内角点的世界坐标提取（真实棋盘格行列各减1） iii). 设定泰勒级数的最大幂指数（推荐值：4） iv). 查找像平面中心 v). 对内参进行最大似然估计 . 对上述求出的内参进行优化。通过 LM 方法，对所有的角点求重投影误差的平方和的最小值，求的最优解外参标定
做预处理计算并未后续的纹理映射产生 “mask” 和 “array” 文件； 该过程仅使用了CPU资源； i). 矩形方格模版的采集 . 每个镜头能看到两个完整的矩形方格 . 尽可能确保镜头位置与矩形方格间相互位置的对称性（可以减小误差） ii). 外参计算 (矩形方格标定板) . 矩形方格标定板中角点提取（对应可检测出16个角点）； . 内参已知，利用检测到的角点计算外参，即与真实世界的变换参数（旋转、平移参数）； 注： 在进行标定之前，需要将矩形方格的角点坐标存储起来，且每个镜头中的两个矩形方格16个角点，按照方格从左向右，方格为“右上行”序； 注： 每个角点的坐标，没必要按照实际的坐标尺寸进行标注，但是相互之间需要按照合适的比例来进行（如用像素，或毫米刻度等量度）； 注： 四个摄像机的模版的角点参数储存值是相同的，这就要求相机及矩形方格之间必须是相互对称的； 在实操步骤中，外参的标定分为5步： 1). 矩形方格模版采集与显示 2). 按照已知的内参构建径向成像模型，对模版图片去除畸变后显示； 3). 在去除畸变后的图像中查找等高线，其与ROI的选取有关； 4). 网格准备，将网格描绘在模版图像上； 5). 图像拼接（为了使计算更快，拼接的结果视图为椭圆）（5）. 渲染过程
使用GPU将每个图像帧在预先准备好的3D网格上进行混合，它将4张输入图像拼接在一张输出图像上并使用GPU进行展示
-
标定与畸变校正
标定过程只是为了获取镜头根据成像模型成像时的变换参数（包括内参和外参）
畸变校正是在已知内外参数的情况下对镜头采集到的图像按照成像模型对产生的畸变进行校正恢复，变成符合人眼方便识别