相机标定(1): 单目相机标定及张正友标定基本原理

相机的数学意义：

• 现实世界是三维的，照片是二维的
• 相机（视为广义函数）:输入三维场景，输出为二维图片(灰度值)
• 彩色图是RGB每个通道都可以被视为灰度图
• 函数(映射关系)是不可逆的，也就是说，我们不能从二维照片中恢复三维世界(二维照片没有深度信息)

相机校准的意义

小孔成像说明

• 简单没镜头
• 有一个小光源 (蜡烛)
• 真实世界的3D物体通过光圈(小孔)发出光线
• 相机的另一侧，像平面位置一样，得到倒立的图像

必知专用术语：

• 世界坐标系(World Coords):点在现实世界中，描述相机的位置，单位是m
• 相机坐标系(Camera Coords): 以相机的sensor中心为原点，简历相机坐标系，单位m
• 图像物理坐标系：小孔成像后获得的二维坐标系为单位mm，元旦坐标是图中的点 C C C
• 像素坐标系(Pixel Coords): 相机中的成像点sensor没有任何物理单位，上像素的行数和列数
• 主点：图中光轴与图像平面的交点p

世界坐标系和相机坐标系在双目或多目系统中不重合，旋转矩阵R和平移矩阵需要世界坐标系T，转换为相机坐标系。

在上图的二维平面中， O i O_{i} Oi图像坐标系的原点， O d O_{d} Od与图像坐标系的原点相比，像素坐标系有些偏移。

点p在不同坐标系中表示

• 世界坐标系(World Coords): P ( x w , y w , z w ) P(x_{w},y_{w},z_{w}) P(xw,yw​,zw​)
• 相机坐标系(World Coords): P ( x c , y c , z c ) P(x_{c},y_{c},z_{c}) P(xc​,yc​,zc​)

世界坐标系与相机坐标系之间的转换矩阵:

• R R R：相机坐标系相对于世界坐标系的旋转矩阵
• T T T: 相机坐标系相对于世界坐标系的平移矩阵

转换关系数学表达： [ x c y c z c 1 ] = [ R 3 × 3 T 3 × 1 O 1 ] ⋅ [ x w y w z w 1 ] \begin{bmatrix} x_c \\ y_c \\ z_c \\ 1 \\ \end{bmatrix} = \begin{bmatrix} R_{3\times3} & T_{3\times1} \\ O & 1 \\ \end{bmatrix} \cdot \begin{bmatrix} x_w \\ y_w \\ z_w \\ 1 \\ \end{bmatrix} ⎣⎢⎢⎡​xc​yc​zc​1​⎦⎥⎥⎤​=[R3×3​O​T3×1​1​]⋅⎣⎢⎢⎡​xw​yw​zw​1​⎦⎥⎥⎤​ 世界坐标系通过旋转矩阵R和偏移矩阵T，转换为相机坐标系 ,如果世界坐标系和相机坐标系重合，则R是一个单位矩阵，T是零矩阵，这样就可以把真实世界的点，转换为相机坐标系中的点

• 假设相机上的点 p ( x c , y c , z c ) p(x_c,y_c,z_c) p(xc​,yc​,zc​) 在图像坐标系的成像点是 p ′ ( x , y ) p^{'}(x,y) p′(x,y)
• 基于小孔成像的原理
• 空间中一点成像在平面中，与 X c Y XcY XcY平面(镜头)平行，距离原点 f f f的平面
• 取一个截面 Z c Y ZcY ZcY，可以得到右图，右图中的黑点 ( z c , y c ) (z_c,y_c) (zc​,yc​),根据相似三角形关系可以计算得到: y y c = f z c \frac{y}{y_c}=\frac{f}{z_c} yc​y​=zc​f​
• 取一个截面 X c Y XcY XcY，根据相似三角形关系可以计算得到: x x c = y y c \frac{x}{x_c}=\frac{y}{y_c} xc​x​=yc​y​
• 结合两个三角变换关系，有: x x c = y y c = f z c \frac{x}{x_c}=\frac{y}{y_c}=\frac{f}{z_c} xc​x​=yc​y​=zc​f​

简化后可以得到: x = f z c ⋅ x c x=\frac{f}{z_c} \cdot x_{c} x=zc​f​⋅xc​ y = f z c ⋅ y c y=\frac{f}{z_c} \cdot y_{c} y=zc​f​⋅yc​

• 写成矩阵形式： z c ⋅ [ x y 1 ] = [ f 0 0 0 0 f 0 0 0 0 1 0 ] ⋅ [ x c y c z c 1 ] z_{c}\cdot \begin{bmatrix} x \\ y \\ 1 \\ \end{bmatrix} = \begin{bmatrix} f &0&0&0 \\ 0 &f&0&0 \\ 0 &0&1&0 \\ \end{bmatrix} \cdot \begin{bmatrix} x_c \\ y_c \\ z_c \\ 1 \\ \end{bmatrix} zc​⋅⎣⎡​xy1​⎦⎤​=⎣⎡​f00​0f0​001​000​⎦⎤​⋅⎣⎢⎢⎡​xc​yc​zc​1​⎦⎥⎥⎤​