视觉SLAM十四讲第五讲笔记
这个讲座主要是关于相机和图像的。了解以下相机内参，空间点到相机成像平面的过程。
一、相机模型
相机模型包括
- 针孔相机模型
- 双目相机模型
- RGB-D相机模型
1. 针孔相机模型
假设现实世界的空间点 P P P, 经过小孔 O O O投影后，落在物理成像平面上 O ′ ? x ′ ? y ′ O'-x'-y' O′?x′?y′上，成像点为 P ′ P' P′。设 P P P的坐标为 [ X , Y , Z ] T [X,Y,Z]^T [X,Y,Z]T， P ′ P' P′为 X ′ , Y ′ , Z ′ X',Y',Z' X′,Y′,Z′，并且焦距为 f f f。那么根据三角形相似关系:
Z f = − X X ′ = − Y Y ′ \frac{Z}{f} = - \frac{X}{X'} = - \frac{Y}{Y'} fZ=−X′X=−Y′Y
负号表示成的像是倒立的。为了简化模型，我们把可以成像平面对称到相机前方，和三维空间点一起放在摄像机坐标系的同一侧。这样做可以把公式中的负号去掉，使式子更加简洁: Z f = X X ′ = Y Y ′ \frac{Z}{f} = \frac{X}{X'} = \frac{Y}{Y'} fZ=X′X=Y′Y
整理可得: X ′ = f X Z Y ′ = f Y Z X'=f\frac{X}{Z} \\ Y'=f\frac{Y}{Z} X′=fZXY′=fZY
上面的式子描述了世界空间点 P P P和它成像的空间关系。我们设在物理成像平面上固定着一个像素平面 O − u − v O-u-v O−u−v。 我们在像素平面得到了 P ′ P' P′的: [ u , v ] T [u,v]^T [u,v]T。
， u u u轴向右与 x x x轴平行， v v v轴向下与 y y y轴平行。。我们设像素坐标在 u u u轴上缩放了 α α α倍，在 v v v上缩放了 β \beta β倍。同时，原点平移了 [ c x , c y ] T [c_x,c_y]^T [cx,cy]T 。那么， P ′ P' P′的坐标与像素坐标 [ u , v ] T [u,v]^T [u,v]T的关系为: { u = α X ′ + c x v = β Y ′ + c y \left \{ \begin{matrix} u = \alpha X'+c_x \\ v = \beta Y' + c_y \end{matrix} \right. { u=αX′+cxv=βY′+cy
把上面整理的式子代入，并將 α f \alpha f αf合并为 f x f_x fx， 把 β f \beta f βf合并成 f y f_y fy，得到: { u = f x X Z + c x v = f y Y Z + c y \left \{ \begin{matrix} u = f_x \frac{X}{Z}+c_x \\ v = f_y \frac{Y}{Z} + c_y \end{matrix} \right. { u=fxZX+cxv=fyZY+cy
其中 f f f的单位是米， α . β \alpha. \beta α.β的单位是像素每米，所以 f x , f y f_x, f_y fx,fy的单位是像素。写成矩阵的形式就是熟悉的了: Z ( u v 1 ) = ( f x 0 c x 0 f y c y 0 0 1 ) ( X Y Z ) ≜ K P Z \biggl(\begin{matrix} u \\ v \\ 1 \end{matrix} \biggl) = \biggl(\begin{matrix} f_x \quad 0 \quad c_x \\ 0 \quad f_y \quad c_y \\ 0 \quad 0 \quad 1 \end{matrix} \biggl) \biggl(\begin{matrix} X \\ Y \\ Z \end{matrix} \biggl) \triangleq KP Z(uv1)=(fx0cx0fycy001)(XYZ)≜KP
由于相机在运动，所以 P P P的相机坐标应该是它的(记为 P w P_w Pw)，根据相机的当前位姿，变换到下的结果。
Z P u v = Z ( u v 1 ) = K ( R P w + t ) = K T P w ZP_{uv} = Z \biggl(\begin{matrix} u \\ v \\ 1 \end{matrix} \biggl) = K(RP_w + t) = KTP_w ZPuv=Z(uv1)=K(RPw+t)=KTPw
对于 T P w TP_w TPw这个三维向量，我们还可以按照齐次坐标的方式，把最后一维进行归一化处理 ，得到了 P P P在相机归一化平面上的投影。 P c ~ = [ X Y Z ] = ( T P w ) ( 1 : 3 ) , P c = [ X / Z Y / Z 1 ] \tilde{P_c}=\biggl[\begin{matrix} X \\ Y \\Z \end{matrix}\biggl] = (TP_w)_{(1:3)}, \quad P_c=\biggl[\begin{matrix} X/Z \\ Y/Z \\1 \end{matrix}\biggl] Pc~=[XYZ