本发明涉及数字图像处理和计算机视觉,特别是相机采样点的坐标转换方法。
背景技术:
广义上说振动是指描述系统状态的参量(如位移、电压)在其基准值上下交替变化的过程;狭义的指机械振动,即力学系统中的振动,指物体或质点在其平衡位置附近所作有规律的往复运动。振动测量在微机械系统和精细加工技术中起着非常重要的作用。振动测量方法也有很多种。根据振动信号的转换,可分为电测、机械和光学。其中,最常见的是光学法,即通过摄影获取物体或质点运动图像,通过图像处理获取物体或质点的运动轨迹。光学法是一种不受电磁干扰的非接触测量方法。适用于质量小、不适合安装传感器的试件。广泛应用于精密测量、传感器和振动测量仪校准。
在实现本发明的过程中,发明人至少发现了以下问题:
在现有光学测量过程中,由于相机获得的物体或质点的位置需要通过复杂的坐标转换来确定物体或质点在实际三维空间中的位置,处理速度慢,不利于物体或质点运动轨迹的快速形成,从而影响光学测量振动在实际生产过程中的应用。
技术实现要素:
本发明实施例提供了相机采样点的坐标转换方法,通过参考点获取内参矩阵和外参矩阵,根据内参矩阵和外参矩阵建立坐标转换公式,根据坐标转换公式快速实现相机局部坐标系到世界坐标系的交换。
根据本发明实施例的一个方面,相机采样点的坐标转换方法包括:
S1.建立相机坐标系OCXCYCZC;其中,相机坐标系XC轴与相机局部坐标系x轴平行,且所述相机坐标系YC轴与本地坐标系y轴平行;
S2.根据参考点,在本地坐标系中建立x坐标,y坐标到相机坐标系XC坐标、YC坐标内参矩阵;
S3.根据参考点建立相机坐标系OCXCYCZC坐标到世界坐标系OWXWYWZW中坐标外参矩阵;
S4.根据内参矩阵和外参矩阵,将局部坐标系的任何坐标建立到世界坐标系OWXWYWZW转换转换公式。
内参矩阵优选,焦距f为OC局部坐标系的平面距离,oux、ouy为ZC在局部坐标系下,轴与局部坐标系二维坐标平面的交点o,hx和hy相机靶片上像素的两个物理尺寸,OC相机坐标系OCXCYCZC的原点。
根据参考点,在本地坐标系中建立x坐标,y坐标到所述相机坐标系XC坐标、YC坐标的内部参考矩阵包括:在局部坐标系中测量参考点P的坐标(Pux,Puy)、参考点P在相机坐标系中坐标(Pcx,Pcy);由所述参考点P在所述局部坐标系中坐标进行平移和比例运算得到所述参考点P在所述相机坐标系中坐标,则所述参考点P在所述局部坐标系中坐标(Pux,Puy)与相机坐标系中的参考点P坐标(Pcx,Pcy)对应关系:根据所述对应关系,通过数学操作得到:
外参矩阵为优选,T平移向量,R三维旋转矩阵:
根据参考点建立优选相机坐标系OCXCYCZC坐标到世界坐标系OWXWYWZW中坐标的外参矩阵包括:
相机坐标系OCXCYCZC的XCOCYC世界坐标系的平面投影OWXWYWZW的XWOWYW平面获得X101Y1平面;
参考点P到世界坐标系XWOWYW平面、相机坐标系XCOCYC平面投影获得投影点P1、P3,直线PP1与相机坐标系相结合XCOCYC平面相交于P2点;
在相机坐标系中P(x0,y0,z0)、P3(x3,y3、0)相机坐标系中的P和投影点P3的关系:
参考点P和投影点通过几何关系运算P得到所述投影点P2的坐标(x2,y2,0):
根据投影点P2点的坐标通过几何运算得到投影点P1点在所述X101Y平面上的坐标(x11,y11):
二维坐标系X101Y1原点O1为中心,在X101Y二维坐标系在一定角度旋转X101Y1获得新的二维坐标系X202Y2.通过投影点P1点在X101Y平面上的坐标(x11,y11)获取投影点P1在所述二维坐标系X202Y2中的坐标(x21,y21);其中,二维坐标系X202Y2中,X2轴与世界坐标系OWXWYWZW中的Yw轴平行,Y2轴与世界坐标系OWXWYWZW中的Xw旋转角度与轴平行α相同;
二维坐标系X202Y二维坐标系平移X303Y3.使二维坐标系X303Y三是世界标系OWXWYWZW二维坐标系XWOWYW设置投影点P一、二维坐标系X303Y3中的坐标(x31,y31)通过测量在世界坐标系中获得参考点POWXWYWZW中坐标值(u0,v0,w0)通过几何关系可以得到:
设置所述二维坐标系X202Y二维坐标系平移X303Y3的平移量(Δx,Δy),可通过几何关系获得:
获得将式(5)代入式(6):
通过式(3)、(4)、(5)、(6)、(7)代入运算得到:
世界坐标系通过旋转矩阵R和参考点POWXWYWZW中间坐标通过几何运算得到投影点P三、世界坐标系OWXWYWZW中ZW轴坐标值:
ω3=ω0-z0cosβsinθ (9)
根据相机坐标系P3(x3,y3、0)及投影点P三、世界坐标系OWXWYWZW中ZW轴坐标值设置相机坐标系OCXCYCZC绕三个坐标轴旋转后,平移到世界坐标系OWXWYWZW中z轴平移量Δz,通过几何运算得到:
Δz=ω0-z0cosβsinθ(10)
平移向量由公式(8)和(10)可知:
根据参考点建立优选相机坐标系OCXCYCZC坐标到世界坐标系OWXWYWZW中坐标的外参矩阵包括:
相机坐标系通过测量获得OCXCYCZC中XC轴与世界坐标系OWXWYWZW的OWXWYW平面的夹角α、YC轴与世界坐标系OWXWYWZW的OWXWYW平面的夹角β、XC轴向世界坐标系投影OWXWYWZW的OWXWYW平面的Xc’轴与ZW轴夹角θ;通过所述夹角α、β和θ确定三维旋转矩阵R。
通过α、β和θ确定三维旋转矩阵R包括:
根据所述夹角α确定绕XC旋转矩阵:
根据所述夹角β确定绕YC旋转矩阵:
根据所述夹角θ确定绕ZC旋转矩阵:通过旋转矩阵Rx(α)、Ry(β)、Rz(θ)操作得到三维旋转矩阵:
根据内参矩阵和外参矩阵,建立局部坐标系的任何坐标,并将其转换为世界坐标系OWXWYWZW坐标的转换公式包括:
相机坐标系坐标设置参考点P(Xc,Yc,Zc),通过参考点P在相机坐标系中的坐标进行几何操作,获得直线OCP与相机局部坐标系二维坐标平面的交点p在相机坐标系下坐标:pz=f;
根据相机坐标系OCXCYCZC世界坐标系OWXWYWZW坐标转换公式:
与交点p在相机坐标系下坐标,得到相机坐标系OCXCYCZC与世界坐标系OWXWYWZW坐标关系类型:
其中,PW=[XW,YW,ZW]T参考点P在世界坐标系中OWXWYWZW旋转矩阵的坐标Ow世界坐标系OWXWYWZW原点,Oc是相机坐标系的原点②中Ri旋转矩阵R第i行,即R=[Ri1,Ri2,Ri3]3×1;
所述交点p在所述局部坐标系中设置坐标(xu,yu),所述交点p在所述相机坐标系中的坐标由所述交点p在所述局部坐标系中的坐标平移和比例运算得到:
其中,交点p在局部坐标系中的坐标与参考点P在局部坐标系中的坐标相同;
将②代入③得:
将④齐次方程扩展(xuh,yuh,zuh)由三个方程组成的方程组:
其中,xu=xuh/zuh;yu=yuh/zuh;
由⑤可得坐标转换公式:
则由⑥式可得:
puh=MiMePwh ⑦,
其中,Pwh=[Xw,Yw,Zw,1]T。
本发明的相机采样点坐标转换方法还包括:世界坐标系中的参考点POWXWYWZW坐标PW=[XW,YW,ZW]T、参考点POCXCYCZC的坐标PC=[XC,YC,ZC]T、本地坐标系的坐标Pu=[xu,yu]T,将PW=[XW,YW,ZW]T、PC=[XC,YC,ZC]T、Pu=[xu,yu]T从笛卡尔坐标到第二坐标,可以得到:Pwh=[Xwh,Ywh,Zwh,1]T,Pch=[Xch,Ych,Zch,1]T和Puh=[xuh,yuh,zuh]T;其中,Xw=Xwh,Yw=Ywh,Zw=Zwh,Xc=Xch,Yc=Ych,Zc=Zch;则由式⑦可推知:Pc=MePwh,puh=MiPc,
优选的,本发明一种相机采样点的坐标转换方法还包括:将采样点在所述局部坐标系坐标代入所述转换公式,获得所述采样点在所述世界坐标系中坐标。
本发明通过建立相机坐标系和设置参考点获得x坐标,y坐标到相机坐标系XC坐标、YC坐标内参矩阵由相机坐标系组成OCXCYCZC坐标到世界坐标系OWXWYWZW中坐标外参矩阵,根据内参矩阵和外参矩阵建立局部坐标系的任何坐标,并将其转换为世界坐标系OWXWYWZW坐标转换公式将现有技术中直接在三维空间中旋转、平移和计算方法优化为三维空间中的投影,并在投影面所在的二维空间中旋转、平移和计算,简化了坐标转换的计算过程,不仅提高了计算速度,也保证了转换结果的准确性。
附图说明
图1是本发明实施例提供的相机采样点坐标转换方法的流程图;
图2是本发明另一实施例提供的相机坐标系位置示意图;
图3是本发明的另一个实施例在局部坐标系和相机坐标系中提供的位置关系图;
图4是本发明在相机坐标系和世界坐标系中提供的另一个参考点。
具体实施方法
为了使本发明的目的、技术方案和优势更加清晰,本发明将结合具体的实施方法和附图进一步详细说明。应该理解,这些描述只是例子,而不是限制本发明的范围。此外,在以下描述中,省略了对知识结构和技术的描述以避免不必要地混淆本发明的概念。
在现有技术中,物体的位置和运动轨迹通常采用二维或三位坐标轴来进行描述,通常采用高速相机实时获取物体的图像信息,通过图像处理,最终形成物体的坐标。本发明相机获取的是物体二维坐标,所述二维坐标通过局部坐标系进行描述。所述二维坐标信息包括物体的运动学参数、轨迹信息,用于对目标物体进行路径规划、地理测绘、运动仿真等。
在将物体局部坐标系坐标转换成世界坐标系坐标的过程中,相机的局部坐标系与世界坐标系的相对位置很难测定,采用现有的三维平移和旋转矩阵公式计算方法复杂、处理时间长,不利于相机在实时采样过程中的应用。
实施例一
如图1所示,本发明一种相机采样点的坐标转换方法,包括步骤:S1,建立相机坐标系OCXCYCZC;S2,根据参考点,建立由所述局部坐标系中x坐标、y坐标到所述相机坐标系XC坐标、YC坐标的内参矩阵;S3,根据参考点,建立由所述相机坐标系OCXCYCZC中坐标到所述世界坐标系OWXWYWZW中坐标的外参矩阵;S4,根据所述内参矩阵和所述外参矩阵,建立所述局部坐标系任一点坐标转换到所述世界坐标系OWXWYWZW坐标的转换公式。
作为一个优选的实施方式,所述参考点能够直接测量获得所述局部坐标系中坐标值和所述世界坐标系中坐标值,通常采用在在棋盘格标定板上选择参考点,通过高速图像分析软件测得局部坐标系中坐标值。优选的,所述参考点为在所述局部坐标系和世界坐标系中易于测量的点。
在所述步骤S1中,所述相机坐标系XC轴与相机局部坐标系x轴平行,且所述相机坐标系YC轴与所述局部坐标系y轴平行。所述局部坐标系是根据相机拍摄的成像平面来构建的,将相机的成像平面细化成一系列小格子(如图3所示),光线投射到这些离散小格子上,每一个小格子被称为像素,电子相机以离散的形式实现这些小格子,并通过两个自然数组成的二维坐标对其进行索引。
作为一个优选的实施例,如图2所示,所述相机坐标系OCXCYCZC是以相机的镜头中心点为坐标原点OC,以过原点OC并平行于相机横向底部边框的直线为XC轴,XC轴根据需要选择正方向,以过原点OC纵向横穿相机镜头并平行于相机底部边框的直线为YC轴,以相机安装镜头端作为相机YC轴的正方向,以垂直于XCOCYC平面的直线为ZC轴建立相机坐标系OCXCYCZC,以垂直于XCOCYC平面向上的方向为ZC轴的正方向。所述相机坐标系OCXCYCZC和所述世界坐标系OWXWYWZW的建立与相机的位置及相机的内部参数无关。
在所述步骤S2中,所述内参矩阵为其中,焦距f为原点OC到所述局部坐标系平面距离,oux、ouy为ZC轴与所述局部坐标系的二维坐标平面的交点o在局部坐标系下坐标;,OC为所述相机坐标系OCXCYCZC的原点,hx和hy为像素在相机靶片上的两个物理尺寸,即相机成像平面每一个小格子所代表的实际物体大小的尺寸比例,如图3所示,hx为XC轴方向上的尺寸比例,hy为YC轴方向的尺寸比例。
本实施例中,外参矩阵为其中,T为平移向量,R为三维旋转矩阵:平移向量T和三维旋转矩阵R用于描述所述相机坐标系OCXCYCZC与所述世界坐标系OWXWYWZW的相对位置关系。通过测量获得相机坐标系OCXCYCZC中XC轴与世界坐标系OWXWYWZW的OWXWYW平面的夹角α、YC轴与世界坐标系OWXWYWZW的OWXWYW平面的夹角β、XC轴投影到世界坐标系OWXWYWZW的OWXWYW平面的Xc’轴与ZW轴夹角θ,通过所述夹角α、β和θ确定三维旋转矩阵R。作为一个优选的实施方式,所述夹角α、β和θ自带正负符号,为方便计算,所述夹角θ取正值,可选取Xc’轴逆时针方向旋转与ZW轴重合时的旋转角度作为夹角θ。
作为本发明优选的实施方式,通过所述夹角α、β和θ确定三维旋转矩阵R包括:
根据所述夹角α确定绕XC轴旋转的旋转矩阵:根据所述夹角β确定绕YC轴旋转的旋转矩阵:根据所述夹角θ确定绕ZC轴旋转的旋转矩阵:通过所述旋转矩阵Rx(α)、Ry(β)、Pz(θ)进行运算得到所述三维旋转矩阵:
平移向量T描述所述相机坐标系OCXCYCZC原点OC到世界坐标系OWXWYWZW原点Ow位置的变化,原点OC到原点Ow的位置的变化包括在三个坐标轴进行平移,则平移向量:
本发明实施例一种相机采样点的坐标转换方法,还包括步骤:将采样点在所述局部坐标系坐标代入所述转换公式,获得所述采样点在所述世界坐标系中坐标。由于推导公式时采用参考点P作为未知点,坐标转换公式中参考点P可为任意一点,当采样点代入坐标转换公式时,将所述采样点与所述参考点P对应的值带入即可。作为一个优选的实施方式,根据采样点在所述世界坐标系中坐标获得物体的位移改变量;将所述位移改变量,一阶求导后获得物体速度改变量,二阶求导后获得物体加速度改变量。
本实施例中,步骤S2和步骤S3不分先后,即无论先获得外参矩阵还是先获得内参矩阵都不影响本发明的实现。
实施例二
基于实施例一,本发明实施例中,如图3所示,根据参考点建立由所述局部坐标系中x坐标、y坐标到所述相机坐标系XC坐标、YC坐标的内参矩阵包括:测量获得所述参考点P在所述局部坐标系中坐标(Pux,Puy)、所述参考点P在所述相机坐标系中坐标(Pcx,Pcy);由所述参考点P在所述局部坐标系中坐标进行平移和比例运算得到所述参考点P在所述相机坐标系中坐标,则所述参考点P在所述局部坐标系中坐标(Pux,Puy)与所述参考点P在所述相机坐标系中坐标(Pcx,Pcy)对应关系:根据所述对应关系,通过数学运算得到:
本实施例中,由于局部坐标系的二维坐标平面与相机坐标系的OCXCYC平面平行,所述参考点在所述局部坐标系中坐标通过平移和比例运算就可得到所述采样点在相机坐标系的OCXCYC面坐标。
实施例三
基于上述实施例,本发明实施例中,如图4所示,所述步骤S3包括如下步骤:
a1)将所述相机坐标系OCXCYCZC的XCOCYC平面投影到所述世界坐标系OWXWYWZW的XWOWYW平面获得X101Y1平面。
a2)所述参考点P向所述世界坐标系的XWOWYW平面、所述相机坐标系的XCOCYC平面分别投影获得投影点P1、P3,直线PP1与所述相机坐标系的XCOCYC平面相交于P2点。
a3)在所述相机坐标系内P(x0,y0,z0)、P3(x3,y3,0),则所述相机坐标系内P与所述投影点P3的关系:
a4)通过几何关系运算,由所述参考点P和所述投影点P3得到所述投影点P2的坐标(x2,y2,0):
a5)根据所述投影点P2点的坐标,通过几何运算得到所述投影点P1点在所述X101Y1平面中的坐标(x11,y11):
a6)以所述二维坐标系X101Y1原点O1为中心,在X101Y1平面内以一定角度旋转二维坐标系X101Y1得到新的二维坐标系X202Y2,并通过所述投影点P1点在X101Y1平面中的坐标(x11,y11)求取所述投影点P1在所述二维坐标系X202Y2中的坐标(x21,y21);其中,在所述二维坐标系X202Y2中,X2轴与所述世界坐标系OWXWYWZW中的Yw轴平行,Y2轴与所述世界坐标系OWXWYWZW中的Xw轴平行,所述旋转角度与所述夹角α相同;
a7)将所述二维坐标系X202Y2进行平移得到二维坐标系X303Y3,使所述二维坐标系X303Y3与所述世界标系OWXWYWZW中二维坐标系XWOWYW重合,设所述投影点P1在所述二维坐标系X303Y3中的坐标(x31,y31),通过测量得到所述参考点P在所述世界坐标系OWXWYWZW中坐标值(u0,v0,w0),则通过几何关系可得到:
a8)设所述二维坐标系X202Y2进行平移得到二维坐标系X303Y3的平移量(Δx,Δy),通过几何关系可得到:
a9)将式(5)代入式(6)得到:
a10)通过式(3)、(4)、(5)、(6)、(7)进行代入运算得到:
a11)通过旋转矩阵R与所述参考点P在所述世界坐标系OWXWYWZW中的坐标,进行几何运算得到所述投影点P3在所述世界坐标系OWXWYWZW中ZW轴坐标值:
ω3=ω0-z0cosβsinθ (9)。
a12)根据所述相机坐标系内P3(x3,y3,0)及所述投影点P3在所述世界坐标系OWXWYWZW中ZW轴坐标值,设所述相机坐标系OCXCYCZC经过绕三个坐标轴旋转后平移到所述世界坐标系OWXWYWZW中的z轴平移量Δz,经过几何运算得到:
Δz=ω0-z0cosβsinθ (10)。
a13)由式(8)、(10)可知平移向量:
实施例四
基于上述实施例,本发明实施例中,所述步骤S4包括如下步骤:
b1)设参考点P在所述相机坐标系中坐标(Xc,Yc,Zc),通过所述参考点P在所述相机坐标系中坐标进行几何运算,得到直线OCP与所述相机局部坐标系的二维坐标平面的交点p在所述相机坐标系下坐标:pz=f。
本实施例中,通过所述参考点P在所述相机坐标系中坐标(Xc,Yc,Zc),进行几何运算,得到直线OCP与所述相机局部坐标系的二维坐标平面的交点p在所述相机坐标系下坐标:pz=f,具体过程为:如图3所示,ZC轴垂直于局部坐标系的二维坐标平面,并且与局部坐标系的二维坐标平面相较于o;直线OCP与所述相机局部坐标系的二维坐标平面的交点p,设p点坐标(px,py,pz),OC‘是相机的焦点且由相机的内部参数决定,通过几何关系易知△Ocpo和△OcPOc‘相似,因此,pz=f。本发明实施例使原本复杂的三维坐标转换处理简化成了二维坐标转换处理和一维坐标转换处理,即通过空间几何与相机小孔成像原理相结合使得计算过程化繁为简,不仅提高了运算速度,而且也保证了转换结果的准确度。
b2)根据所述相机坐标系OCXCYCZC到所述世界坐标系OWXWYWZW的坐标转换公式:
与所述交点p在所述相机坐标系下坐标,得到所述相机坐标系OCXCYCZC与所述世界坐标系OWXWYWZW的坐标关系式:
其中,PW=[XW,YW,ZW]T为采样点在所述世界坐标系OWXWYWZW坐标,旋转矩阵Ow为世界坐标系下确定的原点,Oc为所述相机坐标系原点,本发明实施例优选采用相机的中心或焦点作为所述相机坐标系原点,式②中Ri为旋转矩阵R第i行,即R=[Ri1,Ri2,Ri3]3×1。
b3)设所述交点p在所述局部坐标系中坐标(xu,yu),由所述交点p在所述局部坐标系中坐标进行平移和比例运算得到所述交点p在所述相机坐标系中坐标:
其中,所述交点p在所述局部坐标系中坐标与所述参考点P在局部坐标
系中坐标相同。
将②代入③得:
b4)将④式扩展为关于齐次方程(xuh,yuh,zuh)三个方程组成的方程组:
其中,xu=xuh/zuh;yu=yuh/zuh。
b5)由⑤式可得坐标转换公式:
b6)则由⑥式可得:
puh=MiMePwh ⑦,
其中,Pwh=[Xw,Yw,Zw,1]T。
本实施例中,由所述采样点在世界坐标系OWXWYWZW坐标PW=[XW,YW,ZW]T,设所述相机坐标系OCXCYCZC的坐标PC=[XC,YC,ZC]T、在所述局部坐标系的坐标Pu=[xu,yu]T,将PW=[XW,YW,ZW]T、PC=[XC,YC,ZC]T、Pu=[xu,yu]T通过笛卡尔坐标转化为其次坐标,可得到:Pwh=[Xwh,Ywh,Zwh,1]T,Pch=[Xch,Ych,Zch,1]T和Puh=[xuh,yuh,zuh]T;其中,Xw=Xwh,Yw=Ywh,Zw=Zwh,Xc=Xch,Yc=Ych,Zc=Zch,则由式⑦可推知:Pc=MePwh,puh=MiPc,
作为一个优选的实施方式,所述步骤S3还包括:根据所述参考点P在所述世界坐标系OWXWYWZW中坐标值(u0,v0,w0)与所述参考点P在所述相机坐标系OCXCYCZC坐标(x0,y0,z0),设采样点在所述相机坐标系OCXCYCZC坐标(xc,yc,zc)与采样点在所述世界坐标系OWXWYWZW的坐标(μ,υ,ω),根据式:Pc=MePwh采样点从相机坐标系OCXCYCZC坐标转换为世界坐标系OWXWYWZW坐标的转换公式为:
。
本发明一种相机采样点的坐标转换方法,通过建立相机坐标系与设置参考点,获取由所述局部坐标系中x坐标、y坐标到所述相机坐标系XC坐标、YC坐标的内参矩阵、由所述相机坐标系OCXCYCZC中坐标到所述世界坐标系OWXWYWZW中坐标的外参矩阵,根据内参矩阵和外参矩阵建立所述局部坐标系任一点坐标转换到所述世界坐标系OWXWYWZW坐标的转换公式,将现有技术中直接在三维空间内进行旋转、平移和计算方法优化为在三维空间内进行投影,并在投影面所在的二维空间内进行旋转、平移和计算,使得坐标转换的计算过程化繁为简,不仅提高了运算速度,而且也保证了转换结果的准确度。
本发明所述相机坐标系OCXCYCZC中XC轴、YC轴与ZC轴只表述一种相对位置关系,只要满足相对位置关系XC轴、YC轴与ZC轴的表述可以互换。对本发明坐标系中各个坐标轴与其它位置点采用字母名称表述并不构成对本发明的限定。
应当理解的是,本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理,而不构成对本发明的限制。因此,在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。此外,本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。