线结构光传感器

2 基本概念

2.1 结构光相关

结构光方法：

   结构光方法(Structured Light)它是一种主动光学测量技术。其基本原理是将可控光点、光条或光面结构投射到被测物体的表面，图像传感器（如摄像头）通过系统几何关系获得图像。       
     
      
     
     
      
1
    
     

结构光类型：

光点式：逐点扫描物体，图像获取和处理非常耗时，难以实时测量  光：只需扫描一维线即可获得物体深度信息  光面式:二维投影物体，测量速度最快，常用于投影光栅条纹       
     
      
     
     
      
1
     
      
2
     
      
3
     
      
4
     
      
5
    
     

2.2 线结构光相关

线结构光组成：激光投射器、相机等  数学模型的线结构光：①相机的透视投影模型；②结构光平面方程  需要校准内容：相机内部参数（相机焦距、主点、畸变系数）、线结构光传感器结构参数（光平面方程）。主要是指结构参数的校准，即光平面相对于相机的位置。       
     
      
     
     
      
1
     
      
2
     
      
3
     
      
4
     
      
5
    
     

3 研究历史

主要校准方法：机械调整法、细丝散射法、交比不变法等。  从体靶、平面靶、一维靶、无靶等。       
     
      
     
     
      
1
     
      
2
     
      
3
    
     

3.1机械调整法

机械调节是最早出现的线结构光传感器校准方法，是一种更直接的方法。在文献[1]中，天津大学邹定海首先调整机构将光平面调整到相对摄像头的特定位置，然后利用理想的透视模型获得光平面相对摄像头的位置；文献[2]采用微分标定法，首先通过前后移动标准块，将标准块和光平面调整到特殊位置CCD记录标准块的移动距离和光条成像的变化，传感器的结构参数可以计算出来；文献[3]以量块为目标，结合多维自由度的微动工作台，可以通过参数分离法获得投影角和基线长度。文献[4]需要通过平台驱动线结构光传感器的平移和旋转来完成校准。文献[4]需要通过平台驱动线结构光传感器的平移和旋转来完成校准。由于人工调整环节多，相机模型简化为理想模型，精度低，只能适应一些测量范围小的场合。       
     
      
     
     
      
1
    
     

3.2 细丝散射法

细丝散射法又称拉丝法，由细丝散射法组成R.Dewar[5]和K.W.James[6]分别提出，主要原理是将激光平面投射到空间分布的几个非共面细丝上。由于细丝散射，可以在细丝上形成多个亮点，并使用其他坐标仪测量空间中亮点的坐标值。视觉传感器的参数是利用图像表面亮点成像坐标和空间中亮点测量的坐标值来解决的。该方法获得的标定点数量少，特征点图像坐标提取精度低，标定过程复杂。       
     
      
     
     
      
1
    
     

3.3 齿形靶标法

齿形靶标法是以特殊设计的锯齿形立体结构为目标的线结构光校准法。文献[7]从简化获取结构光平面和相机相对位置方法的角度，提出了线结构光传感器的校准，采用简单的齿形目标和一维工作台，解决迭代方程，结合罚函数约束获得相应参数。但该方法要求靶和光平面处于特殊位置，标定点少，调整复杂，精度低。       
     
      
     
     
      
1
    
     

3.4 基于交比不变法

基于交比不变法的线结构光传感器校准是近年来的研究热点。其原理是通过至少三个已知坐标的共线特征点生成校准结构光参数所需的校准坐标。文献[8]率先提出了在线结构光传感器结构参数校准中的应用；文献[9]强调了如何在结构光平面上获得样本点的精确位置，并使用精确设计的校准块获得更准确的校准结果；文献[10]重点解决校准前的光平面定位问题，结合一维工作台构建三维特征点空间，首先，通过目标前后移动校准摄像的内外参数，然后用交比原理校准结构光平面的法向矢量和中心点坐标，最终完成校准。优点是校准过程不需要严格限制光平面的位置，但仍需要使用一维平台完成校准过程；文献[11]提出了基于共面参考的线结构光传感器校准方法，首先校准相机的内部参考，然后利用交比不变的原理改变局部世界坐标系到摄像头坐标系，然后确定局部世界坐标系的校准特征点，最后解决传感器结构参数，目标可以在测量空间内自由移动，基于共同参考的校准思想简化校准过程，使线结构光视觉传感器接近工程应用，但在确定摄像头坐标系下的光平面校准点时，需要进行多次坐标转换，这将增加光平面标定点的定位误差通过拟定和多个光平面标定点确定光平面方程时，每个光平面标定点的误差将传输到光平面方程，因此精度较差；文献[12][13]提出了基于双重交比不变性的线结构光传感器系统标定点获取方法，使用特殊设计的三维目标可以获得大量的高精度校准点，解决线路结构光视觉传感器三维校准点不易获得，数量少，但第一次比较引起的误差会传播到第二次比较，带来误差积累，不易获得高精度，高精度立体目标至少有两个垂直平面特征，使校准过程容易造成平面之间的相互屏蔽，很难获得高质量的校准图像，也不可能获得太多的校准点。       
     
      
     
     
      
1
    
     

3.5 基于自由移动的平面靶标

线结构光传感器标定技术是目前常用的基于自由移动平面靶标的标定方法。文献[14]提出了一种快速校准线结构光传感器的方法，默认已校准相机内部参考，通过无约束移动共面校准参考，利用相机透视投影中心和相机获得的光条信息确定一个平面，根据该平面与共面参考平面的交叉线，以及在传感器测量空间内无约束移动共面参考后获得的另一条交叉线，确定光平面相对于相机的位置；文献[15]提出了一种基于三点透视模型的校准方法。平面目标只需要三个特征点来确定共线和位置。平面目标可以自由移动几个位置。光平面在相机坐标系中的平面方程可以通过三个特征点和光条纹的成像信息获得。该方法不需要解决坐标系之间的转换矩阵，适用于现场校准；文献[16]提出了一种线性结构视觉传感器校准方法，不需要计算光平面校准点。光平面方程是根据多次投射光条直线计算的，最终采用非线性优化方法获得平面方程的最佳解决方案，但大面积高精度目标不易制作，限制了该方法的应用范围。       
     
      
     
     
      
1
    
     

3.6 其他方法

文献[17]提出了基于自由移动的一维目标构光视觉传感器标定方法，首先由共线三点计算一维靶标特征线及其投影之间的一维射影变换，进而获取特征线的消隐点，并与摄像机原点确定特征线在摄像机坐标系下的方向矢量，然后根据特征点的长度约束及方向约束计算特征点的摄像机坐标，从而获得特征线的方程，最后由射影变换和特征线的方程获得光条上控制点的摄像机坐标，该方法虽精度不高，但无需求解靶标相对于摄像机坐标系的旋转矩阵和平移矢量，并且为大尺寸结构光视觉测量传感器的标定提供解决方法，拓宽了线结构光测量的应用领域；文献[18]提出了一种基于主动视觉的光平面标定方法，只需控制线结构光传感器做若干平移运动，两步可完成光平面的标定，首先经多次平移运动得到光平面中相互平行直线在摄像机中的投影，经计算消影点完成光平面法向的标定，然后控制传感器沿设定的与光平面法向垂直的方向做２次平移运动，使其满足三点透视模型，完成摄像机坐标系原点到光平面距离信息的标定，与以往求取光平面上标定点后拟合平面的方法不同，该方法本质上属于自标定方法，标定过程无需使用标靶，在一定程度上节省成本；文献[19]提出了一种基于双目立体视觉的线结构光参数标定算法，首先采用Tsai两步法标定摄像机内参数和双目相机坐标系间的刚体变换，然后利用立体视觉极线约束条件匹配双目激光条纹点，并将其重构到三维空间以进行光平面标定，相对于传统方法，该算法的优势在于标定光平面时不需要标靶的辅助，只需将线结构光以任意姿态投射到任意物体表面即可获取稠密的标定点进而得到光平面方程；文献[20]提出利用已知半径的标准球进行标定的方法，但其方法基于数控铣床，需要数控铣床保证传感器运动精度；文献[21]基于消隐点和消隐线的方法，利用自由移动的简单平面靶标成像，通过一系列计算完成标定。

 
   
     

 
   
     

    
      
1
   
     

4 小结

 线结构光传感器标定的发展情况可以从两方面阐述，即标定思想和辅助装置。标定思想早期以机械法[1-3]为主，包括随后产生的齿形靶标法[7]，标定过程要求结构光平面和靶标具有特殊位置关系，需借助平移台或旋转台带动靶标运动，通过CCD相机对不同位置的靶标成像，以解算出传感器的结构参数。之后发展的基于交比不变法[8-13]思想从原理上摆脱了标定需依靠精密平台的束缚，利用特殊设计的立体靶标可以获得一定数量且精度较高的标定点，以完成标定。其他方法如基于消隐点[21]、基于三点透视模型[15]、基于主动视觉[18]、基于双目立体视觉[19]等，均在某些场合有一定应用，极大的丰富了线结构光传感器的标定方法。

线结构光传感器标定过程所采用的辅助装置，除了经历各类平台从有到无的过程，更重要的是标定所需靶标的发展。靶标的发展是一个从繁到简的过程，早期使用精心设计的立体靶标，如类梯形台[2]、齿形靶标[7]、垂直面靶标[11]等。随着以图形结构代替立体结构思想的产生，逐渐发展出二维平面靶标，如圆阵列[14]、棋盘格[16]等，并成为主流标定方法。近几年又出现一维靶标[17]，乃至无靶标标定方法[18]，极大的拓宽了标定思路，丰富了线结构光传感器标定方法。

 
   
     

 
   
     

    
      
1
    
      
2
    
      
3
   
     

参考文献

[1]邹定海.三维视觉检测系统研究及其CAD应用.天津大学博士论文.1992 [2]王春和,邹定海,叶声华.三维视觉检测与结构光传感器的标定[J].仪器仪表学报,1994,15(2):119-123. [3]肖海,罗明,等. 用“消隐点”法标定线结构光三维视觉传感器[J].光电工程,1996,23(3):54-58 [4]Min Zhang, Dehua Li. An on-sitecalibration technique for line structured light 3D scanner. ComputationalIntelligence and Industrial Applications, 2009:30-33 [5]Dewar R.Self-generated targets forspatial calibration of structured light optical sectioning sensors with respectto an external coordinate system.Robots and Vision’88 Conf.Proceedings,1988:5-13 [6]James K W. Noncontact machine visionmetrology within a CAD coordinate system. Autofact’88Conf.Proceedings,1988:9-17 [7]段发阶,刘凤梅,叶声华. 一种新型线结构光传感器结构参数标定方法[J]. 仪器仪表学报,2000,21(1):108-110 [8]Huynh D Q. Calibration a Structured LightStripe System: a Novel Approach. International Journal of ComputerVision,1993,33(1):73-86 [9]徐光佑,刘立峰,等. 一种新的基于结构光的三维视觉系统标定方法[J]. 计算机学报,1995,18(6):450-456 [10]张勇斌,卢荣胜,等. 结线构光视觉测量系统的标定方法[J].测量系统世界,2003,8:10-13 [11]周富强,张广军,江洁. 线结构光视觉传感器的现场标定方法[J].机械工程学报,2004,40(6):170-173 [12]徐园,张广军,魏振忠. 线结构光传感器标定点获取方法研究[J]. 北京航空航天大学学报,2004,30(1):10-13 [13]魏振忠,张广军,徐园. 一种线结构光视觉传感器标定方法[J].机械工程学报,2005,41(2):210-214 [14]邾继贵,李艳军,叶声华. 基于共面标定参照物的线结构光传感器快速标定方法[J].中国机械工程,2006,17(2):183-186 [15]韩建栋,吕乃光,等. 线结构光传感系统的快速标定方法[J]. 光学精密工程,2009,17(5):958-963 [16]刘震,张广军,魏振忠,江洁. 一种高精度线结构光视觉传感器现场标定方法[J].光学学报,2009,29(11):3124-3128 [17]周富强,蔡斐华. 基于一维靶标的结构光视觉传感器标定[J]. 机械工程学报,2010,46(18):8-12 [18]陈天飞,马孜,吴翔. 基于主动视觉标定线结构光传感器中的光平面[J]. 光学精密工程,2012,20(2):257-263 [19]聂建辉,马孜,胡英. 利用立体视觉的线结构光参数标定[J]. 光电子激光,2011,22(12):1836-1841 [20]Hu Z X, Wang Y B, Yang J W, et al. Anovel calibration method for three-dimensional modeling system used in virtualmaintenance [A]. Jun Wang, Wojteck M, Mohammed T S et al. Proceedings ofAdvanced Computer Control[C]. IEEE Computer Society,2010:301-303. [21]Zhenzhong Wei, Meng Xie, Guangjun Zhang.Calibration Method for Line Structured Light Vision Sensor Based on VanishPoints and Lines. Pattern Recognition (ICPR), 20th International Conference ,2010:794-797