延续之前的机器视觉系列文章，从应用的角度介绍工业镜头的相关整理内容。

常规的相机镜头为球面镜头，球面镜头会产生无法避免的像差现象。在实际应用中，通常通过多片镜片组合来对球面镜头的像差进行矫正，这样带来的问题是镜头的体积及重量的增加，同时透过的光减少。 非球面镜头Aspherical Lens采用非球面镜片，实质是在球面面形基础上细微调整而成的。从数学角度来说，球面的面形是一个二次函数，而非球面的面形函数是四次甚至更高次的函数，因此非球面的面形更加复杂。实际上，它是在球面的基础上，按事先设计好的细微面形起伏，进行人为控制而获得非球面的复杂曲面。 ①非球面镜头能够减少球差及色差，提高清晰度； ②非球面镜头采用的镜片数量小，可以缩小镜头体积和重量； ③非球面镜头能够显著提升画面周边的成像质量； ④光通过镜头损耗减少，可以做出通光量更大的镜头。

由于光线通过镜头的玻璃镜片过程中，有部分光会发生反射现象而产生损失（通常为5%），而镜头一般由多组镜片构成，则光线通过一组镜头镜片过程中，由于发生了多次反射过程（N组镜片的镜头实质有2N个反射面），实际上到达相机靶面的光线大量减少，同时会产生令人不愉快的鬼影和炫光现象。因此，多组镜片构成的镜头一方面产生了像差、降低了镜头的反差、并导致了镜头实际有效通光孔径降低。 镜头镀膜的核心意义在于可以使得光线在一定波长范围内减少反射，增加通光量，从而使多组镜片的镜头达到可用的目标。镜头的镀膜是根据光学的干涉原理，在镜头表面镀上一层厚度为四分之一波长的物质（通常为氟化物），使镜头对这一波长色光的反射降至最低。显然，一层膜只对一种色光起作用，而多层镀膜则可对多种色光起作用。 多层镀膜通常采用不同的材料重复地在透镜表面镀上不同厚度的膜层。多层镀膜可大大提高镜头的透光率，例如未经镀膜的透镜的每个表面的反射率为5%，单层镀膜后降至2%，而多层镀膜可降至0.2%，这样可大大减少镜头各透镜间的漫反射，从而提高影像的反差和明锐度。

①计算短边对应的像素数 E=B/C，相机长边和短边的像素数都要大于E ②像元尺寸=产品短边尺寸B/所选相机的短边像素数; ③放大倍率 =所选相机芯片短片尺寸/相机短边的视野范围 ④可分辨的产品精度 =像元尺寸/放大倍率(判断是否小于C) ⑤对焦焦距 =工作距离*(1+1/放大倍率)单位mm ⑥镜头靶面尺寸要≥相机靶面尺寸，否则将出现黑角 ⑦相机分辨率要小于2倍的镜头的解析度，即要求像面分辨率要大于1/(2*单个像元尺寸<单位取mm>)以上，单位线对/mm 另外，对于恒定光照条件的环境（一般为实验室环境），可选用固定光圈的镜头。对于光照度变化不明显的环境，常选用手动光圈镜头，即将光圈调到一个比较理想的数值后固定住。如果照度变化较大，应选用自动光圈镜头。在使用自动光圈镜头时，一般需要镜头配合摄像机的背光补偿功能来实现，采用宽动态范围的摄像头也有比较不错的效果。

①偏光镜，其是根据光线的偏振原理制造的镜片，用来排除和滤除光束中的直射光线，使光线能于正轨之透光轴投入眼睛视觉影像，使视野清晰自然。例如，通过使用偏光镜，可以减弱水面的反光，从而清晰的拍摄到水中的鱼。在拍摄这样的场景时，光源的投射角度与相机拍照的角度要趋近一致，并且其最大的偏折角度需介于30-40°之间。使用的时候可以通过慢慢转动滤镜前组的镜片来进行调整，力求把景物表面的反光降到最低程度。另外，偏光镜可以有效提高色彩的饱和度，提高反差，这是因为偏光镜可以吸收大气中雾气或灰尘反射出的各种方向的杂光，从而使拍摄出的影像更加纯净。 ②滤光片，其是用来选取所需辐射波段的光学器件。滤光片的一个共性，就是没有任何滤光片能让天体的成像变得更明亮，因为所有的滤光片都会吸收某些波长，从而使物体变得更暗。例如你想要拍一朵黄花，背景是蓝天、绿叶，如果按照平常拍，就不能突出“黄花”这个主题，因为黄花的形象不够突出。但是，如果在镜头前放一个黄色滤光片，阻挡一部分绿叶散射出的绿光、蓝天散射出的蓝光，而让黄花散射出的黄光大量通过，这样，黄花就显得十分明显了，突出了“黄花”这个主题。

这里只介绍面阵相机的针孔相机模型的标定。 我接触过的相机镜头校正软件有：OpenCV、Matlab、Halcon三种，其都可以分为4个步骤： ①使用待校正相机镜头拍摄多幅不同位姿的标定板图像， ②标定板特征点亚像素精度提取， ③基于针孔相机模型的解析求解， ④基于非线性最优化的参数精炼。 步骤①三者之间没有差别。 关于拍摄用于标定的图像时的注意细节有： <1>使用制造精度高的标定板（需要能从图案区分出标定板的长和宽）； <2>保持相机不变，拍摄不同方向的棋盘图案； <3>拍摄图像最少10张，最好能达到20张以上； <3>所拍摄图像不能是模糊的； <4>所拍摄图像不能包含相对于相机平面大于45°角的校准图案，如下图： <5>在图像中标定板的大小要大于全视野的1/4并小于全视野，推荐使用2/3视野大小的标定板； <6>拍摄的所有图像整体要覆盖相机的所有视野，包括四角、四边和中间； <7>拍摄的所有图像中，校准图案在相对于相机的方向上有足够的变化。 在本文实验中，我分别使用标称制造精度±0.01mm的棋盘格和圆点阵的两种标定板各拍摄了21张不同位姿的图像： 步骤④三者之间没有差别。 步骤③主要是使用的针孔相机模型的差别，OpenCV和Matlab差别很小，OpenCV的相机内参数矩阵定义为： Matlab的相机内参数矩阵定义为： Matlab提供了一个传感器x轴和y轴相对偏斜的自由度s，而Halcon的相机内参数矩阵使用焦距f，像元缩放sx和sy（即每个像元对应的尺寸），中心点坐标cx和cy来表示，将上述参数整理后形式与OpenCV的定义相同。fx = f/sx，fy = f/sy，其中f为镜头焦距，单位mm；sx和sy的单位需从μm转换为mm。这里使用的是Basler acA1300-30gc，其像元尺寸为3.75μm，f=5mm，则对应的fx=5/3.751000=1333.33。 而关于镜头畸变的模型定义，三者都提供多项式畸变校正模型，只是OpenCV提供的自由度最大，3个径向畸变系数k1、k2、k3和2个切向畸变系数p1、p2都可以选择性配置；Matlab的自由度略小，相比OpenCV不能配置只使用k1的多项式模型；而Halcon的自由度最低，5个系数必须全部使用。但Halcon还提供了一个只用系数kappa表示的可进行解析求解的除法畸变模型。 步骤②是后面两个步骤的基础，Matlab（在2021版之后，而我用的是2019，不能提取圆点阵）可以提取棋盘格和圆点阵两种图案的特征点亚像素坐标；OpenCV也可以提取棋盘格和圆点阵两种图案的特征点亚像素坐标（cv.findChessboardCorners+cv.cornerSubPix以及cv.findCirclesGrid）；Halcon只可以提取圆点阵图案的特征点亚像素坐标。 进行3种软件的特征点亚像素提取精度实验：分别使用OpenCV提取两种图案的特征点的亚像素精度坐标，Matlab提取棋盘格、Halcon提取圆点阵。然后分别求每幅图像提取的特征点的X和Y坐标的均值（X和Y混在一起），然后将不同软件提取的特征值进行相减得： 可以看到，OpenCV的提取值X和Y坐标都比Matlab 小约1个像素；OpenCV的提取值X和Y坐标都比Halcon大约0.02个像素。 如上面所述，这是3种软件相机和标定的最大差别。 基于上述特征点提取结果，先在3种软件中，分别测试使用5畸变校正系数和1畸变校正系数（Matlab为2畸变校正系数）。多系数畸变校正模型的校正结果，相比于少系数畸变校正模型的改进很小，哪一种软件二者的校正后投影特征点的平均坐标偏差都小于0.005个像素。因此，在整理对比实验数据时只列出使用少系数畸变校正模型的标定结果。 可以看到最终投影平均误差最小的是：使用OpenCV算法+圆点阵+OpenCV提取特征点的算法。 这个结果可能跟很多博文中的比较结果都不一样，但这个结论其实不重要，主要是因为：使用的标定板、相机、镜头、拍摄标定图像时的相对位置、使用的图像数量都会对这个结论产生影响。 先排除能排除的影响：使用的图像数量。这里以OpenCV算法+圆点阵+OpenCV提取特征点的算法为例，分别使用图像数量从13-21张，来绘制投影平均误差的变化： 从上图可以看出：基本上超过20张图像，其平均误差就已经收敛，不会再有明显的下降改进；从13-21张的变化过程中，最大误差波动也才0.003个像素，对于上述所有算法，其对于最终平均误差指标的影响都小于0.003/0.049100%≈6%。所以可以确定，使用图像数量基本上不影响上述指标波动。 上面也说过，校正算法本身的影响很小，从上表数据也可以得到验证。 而对于剩下的使用的标定板、相机、镜头、拍摄标定图像时的相对位置这几个影响因素，我们是没有办法进行对比实验的。再加上在标定算法的最后一步，都会有一个非线性的精炼过程，其是数值最优的（严格依赖于数据），但不一定是真实的。也就是说，这个步骤会导致即使使用的标定板、相机、镜头全部相同，仅是由于使用了不同的标定图像，就会造成最终的平均误差的波动，所以我们也没有必要太过关注于平均误差的绝对值。 但在实际使用中，我们还是需要从上述各种算法中选择一种，来获得最优的相机镜头校正结果，所以还是需要对上述算法进行量化比较。这里我以如下准则来进行评价：由于我们知道相机和镜头属于工业制品，且大品牌的高质量产品是有严格的品控的（其会在出厂前进行抽检和全检），所以我们用到的相机和镜头，其在产品说明书上会提供明确的规格参数。而实际视觉系统在标定过程中，标定板尺寸、标定板距镜头的大致距离，这些也都是可以获得的参数。虽然由于安装使用、人工操作、算法处理等环境都会引入误差，但最终的标定结果还是应该与上述可获知参数比较接近的。所以可认为，越接近相机和镜头的真实参数情况的标定结果越好，或最起码更具有实际使用价值（这意味着你可以通过标定，将标定结果和误差等都转换成具有测量单位的量，可以指导生产）。 OpenCV的官方文档给出了镜头标定的计算推导过程： 以及镜头畸变的除法模型： 多项式模型： 上式中的u_和v与x’、y’含义相同，u和v与x’’、y’’含义相同。 其中，(Xw,Yw,Zw)为标定板上某个特征点在世界坐标系中的位置，(Xc,Yc,Zc)为标定板上相同点在相机坐标系中的位置，而r11-r33表示两个坐标系变换之间的旋转矩阵，tx、ty、tz表示两个坐标系变换之间的平移向量。其中(Xw,Yw,Zw)、(Xc,Yc,Zc)、tx、ty、tz都可用具有长度单位的数值表示，且这些系数的长度单位是一致的，而r11-r33为(-1,1)之间的数值。相机内参矩阵A中的系数fx、fy、cx、cy是将具有长度单位的相机坐标系中的点转换到图像坐标系中的像素值。而在实际使用中，一般是要经过镜头畸变变换，将(Xc,Yc,Zc)归一化为(x’,y’,1)，然后畸变变换得到(x’’,y’’)后，再使用相机内参矩阵A。所以畸变变换中的系数κ或K1、K2、K3、p1、p2都是无量纲值。 在求解相机内参矩阵A时，可参考公式： 将镜头畸变的影响预先施加到(Xc,Yc,Zc)中，这时利用相似三角形原理，根据Xc和Zc的比值与u和1的比例相等来求解fx、fy、cx、cy，于是可得fx和fy的单位为pixel/mm（mm也可以是其他长度单位），cx和cy的单位为pixel，而且不要求fx单位中的长度单位与Xc的长度单位一致。即cx和cy大致为图像中心像素的像素级坐标值，fx = f/sx，fy = f/sy，f为镜头的焦距，单位取mm，那么sx和sy就为相机每个像元的尺寸，单位也得取mm。 这样所有的镜头标定相关参数就都有了明确的物理意义和单位，就可以与真实环境或物体参数对应起来。 关于镜头焦距和像元尺寸，都可以查阅产品手册获得。tx和ty的值一般不重要，而tz的值对应的就是标定板在拍摄标定图像过程中，相对镜头的实际距离了。镜头畸变系数也可查阅产品手册获得，海康MV系列工业镜头的畸变水平为0.15%，由于畸变模型系数为无量纲值，其对应的r^2是归一化坐标的径向距离，所以可简化取为1。当畸变多项式模型只使用K1一个系数时，是可以得到K1和κ的对应关系的： 于是畸变模型计算得： κ≈-K1≈0.0015。 在实际使用OpenCV的cv2.calibrateCamera函数进行标定的过程中发现，如果希望最终的标定系数与实际物理参数推导的关系一致，预先给定基于上述推导先验知识计算的参数cameraMatrix和distCoeffs非常重要，因为对于使用LM算法进行最小二乘的迭代寻优而言，初始点的位置至关重要。另外参数objectPoints，即标定板中特征点的数值也非常重要，因为其对应[R|T]矩阵的计算，一方面要保证objectPoints的数值具有明确的物理意义，另一方面又要保证[R|T]矩阵计算的数值稳定性。之前已说过R矩阵中的数值都是(-1,1)之间的数，所以要求T向量的数值也应在(-1,1)之间，这其中最关键的就是tz。所以Halcon中要求标定板中的相关参数都以m为单位，这是因为实际标定过程中，无论是标定板尺寸、还是标定板距镜头的距离，都在1m以内，这样就可保证T向量的值都在(-1,1)之间。另外实测表明，标定板厚度，也就是参数objectPoints中各坐标点的z值不是必须精确给定的，赋予以远小于1的正数或赋0，对最终标定结果基本无影响。 注意，由于标定算法的数值计算精度要求很高，最好能使用64位浮点数来表示数值，因为其精度可达小数点后15位，这也是Halcon所使用的。而OpenCV相关算法使用32位浮点数来表示数值，其精度只有小数点后7位，是有可能存在算法计算精度问题的。 通过上述准则，我们就可以确定如何选择相机标定算法了。这里的图像中心是640和480，所以依然是使用OpenCV算法+圆点阵+OpenCV提取特征点的算法最佳。从算法层面分析，这主要归功于使用边缘轮廓+矩估计所提取的圆点阵的特征点坐标，具有最好的透视变换还原性。 另外，在Janne Heikkila and Olli Silven的 《A Four-step Camera Calibration Procedure with Implicit Image Correction》中，其说明相机标定算法能达到的理论精度为＜0.01pixel，但由于在实际操作中存在各种无法消除的误差，会导致真实误差要远大于理论精度。所以如果我们的最终标定误差<0.01乘以10=0.1个像素，都是完全可以接收的好的结果。还要将上述标定误差从像素换算到实际长度单位（这里是25/42*0.049≈0.03mm），其应该大于标定板的制造误差（这里是0.01mm），否则即使投影平均误差再低，也是没有意义的。 基于以上分析，在实际进行相机镜头标定时，为追求高精度，应在完全模拟真实使用的场景下（即相机光圈、焦距、镜头、工作距离、曝光时间都尽可能接近真实使用值），然后使用圆点阵标定板，按照上述标定用图像注意事项，采集超过20张标定图像，最后进行亚像素级的相机镜头标定。这样获得的结果不一定是真实的，但由于其高度的数据相似性，会使其在实际使用中，获得更小的标定后校正误差。

附上使用OpenCV+圆点阵校正的Python代码如下：

dirs = "D:\circles"
fns = os.listdir(dirs)
fns = [os.path.join(dirs,k) for k in fns]
CHECKERBOARD = (7,7)
objpoints = []
imgpoints = []
objp = np.zeros((1, CHECKERBOARD[0] * CHECKERBOARD[1], 3), np.float32)
objp[0,:,:2] = np.mgrid[0:CHECKERBOARD[0], 0:CHECKERBOARD[1]].T.reshape(-1, 2)
objp = objp * 0.025 # 真实世界坐标，单位m，Z轴坐标全为0

for fname in fns:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findCirclesGrid(gray, CHECKERBOARD) # 直接得到浮点数
    if ret == True:
        objpoints.append(objp)
        imgpoints.append(corners) # 对特征点坐标进行中心化不会改变最终的标定精度，因为标定板会出现在相机视野的各个角落，所以依然不会缩减该参数的取值范围 

# 给定初始化相机内参和镜头畸变参数
ini_camera = np.zeros((3,3), dtype=np.float32)
f = 12 # 12mm镜头
sx = 3.75*1e-3 # 像元3.75μm
fx = f / sx
ini_camera[0,0] = fx
ini_camera[1,1] = fx
ini_camera[0,2] = 1280/2 # 图像长1280
ini_camera[1,2] = 960/2 # 图像宽960
ini_camera[2,2] = 1
ini_dist = np.zeros((1,5), dtype=np.float32)
acc = 0.9985 # 对应0.15%的标称畸变水平
r2 = 1
ini_dist[0,0] = (acc-1) / r2 # -0.0015

# 只使用多项式畸变系数K1标定
flag = 0 | cv2.CALIB_USE_INTRINSIC_GUESS | cv2.CALIB_ZERO_TANGENT_DIST | cv2.CALIB_FIX_K2 | cv2.CALIB_FIX_K3
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], ini_camera, ini_dist, flags=flag)
# 使用5个多项式畸变系数标定
flag = 0 | cv2.CALIB_USE_INTRINSIC_GUESS
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], ini_camera, ini_dist, flags=flag)

以上就是关于工业镜头要讲的内容，欢迎大家对本文章进行补充和指正。

《Halcon机器视觉算法原理与编程实战》，北京大学出版社 《机器视觉算法与应用》，清华大学出版社 《海康机器视觉认证工程师官方资料》 《Handbook of Machine and Computer Vision——The Guide for Developers and Users》，Alexander Hornberg，Wiley OpenCV官方文档，https://opencv.org/ Matlab官方文档，https://ww2.mathworks.cn/help/vision/ug/evaluating-the-accuracy-of-single-camera-calibration.html Halcon官方文档，https://www.mvtec.com/doc/halcon/12/en/calibrate_cameras.html https://learnopencv.com/understanding-lens-distortion/