点击上方“”，选择加""或“”
重磅干货，第一时间送达AOI（automatically optical inspection）它是光学自动检测，顾名思义，是通过光学系统成像实现自动检测的手段。它是许多自动图像传感检测技术中的一种检测技术。如何获得准确、高质量的光学图像并处理核心技术点。
AOI电子元件集成度高、精细化程度高、检测速度高、效率高、检测零缺陷的发展需求是检测技术应运而生的背景。AOI检测的最大优点是节省人力，降低成本，提高生产效率，统一检测标准，消除人为因素的干扰，确保检测结果的稳定性、可重复性和准确性，及时发现产品不良，确保运输质量。在当今人工智能技术和大数据的发展和进步中，AOI检测不仅是一种检测设备，对大量不良结果进行分类统计，还能发现不良原因，在工艺改进和生产率提高中逐渐发挥着更重要的作用。因此，我们可以期待未来AOI在半导体和电子电路检测中，检测技术将发挥越来越重要的作用。
AOI检测原理是利用摄像技术将被检测对象的反射光强输出到定量的灰阶值中，通过与标准图像的灰阶值进行比较，分析判断缺陷并进行分类。与人工检查进行图像隐喻，AOI采用的普通LED或者特殊光源相当于人工检查时的自然光，AOI光学传感器和光学透镜相当于人眼，AOI图像处理与分析系统相当于人脑，即看与判。AOI检测的工作逻辑可分为四个阶段：图像采集阶段（光学扫描和数据采集）、数据处理阶段（数据分类和转换）、图像分析阶段（特征提取和模板比较）和缺陷报告阶段（缺陷大小类型分类等）。支持和实现AOI检测上述四个功能，AOI该设备的硬件系统包括四个部分：工作平台、成像系统、图像处理系统和电气系统。它是一种集机械、自动化、光学和软件于一体的自动化设备。
AOI图像采集系统主要包括三个部分：光电转换摄影系统、照明系统和控制系统。由于摄影获得的图像被用来与模板进行比较，因此获得的图像信息的准确性对检测结果非常重要。可以想象，如果图像采集器看不清楚或看不到被检测对象的特征点，则无法准确检测。
让我们逐一分析介绍光电转换摄影系统、照明系统和控制系统。
首先，光电转换摄影系统是指光电二极管设备和匹配的成像系统。它是获取图像的眼睛。其原理是光电二极管接收被测物体反射的光，光能转换产生电荷。转换后的电荷由光电传感器中的电子元件收集，并传输形成电压模拟信号。二极管吸收不同强度产生的模拟电压大小不同，模拟电压值转换为0-255值，反映了物体反射光的强度，从而达到识别不同被测物体的目的。
可分为光电转换器CCD（charge Coupling diode）和CMOS（ complementary metal oxide semiconductor )两种。由于生产工艺和设计不同，CCD与CMOS传感器的工作原理主要表现为数字电荷传输的不同方式，如下图所示，CCD采用硅基半导体加工工艺，设置垂直和水平移位寄存器，电极产生的电场将电荷链接传输到中央模数转换器。这种结构和设计难以集成许多光传感器单元，制造成本高，功耗大；CMOS采用无机半导体加工工艺，每个像素都设计了额外的电子电路，每个像素都可以定位而不需要CCD图像信息的读取速度远高于中等电荷移位设计CCD芯片、光晕、拖尾等过度曝光引起的非自然现象频率要低得多，价格和功耗比CCD光电转换器也很低，但其缺点是半导体工艺制造的像素单元存在许多缺陷，灵敏度存在一些问题。同时，为每个像素电子电路提供所需的额外空间不会被用作光敏区域。芯片表面的光敏区（定义为填充因子）小于CCD芯片。理论上，因此，可收集的图像信息光子数会减少，因此，CMOS光电转换元件一般需要与高亮度光源相匹配，噪比较大。
不论CCD还是CMOS结构，光电转换器单元是像素点，多个光电转换器排列形成矩阵形成图像传感器。测量图像传感器的性能主要包括分析度、尺寸或面积、灵敏度、信噪比等，其中分析度和尺寸是最重要的指标。当图像传感器拍摄被检测物体的图像时，光电转换器的尺寸越小，像素密度越小，物体就可以看到得越详细。因此，理论上，光电转换器件的像素数量应该越多越好。但像素数量的增加会增加制造成本，导致成品率的下降。因此，将光学透镜与光电转换器件相结合，可以在光电转换器件上放大被检测物体的小成像，也可以实现高分析检测效果，因此，实际AOI根据客户的需要配置检测设备。
近年来，CMOS半导体技术化的生产过程，加上其快速扫描和图像传输速度的优势，CMOS面部扫描图像传感器也被用于工业级AOI在检测设备中，线扫描逐渐形成CCD图像传感器和CMOS扫描图像传感器有两种主流技术。
下图为线扫面图像传感器工作例：
扫描图像传感器的扫描宽度方向只有一个像素，通过移动获得图像，没有自己的放大电路，噪音小，所有一般分析都更好。扫描过程中会多次收集被检测对象的同一位置信号，光电转换后的信号累积输出。因此，即使其中一个光电传感器有问题，也不会影响检查结果，但缺点是平台的运动精度非常高，收集区域应准确。
扫描图像采集器CMOS每个光电二极管都可以独立输出电压信号，因此，输出速度非常快，节省工作时间，因此，运动平台移动精度要求没有线扫描那么严格，但缺点是信号没有积分过程，检测对象反射光足够强，感光二极管问题会导致假点和误判，信号噪声也会相应增强。
近年来，自动光学检测设备的检测速度 （TACT time）提出了更高的要求。以色列奥宝要求。CMOS基于图像传感器的高图像信息独区和处理速度优势CMOS 在深入了解图像传感器的基础上，客制化开发了数据传输和帧频率高的面阵相机，系统解决了面阵问题CMOS传感器，光源以及同步性等系统问题，成功开发了基于面阵CMOS 图像传感器AOI检测系统克服了工业要求的工艺节拍CMOS图像传感器填充因子小，信噪比高，先天劣势，检测能力和各项指标得到业界认可。
除光电传感器外，AOI照明系统在图像采集过程中也非常重要。选择最佳光源的目的是确保被检测对象的特性与其他背景不同，包括光谱特性、光源颜色和色温特性。必须考虑高效、长寿命、高亮度、均匀光源。高亮度、均匀性好的光源可以提高信噪比，而长寿命、高效率可以提高设备的稳定性和工作负荷。
根据波长分类，照明光源可分为可见波长光源和特殊波长光源。可见波长光源是一般现代工业AOI检测设备中最常用的红绿蓝LED光源。特殊波长光源一般是指红外线或紫外线波长光源，一些特殊材料在可见光范围内吸收差异不大，灰阶变化不明显可考虑使用特殊波长光源，如使用高紫外线能量可刺激荧光材料原理，检测荧光发光特性物质微残留紫外线光源是一种更有效的手段，由于材料成分与红外光谱相对应的原理，红外光源对有机化合物残留缺陷检测无发光性质有很大的作用，甚至可以实现成分分析。在特殊光源中，利用偏振光与物体相互作用后的偏振变化，利用光学干扰原理的白光干扰（white light interferometry）应用于特定缺陷检测，如相应的相位差和光程差算相应的相位差和光程差，可以测量被测物体与参考物体的差异，分辨率和精度可以达到亚波长，测量三维物体的形状和高度AOI新的检测要求。(以下是侧光源和同轴光源的实例)
除波长参数外，光源的入射角度也是提高检测的重要参数。根据光源入射角度的不同，可分为同轴光源、侧光和背光。选择某一角度的光源是由光在被测物体表面散射特性之间的差异最大化决定的。同轴光源具有高密度、高亮度和均匀性，可突出物体表面不均匀，克服表面反射造成的干扰，主要用于检测物体平整光滑表面的碰撞、划痕、裂纹和异物。同轴光基本上是红色、绿色和蓝色的光源，也可以是不同波长光源的任何组合。侧光源与同轴光源的平行照射概念正好相反。低角度光源从很小的角度将光直接照射到被检测物体上。由于光的方向几乎与物体表面平行，物体表面高度的任何变化都会改变反射光到光电传感器的光路，从而突出变化，适用于有一定高度的缺陷物检测。当侧光源的角度和高度发生变化时，强反射表面（阳表面）和弱反射表面（阴表面）的角度和反射光强度会发生变化。它为检测结果的判断提供了丰富的信息。背光源的原理是利用被检测物体不同部位的光透射率差实现检测方法。硬件不同于其他光源。光源不同于光电传感器的一侧，而是放置在光电传感器的另一侧，接受被检测物体通过光的强度，适用于被检测物体的缺失部分。
以色列奥宝科基于对平板显示过程的深入了解CMOS扫描帧频率快的特点是对上述不同光源类型、强度和待检测面板的材料进行有针对性的调查，交叉确认各种扫描条件，不增加工作节种扫描条件，实现了极低的误检、极高的检测精度和准确性。
AOI图像采集的最后一个关键步骤是控制系统，光电传感器的FOV （视窗）有限，物体高速运动中准确地抓拍到清晰的图像，软硬件协调动作非常重要，如下图所示，当图像传感器与机台移动速度不匹配时造成图像的拉伸，收缩等变形，所以，载物移动平台XY方向移动与图像采集光电传感器的同步移动影响到数据的准确，要在固定光照，等间距下拍摄一幅清晰的图像，高精度的导轨，电机和运动控制程序是非常必要的。
数据处理阶段是图像的预处理阶段，是采集图像的加工处理过程，为图像比对提供准确可靠的图片信息，主要包含了背景噪音减少，图像增强和锐化等过程。图像背景噪音减小一般为图像的低通滤波平滑法，图像增强和锐化则是提高被检测特征的对比度，突出图像中需要关注的特征，忽略不需要关注的部分，方法是图像二值化处理，经过二值化处理的图像数据量明显减少，能凸显出需要关注的轮廓。
首先滤波的定义是将信号中特定波段频率滤除的操作，是抑制和防止干扰的一项重要措施。在AOI检测中，噪声是造成图像退化的因素之一，起因是AOI图像获取，传输过程中，外界杂散光，光电二极管电子噪声及温度，光源的不稳定不均匀，机械系统的抖动，传感器温度等原因导致，不可避免的使得图像因含有噪音而变得模糊。给图像识别，图像切割等后续处理工作带来了困难。因此，为了获得真实的图像信息，除去噪声的滤波处理必不可少。
滤波的过程简单说就是图像平滑技术，空域滤波与频域滤波是滤波经常采用的方法。具体讲空域滤波是一种邻域处理方法，通过直接在图像空间中对邻域内像素进行处理，达到平滑或锐化，图像空间中增强图像的某些特征或者减弱图像的某些特征。频域滤波指的是允许或者限制一定的频率成分通过。在数字图像处理中，线性滤波通常是利用滤波模板与图像的空域进行卷积来实现。滤波的方法很多，要达到好的使用效果和目的，必须对图像中的噪音类型有所了解，才能做到有的放矢。
空域滤波中邻域处理平滑的具体方法有均值，中值和K领域均值三种，合理性各有利弊。 均值滤波是采用邻域平均法，基本思想是对一个像素和他临近区域的全体像素取平均值，然后把这个计算出来的均值赋予给输出的图像的相应像素，实现图像的平滑处理。属于线性滤波。 中值滤波是把一个像素点邻域窗口内的所有像素点灰阶值的中间值作为该像素点的灰阶值，是基于排序统计理论的信号处理技术，对于随机噪声处理能力好，属于典型的非线性滤波技术。K邻域均值滤波技术是结合了中间值滤波和均值滤波的特点，主要思想是在待处理像素点邻域内，找到一像素灰阶值最接近的K个像素点，计算这K个像素点灰阶均值来代替原像素点的灰阶值，对于孤立不规则的像素点起到很好的滤波作用。
图像的平滑除了在空间域中进行外，也可以在频率域中进行。频域滤波简单说就是在频域里，采用简单平均法求频谱的直流分量。可以构造一个低通滤波器，使低频分量顺利通过而有效地阻于高频分量，再经过反变换来取得平滑的图像。频域滤波可以分为高斯滤波，巴特沃斯滤波，梯形滤波等。由于噪声主要集中在高频部分，阻挡高频率噪声处理后就可达到平滑图像的目的。
除图像平滑处理外，图像增强处理也是图像预处理的常用方法，分为频域和空域两种。频域增强是在图像的变换域上对图像进行运算，然后再将计算后的图像进行逆向变换转到空间域。空域增强则是直接在空域对图像的像素进行运算处理，常见的是直方图处理和灰阶变化。空域增强的方法主要是直方图法，还有差影法和灰度变化法。
图像直方图（HE， Histogram Equalization）指图像中任意一个像素分布在某灰阶等级上的概率密度，反映出各个灰阶的分布概率，是一种经典的统计性质的图像增强处理法，用于增强动态范围偏小的图像反差，图像整体对比度得到明显增强。当选取合适的阈值做削波处理后，将有图像传感器产生的灰阶图像中低于该灰阶的部分与高于该灰阶的部分做绝对黑白灰阶处理，对比度得到大大增强，有利于缺陷的观察与判定。
合适阈值消波是根据不同应用场合有不同的阈值取值方法。二值化是最简单的处理方法，就是包像素点的灰阶值定义为0和255两种极端值，这样就可以让整个图像有突出的黑白效果，给图像设定适当的阈值，经过二值化处理后的图像数据量明显变少。此外还有全局阈值法，最小偏态法和自适应阈值等，全局阈值法是根据整个图像的灰阶值范围来决定，就是取灰阶平均值阈值作为唯一的阈值进行二值化处理，有时取整个图像的灰阶值的直方图，进而确定合适的阈值，一般情况下选择两个波峰之间的波谷最低位置作为图像二值化处理的阈值。
关于最小偏态法，是随机样本的数据平均值是样品的一阶统计距，衡量数据的平均值，样本的方差是样本的二阶统计中心距，用来衡量数据的离散程度，偏态是样本的三阶统计距，用来衡量数据的正太分布。当阈值取得合理时，被阈值划分后的背景与物体的灰阶值分布就会最接近正太分布。自适应阈值分割法，是加入了学习的方法，能够根据图像的不同，选择最优化的阈值。
直方图细分为直方图拉伸法和直方图均衡法，直方图拉伸法是通过对比度拉伸来调整直方图，进而增强前后景物的灰阶差实现增强效果；直方图均衡法是领用累积函数来修正灰阶值从而达到对比度增强的目的。直方图某种意思上也是图像分割的手段。直方图增强属于间接对比度增强方法，
差影处理法是将图像的背景去除来强化图像中新增加元素的差影处理手段。将标准图像部分与检测图像部分做差影处理，通过设定临界阈值也可以将图像中的缺陷部分找寻出来，是直方图二值化的另外一种表现形式 属于直接对比增强方法。
灰度变换法，灰阶变化是解决过度曝光或曝光不足而导致图像的灰阶值分布不均匀的问题，通过灰度变换包图像的灰度再一次均匀化来达到图像增强对比的效果，扩大了动态灰阶范围，突出图像的特征。
图像锐化处理是指补偿不清楚图像的轮廓，增强灰阶跳变的部分和图像的边缘， 因为图像平滑处理的同时也会破坏图像的边界轮廓，使得边界变得模糊。图像平滑的过程是一个积分或平均值的计算，因此，锐化就是其反方向的微分运算，具体方法有拉普拉斯算子，微分算子和Sobel算子。 拉普拉斯算子是欧几里得空间的一个二阶微分算子，表示为梯度的散度，在图像处理中被用于线性锐化滤波器使用。微分算子的物理意义，微分标识一个物理量的变化快慢，图像处理中微分预算的值愈大说明区域灰阶值的变化与快，边缘就会越突出。Sobel算子会产生一个相应的梯度矢量，包含了两组3X3的矩阵，横向与纵向。边缘模糊是图像中的高频分量被衰减，所以，采用高通滤波方法就可以让图像边缘清楚化。
关于频域增强方法是通过改变图像中不同频率分量来实现的，不同的滤波器滤除的频率和保留的保留的频率不同，可获得不同的增强效果，其方法步骤分为先将图像从图像空间转换到频域空间，如傅里叶变化，然后在频域空间对图像增强，如玉频率滤波器相乘， 最后增强后的图像再从频域空间转化到图像空间，做傅里叶的反变换。
图像分析阶段就是将图像中包含的边，角和区域等拥有独有属性的特征，使用数学手段通过编程实现图像属性的量化表达。进而进行图像的分割后比对完成分析处理。
边缘的表现形式是组成两个图像区域之间边界（或边缘）的像素。 表现为局部一维结构。实践中边缘一般被定义为图像中拥有大的梯度的点组成的子集，可以认为灰阶相同点的集合。角是图像中点的特征，在局部它有两维结构，现在的主流算法是直接在图像梯度中寻找高度曲率，可以在图像中本来没有角的地方发现具有同角一样的特征的区域。区域的表现形式是面形式的区域结构，区域的大小可能仅由一个像素组成，也可能是一个比较多的像素组成的面，如果面积比较大，则体现的形式即是灰阶值相同的区域。
特征提取的方法主要是HOG，LBP和HAAR三种主要手段，HOG （Histogram of Oriented Gradient）方向梯度直方分布图，它的大致做法是将归一化的图像分割为若干小块，再在每一小块内进行亮度梯度的直方统计，最后将所有区块的亮度梯度的直方统计串联起来，就构成图像的HOG特征；LBP（Local Binary Patterns）即局部二值模式，它通过遍历图像，将每一个像素点周围的像素与其相比较，比较值大于等于为1，比较值小于为0，得出四周的二值将这些二值连起来得到一个二进制的数，转换为10进制之后变为该像素的LBP值，所以LBP特征维度大小是和原图一样大的（边缘部分会做特殊处理）。Haar特征起初是用于人脸表示。它包括了三类特征边缘特征的线性，中心和对角线特征，组合成特征模板。特征模板内有白色和黑色两种矩形，该模板的特征值为白色矩形像素和减去黑色矩形像素和。Haar特征值反映了图像的灰度变化情况。
图像分割主要有两种方法：一是鉴于度量空间的灰度阈值分割法。它是根据图像灰度直方图来决定图像空间域像素聚类，但它只利用了图像灰度特征，并没有利用图像中的其它有用信息，使得分割结果对噪声十分敏感。二是空间域区域增长分割方法。它是对在某种意义上如灰度级、组织、梯度等具有相似性质的像素连通集构成分割区域。该方法有很好的分割效果，但缺点是运算复杂，处理速度慢。其它的方法还有如边缘追踪法、锥体图像数据结构法、标记松弛迭代法、基于知识的分割方法等等。
特征提取后进入图像分析阶段的逻辑比较阶段，主要包含了模板匹配和模式分析二个方面。模板匹配就是先设定已知模板，已知模板是AOI检测中没有缺陷的实物影像或最小重复单元影像，通常情况下PCBAOI检测中以实物影像为已知模板，FPD AOI检测中则是最小重复单元。将采集到的图像与模板影像进行重合比对，然后平移到下一个单元进行同样比对，出现灰阶有差异的部分就被怀疑为缺陷，这里我们给灰阶差异设定一个阈值，当灰阶差超过设定阈值后，就被判定为真正的缺陷。从细节上讲，阈值的设定过于严格出现误判的概率就会增加，而阈值设定过于宽松漏检出的概率就会增加，因此，被检测物体的特征提取可以提高比对的对位精度，进而对检测结果起到了决定性的作用。
此外，缺陷部分是否上报时，系统算法主要有增加比对次数和范围（Multi check）。增加对比次数，也就是比对的维度从一维扩展到二维，甚至三维。以下图为例，当要判定红色单元是否为缺陷时，通常的算法是纵向或横向的一维比较，随着算法的逻辑关系的不断优化，先进行纵向重复模板对比，再增加横向，对角线，甚至更外围的模板比较，可以大大提高检测结果的准确度。
此外，模板比较时即便进行了多次数比较，仍有不容易判定的情况，这时可以追加多重判定算法，以下图为例，例如一种光源检测时所得到的信息往往是有限的，将多种光源扫描的信息合并在一起综合判定，会进一步提高判定的准确性。其中，典型的多角度判定方法之一是多重阈值设定模式（MTS：multi Thresholds system），针对不同缺陷物质的特性对不同波长光的敏感度不同分别设定阈值，一般采集不同光学波长下的灰阶值，并追加三者之间判定的逻辑关系达到提高检出正确性。在实际应用中，将以上方法相结合，通过对采集图像进行预处理去噪，对影响增强，进行多重逻辑关系判定可以达到很好的效果。
随着现代电子产品的高精细化发展，微小缺陷的检出要求越来越高，提高图像传感器解析度是一种比较直接的选择，对细微缺陷点，线宽有更强识别能力，但检测能力提升的同时，也必须考虑到设备成本问题，IP（image processor）处理量大，数据处理能力要求高，甚至出现影响产能等负面问题，因此，不会单独提高硬件成本，搭配合适的光源，提高后台算法逻辑对同一缺陷进行复判是各AOI公司重点研发的方向。
在「」公众号后台回复：即可下载全网第一份OpenCV扩展模块教程中文版，涵盖等二十多章内容。
在「」公众号后台回复：即可下载包括等31个视觉实战项目，助力快速学校计算机视觉。
在「」公众号后台回复：即可下载含有个基于实现20个，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。在群内发送广告，否则会请出群，谢谢理解~
