1

在过去的30年里，由于对提高产品质量的需求不断增加，工具状态监测和自动制造技术的发展正在并行发展。由于机器视觉系统、计算硬件和非触觉应用的改进，工具状态监测数字图像处理技术的进步是一个重要的研究兴趣。本文回顾了数字图像处理技术在工具状态监测中的发展，最终得出了该领域所需系统研究的结论。

图像采集是任何机器视觉系统的第一步。在TCM在这种情况下，面或后刀面)或工件表面的图像应使用CCD(带电耦合装置)相机或CMOS数码相机捕获(互补金属氧化物半导体)。CCD相机由CCD传感器组成，CCD传感器是收集吸收光子产生的电荷的一组光敏元件。然后将这些电荷转换为电信号，然后通过帧收集器将其转换为数字图像。最后，图像被传输PC处理[50]。CMOS与CCD传感器的区别在于捕获速度更快。CMOS可以比较传感器CCD相机更快地获取帧。但是CMOS传感器的灵敏度远低于CCD传感器。要创建数字图像，需要从连续感知到的数据转换为数字形式。这涉及两个过程：采样和量化。数字化的坐标值和幅度值称为采样和量化。通过线性插值、三次插值、三次卷积插值等方式实现图像放大。还需要不同类型的邻域运算[41]进一步处理。

切削刀具的使用寿命主要有两种磨损机制：侧面磨损和月牙洼磨损。侧面磨损发生在工具的后刀面，主要归因于工具在加工表面上的摩擦作用。刀具的前刀面会发生坑口磨损，从而改变切屑-刀具界面，从而影响切削过程。加工期间刀具磨损逐渐增加。这取决于工具材料的类型，切削条件和润滑剂已选择。通过机器视觉系统拍摄切削刀具的图像后，正在通过图像处理对刀具磨损进行在线测量。该技术属于直接工具状态监视领域。侧面磨损可以通过捕获切削刀具的图像直接确定，但是需要更复杂的技术来确定弹坑深度[59]。在以下各节中描述的各种研究中，已通过二维和三维技术测量了刀具的磨损。

侧面磨损是通过二维技术确定的。Kurada和Bradley [74]回顾了机器视觉传感器的进展，这些传感器用于获取有关切削工具和加工零件的信息。他们比较了近十年来机器视觉技术的进步。他们强调实验室水平的发展。

Kurada和Bradley [73]通过使用两个光纤导光灯和CCD摄像机捕获刀具侧面磨损的图像，为直接刀具状态监测做了开创性工作。调节两个灯以照亮工具侧面磨损区域。他们首先在水平和垂直两个方面对图像进行了校准，以将像素单位转换为长度单位（微米）。在他们的工作中，他们逐步使用基于纹理的图像分割技术，包括图像增强（使用级联中值滤波器）以减少噪声，图像分割以从背景提取侧面磨损区域（使用方差算子），全局阈值化，通过形态学操作（气泡分析）和侧面磨损计算（通过边界和区域描述符）。但是，他们使用视频变焦显微镜离线进行了尝试。

如果使用离线技术，则必须始终将切削刀片或切削工具从机床上脱开。因此，这是非常耗时的并且对于切割工具的正确对准可能是错误的。因此，Weis [132]进行了开创性的工作，以捕获铣削刀片的刀具磨损区域，而无需将刀片与刀架脱离。此外，在图像采集时，借助红外滤光片，工具的磨损区域得到了增强，背景也逐渐淡出。二极管闪光灯也已与CCD相机同步，以捕获理想的刀具磨损区域。侧面已应用膨胀和二值运算用于测量侧面磨损宽度的图像。它们主要是为精确在线捕获工具磨损图像的照明系统的重要性。然而，其技术中的图像处理方法已被赋予第二优先权。Tauno和Lembit [120]开发了一种用于检测侧面磨损的软件，该软件使用非线性中值滤波器消除噪声，并使用Roberts滤波器算子进行边缘检测。该系统提供了表面积，平均磨损区长度和侧面磨损轮廓周长的自动测量。但是，他们的方法不能用于全自动测量。菲佛和威格斯[99]带有不同入射角的环形光的工具刀片的捕获图像。然后，他们比较了那些捕获的图像，并减少了即使是复杂切削刃的不均匀照明问题。但是，他们没有针对不同的磨损条件检查技术。Sortino [116]通过使用新的彩色图像边缘检测方法开发了侧面磨损测量软件。在这种统计滤波方法中，将像素的邻近像素视为一个集合，并已针对每种基本颜色（红色，绿色，蓝色）计算了每个集合的平均值和标准偏差。然后，比较参数，Δ边缘是从设置参数（即平均值和标准偏差）演变而来的。最终，对于较高的Δ边缘值正确地检测到了边缘，并确定了切削刃，磨损区与氧化区之间的边界线，氧化区与刀具表面之间的边界线。但是，由于分辨率为 10μm ，因此该磨损测量系统的精度因侧面磨损宽度低而受到限制。[58]使用结构化照明的镜面反射，通过使用线条的投影来确定刀片前刀面或侧面的深度和皱纹，从而对插入件表面的外观和特征进行了表征。但是这种方法需要非常复杂和昂贵的图像采集设置。而且该方法没有使用任何三维模型来显示凹坑的深度轮廓，这种方法也无助于测量带槽刀片的凹坑深度。Wang等。[131]开发了一个自动系统，用于捕获和处理移动刀片的连续图像，以使用连续图像对之间的互相关技术来测量铣削时的后刀面磨损。他们开发的方法是使用新颖的并行扫描技术去除噪声的可靠技术。但是，该方法是阈值相关的方法，其中测量的精度取决于所选的阈值，并且由于照明和涂料之间的不良相互作用，该方法对于测量涂层的硬质合金刀片并不是很有用。。为了恢复阈值对测量精度的限制，他们采用了基于矩不变性的另一种技术来选择侧面磨损轮廓的确切底部，与 从显微镜获得的测量值相比，误差最大为15μm，最小为3μm[ 128]，[129]，[130]。他们还成功地测量了涂层硬质合金刀片的侧面磨损。尽管此系统与阈值无关，但它取决于确定侧面磨损宽度的参考线的精度。该方法的计算时间为2 秒，这对于实时测量来说根本不可行。法达雷和奥妮[35]，使用插入图像评估侧面磨损和缺口磨损。首先通过Weiner过滤对工具插入图像进行过滤。长度，宽度，面积，等效直径，质心，长轴长度，短轴长度，坚固性，偏心率和方向是所提取的磨损指标。他们借助两个白炽灯光源在暗室中拍摄了工具插入图像。显微镜和视觉系统之间的最大测量绝对差为3.13％。还从提取的磨损描述符中得出了总体工具磨损指标，即工具磨损指数（TWI），这是高度可靠的工具磨损指标。Fadare的工作获得了非常好的系统变化。但是，C / C ++编程语言可以提供比MATLAB更快的结果，并且可以用于实时应用。为了在工业环境中实现其方法，需要更好的照明条件，例如光纤导光或扩散环形光。梁等。[83]利用基于图像配准和互信息的方法来识别TiN涂层，TiCN涂层和TiAlN涂层硬质合金铣削刀片的刀尖半径变化，以进行渐进式铣削操作。他们还使用相似性指标来描述鼻半径。但是，他们的方法对于测量月牙洼和后刀面磨损非常困难。Sahabi和Ratnam [109]从切削刀具刀尖的轮廓图像在线测量了车削刀片的刀尖半径。他们利用中值滤波和Weiner滤波来减少图像噪声。进行形态学操作以减少微尘颗粒产生的噪声；使用一致性方法来减少未对准错误; 应用已磨损和未磨损工具的阈值和减法来测量鼻部磨损区域。他们使用该技术以各种切削速度进行车削。但是，他们没有量化侧面磨损宽度。为了改进他们的方法，在靠近切削刀具的刀尖的区域中测量侧面磨损宽度，他们在线使用了机器视觉系统，从而利用刀尖半径和加工的表面粗糙度轮廓信息在线进行车削操作[108]。他们通过他们的方法确定的后刀面磨损和通过使用工具制造商的显微镜测量的后刀面磨损，分别从刀头半径和表面粗糙度轮廓上获得了7.7％和5.5％的平均偏差。但是，它们的方法很难在低进给率的超精密加工中实现。

Kim等。[70]已经开发出了一种用于固定照相机和照明系统的磁性夹具，以实现对四刃立铣刀的侧面磨损进行机床测量的目的。他们比较了使用带有新型夹具的显微镜和CCD相机进行测量的信噪比。他们将光纤导向照明系统插入镜头以进一步改进。但是，这项工作更倾向于测量系统而不是图像处理技术。

Kerr等。[68]利用四种不同的纹理分析技术，即基于直方图的处理，灰度共现技术，基于频域的技术和分形方法来分析车削和铣削刀片磨损区域的纹理。他们通过频域或傅立叶频谱分析技术获得了最佳结果，因为该技术是位置和光照不变的。但是，他们已经捕获了车削刀片的刀尖部分，而不是侧面部分，这不是标准做法。杰克逊等。[49]提出了一种用于精确边缘检测算法的新技术。利用神经网络技术进行刀具磨损检测。他们利用了四 刃高速钢铣刀的侧面磨损图像的扫描电子显微镜图像。但是，他们没有使用CCD或CMOS相机进行任何在线监视。

Lanzetta [76]提出了一种自动化且灵活的基于视觉的传感器系统，该系统结合了工具磨损的测量和分类。他们的传感器的分辨率为 40μm/像素。但是，可能需要在不同的切割条件下进行几次测试才能建立该技术。他的研究尚未解决用断屑器测量切削刀片，灰尘，油屑在刀片表面上产生的噪声影响的问题。Schmitt等。[112]开发了一种灵活且自动化的工具侧面磨损测量系统，该系统结合了环形照明器和CCD摄像头，可以捕获并处理切削刀片的侧面磨损部分的全照和侧面照像。主切削刃检测和切削刃拐角检测需要完整的照明图像，而侧面照明则用于侧面磨损轮廓分割和磨损测量。他们应用了感兴趣区域的选择，Sobel滤波技术来增强切削刃的边缘，形态学上的开合以减少增强的噪声以及线插补来在全光照图像上获得准确的切削刃。他们应用了线性变换直方图可以使磨损区域变亮；阈值化和形态学打开和关闭以消除噪声；斑点分析，用于检测磨损轮廓之外的斑点；动态感兴趣区域（ROI）的创建，以检测轮廓检测的最佳初始点，并在侧面照明图像上使用蛇形算法进行轮廓检测。然后，他们在 使用棋盘图案校准视觉系统后，以4.4μm的分辨率测量了平均侧面磨损宽度和最大侧面磨损宽度。尽管他们的系统非常准确，但是他们的工作并未强调计算时间。Stemmer等。[117]运用神经网络分类技术通过图像处理对切削工具的侧面磨损和破损进行了分类，误差为4％。他们通过机器视觉系统观察到，后刀面磨损具有更锐利和明亮的质感，而工具的断裂则由光滑且粗糙的质感组成。基于这种现象，他们使用Canny边缘检测和线插值，预过滤和斑点分析，通过蛇形算法进行的主动轮廓检测，磨损，对磨损的类型进行了分类，并自动测量了侧面磨损区域，最大和平均侧面磨损宽度。分类和测量，分辨率为4.4 μm/像素。但是，对于各种不同的切削刀具，切屑，月牙洼磨损，缺口磨损和鼻部磨损并未按其技术分类。Castejón等人提出了一种更快的分类方法。[18]，[13] 。他们通过对9个几何特征的判别分析来估计工具刀片的不同磨损水平（低，中，高），并通过Fowlkes-Mallows指数进行评估，并且Zernike，Legendre，Hu，Taubin和Flusser不变矩分别为用于在二值图像中表征侧面磨损区域的磨损区域的形状对三个磨损等级进行分类。低，中，高磨损。人们发现胡叙词是他们作品中最好的。但是，通过处理加工后的表面图像，此技术对于间接监视技术可能更为简单和有用。Alegre等。[6]基于侧面磨损轮廓的二值图像的轮廓特征，计算了平均和最大侧面磨损宽度。轮廓签名是一个向量，其元素是轮廓的质心和边界像素点之间的距离。元素的数量可以由用户选择。他们选择了40和100个元素，并在此基础上使用k近邻（k-NN）分类和多层感知器对车削实验中使用的低磨损和高磨损刀片进行了分类神经网络（MLPNN）分类。最后，他们得出结论，通过使用MLPNN，平均齿腹磨损宽度和40个元素特征（最小误差为5.1％），磨损分类结果最好。但是，该分类仅基于两类磨损，并且在其工作中尚未完成系统校准。

Atli等。[11]开发了一种新的测量方法，即DEFROL（与线性的偏差），用于根据图像对尖锐和钝化钻具进行分类。然而，由于磨损效应，已经着重于切削刃的尖角和线性偏差的变化，但是在这种技术中，尚未对侧面磨损进行任何研究。因此，该技术不适用于测量在标准实践（ISO 3685）中用于定义刀具寿命的后刀面磨损[48]。Makki等。[86]实时捕获了100时的钻头图像 rpm旋转。然后，他们通过边缘检测和精确分割技术处理那些捕获的图像，以找出刀具磨损（仅唇部的偏差）和刀具在图像平面中的跳动。但是，通过其技术无法测量侧面磨损和垂直于像平面的刀具偏出。

Liang and Chiou [82]通过图像处理介绍了多层涂层麻花钻的侧面磨损测量技术。他们已使用具有亚像素精度的空间矩边缘检测器在切割平面上检测了磨损轮廓的边缘，并使用B样条技术对边缘进行了平滑处理。之后，他们应用了高斯低通滤波技术对曲率曲线进行平滑处理，最后应用了统计过程控制措施来选择准确的阈值，以提取出准确的磨损轮廓，以精确地测量最大侧面磨损宽度。为了改善用于微加工的麻花钻的磨损测量技术，Su等人。[118]研究了 使用数字图像处理技术在直径为0.2毫米的微型钻中测量10层PCB（印刷电路板）的侧面磨损的可行性。他们借助自动边缘检测算法 在1 s内以0.996μm /像素的分辨率切割平面分割，测量了磨损面积，平均磨损高度和最大磨损高度。该技术的优点是可以自动检测参考线和微钻的磨损轮廓，而与对象的位置无关。但是，此技术仅在切割平面图像更清晰或没有出现拖影时才有用。区分切割平面的涂抹部分和微钻的间隙部分存在问题。为了克服这个问题，Duan等人。[30]已应用基于水平集的技术对微型钻头的切割平面进行精确分割。他们将分割后的图像和阈值图像融合在一起，以获得准确的结果。他们还观察到，由于用于PCB制造的微型钻头的磨损，面积，宽度和长度发生了重大变化。但是，他们提出了减少计算时间的未来范围。熊等。[135]也使用了基于变分水平集的方法，因为它不需要重新初始化零水平集功能来精确分割用于铣削操作的切削刀片的磨损轮廓。他们通过这种方法测量了工具的磨损面积。但是，在他们的研究中缺少侧面磨损宽度的测量。

Otieno等。[96]，研究了两个带凹槽的微型立铣刀的侧面磨损，这些铣刀的直径分别为1 mm，0.625 mm和0.25 mm，采用数字图像处理技术，使用XOR运算符进行滤波和阈值处理。但是没有进行任何边缘检测，工具磨损量化和磨损分类。

井上等。[47]提出了一种通用方法，即通过边缘检测（由Prewitt算子）检测棒状切削刀具中的缺陷，并在对边缘检测到的图像执行离散傅里叶变换（DFT）之后提取图像参数。但是，此系统无法识别许多未研究的缺陷。

杰克逊等。[49]利用神经图像处理方法对工具的环境扫描电子显微镜（ESEM）图像上的非常小直径铣刀开发的非常小的磨损进行精确检测。他们甚至测量了 在9.5 毫米直径铣刀上产生的5μm的平均磨损。尽管此技术对于微加工非常有用，但是该方法很难在线使用。

磨粒中的主要磨损是三种类型的晶粒断裂，粘结断裂和磨损。由于极高的磨损，在砂轮表面上形成了磨损平面。因此，磨损平面面积的增加率会产生热量并烧毁工件。但是，从车轮表面图像上自动准确地划分出真正的磨损平面是一项非常具有挑战性的任务。阈值化之后的边缘检测方法被用来区分真正的磨损平面和背景[138]。但是，准确选择强度阈值和边缘阈值是一项艰巨的任务。为了克服这个问题，Lachance等人。[75]利用区域生长方法从背景中分割出真正的耐磨平底鞋。但是，可以使用某些形态技术来更精确地计算磨损平坦区域。Heger和Pandit [43]通过多方向照明和图像融合捕获了砂轮表面的图像，以获得更详细的信息。然后，他们利用多尺度小波变换和分类技术来区分表面上的晶粒和空腔。Arunachalam和Ramamoorthy [10]建立了一种新的方法来逐渐区分新鲜和磨损的砂轮。他们提取了一些纹理描述符用基于直方图，基于GLCM和基于分形的纹理分析方法描述在不同渐进时间拍摄的砂轮表面图像的砂轮表面状况。但是，没有遇到关于所选特征随渐进磨损的变化的解释。

在集成电路（IC）制造领域，Kashiwagi等人实时监控了冲压工具或切削粉尘的表面。[62] 。他们捕获了切屑的表面图像，并通过图像直方图和互相关技术确定了刻线的宽度。他们观察到宽度随着切削时间的增加或刀具清晰度的降低而减小。

三维测量技术用于精确测量坑深。羊和权[137] ，[136]第一次使用配备有CCD传感器的显微镜来捕获噪声图像的磨损工具刀片的前刀面和通过自动聚焦技术测量火山口的深度在不同水平的磨损。他们使用了图像合并和中值滤波去除高频噪声而不会使前脸图像模糊。然后，他们针对从背景中分割磨损区域的最佳阈值进行了检测，并使用拉普拉斯算子方法检测了坑口轮廓。结合了八个邻域链编码的边缘链接和扩张方法已应用于该轮廓上，以获得准确的环形坑区域形状。结合了无限脉冲响应（IIR）滤波器的拉普拉斯准则函数已用于获取沿z方向的聚焦位置。该方法利用多项式插值和黄金搜索技术的混合搜索算法来提高自动聚焦技术的准确性。这样，他们测量了火山口的深度。他们使用了七个特征（四个与侧面磨损有关，三个与陨石坑磨损有关）对侧面磨损，陨石坑磨损，碎裂和断裂进行了分类。在他们的工作中引入了数学模型，以从月牙洼磨损轮廓获得侧面磨损轮廓。然后，他们在多层感知器（MLP）神经网络中选择了12个输入节点（每个节点包含七个特征参数）和4个输出节点（后刀面磨损，月牙洼磨损，碎裂和断裂）以对四种磨损类型进行分类。所有测试均在P20上完成 多层感知器（MLP）神经网络中的碎裂和断裂）来分类四种磨损类型。所有测试均在P20上完成 多层感知器（MLP）神经网络中的碎裂和断裂）来分类四种磨损类型。所有测试均在P20上完成不带断屑槽的硬质合金刀具刀片。尽管这项工作非常精确地开创了火山口深度测量的先河，但是火山口区域的3D地图尚未通过这种离线技术进行评估。而且，由于前刀面的起伏较大，可能难以将其技术用于带有断屑槽的刀片。Ramamoorthy及其同事[61]， [100]仅通过一台CCD照相机就使用了具有立体视觉技术的图像处理来确定陨石坑中每个点的深度。然后使用MLPNN算法分析刀具磨损模式的趋势，其中输入为速度，进给，切削深度和切削时间，而输出参数为侧面磨损宽度和弹坑深度。但是，火山口深度估计小于125 通过该技术无法准确获得μm。此外，还需要一些预处理算法来消除前刀面上的灰尘，切屑，油等产生的噪音，以使该方法可以在线使用。

Ng and Moon [93]提出了一种 通过以 15μm的分辨率改变刀具和相机平面距离来捕获图像，从而对微型铣削刀具（直径50μm）进行3D测量刀具磨损的技术。然后，他们使用数字焦点测量从捕获的图像中重建了3D图像。最后，他们提出可以通过将工具的实际3D图像和3D CAD模型相结合来进行工具磨损测量。但是，他们的工作没有进行深度测量。

Devillez等。[24]利用白光干涉测量技术来测量弹坑的磨损深度，并确定最佳切削条件（切削速度和进给速度），以便在具有未涂层硬质合金刀片的42CrMo4钢进行正交干车削时获得最佳的表面光洁度。在白光干涉测量技术中，已经执行了垂直扫描以获得对于要测量的对象中呈现的每个点的最佳聚焦位置。白光用于在较宽的区域上获得高分辨率（亚纳米）和高精度测量。然而，该技术是离线技术，并且对于该技术而言，带凹槽的刀片或带有断屑器的刀片的凹坑深度的测量是相当具有挑战性的。道森和库尔菲斯[22]使用计算计量技术确定了带涂层和未涂层​​的立方氮化硼（CBN）工具的侧面磨损和月牙洼磨损率，用于离线监测磨损。他们已经通过使用白光干涉仪获取了磨损的切削刀片的数据，并通过将这些数据与使用计算计量学开发的新鲜刀片的CAD模型进行比较，计算了刀片的体积减少量。然而，在他们的技术中没有使用带凹槽的刀片。Wang等。[128]，[129]，[130]，[131]测量各种参数，即。坑深度，坑宽度，坑中心和坑磨损的坑前距离，这是通过捕获具有四个相移角的四个条纹图案来重建3D坑轮廓来实现的。与白色干涉测量技术不同，此方法不需要扫描。但是，测量精度取决于条纹宽度或条纹图案。

表1总结了数字图像处理在直接刀具磨损监测中的应用。

因此，在直接技术中，状态分析是通过分析切削刀具的几何形状变化来完成的。观察切削刀具时不会考虑颤动，振动，切削力变化等，而表面光洁度可以强调这些变化以及刀具几何形状的变化。因此，研究人员将通过使用加工过的表面图像的图像处理的间接TCM技术进行表面光洁度的测量。

各种特性在金属零件的表面光洁度中起着重要作用，例如机械强度，表面的耐磨性或零件的几何和尺寸质量。这些特性与表面光洁度直接相关，而表面光洁度取决于制造工艺参数和所用材料。因此，在过去的六十年中，机械加工领域对表面光洁度的测量一直是一个特别感兴趣的研究课题。有触觉和非触觉技术来评估加工零件的表面质量。在触觉技术中，表面粗糙度参数使用触控笔测量；而在非触觉方法中，表面粗糙度参数是从机加工表面纹理的图像中获得的。但是由于触笔在可测量的表面上的跟踪，因此在触觉技术中可能会在软性材料上产生划痕。由于计算机视觉技术的进步，非触觉技术正变得越来越有优势。触觉技术可以表征零件表面上的线性轨迹，而计算机视觉技术可以表征零件表面的整个区域，从而提供更多信息[8]， [111]， [113]。此外，计算机视觉技术可以更快地采取措施，因为几乎可以立即捕获图像，因此可以在机器中实现。据此，可以将这些技术应用于自主地实时控制过程。还可以对生产的每个零件进行详尽的有效性检查。传感技术，特别是视觉传感器的性能不断提高，而视觉传感器的功能得到了特别的增强，而成本却更低。图像处理技术的进步也提供了比以前更可靠的解决方案。总而言之，计算机视觉对于工业环境是非常有用的非侵入性技术。这些系统在加工过程中的其他监视操作中的使用已证明[5]，[18]大大减少了周期时间和资源。在这一领域，应该指出两个准则：在空间领域和频率领域的研究[56]，[133]。使用图像处理的间接工具状态监控可以从加工的表面纹理图像中提取表面粗糙度描述符。从加工表面的图像监视工具状态的技术主要有两种：在线和离线。在线方法是使用CCD或CMOS相机捕获刚加工的表面的图像。在线技术主要用于长而重的零件。在离线方法中，表面图像是在完成许多组件后拍摄的。通常，小型轻量零件是使用离线技术进行测量的。以下各节将讨论一些有关在线和离线方法的研究。