A Fast Detection Method via Region-Based Fully Convolutional Neural Networks for Shield Tunnel Lining Defects
盾构隧道衬砌缺陷快速检测方法基于区域全卷积神经网络
//2022.7.19日下午13:29开始阅读笔记
本文首先提出了以FCN基于网络的分类框架对隧道内部图像进行分类，并提出框架和AlexNet和GoogLeNet对比性能，结果表明，本文提出的模型性能较好。
然后，使用基于第一个分类框架获得的特征图R-FCN网络并使用RPN位置敏感RoI网络检测特征缺陷。
同时，在本文的总结部分，作者评价了提到的模型的检测率、检测率和精度，并取得了良好的效果。
本文还创建了具有5类缺陷的隧道内表面数据集。
A Fast Detection Method via Region‐Based Fully Convolutional Neural Networks for Shield Tunnel Lining Defects | Computer-Aided Civil and Infrastructure Engineering (acm.org)
本文提出了一种分类缺陷的方法FCN网络架构，模型和VGG/GoogLeNet比较性能。
对于缺陷检测，使用FCN从大规模图像中提取特征，然后使用RPN网络和位置敏感RoI检测网络。
评价模型采用检测率、检测精度、检测效率和定位精度FasterRCNN对比框架，结果表明文中提出的模型效率快，准确性高。
城市地铁最突出的缺陷是裂缝和渗漏。
一些机器学习方法用于检测隧道内的缺陷，如：基于线阵电荷耦合器（CCD）用于检测结构裂纹的自动裂纹检测系统（Yu等人，2007)；互补金属氧化物半导体（CMOS）工业摄像机也用于机器视觉检测缺陷(张等人，2014)；
存在的问题：如何有效地分析和定位缺陷。
各种图像处理技术也用于缺陷检测，个步骤：
-
图像对比度增强；
-
数学形态学处理；
-
提取线性滤波器的信息；
其它机器学习方法，如：ANN支持向量机的人工神经网络，Adaboost、K-近邻算法、分组技术、受限玻尔兹曼机等，也用于土木工程领域的缺陷检测。
但上述方法的问题是：无法更好地处理复杂的图像背景。
隧道图像中的挑战：
-
常受管片接缝、管道、灰尘、光照等因素影响；
-
图像背景非常复杂；
本文采用先进的移动式隧道检测系统获得隧道内表面图像，MTI系统配备6个高分辨率线阵CCD摄像机和12个发光二极管（LED）作为光源，一次可以扫描超过13米的隧道表面。在上海地铁1号、2号、4号、7号、8号、10号和12号线上进行了多项检测任务（图1）。这些隧道修建年份不同，隧道环境和衬砌病害情况也不同。图2显示了MTI-100获取的示例图像。
隧道内部图像的分类类别：
泄露、裂缝、管片接缝、管道、衬砌。
从原始的图像中，作者选择了9520张256x256像素的图像，其中每个图像中仅包含一个ground-truth标签。
表1中列出了本研究中的数据集。
但是CCD相机需要一定照明，而12个LED灯是不够的，因此图像存在光照的不一致性。
其次，隧道内部的衬砌的不均匀性和隧道运营相关的干扰物显著增加了拍摄图像背景的复杂度。
第三，CCD相机调焦操作会影响数据样本的清晰度。
第四就是拍摄系统在隧道内部运行时的不均匀的速度会影响拍摄图像的质量。
但是这些因素对图像的影响可以在一定程度上避免模型的过拟合出现，同时也可以提高模型的泛化性能。
图3中显示了数据集中图像的多样性，且显示了对于每个维度中图像的示例。
每个图像是：3000X3724像素，数据集中包含4319个带注释的图像。
其中，标记了三个类别：裂缝、泄露、划痕。
向数据集中添加划痕有利于提高模型的检测能力。
图4（b）中显示了目标检测数据集中的标注示例。
目标检测任务中，训练集包含3000个图像，测试集包含1139个图像。
MTI-100的线扫描CCD相机在一条线上有7500个像素。可以根据需要设置扫描方向的宽度。因此，使用MTI-100获取的图像非常大。为了提高图像处理的效率和准确性，提出了一种两阶段解决方案：（1）图像分类和（2）缺陷检测与定位。基于R-FCN开发了一个框架（Dai等人，2016）。该方法由主干架构和头部架构两部分实现。主干结构是一个全卷积网络（FCN）模型，用于计算特征映射。FCN是仅最后一层完全连接的CNN；在微调网络以进行目标检测时，将移除并替换该层。使用数据集对FCN模型进行预训练以对图像分类任务。
头部结构包括区域提议网络（RPN）、位置敏感RoI（感兴趣区域）池、softmax和边界盒回归。RPN用于生成区域建议，该建议可能对应于完整图像中的对象。使用位置敏感RoI池显式编码位置信息，最后使用两个损失函数（softmax和边界盒回归）概率确定缺陷类别并精确确定缺陷位置。图5示意性地演示了所提出的方法。
受GoogLeNet和VGG的启发，设计了FCN模型。GoogLeNet的众所周知的优点是其初始模块和完全卷积结构，而VGG的优点是在最佳集模型中使用小卷积核。因此，改进了GoogLeNet第一层的初始模块和7×7卷积层。对于初始模块，使用两个3×3卷积核来代替5×5卷积核（如图6所示）。对于7×7卷积层，用四个3×3卷积层代替。表2列出了本文所提模型的结构特征。
RPN详细的工作过程如图7所示。
在图像分类任务中，FCN网络通常具有平移不变性，但是在目标检测中，FCN需要平移来获得方差。
克服这一困境的方法是：使用位置敏感的RoI池化层。
图8显示了softmax位置敏感RoI池的简单示例。基于FCN模型提取的特征图，使用具有n（等式（1））核的卷积层来计算位置敏感特征图。将特征图扩展到k^2（本例中k=3）。例如，第一个包含关于每个对象的左上角信息。然后，使用RoI池层（Girshick，2015）（一个单度金字塔池；He等人，2015）将每个w×h RoI矩形通过大小为w\/k×h\/k的规则网格划分为k×k箱子。根据等式（2），获得k×k×n的阵列。由于每个区域有两个角点，对于边界盒回归，将有4n个卷积核，产生一个k×k×4n的数组。
这里，n是softmax的核数，c是对象类别数，k是分数图的大小。
这里，rl（i，j）是第（i，j）个bin中l维中的数字，zi，j，c是n个分数图之一，（x0，y0）i是RoI的左上角，m是bin中的像素数，l是类别标签，包括背景（l=0）。
在本文中，为了获得准确的结果，将分数图的大小设置为7，并考虑了三个类别。因此，softmax函数有196个卷积核，包围盒回归有784个核。
Softmax是一种用于预测和排序ROI的分类器。等式（3）和（4）定义了softmax的输出。softmax的损失函数是交叉熵损失，在等式（5）中定义。
在上面，rl是每个RoI的l维向量，sl是不同类别上离散概率分布的l维向量。Lcls（s，l）是分类损失函数。
使用等式（3）计算边界框及其输出。因为有4n个核，所以输出是预测元组tl=（tlx，tly，tlw，tlh）和ground-truth回归目标元组是vl=（vlx，vly，vlw，vlh）。等式（6）定义了边界盒回归的损失函数。
其中，smoothL1为：
在本文中，每个RoI上的多任务损失L用于分类和包围盒回归，如等式（8）所示：
其中，当l>0时，λ=1。
该方法包括两部分：一是使用小尺寸图像（256×256像素）训练网络的分类功能；另一种是使用大尺寸图像（3000×3724像素）来训练网络的检测和定位功能。
在训练时，作者采用了K倍（k=5）交叉验证和数据增强的方法进一步加大模型的鲁棒性和泛化性能。
4.1.1
为了做到最公正的评估，作者采用了相同的超参数对这两种网络以及本文中提出来的模型进行评估。
图9显示了三种模型训练过程中的学习率变化曲线。
图10显示了训练过程中三种模型的精度变化曲线。
表3展示了三种模型的最佳精度和每张图像分类的耗时。
构建混淆矩阵以分析每个图像类别的正确分类数。这些混淆矩阵的行和列表示不同类别的标签。第j列中的第i个值表示具有地面真值标签i的图像被模型分类为第j类的次数。这些混淆矩阵中的对角元素报告了正确的分类。表4-6显示了AlexNet、GoogLeNet和拟议模型的混淆矩阵。
4.1.2
将该模型与ISVRC2014-VGG16模型中表现不错的另一个模型进行了比较。尽管VGG16模型中的超参数和其他一些参数变化很大，但当应用于该数据集（表1）时，该模型没有表现出收敛性。在训练阶段，VGG的性能非常慢。原因可能是VGG16中的参数太多，导致训练困难。因此，本文中提出的模型可能更加适合工业场景下的训练和部署测试/验证。
从测试集中随机抽取一部分图像，图11显示了对这些图像的拟议模型预测。
4.2.1
从三个指标来评测检测性能：
1.检测率：正确检测数与测试集中标记的缺陷数的比率。
2. 检测精度：特定类别的每种类型检测区域的平均概率。
3. 检测效率：测试数据集图像的平均检测速度。
4.2.2
通过建立定量指标来评估定位的准确性。一般来说，地面实况和预测的结果有三种场景（图12）。图12a显示，虽然预测的边界框包含整个缺陷（地面真实边界），但边界太宽。图12b与图12a相反。图12c介于12a和12b之间。为了评估包围盒的准确性，从预测的包围盒和地面实况之间的位置关系定义了两个指标。图13中的绿色框表示地面实况，黄色框表示预测的边界框，蓝色框表示重叠区域。指数η1是指重叠面积与地面真值面积之比（等式（8））。η1的值越大，模型对缺陷位置越精确。指数η2是指多余面积与预测包围盒面积之比（等式（9））。η2的值越小，缺陷位置越准确。
测试数据集图像中有1867个缺陷。检测率为94.4%，检测准确率为85.6%，每幅图像的检测效率为0.266秒。对于定位精度，平均η1为0.874，η2为0.062。图14显示了一些缺陷检测结果。
4.2.3
基于传统图像算法的图像处理有许多成功的应用案例。在隧道缺陷图像处理的早期阶段，作者还采用了传统方法和编程软件。一种典型的传统检测方法结合了HOG特征和SVM分类器（Dalal和Triggs，2005）。HOG的定义是密集重叠网格中梯度方向的局部归一化直方图；它是一个局部区域描述符。通过深度学习算法，更快的R-CNN（Ren等人，2015）在目标检测任务中获得了非常好的性能。使用数据集对这两个模型进行了测试，结果如表7所示。这些结果显示了深度学习方法与传统方法相比的优势。传统方法依赖于手动设计的特征（即特征工程）。由于复杂的衬里背景和照片噪声，HOG特征表现不佳，传统方法没有收到良好的检测率；然而，这两种深度学习方法的检测率非常高。此外，与深度学习方法相比，传统方法的检测效率非常低。
在检测效率方面，该方法比快Faster RCNN高约33%。对于位置敏感的RoI池和分数图，该方法的定位精度也略优于Faster R-CNN。
本节中，作者将对模型的鲁棒性/适应性/敏感性等进行讨论。
文中评估了所提出的模型在图像平移/图像比例变化/图像模糊/变形方面的鲁棒性和适应性。
图像平移：图15显示了图像中不同位置的相同缺陷。图像大小为3000×3724像素。对两条裂缝的检测置信度比较高。不管怎么平移，都可以检测到缺陷。
图像比例变化：图16显示了相同缺陷的不同比例（从左到右：3000×3724像素、1700×2000像素和1200×1450像素）。除最右侧的图像外，所有缺陷都以非常高的置信度检测到，该图像的位置似乎有点不准确。
图像模糊：图17显示了使用高斯模糊处理的图像。从左到右，模糊半径分别为0、5和8。每幅图像都有两条裂纹，一条裂纹清晰可见，而另一条由于其宽度很小而不太清晰。虽然中间的图像已经相当模糊，但模型仍然检测到两条裂纹。然而，对于最右侧的图像，网络仅检测到一条裂纹。
图像变形：图18显示了因不均匀拉伸而变形的图像。最左边的图像显示原始图像。中间和最右边的图像显示了应用水平（中间）和垂直（最右边）拉伸后的原始图像。置信度仍然相当高，裂纹的位置也相当准确。
这些结果表明，该网络具有良好的鲁棒性和适应性。在某些情况下，肉眼几乎看不到缺陷，但模型仍然能够检测到它们。
传统方法灵敏度取决于设计的特征的阈值，而深度学习的灵敏度和数据集样本有关。
在本文中，数据集中裂纹和泄漏的物理性质和特征如表8和表9所示。列出了裂纹的长度和宽度以及泄漏的面积和形态比。
线扫描相机获取的图像是连续的，可以根据需要分为不同大小的图像。对于相同尺寸的缺陷，测试了不同图像尺寸的影响。结果表明，检测精度几乎相似，而图像尺寸越小（缺陷与图像尺寸之比越大），定位精度越高。图19显示了两个示例。在图19a中，η1从左到右分别为0.863、0.925、0.964；η2为0。在图19b中，η1从左到右分别为0.816、0.894、0.912；η2相应地为0.063，0，0。这为将来改进缺陷检测和定位性能的方法提供了一些提示。
本文首先提出了一个FCN网络架构用来对较少的训练样本图像进行训练和分类；其次，本文基于R-FCN网络的图像模型来检测和定位缺陷。
在本文中，基于使用MTI-100和六个高分辨率线阵CCD相机采集的图像建立了两个数据集。提出并设计了一种改进的模糊神经网络，对其有效性、准确性和训练难度进行了评估，并与GoogLeNet、AlexNet和VGG进行了比较。在同一数据集上，该网络的准确率为95.84%，高于AlexNet（91.43%）、GoogLeNet（94.58%）和VGG16（无收敛性）。该模型的测试时间为48毫秒，而其他网络的测试时间分别为50毫秒（GoogLeNet）和46毫秒（AlexNet）。
使用训练后的FCN模型计算深层特征图。基于RPN和位置敏感RoI池，建立了一种隧道衬砌缺陷检测方法。在每个包含3000×3724像素的大规模图像上评估了该方法的性能。检测率为94.4%，准确率为86.6%，效率为0.266秒。定位精度η1为0.874；η2为0.062。与快速R-CNN和传统方法（HOG+SVM）进行了一些比较，结果表明，该方法准确有效。
数据集的不足也会影响模型的检测性能。