作者吴雨培
来源丨act 工业AI
编辑丨极市平台
目前，基于监督缺陷检测算法，在数据充足的情况下逐渐成功实施，但工业场景具有一定的离散性，大部分应用场景为小样本检测场景，解决小样本问题将有助于解决AI技术应用于数千万的工厂。本文简要介绍了从算法路径解决小样本问题的两种方法。
在工业生产制造中，由于生产过程是多因素耦合的复杂过程，生产过程中的任何异常都会导致产品缺陷。及时识别异常产品的缺陷模式是提高生产质量和效率的有效途径，因此缺陷检测具有重要的研究意义。
早期的产品缺陷模式识别主要通过支持向量机、反向传输网络等机器学习方法进行。与肉眼直接识别产品缺陷相比，这些方法大大降低了工作量。但这些早期方法存在以下缺点：识别精度低，需要大量的标签数据来训练模型。近年来，随着深度学习的发展，大量基于卷积神经网络的算法在视觉任务中大放异彩。由于卷积神经网络具有很强的提取能力，卷积神经网络已广泛应用于缺陷检测任务中。
与传统的机器学习方法相比，基于卷积神经网络的深度学习方法在缺陷识别领域具有更高的识别精度和工作效率。但这种方法和机器学习方法有相同的缺点，首先是模型培训需要大量的标签数据，缺陷模式标签图像不容易获得，因为产品缺陷模式标签图像需要手动监督，即需要大量经验丰富的专业人员手动标记，非常昂贵和耗时。
此外，在一些高度自动化的生产场景中，产品的良率特别高，收集缺陷样本非常耗时。目前，缺陷检测的深度学习方法主要是基于大量缺陷样本，缺陷样本导致模型难以启动。对于一些行业，如汽车行业的多型号、小批量生产场景（每种型号产品只生产几天），在完成缺陷样本收集之前，不可能收集大量缺陷样本。此外，由于缺陷是由生产过程中的非控制因素引起的，缺陷形式多样，难以完全收集各种形式的样本，这也限制了深度学习在工业测试领域的应用。
01 小样本检测算法
小样本检测算法的研究为了扩大深度学习在工业检测领域的应用范围，提高易用性，是必然的。
有两种方法可以解决工业测试的小样本问题，一种是工程路径，另一种是算法路径。工程路径有两种常见的方法，一种是基于真实产品的手动制造缺陷，另一种是基于真实图像的手动模拟缺陷。
这两种方法的优点是操作简单，缺陷接近真实缺陷，但缺点也很明显。基于真实产品的手动制造缺陷会对产品造成不可逆转的损坏，对高价值产品的损坏成本较高。此外，由于缺陷是由非控制因素引起的，手动制造的缺陷不一定与实际缺陷一致，会有一些差异。基于图像手动仿真缺陷，对操作人员要求高，速度慢。
因此，在一些紧急情况下，可以利用工程路径解决小样本问题，如项目初期需要紧急启动。
02 算法路径的基本思路
从算法路径解决小样本问题有两个基本思路。第一个是，第二种是。
基于算法研究方向的第一个想法是数据广泛和缺陷生成，数据广泛在深度网络培训中防止拟合已成为标准手段，从工业测试的角度来看，数据广泛是一种具有成本效益的扩展样本，但由于目前的数据广泛方法主要是基于一些传统的图像处理方法，所以可以模拟缺陷的位置和一些简单的纹理变化，然而，缺陷的形状和复杂的纹理无法模拟，因此数据增加通常作为解决一些小样本问题的基本手段，有助于一些简单的场景。而要解决更复杂场景的样本生成问题，需要用缺陷生成算法。
我们将缺陷生成算法的研究分为三个阶段：第一阶段是单一产品单型缺陷的生成；第二阶段是单一产品多型缺陷的生成；第三阶段是跨产品缺陷的生成。
当前缺陷生成算法大致可分为两种：一种是自动生成算法，整个生成过程不需要人工干预，另一种是半自动生成算法，需要一些简单的人工交互。
典型的自动生成算法算法有DCGAN[1] 、WGAN[2] ，输入缺陷图像可以直接生成多个真实的缺陷图像。典型的半自动生成算法算法有CGAN[3] 、CVAE[4] 、Pix2Pix[5] ，需要人工交互给定缺陷的类别或形状，然后根据给定信息生成指定类型的缺陷。然而，目前，无论是自动生成算法还是半自动生成算法，对训练样本的需求都低于监督算法，但仍有一定的要求有数据都没有通用的解决方案，不同的算法版本仍然需要为不同的场景制定。下一步研究方向的重点是通用缺陷生成算法。
算法路径解决小样本问题的第二个思路是减少算法对样本的依赖，基于这个思路衍生出两条算法路线：
第一条路线是无缺陷样本的非监督学习算法监督学习算法，完全不需要缺陷样本。OK可以参加图像训练。
第二条路线仍以监督算法为基础，对缺陷样本的需求大大降低。
实现非监督算法的思路一般分为两种：
一是基于生成模型，训练一个只能生成的基本思路OK图像生成网络，推理输入NG图像，找到一个和NG图像最近OK图像，然后要求两张图的差异，根据差异的大小来判断是否是NG，典型算法有AE，VAE[6] ，Ano-GAN[7] 等。
另一个想法是基于特征表达，基本想法是找到一个更好的特征表达，将OK图和NG图片分别映射到高维特征空间，OK图对应特征点的类内距离很小，推理时图对应特征点OK可以判断图特征簇的中心距离很远NG，典型算法有SVDD[8] 、OCSVM、DeepSVDD[9] 等。
基于监督算法减少样本依赖的想法有两种：
一是集成输入数据，减少不同缺陷样本之间的差异。集成算法是基于传统的图像处理算法实现的，需要对不同的场景进行不同的算法设计，难以通用，因此为一些临时处理方法。
另一个想法是基于迁移学习，典型的算法研发方向是域适应（Domain Adaption，DA）和域泛化（Domain Generation,DG）。
DA处理的问题要求目标域的一部分图像无法实现跨类别迁移，因此适合处理跨产品型号的问题。DG在DA在此基础上，放宽了对目标域数据的要求，不需要目标域数据，可以实现跨类别迁移，从而实现跨产品、跨型号、跨缺陷类别的迁移。
DA目前研究算法的基本思路有三种，一种是基于差异测量，核心思路是找到差异测量函数，使源域和目标域样本的特征最小化，代表算法MMD[10] ；第二，基于对抗，核心理念是通过构建对抗网络来训练分类器，使判别器无法区分数据是来自源域还是目标域，从而实现源域与目标域的整合，代表算法为Dom Confusion[11] ；第三，基于重构，核心思想是只利用总体特征执行相应的任务，代表算法Domain Separation Networks[12] 。
DG目前算法的研究思路也分为三种。一是选择分布在最近源域的模型进行推理直接使用，二是通过拆解域相关与域无关的组件进行组合，实现目标域数据的处理，三是培养域不变的特征[13] 。
03 总结
当前基于有监督的缺陷检测算法，在数据量充足的场景下已经逐步成功落地，但工业场景具有一定的离散性，大部分应用场景均为小样本检测场景，小样本问题的解决有助于将AI技术应用于千千万万工厂。
虽然对小样本问题有一些初步的解决方案，但彻底解决这个问题需要更深入的研究和更大的投资。阿丘科技将AI For Every Factory作为一项使命，我们将坚定不移地继续研究小样本问题，并希望对工业研究感兴趣AI检测问题的工业人员共同交流进步，促进小样本问题的彻底解决。
文献参考：
[1] Radford A , Metz L , Chintala S . Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks[C]// 2015.
[2] Arjovsky M , Chintala S , Bottou L . Wasserstein GAN[J]. 2017.
[3] Mirza M , Osindero S . Conditional Generative Adversarial Nets[J]. Computer Science, 2014:2672-2680.
[4] Sohn K, Lee H, Yan X. Learning structured output representation using deep conditional generative models[J]. Advances in neural information processing systems, 2015, 28: 3483-3491.
[5] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1125-1134.
[6] Kingma D P, Welling M. Auto-encoding variational bayes[J]. arXiv preprint arXiv:1312.6114, 2013.
[7] Schlegl T, Seeb?ck P, Waldstein S M, et al. Unsupervised anomaly detection with generative adversaial networks to guide marker discovery[C]//International conference on information processing in medical imaging. Springer, Cham, 2017: 146-157.
[8] Tax, David MJ, and Robert PW Duin. "Support vector data description." Machine learning 54.1 (2004): 45-66.
[9] Ruff, Lukas, et al. "Deep one-class classification." International conference on machine learning. PMLR, 2018.
[10] Tzeng E , Hoffman J , Zhang N , et al. Deep Domain Confusion: Maximizing for Domain Invariance[J]. Computer Science, 2014.
[11] Tzeng E , Hoffman J , Darrell T , et al. Simultaneous Deep Transfer Across Domains and Tasks[J]. 2015 IEEE International Conference on Computer Vision (ICCV), 2017.
[12] Bousmalis K, Trigeorgis G, Silberman N, et al. Domain separation networks[J]. Advances in neural information processing systems, 2016, 29: 343-351.
本文仅做学术分享，如有侵权，请联系删文。
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题