基于深度学习的缺陷检测方法

1、全监督模型：基于表征学习的缺陷检测模型，基于度量学习的缺陷检测模型

1.1、基于表征学习的缺陷检测模型：分类网络，检测网络，分割网络；

其中分类网络的使用方式主要有三种：

        直接使用分类网络进行分类，利用分类网络进行缺陷定位，利用分类网络作为特征提取器

检测网络主要有两种：

        基于单阶段的网络和基于两阶段的网络

分割网络主要有：

        基于FCN网络的分割网络，基于Masck R-CNN网络的分割网络

1.2、基于度量学习的缺陷检测方法：孪生网络

2、无监督学习模型，主要是是基于正常样本的学习，图像空间以及特征空间进行处理（自编码器以及对抗神经网络）

3、基于半监督模型以及基于若监督模型

缺陷检测的小样本问题：数据扩增、合成与生成；网络预训练或迁移学习；网络结构的优化；采用无监督或者半监督的模型方法，减少对样本的需求。

图像特征提取：viT（vision transformer）

经典图像分割方法：阈值法，区域生长法，分水岭算法，边缘检测算法，小波变换算法，基于主动轮廓模型的方法

PointNet模型，直接输入点云向量，通过学习一个变换矩阵用于对齐，从而获得具备空间变换不变性的空间编码表示，通过最大池化融合所有点的特征，提取全局点云特征。

缺陷检测检测主要功能是从特征图重识别缺陷，并对缺陷进行分类和定位，根据表现缺陷检测算法的任务目标和实现原理，可以分为：模板匹配，图像分类，目标检测，图像语义分割和异常检测。

图像分类的方式进行处理缺陷检测，即判断图像窗口内是否为缺陷，或者属于哪一类缺陷，目标检测可以一次性检测出却显得类别，位置和大小，缺陷的位置和大小可以用Bounding box进行描述，进一步使用图像语义分割找出背景中可能存在的区域，并输出像素级得缺陷边界。

        模板匹配：根据已知模板图像到另一待检图像中寻找与模板图像相似得子图像，然后通过相似度度量计算模板与待检样本之间的相似性，判断样本是否存在缺陷，模板方法一般分为两大类：基于灰度得匹配方法与基于特征得匹配方法。

 基于灰度匹配得方法也称为图像相关匹配算法，逐像素将匹配窗口与模板图像的所有可能窗口的灰度阵列按某种相似度度量指标进行搜索比较的匹配方法。（计算量小，硬件需求不高，但是要求两幅图具有大量重复像素）

 基于特征的方法大致分为 ：特征匹配，边缘特征匹配，区域匹配三类（特征空间中度量特征之间的相似性，经典距离度量指标有马尔可夫聚类，hausdorff距离，互信息等）

 模板匹配中需要解决两幅图像之间的集合位置差异，包括刚体变换，仿射变换，投影变换，多项式变换等。用合适的搜索方法在搜索空间中找出几何变换参数的最有估计，是的图像经过变换之后的相似度最大，包括穷尽搜索，分层搜索，模拟退火，动态规划，遗传算法和神经网络等。