技术领域
[0001] 本
发明属于
图像处理技术领域，更具体地，涉及一种基于引入自动记忆机制对抗自编码器的异常区域检测方法。
背景技术
[0002] 表面
异常检测是实现工业生产
质量管理的主要方法。近年来，
深度学习由于其强大的特征提取能
力逐渐成为主流的表面异常检测方法，其通过对大量高质量的已标记数据训练，学习样本数据的内在规律和表示层次，最终实现表面异常检测。
[0003] 现有异常检测方法针对以上问题，有以下三种方法：1)分割决策网络，先分割后检测，融合特征信息与分割信息实现检测，少量样本可实现检测，但要求
像素级标签，耗时耗力。2)人为制造异常，将修复异常作为训练目标，不需要采集异常样本，就可以实现检测和分割，但存在认知局限和系统性偏差，容易导致模型偏置。3)仅使用OK样本作为训练集完成模型构建，可检测未知异常，契合工业数据特征，但方法上还存在诸多问题(如实时性、重构过拟合等)亟待解决。
[0004] 现有深度学习方法主要为生成对抗网络和深度自编码器，其主要存在以下问题：1)重构过拟合，深度自编码器为重构网络，将重构误差作异常值，使用合格数据训练，合格数据重构误差小于异常数据。但在实际应用中发现，往往异常数据也能够很好地重构，且重构误差小于正常数据，导致判别出现错误。2)实现实时检测困难，现有用于异常检测任务中的对抗生成网络，在测试时
迭代计算，浪费大量的计算资源和时间，不符合产线中实时检测的要求。3)判别方法不适用，现有判别方法有两种，在像素层面比较，噪声较大，导致判别误差较大；在整体特征层面比较，但异常特征往往表现为局部特征，判别容易出现错误。4)
阈值的确定依赖于已标记数据，且已标记数据数量越多，质量越好，阈值越准确，但工业数据无法提供相当数量的已标记数据。
[0005] 因此，本领域亟待提出一种仅使用OK样本作为训练集的二分类异常区域检测方法，加快检测速度，一定程度上解决重构过拟合问题，并具有较高的准确率、召回率以及鲁棒性。
发明内容
[0006] 针对
现有技术的以上
缺陷或改进需求，本发明提供了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法，该方法仅使用OK样本作为训练集，能够判别OK/NG并
定位异常
位置。本发明提出的自动记忆对抗自编码器能够实现实时检测并一定程度上解决了重构过拟合问题，具有较高的准确率、召回率以及鲁棒性。
[0007] 为实现上述目的，本发明提出了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法，包括以下步骤：
[0008] S1将采集得到的合格的工业图像和不合格的工业图像进行处理后生成图像数据集，定义合格的工业图像为OK样本，不合格的工业图像为NG样本，将OK样本按照一定的比例划分为训练集和测试集，将NG样本放入测试集中，将训练集中的OK样本随机均分为训练集A和训练集B，其中，所述比例的取值范围为2/3～4/5；
[0009] S2设计网络结构，构建自动记忆对抗自编码器模型，包括含自动记忆机制的生成器模
块、权值共享的判别器模块、统计模块以及对比模块；
[0010] S3将步骤S1中训练集A中的样本输入生成器模块中生成重构图，并将该重构图与训练集B中的样本输入判别器模块，进行图像对比，根据对比结果对自动记忆对抗自编码器模型进行迭代训练，得到参数化模型；
[0011] S4将所述测试集中的样本输入自动记忆对抗自编码器模型中，对该自动记忆对抗自编码器模型进行性能测试，在一定的训练轮数内，选择最优的参数化模型；
[0012] S5将训练集样本输入最优的参数化模型中，得到训练集样本异常值的集合，统计模块根据训练集样本异常值的集合建立统计学模型，得出判别OK/NG的判别阈值；
[0013] S6将采集的待检测样本输入最优的参数化模型中，得到该样本的异常值，若该异常值小于判别阈值，则判定待检测图合格，结束计算，否则，判定待检测图不合格，通过对比模块提取待检测图的异常位置。
[0014] 作为进一步优选的，所述生成器模块包括编码器、记忆模块、
解码器；所述判别器模块包括权值共享的
马尔可夫判别器和生成对抗判别器；步骤S3具体包括以下步骤：
[0015] 第一步，构建局部特征一致性损失，将训练集A中的样本输入生成器模块中生成重构图，将重构图和训练集B中的样本输入判别器模块，分别得到重构图的局部特征矩阵和样本的局部特征矩阵，并以此构建局部特征一致性损失；
[0016] 第二步，构建重构图真实性损失，将重构图片输入生成对抗判别器，得到判别值，从而得到重构图真实性损失；
[0017] 第三步，构建对抗损失，将样本输入生成对抗判别器，得到判别值，从而得到对抗损失；
[0018] 第四步，构建综合损失，根据局部特征一致性损失、重构图真实性损失以及对抗损失确定最终损失，并以此对自动记忆对抗自编码器模型进行迭代训练，得到参数化模型。
[0019] 作为进一步优选的，所述局部特征一致性损失Lcon为：
[0020] Lcon＝|f(xb)-f(G(xa)|1。
[0021] 作为进一步优选的，所述重构图真实性损失Lrec为：
[0022] Lrec＝1-D(G(xa))。
[0023] 作为进一步优选的，所述对抗损失Ladv为：
[0024]
[0025] 作为进一步优选的，所述最终损失L为：
[0026] L＝λadvLadv+λconLcon+λrecLrec
[0027] 其中，λadv、λcon、λrec为权重参数。
[0028] 作为进一步优选的，所述生成器模块包括依次连接的编码器、第一残差块、记忆模块、第二残差块以及解码器；其中，编码器由若干下
采样层组成，每个
下采样层包括一个卷积层、一个Batch Normalization层以及一个ReLU激活层；记忆模块包含一个卷积层，以及三个
门结构，遗忘门、输入门和输出门；解码器由若干个上采样层组成，前面的上采样层每层包含一个上采样卷积层、一个Batch Normalization层和以及一个ReLU激活层，最后一层将激活层函数改为Tanh；
[0029] 所述马尔可夫判别器包含若干个下采样层，第一个下采样层由卷积层和LeakyReLU激活层组成，后面的下采样层每层包含一个卷积层、一个Batch Normalization层以及一个LeakyReLU激活层；生成对抗判别器包含若干下采样层，前几层与马尔可夫判别器结构相同并共享参数，最后一层为卷积层；
[0030] 作为进一步优选的，所述统计模块将训练集中所有样本的异常值通过假设检验的方法建模为统计模型，设置
置信度为n，估计异常值均值上限，将其作为判别阈值，其中，n的取值范围为90％～99％；
[0031] 所述位置提取模块包括预处理层、分割层和后处理层，其中，预处理层包括双边
滤波器去噪单元和局部方差处理单元，分割层所采用的方法为局部自适应阈值分割，后处理层通过区域生长得到最终的异常位置。
[0032] 作为进一步优选的，步骤S5中，提取待检测图的异常位置具体包括以下步骤：首先，对待检测样本进行去噪处理，然后采用局部方差计算方法，获得待检测样本中像素值急剧变化的部分；接着，采用局部阈值法，对待检测样本中像素值急剧变化的部分实现自适应阈值的图像二值化，得到带有连通域的二值化图像；最后，确定各连通域的像素点个数，选出像素点个数瞒住要求的连通域，获得待检测图的异常位置图。
[0033] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：
[0034] (1)本发明采用的自动记忆的对抗自编码器是一种新的无监督异常检测方法，仅使用OK样本作为训练集，就能够判别OK/NG并定位异常位置，并能够在没有任何人为干预的情况下检测未知异常。
[0035] (2)本发明在编码器与解码器中间加入了记忆模块，重新设计了训练策略，在一定程度上解决了重构过拟合的问题，提升了模型的鲁棒性；通过编码器得到特征隐变量，避免了迭代计算，提高了检测速度。
[0036] (3)本发明采用的马尔可夫判别器，通过卷积建立图像与特征矩阵的马尔可夫随机场，实现了图像局部特征的提取和表征，提高了判别的准确率和召回率。
[0037] (4)本发明采用统计学的方法基于训练集获取判别阈值，并获得了较大的NG数据召回率。
[0038] (5)本发明对现有的卷积层、Batch Normalization层以及一个ReLU激活层、ReLU激活层、Tanh激活层函数以及门结构等进行了特定性的组合，重新设计了训练策略，在一定程度上解决了重构过拟合的问题，提升了模型的鲁棒性；通过编码器得到特征隐变量，避免了迭代计算，提高了检测速度。
[0039] (6)自动记忆对抗自编码器模型在16GB内存、型号为Tesla P100的单GPU下进行构建的，用本发明提供的方法进行异常检测可达到75.96FPS。
附图说明
[0040] 图1为本发明
实施例涉及的一种基于引入自动记忆机制对抗自编码器的异常区域检测方法的
流程图；
[0041] 图2为本发明实施例涉及的自动记忆的对抗自编码器网络结构示意图；
[0042] 图3为本发明实施例1中构建的训练集，其中，图3中的(a)至(d)为训练集A中的样本，图3中的(e)至(h)为训练集B中的样本；
[0043] 图4为本发明实施例1中待检测样本，其中，图4中的(a)至(d)为合格图像样本，图3中的(e)至(h)为不合格图像样本；
[0044] 图5为本发明实施例1中异常检测后的结果示意图，其中，图5中的(a)为不合格测试图像的原图，图5中的(b)为不合格测试图像的重构图，图5中的(c)为不合格测试图像的异常位置图。
具体实施方式
[0045] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0046] 如图1所示，本发明提出了一种基于引入自动记忆机制对抗自编码器的异常区域检测方法，用于工业
制造过程中检测含表观异常的不合格
工件，主要解决了工业现场采集数据过程中遇到的样本
不平衡、可获取样本多样性不足等问题。其主要思想为：针对工业现场OK样本数量远远大于NG样本的特点，构建OK样本的重构生成器，检测时，OK样本重构误差小于NG样本，从而实现异常检测。其首先采集工业现场图像，进行大小归一化，标记OK/NG样本，生成数据集，将OK样本按照一定的比例(通常取2/3～4/5)划分为训练集和测试集，将NG样本放入测试集中；然后，设计网络结构，构建自动记忆对抗自编码器模型；接着，使用步骤1的训练集训练步骤2构建的网络模型，使用测试集对已训练好模型的性能进行评价，挑选最优参数化模型，将训练集样本输入最优参数化模型得到异常值集合，建立统计模型，得出阈值；接着，将待检测图像进行大小归一化，输入步骤3已训练好的网络模型，得到输出，若其大于阈值，则判定为不合格，小于阈值则判定为合格；最后，若判定为不合格，将输入图与重构图输入比较模块得到异常位置图。本发明提供的表面异常方法，仅使用OK样本作为训练集，能够判别OK/NG，定位异常位置，能够在没有任何人为干预的情况下检测未知异常，并且其NG样本召回率较高，实现了实时检测。
[0047] 具体包括以下步骤：
[0048] 步骤一：采集工业现场图像，进行大小归一化，标记OK/NG样本，生成数据集，将OK样本按照一定的比例(通常取2/3～4/5)划分为训练集和测试集，将NG样本放入测试集中，将训练集中的OK样本随机均分为训练集A和训练集B。
[0049] 具体而言，获取工业图像数据集，由专业人员将图像分为OK样本(不含异常区域)和NG样本(含有异常区域)，将OK样本按照一定的比例划分为训练集和测试集，将NG样本放入测试集中，将训练集中的OK样本随机均分为训练集A和训练集B，分别作为两个训练集。其中，训练集用于训练步骤二所构建的自动记忆对抗自编码器模型，得到优化的参数模型；测试集用于对已训练好的模型进行性能评价。
[0050] 作为本发明的优选方案，训练集和测试集中OK样本的比值为2/3～4/5。
[0051] 步骤二：根据步骤一获取的测试集、训练集A和训练集B设计网络结构，构建自动记忆对抗自编码器模型。
[0052] 如图2所示，本发明设计的自动记忆对抗自编码模型由生成器模块、判别器模块、统计模块、对比模块组成。其中生成器模块包含编码器、解码器、残差网络块和记忆模块；判别器模块包括马尔可夫判别器和对抗判别器，两者共享网络参数；统计模块包括假设检验和参数估计两个过程；位置提取模块包括预处理、分割和后处理三个部分。
[0053] 其中，对于生成器，编码器由若干下采样层组成，每个下采样层包括一个卷积层、一个Batch Normalization层以及一个ReLU激活层；Resnet模块由若干残差块组成；记忆模块包含一个卷积层，以及三个门结构，遗忘门、输入门和输出门；解码器由若干个上采样层组成，前面的上采样层每层包含一个上采样卷积层、一个Batch Normalization层和以及一个ReLU激活层，最后一层将激活层函数改为Tanh。判别器包含马尔可夫判别器和生成对抗判别器两个部分，其中马尔可夫判别器包含若干个下采样层，第一个下采样层由卷积层和LeakyReLU激活层组成，后面的下采样层每层包含一个卷积层、一个Batch Normalization层以及一个LeakyReLU激活层；生成对抗判别器包含若干下采样层，前几层与马尔可夫判别器结构相同并共享参数，最后一层为卷积层。统计模块将训练集所有样本的异常值通过统计的方法建模为统计模型，将置信度设置为n(n的取值为90％～99％)，估计异常值均值上限，将其作为判别阈值。位置提取模块包括预处理、分割和后处理。其中预处理层包括双边滤波器去噪和局部方差处理，分割采用的方法为局部自适应阈值分割，后处理通过区域生长得到最终的位置图。
[0054] 进一步的，设计网络结构并构建自动记忆对抗自编码器模型具体包括以下步骤：
[0055] (1)样本训练过程：将训练集A中的样本xa作为输入，进入生成器，经过编码器
降维，残差块提取特征得到样本xa的特征编码za，特征编码za输入记忆模块得到对应的记忆编码za′，经过残差块，进入解码器，生成重构图G(xa)。将训练集B中的样本xb与重构图G(xa)同时输入生成对抗判别器，设置对抗生成损失，训练使得生成器获得将训练集A中样本转化为训练集B中样本的能力；将训练集A中的样本xa与重构图G(xa)同时输入马尔可夫判别器，分别提取样本xa的局部特征f(xa)和G(xa)的局部特征f(G(xa))，两者相减得到重构误差，设置局部特征一致性损失，训练使得OK样本的重构损失尽可能小。最后，建立所有训练样本重构误差的统计模型，得到判别阈值。
[0056] (2)待检测样本的测试过程：测试集中样本y经过生成器得到重构图G(y)，将测试图y与重构图G(y)同时输入马尔可夫判别器，分别提取测试图y的局部特征f(y)与重构图G(y)的局部特征f(G(y))，得到重构误差，若重构误差小于阈值，则判别为OK；若重构损失大于阈值，则判别为NG，将测试图y与重构图G(y)相减输入异常提取器，得到异常位置图。
[0057] 步骤三，使用步骤一的训练集训练步骤二构建的自动记忆对抗自编码器模型，得到参数优化模型，使用测试集对已训练好模型的性能进行评价，建立训练集样本异常值的统计模型，得到判别阈值。即，将(1)中仅有OK样本的训练集输入步骤(2)设计的网络中，进行迭代训练，得到参数优化模型和判别阈值。根据(1)中测试集对模型的测试结果，选择最优参数化模型。将训练集样本输入最优参数化模型中，得到异常值集合，建立统计模型，取置信度为n(n的取值一般为90％～99％)的均值上限作为判别阈值。
[0058] 所述步骤(3)中模型训练机制描述如下：
[0059] 将OK样本均分为A、B两组，输入A组样本xa，通过生成器G得到重构图片G(xa)，将重构图片G(xa)和B组样本xb输入马尔可夫判别器，分别得到f(G(xa))和f(xb)，局部特征一致性损失Lcon为：
[0060] Lcon＝|f(xb)-f(G(xa)|1
[0061] 将重构图片G(xa)输入生成对抗判别器，得到判别值D(G(xa))，重构真实性损失Lrec为：
[0062] Lrec＝1-D(G(xa))
[0063] 将样本xb输入生成对抗判别器，得到判别值D(xb)，则对抗损失Ladv为：
[0064]
[0065] 针对三种损失，分别取权重参数λadv、λcon、λrec，则最终损失L为：
[0066] L＝λadvLadv+λconLcon+λrecLrec
[0067] 步骤四，将待检测样本进行大小归一化，输入步骤三已训练好的网络模型，得到输出，若其大于判别阈值，则判定为不合格，小于判别阈值则判定为合格。即，采集待检测样本作为输入，输入步骤三选择的最优模型中，经过生成器，得到重构图，将输入图和重构图分别输入马尔可夫判别器，分别得到的局部特征图求L1范数，得到异常值，大于阈值则判定为NG样本，小于阈值判定为OK样本；若为NG样本，则将输入图和重构图输入比较模块，最终得到位置图。
[0068] 本发明提供的表面异常方法，仅使用OK样本作为训练集，能够判别OK/NG，定位异常位置，能够在没有任何人为干预的情况下检测未知异常，并且其NG样本召回率较高，实现了较快的检测速度。
[0069] 实施例1
[0070] 下面通过实例，并结合附图，对本发明的技术方案做进一步说明。本实施例以
电机换向器柱面检测为例对本发明的方法进行说明。
[0071] 本实施例的一种基于自动记忆的对抗生成网络的异常检测方法包括以下步骤：
[0072] (1)生成数据集；
[0073] 本实施例采集到的柱面图像共389张，组成数据集MCSD-cylinder，包含合格图像323张，不合格图像66张，图像格式为BMP，部分图像训练集如图3所示。每张图像进行大小归一化为同一像素尺寸256×256(单位：像素)。将图像分为训练集和测试集，如表1所示。
[0074] 表1数据集MCSD-cylinder
[0075]类型 训练集 测试集 总计
合格图像(OK) 227 96 323
不合格图像(NG) 0 66 66
[0076] (2)构建自动记忆对抗自编码器模型；
[0077] 在本实施例中在Pytorch0.4深度学习
框架上构建自动记忆对抗自编码器模型，模型具体参数如表2所示。
[0078] 表2网络模型参数
[0079]
[0080] (3)数据集训练及模型优化；
[0081] (3-1)编写python程序，训练样本随机排序后，进行平均分配，每批图像数量批大小为16(单位：张)；
[0082] (3-2)训练图像分批依次输入模型，当一批中所有样本梯度下降数值之和计算完毕后，进行一次权值更新，所有批次更新完毕。使用测试集对已训练模型进行评价，得到评价值(本例中采用AUC值)，若评价值大于现有最大评价值，储存现有参数化模型，进行下次迭代，若小于最大评价值，直接进行下次迭代。训练样本迭代次数为1000次，迭代完毕得到最优参数化网络模型，命名SDMA-MCSD-cylinder1000model；
[0083] (3-3)对训练集图像异常值进行统计学建模，通过假设检验得知，显著性0.171>0.05，该模型OK样本异常值服从正态分布；取99％置信度进行均值区间估计，得到均值上限为0.169，取0.169作为阈值。
[0084] (3-4)输入测试集对训练完毕的模型进行测试，得到各类指标，结果列于表2。在SDMA模型上测试整个数据集MCSD-cylinder，总准确率为0.865，NG样本召回率为1.000，实现了非常精确的异常识别。
[0085] 表3 SDMA模型总体评价指标
[0086]网络 准确率 NG召回率 FPS
SDMA 0.865 1.000 75.96
[0087] (4)在线检测；
[0088] 采集待检测图像，本例本实施例8张图像如图4所示，大小归一化为256×256，其图像矩阵直接输入SDMA-MCSD-cylinder1000model中，经过生成器重构得到重构图，将输入图与重构图共同输入马尔可夫判别器，分别得到局部特征矩阵，相减得到异常值，异常值≤0.169在判别为合格(OK)，异常值>0.169则判别为不合格(NG)，本实施例8张图像判别结果列于表4。
[0089] 表4本实施例芯片
图像识别结果(0,1,2,3类分别表示正常芯片，线性污损、滴状污损和划伤芯片)
[0090]芯片编号 a b c d e f g H
异常值 0.163 0.159 0.147 0.153 0.209 0.191 0.271 0.179
判别结果 OK OK OK OK NG NG NG NG
[0091] (5)若判定为NG样本，则将输入图和重构图相减输入位置提取模块，最终得到位置图。
[0092] (5.1)将输入图像与重构图像像素相减得到相减图；
[0093] (5.2)采用双边滤波处理相减图，使得图像平滑以到达去噪的效果；
[0094] (5.3)计算图像局部方差，区分背景与异常；
[0095] (5.4)采用局部自适应阈值分割进行二值化；
[0096] (5.6)区域生长，得到最终位置图。
[0097] 如图5所示，为异常位置和轮廓。
[0098] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
