一种基于深度神经网络增广训练的表面缺陷检测方法专利检索-深度图电脑图像专利检索查询-专利查询网

一种基于 深度神经网络增广训练的表面 缺陷检测方法

阅读：696发布：2020-05-08

专利汇可以提供一种基于深度神经网络增广训练的表面缺陷检测方法专利检索，专利查询，专利分析的服务。并且本发明属于表面缺陷检测技术领域，具体为一种基于深度神经网络增广训练的表面缺陷检测方法。本发明方法，对于深度神经网络在物体表面缺陷数据集经过增广的数据集上进行训练；训练过程分为：静态增广训练和动态增广训练；前者仅针对表面缺陷数据集进行翻转和小幅平移增广操作的数据集进行训练，后者针对表面缺陷数据集进行其它增广操作的数据集进行训练；对表面缺陷数据集的增广操作包括平移、旋转、缩放、添加噪声、亮度调整、图像填充等；实验表明，本发明可防止神经网络过拟合或无法拟合，节省训练时间，增强深度神经网络模型的准确率和鲁棒性；在数据集较小及类型不均衡的情况下，可以提高物体表面缺陷检测的精确度和召回率。，下面是一种基于深度神经网络增广训练的表面缺陷检测方法专利的具体信息内容。

权利要求

1. 一种基于深度神经网络增广训练的表面缺陷检测方法，其特征在于，对于采用的深度神经网络在物体表面缺陷数据集经过增广的数据集上进行训练，称为增广训练，增广训练过程分为两步：静态增广训练和动态增广训练；这里，所述静态增广训练是仅针对表面缺陷数据集进行翻转和小幅平移增广操作的数据集进行训练，所述动态增广训练是针对表面缺陷数据集进行其它增广操作的数据集进行训练；具体步骤如下：
（一）对表面缺陷数据集进行增广操作
根据物体表面缺陷数据集的特点，对于数据进行增广操作，包括翻转、平移、旋转、缩放、添加噪声、亮度调整、图像填充；
（二）对深度神经网络进行增广训练
（1）构建损失函数
在损失函数中引入平衡因子α，平衡因子根据数据集中正、负样本数量比例设计；设Ngood和Nbad分别表示数据集中正负样本的数量，平衡因子α取为：
增加平衡因子后深度神经网络的交叉熵损失函数表示为：
其中，为深度神经网络预测值，y为真实标签，y=0表示表面无缺陷，y=1表示表面有缺陷；平衡因子α越大，这一类样本的损失值越大，使网络更加注重有缺陷样本的学习，用来弥补物体表面数据集中正负样本不均衡的问题；
（2）进行增广训练
为了保留图像整体的纹理特征，先进行静态增广训练，即仅使用静态增广后的数据集对神经网络进行训练；当损失值开始抖动不再下降，且10个epoch内损失波动在1%之内时，进行动态增广训练，即进一步对静态增广训练后的网络在其余增广操作的数据集上训练；
动态增广训练是在网络已经学习到纹理和缺陷的前提下对网络进行微调，所述其余增广操作得到的数据集，其增广操作类型包括：大幅平移、旋转、缩放、添加噪声、亮度调整、图像填充，并且这些操作针对每一批次的数据以一定的概率发生；
所述小幅平移指移动距离小于整个图像尺寸的5%，大幅平移指移动距离为图像尺寸的
5% 10%；
~
（三）最后，经过增广训练的深度神经网络，实现物体表面缺陷的高精确度检测。
2.根据权利要求1所述的表面缺陷检测方法，其特征在于，所述的对于数据进行增广操作，具体描述如下：
（1）翻转：包括水平方向翻转、垂直方向翻转；
（2）平移：以图像左上角为原点向任意方向平移一定距离；平移距离小于整个图像尺寸
5%的称为小幅平移，平移距离为图像尺寸5% 10%的称为大幅平移；
~
（3）旋转：以图像中心为轴进行0-360°的旋转；
（4）缩放：在任意方向上对图像进行一定程度的放大或缩小；
（5）添加噪声：包括添加高斯噪声、添加椒盐噪声；
（6）亮度调整：对图像像素值乘以一个常数k，k>1表示整体增亮，k<1表示整体亮度变暗；
（7）图像填充：是对未知空间进行插值填充。

说明书全文

一种基于深度神经网络增广训练的表面 缺陷检测方法

技术领域

[0001] 本发明属于表面缺陷检测技术领域，具体设计一种表面缺陷检测方法。

背景技术

[0002] 工业产品的表面缺陷对产品的美观度、舒适度和使用性能等带来不良影响，所以生产企业需要对产品的表面缺陷进行检测以便及时发现并加以控制。

[0003] 传统缺陷检测算法使用“手工设计的特征”进行缺陷检测，手工设计特征仅适用于特定的缺陷检测，面对新的缺陷检测都要重新定制化设计，不便于长期使用和维护。深度神经网络具有对新数据集的学习能力，适用性强，鲁棒性高。但深度学习应用于表面缺陷检测仍存在以下的问题：1、深度学习需要庞大且丰富的训练数据，但工业检测领域的数据采集不容易，且缺陷数据标签更不容易生成。2、在数据集有限的情况下，数据必然存在数据类型不平衡的情况，通常负样本（即表面有缺陷图像）数量远少于正样本数量。这些问题给基于深度学习的表面缺陷检测带来极大的困难。

发明内容

[0004] 本发明的目的在于提供样本量较少、准确率高的基于深度神经网络增广训练的表面缺陷检测方法。

[0005] 本发明提供的基于深度神经网络增广训练的表面缺陷检测方法，是对于采用的深度神经网络在物体表面缺陷数据集经过增广的数据集上进行训练，称为增广训练，增广训练过程分为两步：静态增广训练和动态增广训练；这里，所述静态增广训练是仅针对表面缺陷数据集进行翻转和小幅平移增广操作的数据集进行训练，所述动态增广训练是针对表面缺陷数据集进行其它增广操作的数据集进行训练；具体步骤如下。

[0006] （一）对表面缺陷数据集进行增广操作表面缺陷数据集与传统检测数据相比有以下主要特征：
1、物体表面图像有较为规律的纹理；
2、物体表面缺陷可能出现在整张图像的任意位置；
3、物体表面缺陷特征的语义信息不强；
4、数据集中有缺陷的数据量远远小于正常的数据量；
5、数据集整体数量少。

[0007] 针对物体表面缺陷数据集的这些特点，对于数据进行增广操作，包括翻转、平移、旋转、缩放、亮度调整、加噪声、在损失函数引入平衡因子等。具体描述如下：（1）翻转。翻转包括（但不限于）：水平反向翻转、垂直方向翻转，其效果图如图1所示；
（2）平移。平移包括（但不限于）：以图像左上角为原点向任意方向平移一定距离，其效果如图3所示。这里，平移距离小于整个图像尺寸5%的称为小幅平移，平移距离为图像尺寸
5% 10%的称为大幅平移；
~
（3）旋转。旋转包括（但不限于）：以图像中心为轴进行0-360°的旋转，其效果如图2所示；
（4）缩放。缩放包括（但不限于）：考虑到观测方向可调节性，在任意方向上对图像进行一定程度的放大或缩小，其效果如图4所示；
（5）添加噪声。添加噪声包括（但不限于）：高斯噪声、椒盐噪声等，其效果如图5所示；
（6）亮度调整。亮度调整包括（但不限于）对图像像素值乘以一个常数k，k>1表示整体增亮，k<1表示整体亮度变暗，其效果如图6所示；
（7）图像填充。上面的数据集增广方式（如旋转、平移、缩放）都可能产生图像尺寸的变化，需要对未知空间进行插值填充。本发明使用反射（reflect）填充方式，即翻转对称位置的像素进行拷贝填充，其效果如图7所示。

[0008] （二）对深度神经网络进行增广训练。

[0009] （1）构建损失函数在损失函数中引入平衡因子α。平衡因子根据数据集中正、负样本数量比例设计。设Ngood和Nbad分别表示数据集中正负样本的数量，平衡因子α取为：
增加平衡银子后深度神经网络的交叉熵损失函数表示为：
其中，为深度神经网络预测值，y为真实标签，y=0表示表面无缺陷，y=1表示表面有缺陷。平衡因子α越大，这一类样本的损失值越大，使网络更加注重有缺陷样本的学习，用来弥补物体表面数据集中正负样本不均衡的问题。

[0010] （2）进行增广训练为了在有限时间内完成训练，将数据增广过程分静态增广和动态增广两个步骤进行，方法流程图如图8所示。

[0011] 为了保留图像整体的纹理特征，静态增广训练仅针对翻转和小幅平移增广操作的数据集，即使用静态增广后的数据集对神经网络进行训练；当损失值开始抖动不再下降，且10个epoch内损失波动在1%之内时，进行动态增广训练。动态增广是指在神经网络的训练过程中，将静态增广数据集分成多个batch输入到网络训练，并对每个batch的数据进行一定概率的不同于静态增广方式的操作。动态增广训练是在网络已经学习到纹理和典型缺陷的前提下对网络进行微调，所述其余增广操作得到的数据集，其增广操作类型包括：大幅平移、旋转、缩放、添加噪声、亮度调整、图像填充等，并且这些操作针对每一批次的数据以一定的概率发生。

[0012] （三）最后，经过增广训练的深度神经网络，实现物体表面缺陷的高精确度检测。

[0013] 实验表明，本发明提出的静态和动态增广分步训练的方法有助于防止神经网络过拟合或无法拟合，节省训练时间，可以明显增强深度神经网络模型的准确率和鲁棒性；在数据集较小及类型不均衡的情况下，可以提高物体表面缺陷检测的精确度和召回率，解决数据集不充分和不平衡的问题。附图说明

[0014] 图1为旋转操作图示。从左到右分别为原图、水平翻转、垂直翻转。

[0015] 图2为旋转效果图。从左到右分别为原图、顺时针旋转90°、顺时针旋转180°、顺时针旋转270°、逆时针旋转15°。

[0016] 图3为平移效果图。从左到右分别为：原图、沿x轴正向平移20%的像素距离、沿左上45°方向平移25%的像素距离。

[0017] 图4为缩放效果图。从左到右分别为原图，水平方向缩小到75%、垂直方向缩小到75%、对角线方向缩小到75%、整体放大到200%。

[0018] 图5为添加噪声效果图。从左到右分别为原图、增加2.55方差的高斯噪声、添加信噪比为0.9椒盐噪声。

[0019] 图6为亮度变化效果图。从左到右分别为原图，增亮0.2倍，减暗0.2倍。

[0020] 图7为两个样例的填充效果图。从左到右分别为原图与反射填充图、原图与反射填充图。

[0021] 图8为数据增广方法流程图。

[0022] 图9为德国DAGM 2007数据集10类缺陷布匹。

[0023] 图10为使用MobileNetV2对德国DAGM 2007数据集使用不同增广方法的训练过程。

[0024] 图11为无增广和本发明增广方法训练模型在德国DAGM2007数据集每类测试的准确率对比。

[0025] 图12为实施例1使用本发明方法训练模型的预测结果。

[0026] 图13为地面裂缝数据集。上面为裂缝缺陷数据，下面为无缺陷数据。

[0027] 图14为怡宝瓶盖表面缺陷数据集。（面为有缺陷数据，下面为无缺陷数据。

具体实施方式

[0028] 下面通过具体实施例进一步描述本发明。

[0029] 实施例1德国DAGM 2007数据集包括10类纺织布和10类纺织布的缺陷，训练集和测试集各有
8050张，其中训练集和测试集中正负样本的比例均约为10：1。其10类缺陷如图9所示。

[0030] 下表是使用MobileNetV2针对德国DAGM 2007数据集使用不同数据增广方式训练网络得到的检测性能。从下表可以看出，使用本发明提出的训练增强方法训练神经网络后，纺织布表面缺陷检测的准确率明显提升。由此可见，本发明提出的方法对提升以物体表面缺陷检测的神经网络训练有明显的帮助。

[0031] 表1、德国DAGM数据集的性能对比。

[0032] 图10展示了使用MobileNetV2对该数据集分别使用原始数据、静态增广训练、动态增广训练和本发明的双重增广训练的训练过程。横坐标表示epoch，每个epoch对所有数据集完成一遍训练，纵坐标表示训练模型在测试集上的测试准确率。可以看出使用无增广的原始数据训练，模型准确率很快趋于平稳，当训练到47个epoch左右时测试准确率开始下降，表明网络训练已经发生了过拟合。只使用静态增广方法进行训练，测试准确率提升到95.31%。但是由于使用了10倍静态增广，网络的训练时长增加到原来的35倍，极大增加了计算资源。此外，由于数据增广方法仅限于预设的这10种，增广类型不够丰富，准确率无法进一步提升。只使用动态增广方法进行训练，由于动态增广只对每个epoch中的某一批次数据进行增广，增广程度不够丰富，导致模型拟合过程较长，训练到50个epoch时准确率仅达到
89.21%。使用本发明提出的增广方法进行训练，先使用4倍静态增广，当准确率趋于平稳时使用动态增广进一步对模型进行微调，模型准确率提升到97.68%，拟合速度快，训练时长仅为原来的3倍。

[0033] 图11展示了无数据增广和使用本发明增广方法训练得到的模型在德国DAGM2007测试集测试的准确率，每一类的准确率都得到了大幅度提升。

[0034] 图12展示了使用本发明的数据增广方法训练出来的模型在德国DAGM2007数据集上的表现。这组实验结果表明：1、本发明提出了静态增广和动态增广，分两步增广的方法，节约了计算资源的同时加速了网络的拟合。2、增广方法的选择，静态增广保留了图像的纹理特征又增加了缺陷在图像上的分布的可能性，增加了鲁棒性；动态增广以一定的概率发生，对原来训练好的进行微调，有效增加了物体表面缺陷检测的准确率。

[0035] 实施例2地面裂缝数据集包括6787张图像，其中训练集3500张，测试集3287张。训练集正负样本比例为6：1。地面裂缝数据集正负样本如图13所示。

[0036] 下表是使用MobileNetV2针对地面裂缝数据集使用不同数据增广方式训练网络得到的检测性能。使用无增广的原始数据训练，准确率仅87.47%，训练50时长为3.64小时。使用6倍静态增广的方法进行训练，静态增广的方式包括：水平翻转、垂直翻转、90°旋转、180°旋转、270°旋转，训练准确率提升了4.69%，但是训练时长大大增加。使用动态增广的方法进行训练，训练了50个epoch准确率仅提升2.01%。使用本发明数据增广方法训练，先使用5倍静态增广训练，loss不下降时使用动态增广对网络进行微调，动态增广包括20%概率发生任意方向0-20%像素的平移，20%概率发生0-90°随机角度的旋转，和20%概率添加方差0.05-0.002方差的高斯噪声，微调训练了40个epoch，准确率提高了10.22%，训练时长仅为原来的
1.7倍。

[0037] 表2、地面裂缝数据集的性能对比。

[0038] 实施例3怡宝瓶盖表面缺陷数据集包括153张图像，其中训练集102张，测试集51张。训练集正样本70张，负样本32张。怡宝瓶盖表面缺陷数据集如图14所示。

[0039] 下表是使用MobileNetV2针对怡宝瓶盖表面缺陷数据集使用不同数据增广方式训练网络得到的检测性能。怡宝瓶盖表面缺陷数据集较少，表面缺陷为不规则的污渍。使用无增广的原始数据训练，准确率为86.27%。使用本发明数据增广方法训练，准确率能够到达100%。

[0040] 表3、瓶盖表面数据集的性能对比。

标题	发布/更新时间	阅读量
图像重构方法和装置	2020-05-08	788
位姿确定方法及装置、增强现实设备和可读存储介质	2020-05-08	315
基于视频深度学习的车辆识别方法	2020-05-11	168
用于识别对象的方法和设备	2020-05-08	657
超分辨率图像重构方法、系统、计算机设备及存储介质	2020-05-08	2
一种基于R-FCN的车牌字符检测及分割方法	2020-05-11	943
通用动量方法、基于通用动量方法的目标检测与识别方法	2020-05-11	289
一种检测发光小球特征信息的方法及装置	2020-05-08	974
特征表示迁移学习方法及相关装置	2020-05-08	638
制造半导体装置的方法	2020-05-08	695

一种基于深度神经网络增广训练的表面缺陷检测方法

一种基于深度神经网络增广训练的表面缺陷检测方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：