一种白色家电外壁喷涂质量检测方法专利检索-白色家电家用电器家用器具专利检索查询-专利查询网

一种 白色家电外壁喷涂 质量检测方法

阅读：118发布：2020-05-12

专利汇可以提供一种白色家电外壁喷涂质量检测方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于图像相减法与CNN的白色家电外壁喷涂质量检测方法，包括以下步骤：1）收集合格图像制作数据集，然后经过预处理和模板匹配将图像校正到模板图像位置；2）用处理好的图像训练图像差异模型，差异模型包含两个图像，一是训练的均值图像，二是计算每张图片标准方差获得的记录了每个像素点灰度变化范围的比较图像；3）使用标注的缺陷图片进行目标检测网络训练；4）将待测图片送入CNN网络提取特征图，同时进行预处理和模板匹配然后与图像差分模型比较获得差异区域；5）由差异区域生成候选区域和特征图一并送入ROI Pooling，生成固定维度的特征向量送入后续网络进行分类和边框回归。，下面是一种白色家电外壁喷涂质量检测方法专利的具体信息内容。

权利要求

1.一种白色家电外壁喷涂质量检测方法，通过标注过缺陷的训练数据进行训练，实现对生产线上喷涂完毕的白色家电外壁进行质量检测，包括缺陷分类与识别定位；其特征在于，包括两个方面：图像差分模型训练和候选区域生成；
1）图像差分模型训练：首先收集一定数量的喷涂质量为合格的产品图像构成差分模型训练集，然后进行训练得到差分模型；
2）候选区域生成：测试图像经过预处理和配准后与图像差分模型比较得到差异区域，由此产生候选区域；
3）将测试图像送入目标检测网络前端的特征提取网络得到特征图，然后将候选区域和特征图一并送入RoI池化层并通过后续网络输出缺陷类别和定位框。
2.如权利要求1所述的一种白色家电外壁喷涂质量检测方法，其特征在于，所述图像差分模型的训练，图像差分模型训练包括两个步骤：
1）计算所有训练图像的均值，生成均值图像；
2）计算所有训练的图像的标准方差，生成标准差图像。
3.如权利要求1所述的一种白色家电外壁喷涂质量检测方法，其特征在于，候选区域生成：将待测图片经过预处理去噪后，与差分模型对比得出差异区域，对差异区域进行处理得到候选区域，处理方法包括但不局限于形态学开闭运算及连通域处理、机器学习聚类处理等。
4.如权利要求1所述的一种白色家电外壁喷涂质量检测方法，其特征在于，在进行差分模型训练之前首先进行图像预处理以去除噪声，平滑图像，预处理方法包括但不局限于均值滤波、中值滤波、高斯滤波等。
5.如权利要求1所述的一种白色家电外壁喷涂质量检测方法，其特征在于，图像预处理后进行配准，配准方法包括但不局限于基于形状的模板匹配、基于灰度的模板匹配。

说明书全文

一种白色家电外壁喷涂 质量检测方法

技术领域

[0001] 本发明涉及一种白色家电外壁喷涂质量检测方法，属于图像处理技术领域。

背景技术

[0002] 在白色家电的生产中，如热水器，洗衣机，空调等，产品的外壳均需要进行喷涂作业，以达到设计的外观效果。在喷涂的过程中可能会产生流疤、皱纹、起泡、漏涂、以及集结杂质等外观缺陷。

[0003] 在传统的白色家电喷涂面质量检测过程中，对喷涂的外观缺陷，人工视检是主要方法，通过人工借助辅助照明装置、肉眼查看的方式进行喷涂表面的检查。人工视检的方法主观性和随机性比较大，加之大部分白色家电为体积较大的回转体或者方体，人工有时会存在漏检的情况。

[0004] 在外观缺陷检测领域，传统方法主要为手工设计特征提取+机器学习分类，比如在汽车涂装领域，《Car Body Paint Defect Inspection Using Rotation Invariant Measure of the Local Variance and One-Against-All Support Vector Machine》一文提出利用局部变化算子的旋转不变性首先对瑕疵进行定位，并利用一对多的SVM分类器对瑕疵进行分类。使用手工特征和机器学习的这种方法在检测对象稳定的时候可以稳定的提取设计的特征，但是对于更换产品时则需要重新设计特征，鲁棒性不高。随着深度学习技术的发展，卷积神经网络在图像分类识别以及目标检测领域应用越来越广泛，卷积神经网络通过卷积自动提取特征，避免了手工设计特征，后续网络根据特征进行分类和识别，在识别效果以及鲁棒性上均有更优的表现。

[0005] 深度学习中目标检测目前主要有两种技术路线：一种是two-stage的，其将检测问题分为两个阶段，首先产生候选区域（Region Proposals），然后对候选区域进行分类和边框回归，代表是R-CNN系算法，如Fast R-CNN,Faster-RCNN等；另一种是one-stage的，其不需要产生候选区域，而是直接产生物体的类别概率和位置左边，其速度要比two-stage的算法要快。但是不论是two-stage还是one-stage的通用目标检测算法直接应用到工业外观缺陷检测领域都是不合适的，在白色家电的喷涂检测方面，图像尺寸普遍在2040px×1086px以上，缺陷面积相较于整个图像，所占比例很小，因此对超分辨图片以及小目标的检测，仅仅使用通用网络是不够的。

发明内容

[0006] 发明目的：针对白色家电喷涂质量检测领域目前存在的问题：人工视检检测效率低，检测精度不高；传统机器视觉使用的手工设计特征提取鲁棒性不高；通用目标检测算法不适用本场景检测任务。本发明提供了一种白色家电外壁喷涂质量检测方法，基于差异模型产生候选区域，缩短了候选区域生成时间，减少了候选区域的个数，提高了候选区域的精度，从而提高了对缺陷识别定位的精度。

[0007] 总体技术思路：本发明分为训练过程和测试过程。首先，定义一个two-stage类型目标检测网络，其结构包括CNN特征提取网络，RoI池化层，全连接层以及使用差异模型代替RPN产生Region Proposals；然后，使用标注缺陷图像训练集进行模型的训练，得到一个训练好的专用目标检测网络；最后，对待检测图像滤波去噪，然后送入训练好的专用目标检测网络，得到缺陷的类别、缺陷的左侧边界左上角坐标点、缺陷右侧边界右下角坐标点。

[0008] 本发明为解决其技术问题采用如下技术方案：一种白色家电外壁喷涂质量检测方法，包括如下步骤。

[0009] 步骤1：对训练图像进行预处理，输入尺寸为，对缺陷进行符合目标检测需要的标注，包括五个类别：流疤、皱纹、起泡、漏涂、集结杂质。

[0010] 步骤2：定义一个two-stage类型目标检测网络，其结构包括CNN特征提取网络，ROI Pooling，全连接层以及使用差异模型代替RPN产生Region Proposals。

[0011] 步骤3：差异模型训练：其中表示张图像的均值图像；为训练图片；
其中表示张图像的标准方差图像。

[0012] 步骤4：候选区域生成：4.1首先将待测图片与差异模型对比产生差异区域：
当时为亮区域
当时为暗区域
差异区域
其中为当前待测图片；为绝对阈值，为相对阈值，这两组参数可以
调节获取的差异区域；
4.2然后对差异区域进行适当形态学操作以及面积过滤，去除面积特别小的噪点区域得到区域，其中表示框体左上角横坐标，表示左上角纵坐标，表示框体
宽，表示框体高；
4.3对中各个子区域取其水平的最小外接矩形框
作为初始的候选框，初始候选框集合
从初始候选框集合中选取与标注框IoU>0.5的为正样本，其余的设为负
样本，由于差异模型方法产生的初始候选框个数远小于RPN，因此将正样本全部选为候选区域框。

[0013] 步骤5：将训练图片输入特征提取CNN中，得到特征图feature map，其大小设为。

[0014] 步骤6：将区域候选框映射到特征图feature map上：6.1首先获取缩放尺度spatial_scale：
其中round()为对浮点数进行四舍五入操作，m为保留小数位数；
6.2获取在特征图上的映射区域：
映射区域左上角横坐标：
映射区域左上角纵坐标：
映射区域宽度：
映射区域高度：
由此。

[0015] 步骤7：将映射区域及特征图feature map一起送入ROI Pooling，输出固定大小的feature map。

[0016] 步骤8：将步骤7得到的特征输入全连接层进行分类和边框回归，得到分类分数以及回归后的边框。

[0017] 步骤9：目标检测网络按以上步骤训练，最终得到训练好的专用检测网络。

[0018] 步骤10：对待检测图像滤波去噪，然后送入训练好的专用目标检测网络，得到缺陷的类别、缺陷的左侧边界左上角坐标点、缺陷右侧边界右下角坐标点。附图说明
图1为一种白色家电外壁喷涂质量检测方法的算法检测流程图；
图2为一种白色家电外壁喷涂质量检测方法的差分模型训练流程；
图3为通过差分模型生成区域建议的过程示意图。

具体实施方式

[0019] 以下为结合具体实施例，进一步阐明本发明，此实例仅用于说明本发明而不用于限制本发明的范围。

[0020] 一种白色家电外壁喷涂质量检测方法，参见图1，该方法包括以下步骤。

[0021] 步骤1：获取数据集，此实例中以流疤、皱纹、起泡、漏涂、集结杂质五种喷漆表面缺陷为检测对象，图像来源于产线工业相机采图，尺寸大小2592×1944，在训练图像中使用labelImg或者其他目标检测标注工具进行标注。取数据集总量的80%为训练集，其余20%为验证集。

[0022] 步骤2：定义一个two-stage类型目标检测网络，其结构包括VGG16特征提取网络，ROI Pooling，全连接层以及使用差异模型代替RPN产生Region Proposals。

[0023] 步骤3：差异模型训练：其中表示张图像的均值图像；为训练图片；
其中表示张图像的标准方差图像。

[0024] 步骤4：候选区域生成，参考图3，最左侧图为原图，中间的图为差分过后的差异区域，最右侧图为通过差异区域生成的区域候选框，具体步骤如下：4.1首先将待测图片与差异模型对比产生差异区域：
当时为亮区域
当时为暗区域
差异区域
其中为当前待测图片；为绝对阈值，为相对阈值，这两组参数可以
调节获取的差异区域，合适的差异区域决定了后续区域候选框生成的准确性，可以通过手动调整或者算法寻优调整；
4.2然后对差异区域进行适当形态学操作以及面积过滤，去除面积特别小的噪点区域得到区域，其中表示框体左上角横坐标，表示左上角纵坐标，表示框体宽，表示框体高；
4.3对中各个子区域取其水平的最小外接矩形框
作为初始的候选框，初始候选框集合
从初始候选框集合中选取与标注框IoU>0.5的为正样本，其余的设为负
样本，由于差异模型方法产生的初始候选框个数远小于RPN，因此将正样本全部选为候选区域框。

[0025] 步骤5：将训练图片输入特征提取CNN中，得到最后一个feature map为conv5-3，尺寸大小为。

[0026] 步骤6：将区域候选框映射到特征图feature map上：6.1首先获取缩放尺度spatial_scale
其中round()为对浮点数进行四舍五入操作，m为保留小数位数；
6.2获取在特征图上的映射区域ROIs：
映射区域左上角横坐标：
映射区域左上角纵坐标：
映射区域宽度：
映射区域高度：
由此。

[0027] 步骤7：将映射区域及特征图feature map一起送入ROI Pooling，输出固定大小的feature map。

[0028] 步骤8: 将步骤7得到的特征输入全连接层进行分类和边框回归，得到分类分数以及回归后的边框。

[0029] 步骤9: 目标检测网络按以上步骤训练，使用Softmax损失函数，调节批处理参数（batch_size）、学习率（learning rate）、动量（momentum）等参数来获取较好的网络训练结果，训练完成保存最优权重文件。

[0030] 步骤10: 加载步骤9保存的网络权重文件，对待检测图像滤波去噪，然后送入目标检测网络，得到缺陷的类别、缺陷的定位的预测框。

[0031] 根据上述实施例，针对在白色家电喷涂质量检测领域，本发明设计了一种专用的目标检测网络，使用差异模型代替RPN网络可以降低模型整体复杂度，减少模型训练时间，因此可以降低工业现场部署的硬件环境要求，同时准确的区域建议框的生成提高了缺陷定位的精度，本实施例未对本发明保护范围做限定，任何在本发明基础上所做的改动都属于本发明保护范围。

标题	发布/更新时间	阅读量
蓄能换热装置及空调设备	2020-05-18	608
空气净化组件和空气净化器	2020-05-20	137
一种白色家电外壁喷涂质量检测方法	2020-05-12	118
用于白色小家电的电源插座	2020-05-12	727
衣撑、衣物护理设备及其控制方法	2020-05-18	197
用于白色小家电的电源插座	2020-05-14	1011
用于白色小家电的耦合器	2020-05-15	768
标记白色家电铭牌的激光装置	2020-05-15	587
基于等离子体技术治理白色家电行业的废气装置	2020-05-17	382
用于白色家电的多级菜单显示操作装置	2020-05-16	167

一种白色家电外壁喷涂质量检测方法

一种白色家电外壁喷涂质量检测方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：