技术领域
[0001] 本
发明涉及
深度学习、数字
图像处理技术领域，具体涉及一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法。
背景技术
[0002] 随着我国建筑行业跨越式发展，各种新型
建筑材料被应用到建筑当中。彩钢瓦又称为彩色压型瓦，在居民房、仓库、大跨度结构建筑上得到了广泛适用，其作为轻型建筑材料，能够加快工期进度，并且在抗
地震灾害方面具有极大的优势。彩钢瓦强度高，承重效果好，无需梁柱。尤其在大跨度建筑建设中具有其他材料不可比拟的优势。目前，彩钢瓦已经在我国得到推广应用，彩钢瓦产业已成规模。彩钢瓦需求量不断增大，同时给企业生产效率提出了挑战，质检阶段是产品出厂的必要阶段。由于工艺或者工人技术原因，在彩钢瓦表面会出现缺漆、脏点等现象，缺漆现象不仅给企业带来质检压
力，同时也给使用者带来安全隐患，表面一旦缺漆，随着雨
水冲刷、落叶
腐蚀，彩钢会
加速生锈、老化，轻者出现漏水现象，重者可能造成生命、财产损失。
[0003] 目前我国生产彩钢瓦企业的质检方式基本上都是人工质检，通过顶置
光源、人眼观察的方式来检测彩钢瓦表面缺陷。首先人工方式检测效率非常低下，已经不能满足我国日益增长的对彩钢瓦的需求。其次，由于工人个人素质、技术水平等原因，会出现漏检、误检现象，给企业、使用者带来极大损失。最后，对于面积比较大的彩钢瓦需要多人协作方式进行质检工作，造成了极大的人力资源浪费。
[0004] 因此，现有彩钢瓦表面检测技术存在人力成本高、检测效率低、检测
精度低的问题。
发明内容
[0005] 本发明提供了一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法，该方法利用计算机图像处理技术、深度学习技术实现了彩钢瓦表面缺陷检测，降低人力成本，检测效率更高，检测精度更高。
[0006] 一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法，该方法包括：
[0007] 步骤一，使用相机采集彩钢瓦原始灰度图像，对彩钢瓦原始灰度图像进行二维离散傅里叶变换，得到彩钢瓦
频谱图像；
[0008] 步骤二，计算彩钢瓦频谱图像对应的
功率谱图像，使用最大类间方差法，对彩钢瓦功率谱图像进行二值化；
[0009] 步骤三，构建形态学结构元素，对二值化的彩钢瓦功率谱图像进行形态学膨胀操作；
[0010] 步骤四，将膨胀的彩钢瓦功率谱图像的亮部区域设为1，其余区域设为0，作为遮罩数据，将遮罩数据与彩钢瓦频谱图像点对点相乘，得到滤波后的彩钢瓦频谱图像；
[0011] 步骤五，对滤波后的彩钢瓦频谱图像进行二维离散傅里叶逆变换，得到重构彩钢瓦背景图像；
[0012] 步骤六，根据彩钢瓦原始灰度图像与重构彩钢瓦背景图像，基于背景差分法，得到彩钢瓦缺陷图像；
[0013] 步骤七，对彩钢瓦缺陷图像进行
阈值化处理，对阈值化处理结果进行连通域筛选，筛选结果作为标注图像；
[0014] 步骤八，对多个彩钢瓦进行彩钢瓦原始灰度
图像采集，并根据步骤一至七获取标注图像，将彩钢瓦原始灰度图像与标注图像作为样本数据集，基于交叉熵损失函数训练预设语义分割深度
卷积神经网络；
[0015] 步骤九，将待检测彩钢瓦原始灰度图像输入训练好的语义分割深度卷积神经网络，得到彩钢瓦缺陷检测结果；
[0016] 步骤十，根据连通域面积筛选规则，对彩钢瓦缺陷检测结果进行筛选。
[0017] 步骤一中的二维离散傅里叶变换计算公式如下：
[0018]
[0019] 其中，f(x，y)代表大小为M*N的矩阵，其中,x的取值区间[0,1,…，M-1]和y的取值区间[0,1,…，N-1],x、y均为整数，F(u,v)为f(x，y)的傅里叶变换频谱成分，是两个实
频率变量u和v的复值函数，频率u对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。
[0020] 步骤三中的形态学结构元素为：
[0021] 步骤五中的二维离散傅里叶逆变换计算公式如下：
[0022]
[0023] 其中，f(x，y)代表大小为M*N的矩阵，其中,u的取值区间[0,1,…，M-1]和v的取值区间[0,1,…，N-1],u、v均为整数，F(u,v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量u和v的复值函数，频率u对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。
[0024] 步骤六包括：
[0025] 根据彩钢瓦原始灰度图像，基于背景差分法，将彩钢瓦纹理、光照信息从原始灰度图像中剔除，得到彩钢瓦缺陷图像，计算公式如下：
[0026] RES＝G-BASE
[0027] 其中，RES为彩钢瓦缺陷图像，G为彩钢瓦原始灰度图像，BASE为重构彩钢瓦背景图像。
[0028] 步骤十中的连通域面积筛选规则包括：
[0029] 计算连通域面积评分系数：
[0030]
[0031] 其中，c为评分系数，d为彩钢瓦两凸起之间的距离，A为彩钢瓦缺陷检测结果中的连通域面积，B为当前
检测区域彩钢瓦的面积；
[0032] 设置阈值，如果连通域面积评分系数大于阈值则将该连通域计入缺陷，否则，将该连通域过滤。
[0033] 本发明的有益效果在于：
[0034] 1、本发明采用
计算机图形学对彩钢瓦图像进行处理，获得缺陷标示结果，实现了智能化的彩钢瓦质检，降低了人力成本；
[0035] 2、本发明无需进行手工标注，基于检测结果自动标注并生成数据集，进而训练语义分割深度卷积神经网络，本发明方法前期
计算机视觉算法可以完成常规的彩钢瓦批量缺陷检测，后期能够训练泛化性能更强的语义分割深度卷积神经网络，性能鲁棒性更强，能够适应各种复杂工业情况、不同规格、
颜色彩的钢瓦进行检测，适用范围广，提高企业的检测效率；
[0036] 3、本发明采用傅里叶变换、形态学滤波等计算机图形处理技术，获得彩钢瓦缺陷图像，克服彩钢瓦表面纹理、光照等干扰，提高了标注精度，进一步提高后续检测精度。
附图说明
[0037] 图1为彩钢瓦表面缺陷的CNN语义分割自学习检测方法
流程图；
[0038] 图2为彩钢瓦原始灰度图像示意图；
[0039] 图3为彩钢瓦频谱图像示意图；
[0040] 图4为膨胀的彩钢瓦功率谱图像示意图；
[0041] 图5为阈值化的彩钢瓦缺陷图像示意图；
[0042] 图6为标注图像示意图；
[0043] 图7为语义分割深度卷积网络输出结果示意图；
[0044] 图8彩钢瓦缺陷检测结果示意图。
具体实施方式
[0045] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图以及
实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0046] 本发明提供一种彩钢瓦表面缺陷的CNN语义分割自学习检测方法，采用普通相机采集彩钢瓦图像，通过傅里叶变换得到频谱图，对功率谱滤波，进行傅里叶逆变换得到带有纹理、光照的背景图，采用背景差分法过滤纹理及光照，通过阈值化处理得到彩钢瓦缺陷标注图像，将彩钢瓦原始灰度图像与标注图像作为样本集，输入语义分割深度卷积神经网络，实现彩钢瓦表面缺陷自动检测。彩钢瓦表面缺陷的CNN语义分割自学习检测方法流程图如图1所示，下面通过具体实施例来进行说明。
[0047] 实施例一：
[0048] 彩钢瓦表面缺陷的CNN语义分割自学习检测方法，包括：
[0049] 步骤一，使用相机采集彩钢瓦原始灰度图像，对彩钢瓦原始灰度图像进行二维离散傅里叶变换，得到彩钢瓦频谱图像。
[0050] 采用普通灰度相机自顶向下采集彩钢瓦原始灰度图像G。彩钢瓦原始灰度图像如图2所示。对彩钢瓦原始灰度图像进行二维离散傅里叶变换。二维离散傅里叶变换公式如下：
[0051]
[0052] 其中，f(x，y)代表大小为M*N的矩阵，其中，x的取值区间[0，1，…，M-1]和y的取值区间[0，1，…，N-1]，x、y均为整数，F(u，v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量μ和v的复值函数，频率μ对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。
[0053] 根据上述公式可以得到彩钢瓦的频谱，将频谱中心化，得到彩钢瓦频谱图像如图3所示。彩钢瓦频谱图像中出现一道亮线，该
位置即是图像部分。
[0054] 步骤二，计算彩钢瓦频谱图像对应的功率谱，使用最大类间方差法，对彩钢瓦功率谱图像进行二值化。
[0055] 计算彩钢瓦频谱图像对应的功率谱：P(μ，v)＝|F(μ，v)|2＝R2(μ，v)+I2(μ，v)[0056] 其中，R(μ，v)、I(μ，v)分别为彩钢瓦傅里叶谱F(μ，v)的
实部和
虚部。
[0057] 采用最大类间方差法对得到的功率谱P(μ，v)进行二值化，得到二值化后的彩钢瓦功率谱图像。最大类间方差法具体如下：假设图像的尺寸为M×N，图像中小于等于阈值T灰度值即背景
像素的个数记为N0，灰度值大于阈值T即
前景像素个数记为N1。则有：
[0058] w0＝N0/M×N
[0059] w1＝N1/M×N
[0060] 其中，w0为
背景像素占比，w1为前景像素占比，N0+N1＝M×N，w0+w1＝1。
[0061] μ′＝w0*μ0+w1*μ1
[0062] 其中，μ′为灰度累计值，μ0为背景平均灰度值，μ1为前景平均灰度值。
[0063] g＝w0(μ0-μ′)2+w1(μ1-μ′)2
[0064] 其中，g为类间方差。
[0065] 根据上述公式可以得到类间方差最终简化公式：
[0066] g＝w0w1(μ0-μ1)2
[0067] 遍历所有0到255灰度级的阈值分割条件，获得最大类间方差对应的灰度级即为最大类间方差法获得的阈值。根据所得阈值对彩钢瓦功率谱图像进行阈值化处理。
[0068] 步骤三，构建形态学结构元素，对二值化的彩钢瓦功率谱图像进行形态学膨胀操作。
[0069] 构建形态学结构元素。一种实施例是设计形态学结构元素K，形态元结构元素的尺寸是3×3，具体可以采用十字结构：
[0070]
[0071] 采用形态学结构元素K对二值化的彩钢瓦功率谱图像进行膨胀操作，得到膨胀的彩钢瓦功率谱图像，如图4所示。
[0072] 步骤四，将膨胀的彩钢瓦功率谱图像的亮部区域设为1，其余区域设为0，作为遮罩数据，将遮罩数据与彩钢瓦频谱图像点对点相乘，得到滤波后的彩钢瓦频谱图像。
[0073] 膨胀结果可以作为自适应滤波的频率线索。根据膨胀的彩钢瓦功率谱图像设计遮罩。遮罩本身的形状会出现较不稳定的情况，但由于膨胀操作将其扩张，因此，根据遮罩数据滤波的效果和完整的
滤波器的滤波
质量近似。
[0074] 将膨胀的彩钢瓦功率谱图像的亮部区域设为1，其余区域设为0，作为遮罩数据。将遮罩数据与彩钢瓦频谱图像点对点相乘。实施者应知道，功率谱是一种
可视化用途的数据，对于功率谱而言，本发明依靠其灰度特征自动生成遮罩。而频谱图像保留了
相位、强度等信息，因此应在频谱图像上与遮罩进行逐点相乘。
[0075] 步骤五，对滤波后的彩钢瓦频谱图像进行二维离散傅里叶逆变换，得到重构彩钢瓦背景图像。
[0076] 对滤波后的彩钢瓦频谱图像进行二维离散傅里叶逆变换，得到重构彩钢瓦背景图像。二维离散傅里叶逆变换计算公式如下：
[0077]
[0078] 其中，f(x，y)代表大小为M*N的矩阵，其中,u的取值区间[0,1,…，M-1]和v的取值区间[0,1,…，N-1],u、v均为整数，F(u,v)为f(x，y)的傅里叶变换频谱成分，是两个实频率变量u和v的复值函数，频率u对应于x轴，频率v对应于y轴，e为自然常数，i为虚数单位，π为圆周率。重构彩钢瓦背景图像包含原图光照信息以及纹理信息，可以作为原始图像的背景图。
[0079] 步骤六，根据彩钢瓦原始灰度图像与重构彩钢瓦背景图像，基于背景差分法，得到彩钢瓦缺陷图像。
[0080] 根据步骤六，得到了重构彩钢瓦背景图像，包含原图光照信息及纹理信息，可以作为原始图像的背景图。根据彩钢瓦原始灰度图像，基于背景差分法，将彩钢瓦纹理、光照信息从原始灰度图像中剔除。计算公式如下：
[0081] RES＝G-BASE
[0082] 其中，图像RES即为去除光照不均匀现象、去除纹理后的彩钢瓦缺陷图像，BASE为重构彩钢瓦背景图像。
[0083] 步骤七，对彩钢瓦缺陷图像进行阈值化处理，对阈值化处理结果进行连通域筛选，筛选结果作为标注图像。
[0084] 为了得到更好的检测效果，采用大津阈值法对彩钢瓦缺陷图像RES进行阈值化，阈值化的彩钢瓦缺陷图像如图5所示。通过阈值化可以看出背景差分包含了许多噪点，这是由于背景差分原理决定的，因此需要对阈值化后图像进行进一步处理，以得到更加清晰的标注结果。本实施例采用连通域面积筛选处理，将小于阈值的噪点连通域过滤，得到标注图像，标注图像如图6所示。
[0085] 步骤八，对多个彩钢瓦进行彩钢瓦原始灰度图像采集，并根据步骤一至七获取标注图像，将彩钢瓦原始灰度图像与标注图像作为样本数据集，基于交叉熵损失函数训练预设语义分割深度卷积神经网络。
[0086] 采集多个彩钢瓦的原始彩钢瓦灰度图像，并生成标注图像，用于语义分割。实施者可以在样本足够多时开始深度卷积神经网络的训练。
[0087] 一般而言，样本数量应为1000左右，由于是小批量样本，可以对样本集做旋转、透视变换、缩放、镜像等常规的样本增强操作。
[0088] 实施者可以使用基于DeepLabV3,ENet，ICNet，HRNet等现有的性能较佳的语义分割深度卷积神经网络来实现。本发明所解决的问题是一种二分类问题，但由于一般的语义分割网络设计时是为了多分类问题设计的，因此网络的激活函数和一些结构是与交叉熵损失函数的特性相对应的，因此，即便本发明解决的是二分类问题，还是需要使用交叉熵损失函数进行训练：
[0089] CE(S1(i,j),Label(i,j))＝Label(i,j)*log(S1(i,j))
[0090] 其中S1为卷积神经网络通道1输出结果，Label是标注图像，S1(i,j)是输出结果在位置(i，j)处的像素值，Label(i,j)是标注图像在位置(i，j)处的像素值，缺陷处为1，其余位置为0。
[0091] 鉴于交叉熵损失函数的特性，将多分类语义分割深度卷积神经网络的最后一层通道数为分类类别数加1。以ENet为例，调节最后一层反卷积层的输出通道为2即可。语义分割
深度神经网络的交叉熵训练方法是众所周知的，因此不再赘述。
[0092] 以ENet为例，调节学习率为3e-4，优化器为Adam即可。
[0093] 基于上述步骤，可以训练得到效果理想的语义分割深度卷积神经网络权重。将权重载入，保存训练好的语义分割深度卷积神经网络。
[0094] 步骤九，将待检测彩钢瓦原始灰度图像输入训练好的语义分割深度卷积神经网络，得到彩钢瓦缺陷检测结果。
[0095] 采集待检测彩钢瓦原始灰度图像，将图像输入训练好的语义分割深度卷积神经网络，取通道1的输出。以图2为例，将其输入训练完成后的网络，取通道1的输出，得到图7所示的语义分割深度卷积网络输出结果。
[0096] 由于反卷积的操作的存在，一般得到的响应会出现细密的网格化效果，为了得到后续稳定的分割结果，需要对其进行闭运算操作。对闭运算操作后的图像进行自适应二值化。一种实施例是采用最大类间方差法对闭运算后的分割结果进行二值化处理，即可得到如图8所示的彩钢瓦缺陷检测结果。
[0097] 步骤十，根据连通域面积筛选规则，对彩钢瓦缺陷检测结果进行筛选。
[0098] 进一步地，基于经验设计筛选规则，对彩钢瓦缺陷检测结果进行过滤。设计的筛选规则是针对彩钢瓦缺陷检测结果中连通域面积进行过滤。在实际实施中应根据企业实际检测要求设计连通域筛选规则。筛选规则可以包括：根据连通域面积进行筛选。本发明通过大量实践验证，得到了一种筛选规则，计算连通域面积评分系数，设置阈值，比较连通域面积评分系数与阈值大小。如果连通域面积评分系数大于阈值，则该缺陷严重，如果连通域面积评分系数小于阈值，则该缺陷可以忽略不计。连通域面积评分系数具体可以根据以下公式计算：
[0099]
[0100] 其中，c为评分系数，d为彩钢瓦两凸起之间的距离，A为彩钢瓦缺陷检测结果中的连通域面积，即缺陷面积，B为当前检测区域彩钢瓦的面积。设置阈值，根据经验值可设为3，当c>3时认为缺陷比较严重，将该连通域计入缺陷，否则，将该连通域面积过滤。根据上述筛选规则对彩钢瓦缺陷连通域进行筛选。
[0101] 进一步地，可以设置多个阈值。一种实施例是设置两个阈值，根据最小阈值过滤小于最小阈值的连通域，根据最大阈值过滤大于最大阈值的连通域。设置多个阈值可以过滤检测结果边缘非缺陷的噪声。
[0102] 本发明需进行手工标注，基于检测结果自动标注，标注精度更高。根据标注图像生成数据集，进而训练语义分割深度卷积神经网络，本发明方法前期计算机视觉算法可以完成常规的彩钢瓦批量缺陷检测，后期能够训练泛化性能更强的语义分割深度卷积神经网络，性能鲁棒性更强，能够适应各种复杂工业情况、不同规格、颜色彩的钢瓦进行检测，适用范围广，提高企业的检测效率。
[0103] 以上实施例仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
