技术领域
[0001] 本
发明涉及基于视觉的织物疵点检测技术领域，特别涉及一种基于图像的信息熵和视觉注意机制的织物疵点检测方法，实现织物是否存在疵点的判断以及对疵点的
定位和提取操作。
背景技术
[0002] 纺织品疵点检测在纺织品生产过程中扮演重要
角色，传统生产过程中，纺织品疵点检测由人工完成，但是，由于主观因素影响，人工检测在准确性、一致性和效率方面都存在
缺陷。随着
机器视觉和
图像处理技术的发展，纺织品疵点检测必将走向自动化与智能化。
[0003] 在纺织品疵点检测领域，织物可分为纯色的简单纺织品和含有图案的复杂纺织品，国内外的研究者们也将研究重点放在提出一种普遍适用的织物疵点检测方法，并且目标不仅仅是判断织物是否存在疵点，更多的是确定疵点
位置及提取疵点轮廓。
[0004] 香港浸会大学的Ng等人使用图像分解的方法将图像分成代表疵点的卡通层和代表背景的结构层，这种方式仅对部分疵点检测结果较好，查全率较低。韩国科学技术院的Park等人提出了一种相邻差分滤波的方法，通过对比相邻区域的
亮度分割出疵点，然而这种方法的困难在于
滤波器的选择。大连理工大学的 Cao等人提出了两种低秩分解的方法，NRPCA和PLSR对纺织品疵点进行了检测，此类方法需要先验知识指导，并且适应性较差。
[0005] 近年来，
深度学习方法在基于视觉的自动疵点提取上取得了一些成果。北方工业大学的Li等人提出了一种基于Fisher准则的堆栈式去噪自
编码器来实现疵点区域和非疵点区域的区分，最终通过减法和
阈值处理来定位疵点位置。新加坡国立大学的Ren等人提出了一种通用的深度学习方法，它利用预训练的神经网络和迁移学习特征来构建分类器，并通过用训练得到的分类器对整张图像进行卷及操作来实现
像素级的疵点预测。尽管这些基于深度学习的方法提取结果很好，但其在实际运用中使用的并不多。这是因为，通常情况下，疵点
数据库很小，无法训练出符合要求的
深度神经网络，小规模的
训练数据会造成过拟合的现象。同时，生产者们不会花费过多的时间用以搭建大规模的疵点数据库，对疵点图像进行人工标记也需要大量时间和
费用。更重要的是，疵点提取的目的是要精确地定位并分割出疵点区域。然而，深度学习的方法主要是运用学习方法提取出特征，这些特征可以用于疵点的分类或者框定出疵点区域，但并不能实现精确定位。通常，深度学习方法仍使用传统的滤波器、阈值化等方法实现最终的疵点定位。
[0006] 除了上述方法之外，织物疵点的判断、定位及提取越来越成为纺织品疵点检测领域的焦点。
发明内容
[0007] 本发明针对目前织物疵点检测方法的不足，提出了一种基于信息熵和视觉注意机制的织物疵点检测方法。该方法根据人类视觉系统对不同特征的注意机制，采用对立色彩空间提取图像的亮度特征和色彩特征，并且根据纺织品的特点加入了能够描述其纹理特征的熵值信息，从而构成四元数图像；通过超复数傅里叶变换得到
频谱，提出一种非线性阈值方法对幅值谱局部调谐；最后结合
相位谱进行超傅里叶逆变换，得到显著图，从而对纺织品疵点进行分割与标记。
[0008] 本发明是通过以下措施实现织物疵点检测的：
[0009] 利用信息熵增加纺织品图像的疵点与背景图案的
对比度，并针对一维熵不能反映
图像空间分布特征的问题，引入了图像二维熵的计算方式；利用基于四元数的超复数傅里叶变换将图像变换到频域处理，改善了传统傅里叶变换对每个通道单独处理的缺点，实现高效快速的整体频域变换；提出了一种在频域内对幅值谱局部滤波的方法，能够保留感兴趣的疵点部分，有效抑制重复的背景图案。
[0010] 进一步地提供一种基于信息熵和视觉注意机制的织物疵点检测方法，其包括以下操作步骤：
[0011] (1)提取织物图像的二维熵表示图像的纹理特征；
[0012] (2)提取图像的
颜色矩阵和亮度矩阵，构成符合视觉注意机制的对立色彩空间；
[0013] (3)采用四元数表达式联合二维熵矩阵、颜色矩阵和亮度矩阵将织物图像重构为一个整体；
[0014] (4)采用超复数傅里叶变换将重构的四元数图像转化至频域；
[0015] (5)计算阈值T将频域内幅值谱分为显著部分和非显著部分，对非显著部分执行高斯滤波调谐；
[0016] (6)将调谐后幅值谱结合原相位信息进行超复数傅里叶逆变换得到包含疵点部分的显著图。
[0017] 所述步骤(1)中二维熵的提取方式为：在图像的每个像素的7*7个像素邻域内计算该像素点的熵值，计算公式为：
[0018]
[0019] 式中，H表示所计算图像的二维熵，L为图像中出现的灰度级数，P(xi)为每一灰度级出现的概率。
[0020] 所述步骤(2)主要包括对立色彩空间中颜色特征和亮度特征的计算，对立色彩空间的颜色特征是模拟视觉感受野中，神经元被一种颜色激励(例如红色) 时被另一种颜色抑制(例如绿色)，激励神经元的颜色就是显著信息，对立色彩空间中利用红、绿、蓝三个通道计算出红/绿显著特征RG和蓝/黄显著特征BY。
[0021] 所述步骤(2)中对立色彩空间计算过程所用到的公式包括：
[0022] 1)RG＝R-G
[0023] 2)BY＝B-Y
[0024] 3)I＝(r+g+b)/3
[0025] 式中，r，g，b分别表示图像的红、绿、蓝3个通道，R，G，B和Y分别为图像中红色、绿色、蓝色和黄色的显著成分，其中R＝r-(g+b)/2，G＝ g-(r+b)/2，B＝b-(r+g)/2，Y＝(r+g)/2-|r-g|/2-b。
[0026] 所述步骤(3)中二维熵和对立色彩空间重构的四元数表达式为：
[0027] f(n，m)＝w1H+w2RGi+w3BYj+w4Ik；
[0028] 式中，f(n，m)为重构后的四元数，w1～w4是特征矩阵所占权重。
[0029] 所述步骤(4)将重构的四元数采用超复数傅里叶变换转化至频域的目的是求取幅值谱和相位谱。
[0030] 所述步骤(4)求图像频域信息的过程中所用到的公式包括：
[0031] 1)F(u，v)＝||F(u，v)||eμφ(u，v)
[0032] 2)A(u，v)＝||F(u，v)||
[0033] 3)
[0034] 式中，A(u，v)为幅值谱，P(u，v)为相位谱，I(u，v)和R(u，v)分别为频域内F(u，v) 的
虚部和
实部。
[0035] 所述步骤(5)中对幅值谱局部调谐过程包括：
[0036] 1)以幅值谱的均值计算调谐阈值T；
[0037] 2)大于阈值T的幅值谱为非显著部分，对其执行高斯平滑滤波，小于阈直T的幅值谱为显著部分，保持不变。
[0038] 所述步骤(5)中局部调谐过程所用的公式包括：
[0039] 1)T＝αM(A(u，v))
[0040] 2)
[0041] 3)
[0042] 式中，α为阈值调谐参数，本发明中取10～20，M(·)表示计算幅值谱的均值， As(u，v)为调谐后幅值谱，h为高斯滤波器， 为卷积符号。
[0043] 所述步骤(6)中超复数傅里叶逆变换得到显著图所用的公式为：
[0044]
[0045] 式中，S为生成的显著图， 为超复数傅里叶逆变换运算符，χ表示一个纯四元数，是超复数空间中单位向量的标识。
[0046] 与
现有技术相比，本发明将表示纹理信息的二维熵融入四元数图像，准确表示了原有图像的信息，并且在频域内提出一种局部调谐幅值谱的方法，有效抑制了织物图像的背景信息，突出了显著的疵点区域。
附图说明
[0047] 图1为本发明的实施流程；
[0048] 图2为无疵点织物图像与疵点图像的二维熵对比；
[0049] 图3为二维熵计算过程；
[0050] 图4为四元数的四个特征图；
[0052] 图6为幅值谱全局调谐与局部调谐对比；
[0053] 图7为显著图的生成过程；
[0054] 图8为本发明对各类织物疵点的检测效果；
[0055] 图9为本发明与目前优秀的织物疵点检测方法对比。
具体实施方式
[0056] 下面结合附图及具体实施方式对本发明做进一步说明，并不是对本发明保护范围的限制。
[0057] 本发明涉及一种基于信息熵和视觉注意机制的纺织品疵点检测方法，检测方法的流程如图1所示，分为以下几个步骤：
[0058] 第一步、输入织物图像，预处理后计算图像的二维熵矩阵。
[0059] 如图2所示，织物图像在无疵点和有疵点的情况下纹理信息不同，熵值存在差异，这是因为疵点呈现出不确定性。熵作为一种纹理信息的测度，可以反映出一幅图像的规律性与不确定性。对于一幅具有周期背景图案的纺织品图像，无瑕疵的区域纹理特征一致，熵值小。当有疵点出现时，图像纹理特征的一致性被破坏，像素的灰度级扩展，熵值增大。因此，本发明采用二维熵矩阵对纹理进行表示。提取过程如图3所示：
[0060] (1)对输入的织物图像进行灰度化；
[0061] (2)在每个像素的7*7邻域的像素
块内计算熵值，作为该像素点的信息熵；
[0062] (3)对提取的熵值归一化处理，得到与输入图像大小一致的二维熵矩阵。
[0063] 第二步、将二维熵矩阵融入图像的四元数表示。
[0064] 人类视觉系统在
感知图像时，
RGB颜色空间并不符合人眼的视觉注意机制。人类大脑皮层中的神经元存在“color double-opponent”系统，在视觉感受野的中心，神经元被一种颜色激励(例如红色)而被另一种颜色抑制(例如绿色)，红 /绿，蓝/黄等这些颜色对存在于人类视觉皮层中。因此，我们可以建立一种符合人眼视觉注意机制的色彩空间，包含亮度信息、红/绿颜色信息和蓝/黄颜色信息，称其为对立色彩空间(RG-BY-I)，我们将表示纹理信息的二维熵融入四元数作为其中的一个通道，提出了一种新的四元数图像表示方法：H-RG-BY-I空间，其构建步骤如下：
[0065] (1)提取图像的红/绿颜色矩阵、蓝/黄颜色矩阵和亮度矩阵，并归一化，各特征图像如图4；
[0066] (2)将二维熵矩阵作为四元数的实部融入图像的四元数表示，重构后图像表达式为：f(n，m)＝w1H+w2RGi+w3BYj+w4Ik；
[0067] (3)为各特征信息分配不同的权重，本发明选择的权重是：w1＝w4＝0.3， w2＝w3＝0.2，通过实验证明，该比例符合织物图像信息的表示。
[0068] 第三步、频域内处理，获得疵点显著图。
[0069] 在对图像采用四元数进行表示之后，使用超复数傅里叶变换转换到频域处理，为方便观察，采用一维信号进行说明，如图5、6所示，图5为不同的一维信号幅值谱对比，图6为幅值谱全局调谐与局部调谐对比。在图5中可以看到，重复的背景信号与幅值谱的尖端部分相关，而嵌入的显著信号与其余部分的变化有关。因此，我们在考虑去除幅值谱尖端部分的同时，还应保留与显著性区域相关的变化，从而抑制织物背景图案，突出疵点部分。具体步骤如下：
[0070] (1)通过超复数傅里叶变换得到图像频域内的幅值谱和相位谱；
[0071] (2)计算阈值T将幅值谱分为显著部分和非显著部分，采用局部高斯滤波的方式将与织物图像背景相关的非显著部分抑制，保留与疵点区域相关的显著部分，如图6(c)；
[0072] (3)将调谐后的幅值谱结合原相位谱和欧拉谱进行超复数傅里叶逆变换得到疵点部分的显著图，如图6(d)。
[0073] 显著图的生成过程可总结为图7。
[0074] 第四步、分割和标记疵点。
[0075] 可对上述步骤得到的显著图直接进行Otsu阈值分割，得到疵点位置和形状，进而对疵点标记，本发明实验和对比结果如图8、9。
[0076] 在图8和图9中，MLBP和SVD方法仅对平纹或斜纹织物进行研究，其他方法则是针对于平纹、斜纹和有图案的织物进行研究。由于平纹和斜纹织物图像数据库中未提供真值图，因此未在结果中展示。图8展示了本发明在不同织物背景下对常见的5种疵点类型的实验结果，可以看出，本发明能够很好地检测出不同背景图案中的不同类型的疵点。
[0077] 从图9可以看出，对于平纹和斜纹织物，SVD方法不能抑制图像的纹理背景，导致检测结果不理想，MLBP方法可以检测背景与疵点间对比度较大的织物，其他方法可以检测出疵点，但难以准确提取疵点形状；对于有图案的织物， TB方法和PLSR方法对格状和星状图案背景检测效果较差，NDF方法和NRPCA 方法无法完整分割出疵点，PQFT方法受边缘影响，难以确定疵点位置。FCSDA 方法可以检测疵点并定位疵点位置，但不能完整提取疵点形状。相比之下，本发明对不同疵点类型和不同织物背景适应性更强，可以准确定位疵点，并且分割结果更接近真实疵点。
[0078] 以上
实施例所述是用以具体说明本
专利，文中虽通过特定的术语进行说明，但不能以此限定本专利的保护范围，熟悉此领域的人士可在了解本专利的精神与原则后对其进行变更或
修改而达到等效目的，而此等效变更和修改，皆应涵盖于专利要求范围所界定范畴内。
