技术领域
[0001] 本
发明涉及检测领域，尤其涉及一种基于机器视觉的多类型材质表面缺陷检测方法。
背景技术
[0002] 随着人们对产品品质的不断提高，产品在生产过程和生成后都需要进行严格的外观检测，以确保产品外观无瑕疵。目前，绝大部分的产品检测都需要人工完成，人
力对产品
质量的判断是主观随机的，无定量的标准，且随着工作时间的增加，工人的精力下降，容易产生错误检测和判断。人工检测的低效率使企业需要投入大量的精力和财力来保证产品质量。随着现代计算机技术、
图像处理技术、机器视觉技术的发展，利用机器视觉系统应用于工业产品质量检测的自动化表面缺陷检测系统具有良好的应用和前景。表面缺陷检测的目的是检测产品表面的非量化但是视觉上可见的划痕、磨损、突起、污渍、裂隙、气泡、凹坑、印刷缺陷、麻点、
水印、指纹等缺陷，将合格产品与存在缺陷的产品区分开来，以降低次品率，提高产品品质。
[0003] 基于机器视觉的缺陷检测方法绝大多数可归类于纹理分析技术以检测不同纹理表面的缺陷。纹理分析技术总体上可分为四大类：第一类是空间域的统计方法，如分析图像的灰度直方图和灰度共生矩阵等
空域特征，利用距离度量判别缺陷；第二类是空频域变换的方法，将空间域的
像素图像转换为
频率域或其他空间的幅值图像，分析频域中图像的数据，如傅里叶变换,Gabor变换和
小波变换等，该类方法是缺陷检测当中应用最多最广的。其他两类是基于结构的方法和基于模型的方法。这些方法通过用来检测特定表面的缺陷，如
钢板，LCD显示屏，编织物，瓷砖等材质的表面缺陷。此外，利用各种各样的图像处理技术，如图像增强，
图像分割等检测特定产品缺陷的方法也普遍存在。这些方法中图像预处理也是必不可少的。
[0004] 若仅按照是否需要样本进行特征训练，缺陷检测方法可分为两大类，一类是监督检测，检测产品需先验经验，在提取合格品与缺陷样本的特征
基础上，利用
机器学习算法，如k近邻、
决策树、
支持向量机、Logistic回归、
自组织映射等
监督学习算法对特征进行训练，得到缺陷分类器以对产品表面图像提取特征后进行缺陷判断。另一类是非监督检测，无先验知识，无需检测产品的训练样本而直接对产品的单幅进行缺陷检测。
[0005] 目前已有的缺陷检测
专利包括：专利201210092225提供了一种
晶圆表面缺陷检测方法；专利201210065030通过一种模糊识别分类器将
铜带表面上的缺陷进行分类，但前提是必须先获得铜带上的缺陷，而这个任务本身是很困难的，该发明并没有给出如何检测出缺陷的方法；专利201210086505利用激光相干性、方向集中和高
分辨率的特性，结合光
机电一体化以及图像算法的方法进行晶
硅抛光片表面质量的检测，实现了晶硅抛光片表面细小裂纹、细小颗粒、沾污、凸凹等缺陷的检测。专利201010534162也提供了一种晶圆表面的缺陷检测方法；专利201010266622提出了一种玻璃划伤缺陷检测方法及其装置；专利200710066671提出了一种微小
轴承表面的缺陷进行检测的方法及装置；专利201210101070提出了一种基于印刷质量在线检测的卷盘烟标生产系统及缺陷处理方法。
[0006] 综上所述，目前已有的缺陷检测算法都只是针对某种特定的物体表面或特定的某类缺陷进行检测。但是，工业产品表面缺陷的产生多种多样，具有不确定性，无规则可循，传统的产品缺陷检测算法只能检测一种材质表面的缺陷，不同的产品表面需要设计开发不同的算法，系统开发周期长，灵活性差。
发明内容
[0007] 本发明利用子图像灰度差、彩色直方图、像素均匀度作为特征，通过机器学习得到获得平均的合格品图像特征，即理想的合格品特征，并于在线检测阶段计算待检测产品的上述图像特征，设定简单的
阈值将缺陷快速分割出来，确定检测产品有无缺陷。最后，本发明综合上述三种特征的检测结果作最终判断，提高了产品检测的
稳定性，同时能够满足不同材质的多种工业产品表面缺陷检测的需求。
[0008] 为了解决
现有技术中问题，本发明提供了一种基于机器视觉的多类型材质表面缺陷检测方法，
[0010] 对产品表面进行拍摄，获得图像后进行特征计算；
[0012] 对获取的图像进行位置对齐，获得
位姿一致性的图像；
[0013] 步骤3：特征计算：
[0014] 步骤3.1计算子图像灰度差：首先将彩色图像转化为灰度图像，在灰度图像中计算子图像的灰度差特征；
[0015] 步骤3.2彩色直方图：根据图像的彩色图像的RGB模型中三个通道中像素值的分布来描述的彩色直方图特征；
[0016] 将单个通道中的0至255个像素强度区间平均分成若干个区间，计算落在每个强度区间的像素的个数，再对其他通道作同样的计算处理，假定在单个通道当中，每个区间包含像素强度数为P，则第k个像素强度区间如式(4)所示：
[0017]
[0018] 在确定像素区间的范围后，扫描整幅图像像素强度值并以nk可表示为落在第k个区间内的像素个数，此类像素的强度值在此区间内；再将此推广到RGB三个通道，以nck表示第c个通道的第k个区间的像素个数，作为描述图像的特征；
[0019] 步骤3.3像素均匀度：计算灰度级图像像素间的均匀度；
[0020] 步骤4特征融合检测：
[0021] 步骤4.1学习过程：图像的子图像灰度差、彩色直方图以及像素均匀度特征融合的学习过程包含三个阶段：准备数据、分析数据、
训练数据；首先选择若干个无缺陷样品即合格品的图像作为训练图像，根据求取的每幅图像的子图像灰度差、彩色直方图以及像素均匀度特征，对所有图像的特征值求平均值，得到合格产品图像特征的均值，即训练的合格品的理想特征；
[0022] 4.2检测过程：在得到了训练后的合格品的三种特征：子图像灰度差、彩色直方图以及像素均匀度特征之后，各个特征的检测首先独立对产品表面进行判断；输入待检测产品的图像，分别求出其三种特征，并与训练的对应特征比较，设定一定的阈值，其差值超过阈值的特征中的某一项即为缺陷的特征，如式(12)所示：
[0023]
[0024] 式中EI是特征值的差，IT为待检测图像的特征值，是训练的特征值，TI为特征值差的阈值。
[0025] 判定规则如下：若有基于两种或两种特征以上的缺陷检测结果都为合格品，那么待检测产品合格；若有两个或两个以上的特征检测存在缺陷，则判定产品为不合格品。
[0026] 作为本发明的进一步改进，步骤2中，位置对齐的方法为：首先，采集一个检测对象的图像作为模板，对于后续输入的图像，利用将模板匹配算法进行
定位匹配，获取待检测的对象模板图像在输入图像当中的位置和旋转的
角度，再根据所获取的感兴趣对象的中心点和旋转角度调整输入图像，并选择大小合适的目标图像以提取有用信息。
[0027] 作为本发明的进一步改进，步骤3.1中，计算子图像灰度差的方法如下：在一幅图像f(x，y)中选取尺寸为S像素大小的正方形的子图像，并将每个子图像沿图像宽度的方向平均分为N部分，S可被N整除；首先计算这N部分组成的子图像的灰度值总和，随后移动一个部分的距离，计算由这N-1部分和临近下一个子图像的第一部分组成的新的图像
块的平均灰度值，总共连续移动N-1次，直至最后组成的子图像不再包含原有的部分；沿图像高度的方向作同样的平移与灰度值计算处理，最终可计算出N×N个灰度值总和，为图像中的一个子图像所拥有，选取其中最大和最小灰度值总和的差值作为此子图像的灰度差特征；对于像素大小为H×W的图像f(x，y)，H和W分别代表图像的高度和宽度，除去最右和最下边界子图像不可平移计算外，可计算的子图像的个数为Nsh×Nsw，分别代表沿图像高度和宽度的子图像个数，其大小如式(1)：
[0028]
[0029] 对于第(i，j)个子图像，其所包含的N×N个灰度值总和计算如式(2)所示：
[0030]
[0031] k＝0，1，2，…，N2-1.
[0032] 选取其中最大和最小的灰度值总和，以他们的差值作为该子图像的灰度差特征，如式(3)所示：
[0033] Bij＝max(Adiik)-min(Adijk)(3)
[0034] i＝0，1，2，…，Nsh-1；j＝0，1，2，…，Nsw-1.。
[0035] 作为本发明的进一步改进，步骤3.2中，在计算图像的彩色直方图之前，对图像进行一致性的变换；采用彩色图像之间的变换方法来提高图像的
颜色一致性：首先，将彩色图像由各通道之间相关性大的RGB空间转为几无相关性的lαβ空间，为将源图像变换为与目标图像有相同像素分布，首先将输入的源图像和选取的目标图像都转化为lαβ空间模型，计算得到了其空间数值的平均值和标准偏差，随后减去目标图像的平均值并尺度化，再将源图像的lαβ空间值加上计算得到的值，即可得到新的值；最后再将得到的新的lαβ空间模型转化为RGB图像，即可得到所需与目标图像颜色一致性的图像。
[0036] 作为本发明的进一步改进，步骤3.3中，计算灰度级图像像素间的均匀度，利用一个(2ω+1)×(2ω+1)的窗口扫描图像，ω是窗口中心点与窗口边界的距离，首先计算窗口内的所有像素大小的总和F：
[0037]
[0038] 再根据F来计算x，y方向上的平均像素大小，如式(6)和(7)：
[0039]
[0040]
[0041] 再得出窗口中心像素轴与轴的协方差值如式(8)、(9)和(10)所示：
[0042]
[0043]
[0044]
[0045] 最终计算该点像素的均匀度如式(11)所示：
[0046]
[0047] 作为本发明的进一步改进，步骤4.2中，对于子图像灰度差特征，为缩小灰度差阈值范围，可在阈值前乘以S×S，接着设定缺陷的子图像个数的阈值，统计存在着缺陷的子图像的个数是否超过了阈值，若超过说明待检测的产品图像的确存在缺陷，将被判定为是不合格的产品，反之，产品是合格的。
[0048] 作为本发明的进一步改进，步骤4.2中，对于检测的图像以作颜色一致性处理的彩色直方图特征，将其与训练的彩色直方图比较，设定一定的像素个数的阈值，超过阈值的像素强度区间中即存在缺陷的像素，并将存在缺陷的像素区间与总的像素区间个数的比值作为错误率；设定错误率的阈值，再确定图像像素区间错误率是否超过了阈值，若超过说明待检测的产品图像的确存在缺陷，将被判定为是不合格的产品，反之，产品是合格的，对于像素均匀度特征作同样的检测行为
[0049] 本发明的有益效果是：提出的基于特征融合的多种材质表面缺陷检测方法是由离线的特征学习过程和在线的实时缺陷检测过程所组成。输入的图像提取了描述图像的三种特征：子图像灰度差，彩色直方图，像素均匀度，论述了这三种特征的原理和计算方法，特征的学习过程和缺陷检测的过程，并融合三种特征的进行缺陷判断结果，提出了缺陷判断的综合规则，以确保检测能够更加的准确，保证产品的质量。本发明选择了
电子工业生产的电子芯片，贴片电容以及贴片发光LED的表面对其应用融合特征的缺陷检测方法，虽然需要一定的离线训练时间，但在线检测快速有效，对于700*580的图像只需1秒。对于不同材质物体表面图像检测的准确率在93％以上，部分检测的准确率达到98％以上，相比于单独特征的检测准确率有所提高。同时，训练样本的数量至少选择30个以上以保证检测的准确率。多种不同工业产品的检测结果证明了该方法能够适用于多种材质表面的缺陷检测，克服了传统方法检测对象局限的不足。
附图说明
[0050] 图1是本发明子图像的灰度值总和平移与计算过程；
[0051] 图2是本发明图像特征的学习过程；
[0052] 图3是本发明特征融合的缺陷判断规则；
[0053] 图4是本发明产品多材质表面缺陷检测方法示意图。
具体实施方式
[0054] 下面结合附图对本发明做进一步说明。
[0055] 1图像采集
[0056] 本发明中使用的图像可以从流水线或
机器人上下料系统上利用彩色CCD/CMOS工业相机对产品表面进行拍摄，获得合适的图像后进行特征计算。
[0057] 2位置对齐
[0058] 为了获得位姿一致性的图像，需要对获取的图像进行位置对齐。首先，采集一个检测对象的图像作为模板，对于后续输入的图像，利用将模板匹配算法进行定位匹配，获取待检测的对象模板图像在输入图像当中的位置和旋转的角度，再根据所获取的感兴趣对象的中心点和旋转角度调整输入图像，并选择大小合适的目标图像以提取有用信息。
[0059] 3特征计算
[0060] 3.1子图像灰度差
[0061] 首先将彩色图像转化为灰度图像，在灰度图像中计算子图像的灰度差特征。在一幅图像f(x，y)中选取尺寸为S像素大小的正方形的子图像，并将每个子图像沿图像宽度的方向平均分为N部分，S可被N整除。首先计算这N部分组成的子图像的灰度值总和，随后移动一个部分的距离，计算由这N-1部分和临近下一个子图像的第一部分组成的新的图像块的平均灰度值，总共连续移动N-1次，直至最后组成的子图像不再包含原有的部分，如图1所示。
[0062] 沿图像高度的方向作同样的平移与灰度值计算处理，最终可计算出N×N个灰度值总和，为图像中的一个子图像所拥有，选取其中最大和最小灰度值总和的差值作为此子图像的灰度差特征。对于像素大小为H×W的图像f(x，y)，H和W分别代表图像的高度和宽度，除去最右和最下边界子图像不可平移计算外，可计算的子图像的个数为Nsh×Nsw，分别代表沿图像高度和宽度的子图像个数，其大小如式(1)：
[0063]
[0064] 显然，图像尺寸越大，在子图像大小一定时，图像所包含的子图像的数量越多。对于第(i，j)个子图像，其所包含的N×N个灰度值总和计算如式(2)所示：
[0065]
[0066] 选取其中最大和最小的灰度值总和，以他们的差值作为该子图像的灰度差特征，如式(3)所示：
[0067] Bij＝max(Adijk)-min(Adijk)(3)
[0068] i＝0，1，2，…，Nsh-1；j＝0，1，2，…，Nsw-1.
[0069] 子图像灰度差的实质即是在一块均匀或相对均匀(即灰度值相差不大)的区域当中，获取几块
对比度差异明显的小区域或子块，一幅图像的灰度值变化越大的地方，其所在的子图像灰度差值也就越大，而越是均匀的区域，其所在子图像灰度差就越小，直至趋于零。子图像灰度差的特征的建立，主要就是为了能够在准确描述图像的情况下，减少图像特征表示的维数，对于后续的数据计算和存储节省时间和空间。
[0070] 3.2彩色直方图
[0071] 彩色直方图特征是根据图像的彩色图像的RGB模型中三个通道中像素值的分布来描述的。将单个通道中的0至255个像素强度区间平均分成若干个区间，计算落在每个强度区间的像素的个数，再对其他通道作同样的计算处理。假定在单个通道当中，每个区间包含像素强度数为P，则第k个像素强度区间如式(4)所示：
[0072]
[0073] 若以每8个像素强度为一个区间，对于一幅8位图像就有256/8＝32个像素强度区间，为[0,7]，[8,15]，[16,23]，…，[248,255]。在确定像素区间的范围后，扫描整幅图像像素强度值并以nk可表示为落在第k个区间内的像素个数，此类像素的强度值在此区间内.再将此推广到RGB三个通道，以nck表示第c个通道的第k个区间的像素个数，作为描述图像的特征。
[0074] 由以上彩色直方图计算过程可知，像素区间的数量对直方图特征学习过程的效率直接关联起来。选择合适的像素区间数量是至关重要的，若像素区间数量太小，虽然能够获取维数小的彩色直方图特征，加快后面的学习过程，但每个区间所涵盖的强度范围大，就无法区分颜色，对颜色的分辨能力就越小了，也就无法判断两幅图像的差别；而像素区间数量太多时，获取彩色直方图特征维数变大，特征学习效率降低，虽然颜色的辨识度加大很多，但同时也无法区分缺陷与噪声部分了。因而，像素区间数量的选取是一个两相权衡的选择。
[0075] 然而，由于工业相机拍摄条件不可能达到绝对理想的状况，可能是光照不均匀或是噪声的干扰导致了图像颜色不一致，获取的源图像在进入特征学习过程中并不一定会有特别稳定的颜色直方图特征，即训练的合格品的图像的颜色一致性不是太好。因此，我们在计算图像的彩色直方图之前，需要对图像进行一致性的变换。本发明采用了Erik Reinhard等人提出的彩色图像之间的变换方法来提高图像的颜色一致性。首先，将彩色图像由各通道之间相关性大的RGB空间转为几无相关性的lαβ空间。为将源图像变换为与目标图像有相同像素分布，首先将输入的源图像和选取的目标图像都转化为lαβ空间模型，计算得到了其空间数值的平均值和标准偏差.随后减去目标图像的平均值并尺度化，再将源图像的lαβ空间值加上计算得到的值，即可得到新的值。最后再将得到的新的lαβ空间模型转化为RGB图像，即可得到所需与目标图像颜色一致性的图像。
[0076] 通过颜色变换完成了图像的一致性处理之后，即可计算得到图像颜色类似的相同产品的图像，以便得到相类似的彩色直方图。
[0077] 3.3像素均匀度
[0078] 最后引入了图像的一个特征，灰度级图像像素间的均匀度。本发明中提取的均匀度特征是将Duming Tsai提出的利用均匀度来实时快速检测一幅匀质的，纹理均匀或者不
变形的表面图像的方法加以改进。该算法利用一个(2ω+1)×(2ω+1)的窗口扫描图像，ω是窗口中心点与窗口边界的距离，首先计算窗口内的所有像素大小的总和F：
[0079]
[0080] 再根据F来计算x，y方向上的平均像素大小，如式(6)和(7)：
[0081]
[0082]
[0083] 再得出窗口中心像素轴与轴的协方差值如式(8)、(9)和(10)所示：
[0084]
[0085]
[0086]
[0087] 最终计算该点像素的均匀度如式(11)所示：
[0088]
[0089] 根据上述公式计算得到了输入图像的像素均匀度特征之后，即可应用其用于表面缺陷检测。
[0090] 4特征融合检测
[0091] 4.1学习过程
[0092] 图像的子图像灰度差、彩色直方图以及像素均匀度特征融合的学习过程包含三个阶段：准备数据，分析数据，训练数据阶段。首先选择若干个无缺陷样品即合格品的图像作为训练图像，利用上述公式求取每幅图像的子图像灰度差、彩色直方图(求取彩色直方图之前需作颜色一致性处理，可将第一张训练图像作为后面图像一致性处理的目标图像)以及像素均匀度特征。对所有图像的特征值求平均值，得到合格产品图像特征的均值，即训练的合格品的理想特征。学习过程对应计算如图2所示。
[0093] 学习过程所需时间是由输入的合格品的图像数量所决定的，训练图像数量越大，所需要花费的时间越长；合格品图像数量越小，所花费时间越短。如前所述，特征学习过程是离线进行的，只要将训练的结果保存下来，即可对产品进行在线的检测。因而无需太过要求训练时间的长短。另一方面，训练的合格品图像数量越大，所训练出的子图像块的平均灰度差的特征便越接近于理想的合格品图像的特征，消除了不理想的训练样本和部分噪声的影响。
[0094] 4.2检测过程
[0095] 在得到了训练后的合格品的三种特征：子图像灰度差、彩色直方图以及像素均匀度特征之后，各个特征的检测首先独立对产品表面进行判断。输入待检测产品的图像，分别求出其三种特征，并与训练的对应特征比较，设定一定的阈值，其差值超过阈值的特征中的某一项即为缺陷的特征，如式(12)所示：
[0096]
[0097] 式中EI是特征值的差，IF为待检测图像的特征值，是训练的特征值，TI为特征值差的阈值。
[0098] 对于子图像灰度差特征，为缩小灰度差阈值范围，可在阈值前乘以S×S，接着设定缺陷的子图像个数的阈值，统计存在着缺陷的子图像的个数是否超过了阈值，若超过说明待检测的产品图像的确存在缺陷，将被判定为是不合格的产品，反之，产品是合格的。缺陷子块个数的阈值的设定是为了去除个别噪声或偶然因素的堆加对缺陷检测效果产生的影响，使得检测结果更加稳定。
[0099] 对于检测的图像以作颜色一致性处理的彩色直方图特征，将其与训练的彩色直方图比较，设定一定的像素个数的阈值，超过阈值的像素强度区间中即存在缺陷的像素，并将存在缺陷的像素区间与总的像素区间个数的比值作为错误率。
[0100] 最后，设定错误率的阈值，再确定图像像素区间错误率是否超过了阈值，若超过说明待检测的产品图像的确存在缺陷，将被判定为是不合格的产品，反之，产品是合格的。对于像素均匀度特征作同样的检测行为。
[0101] 子图像灰度差和像素均匀度特征是基于灰度图像所计算的，彩色直方图的计算正好能够弥补描述图像的颜色信息。同时，由于彩色直方图特征并不能够包含图像的位置信息，对于位置的错位缺陷，彩色直方图的特征并不能检测出缺陷，而前两个特征也能够相互弥补。因此，为了严格保证产品质量及检测的准确性，本发明通过子图像灰度差，彩色直方图以及像素均匀度这三种特征融合来综合判断待检测产品的缺陷，使得在保持一定准确率的前提下，检测的对象能够更具一般性，检测产品的范围能够扩展到多种材质表面。
[0102] 融合特征的缺陷综合判断的具体规则如图3所示，判定规则如下：若有基于两种或两种特征以上的缺陷检测结果都为合格品，那么待检测产品合格；若有两个或两个以上的特征检测存在缺陷，则判定产品为不合格品。
[0103] 以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
