技术领域
[0001] 本
发明涉及
计算机视觉领域，特别涉及一种轮形铸造产品缺陷自动检测方法。
背景技术
[0002] 通过铸造加工形成的轮形产品，通常由于工艺设计、材料、设备等影响，使铸件内部产生多种形态的
铸造缺陷。国际标准委员会ASTM制定了铸件检测检测国际标准的缺陷参考图像，并根据缺陷图形的外轮廓大小，产品上单位面积中缺陷所占面积的比率，确定了缺陷对产品影响的
质量等级。检测时通常通过
X射线设备成像对铸件产品成像，将其中出现的缺陷与标准中缺陷图像进行对照比较，当实际缺陷的外形尺寸超过用户选择的质量等级，即缺陷的面积超过了一定的大小，该轮形产品则判为不合格。
[0003] 铸造产品缺陷分人工检测和机器检测。
[0004] 人工检测是操作者通过目测判断X射线检测设备是否检测到铸造缺陷，并且缺陷的大小、形状等是否在合格产品的质量等级范围内，这种方法的问题在于检测识别人员长时间工作易疲劳、识别检测效率低、判断标准因人而异、判断结果主观性强等。
[0005] 目前大部分生产线都还是人工检测，最主要原因是现有机器自动
图像识别技术对判断是否存在缺陷、以及是否达到一定的质量等级的准确率不高，尚达不到生产线上控制质量要求。
[0006] 机器自动检测缺陷也经过了长期的技术发展，
现有技术主要体现在两大技术方法方面，一种是基于底层图像特征的
图像处理方法，另一种是基于
立体视觉的多视
角图像融合分析法。
[0007] 基于底层图像特征的图像处理方法是通过去噪、图像增强、区域划分、边缘提取、封闭轮廓、目标分割、目标填充等
图像分析处理方法判断产品图像中是否显示出了铸造缺陷，即是否出现了缺陷目标，从而完成自动检测第一步，然后再根据填充的目标图像区域进行目标的面积计算、轮廓的外周测量、单位产品面积上缺陷面积所占比例的计算等等，完成缺陷等级的判断，并最终判断产品是否达到产品设计的质量标准。这种方法由于完全依赖于图像的底层特征，在使用操作的过程中涉及大量的参数调节，不仅对使用者的专业技术
水平要求 高，更重要的是参数的反复调节，意味着检测的基准不断变动，造成检测的准确率下降，这类技术方法不足的根本原因是由于铸造缺陷的形态、呈现的灰度是随机变量，底层图像特征无法真正将缺陷的隐形特征、或称高级特征进行描述和表达。另一种方法即多视角图像融合分析方法也经过了长期研究发展，通过空间成像，多角度判断缺陷是否存在，随后更准确地判断缺陷的大小和等级。该方法在理论上仍基于图像的底层特征，分别在不同角度拍摄的图像上进行目标识别，再通过图像融合技术，提高目标识别的准确度，其在原有方法上没有根本性突破，且增加了
硬件成本。操作上仍要依赖大量的参数设置和调节。并且由于在单幅图像识别铸造缺陷所用的图像处理技术的方法并不成熟，因此，上述方法仍非可靠的技术方法。
发明内容
[0008] 本发明的目的在于克服现有技术的缺点与不足，提供一种轮形铸造产品缺陷自动检测方法。
[0009] 本发明的目的通过以下的技术方案实现：
[0010] 一种轮形铸造产品缺陷自动检测方法，包括样本预处理、离线训练、在线检测三个阶段，包括如下步骤：
[0011] S1.训练样本的采集，样本总量6万张以上，
轮辐、
轮辋和轮轴每类样本各2万张以上，正负样本比例控制为1:2；
[0012] S2.进行样本的预处理；
[0013] S3.样本分类成轮辐、轮辋和轮轴三大类并进行处理；
[0014] S4.通过轮辐、轮辋和轮轴三类样本，网络离线学习训练并分别生成在线适用的轮辐、轮辋和轮轴检测器；
[0015] S5.将训练成功的CNN轮辐缺陷检测器，CNN轮辋缺陷检测器，CNN轮轴缺陷检测器分别载入上位机，并置于自动生产检测线；
[0016] S6.进行在线全自动缺陷检测；
[0017] S7.缺陷识别检测的输出方式根据用户的要求，或显示图像、或给出报警
信号等。
[0018] 所述步骤S2样本预处理阶段包括以下步骤；
[0019] S2-1.使用3×3邻域模板对采集的
轮毂图像进行平滑滤波，用来消除轮毂图像在采集过程中产生的图像噪声；
[0020] S2-2.利用梯度锐化
算法，将图像当前点
像素值与其下一个像素值之差的绝 对值，加上当前点像素值与其下一行当前像素值之差的绝对值，如果结果大于
阈值，则当前点像素值置为此结果，这样使得图像更加突出，以便于分析；
[0021] S2-3.对步骤S2-2所得的图像进行直方图均衡化；
[0022] S2-4.对步骤S2-3所得的图像归一化处理，以加快训练网络的收敛性。
[0023] 所述步骤S3将样本分成轮辐、轮辋和轮轴三大类并进行处理，具体处理步骤包括：
[0024] S3-1.分别将各类样本分割成的M×M小图像，M可取80、100或120。根据是否包含缺陷将小图像样本分为正样本和负样本；
[0025] S3-2：在训练
卷积神经网络模型的过程中，为增加轮毂检测器的鲁棒性，对步骤S3-1所得的样本进行随机地微小的尺度变换([0.96,1.08]倍)、
对比度变换(对比度系数[0.8,1.2])和旋转变换([-60,+60]度，每次变换5度)；
[0026] S3-3：每次调用小批样本时，小批数量可选64个样本，随机对样本进行水平翻转，添加高斯随机噪声，并且从变换后的小样本图像中随机选取出N×N的区域作为卷积神经网络的训练样本，例如对100×100的小图像可以随机取96×96的区域，以增加样本的多样性，提高训练得到的卷积神经网络模型的泛化能
力；
[0027] 所述步骤S4训练生成轮毂缺陷检测神经网络模型即缺陷检测器的过程包括：
[0028] S4-1.根据轮辋样本、轮辐样本和轮轴样本，分别采用BP算法训练轮辋缺陷检测神经网络模型、轮辐缺陷检测神经网络模型以及轮轴缺陷检测神经网络模型，每次
迭代采用最小批的方式计算网络误差和更新权重；
[0029] S4-2.训练时，学习速率设定为0.01；
[0030] S4-3.每次迭代输入小批样本，可以输入64个样本，以平均误差更新参数；
[0031] S4-4.设计网络模型。轮毂缺陷检测神经网络模型是一个多层卷积神经网络模型，有监督地从大量样本中自动地进行特征学习。输入是一张图像，输出是图像的分类标签。因此，
输入层的神经元数量和检测图像的像素数量相等，
输出层只有一个神经元
节点，直接输出图像的分类结果。轮毂缺陷检测神经网络模型包含两部分：第一部分是一个多阶段的特征提取器，交替地包含卷积层，降
采样层和局部响应归一化层，执行卷积、降采样和非线性变换；第二部分是一个分类器，是一个由两个全连接层相互连接组成的全连接神经网络，通过反向传播算法训练一个能够对于第一部分提取出来的轮毂图像特征进行正确分类 的分类器。在本方案中设计的轮毂缺陷检测神经网络模型的特征提取有两个阶段。第一阶段是低层特征的提取，例如点和线等，第二阶段通过反向传播算法的训练，对低层特征进行线性组合形成高层特征。
[0032] S4-5.轮毂缺陷检测神经网络模型在分类时，将获取到的轮毂
图像分割成M×M的小样本图像，当M取100时，取每张100的小样本图像取左上角，左下角，右上角，右下角以及中心5个96×96区域图像，将这5个区域图像通过卷积神经网络模型计算得到5个输出值，并将这5个输出值进行平均，最后根据平均的输出值即可判定轮毂的该区域是否有缺陷。网络输出值的范围为[0,1]，大于设定阈值0.5表示轮毂上相应的区域存在缺陷，反之表示轮毂上相应的区域不存在缺陷。
[0033] S4-6.当在测试集上正确率达到所要求的准确率时终止网络训练，最终获得轮毂缺陷检测器。
[0034] 在线检测时，按照由轮轴至轮辐再到轮辋的全自动检测流程，检测系统依次在不同工位获取在线图像，所述步骤S6进行在线全自动缺陷检测阶段具体流程如下：
[0035] S6-1.获取轮毂的轮轴图像，并利用样本离线预处理的方法对获取的轮轴图像进行预处理，调用轮轴缺陷检测检测器对每幅轮轴图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
[0036] S6-2.获取轮毂的轮辐图像，并利用样本离线预处理的方法对获取的轮辐图像进行预处理，调用轮辐缺陷检测检测器对每幅轮辐图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
[0037] S6-3.获取轮毂的轮辋图像，并利用样本离线预处理的方法对获取的轮辋图像进行预处理，调用轮辋缺陷检测检测器对每幅轮辋图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
[0038] S6-4.缺陷识别检测的输出方式根据用户的要求，或显示图像、或给出报警信号等。
[0039] S6-5.如果在步骤S6-1至S6-3的任一幅图像中检测出缺陷，则将该轮毂送入不合格产品区，如果没有检测出缺陷，就将该轮毂送入合格产品区。
[0040] 本发明与现有技术相比，具有如下优点和有益效果：
[0041] 1、在训练阶段，卷积神经网络从大量不同的轮辐、轮辋、轮轴的正样本和负样本中学习到轮毂缺陷本质的特征，这种特征比从图像人工提取的特征具有更强的可识别性，即可分性；
[0042] 2、由于卷积神经网络对于识别图像一定程度的位移、缩放以及其他形式的扭曲
变形具有一定的鲁棒性，所以训练所得到的轮毂缺陷检测器在实际的轮毂缺陷检测中具有一定的鲁棒性，对形状几乎没有雷同的轮毂缺陷识别分类具有准确性。
[0043] 3、对环境光照的变化，拍摄角度的变化具有很强的鲁棒性。
[0044] 4、由于轮毂缺陷检测过程无需人工参与，轮毂生产检测的自动化程度高，生产效率高，操作简单，运行成本低。
附图说明
[0045] 图1为本发明所述一种轮形铸造产品缺陷自动检测方法的算法模
块图；
[0046] 图2为本发明所述的一种轮形铸造产品缺陷自动检测方法的
流程图；
[0047] 图3为图2所述方法的轮毂缺陷检测神经网络内部联系和结构图；
[0048] 图4为实测轮辐样本原图；
[0049] 图5为图4的灰度直方图；
[0050] 图6为对图4进行预处理后的效果图；
[0051] 图7为图6的直方图以及对最大和次大峰的标示；
[0052] 图8-1、8-2、8-3分别为对轮毂的轮辐、轮辋和轮轴图像进行缺陷检测的结果图。
具体实施方式
[0053] 下面结合
实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0054] 图1示出本发明系统和方法的离线和在线两个工作部分，离线部分给在线部分提供工作
基础，在线部分依据离线部分形成的方法和检测器开展持续性在线缺陷识别检测。
[0055] 基于神经网络的轮形产品缺陷检测系统和方法包括如下步骤：
[0056] S1.训练样本的采集，样本总量6万张以上，轮辐、轮辋和轮轴每类样本各2万张以上，正负样本比例控制为1:2；
[0057] S2.进行样本的预处理；
[0058] S3.样本分类成轮辐、轮辋和轮轴三大类并进行处理；
[0059] S4.通过轮辐、轮辋和轮轴三类样本，网络离线学习训练并分别生成在线适用的轮辐、轮辋和轮轴检测器；
[0060] S5.将训练成功的CNN轮辐缺陷检测器，CNN轮辋缺陷检测器，CNN轮轴缺陷检测器分别载入上位机，并置于自动生产检测线；
[0061] S6.进行在线全自动缺陷检测；
[0062] S7.缺陷识别检测的输出方式根据用户的要求，或显示图像、或给出报警信号等。
[0063] 基于卷积神经网络的轮毂缺陷检测方法具体工作过程如图2所示，包括样本预处理、离线训练和在线检测三个主要阶段，所述的样本预处理阶段包括以下步骤：
[0064] S2-1.使用3×3邻域模板对采集的轮毂图像进行平滑滤波，用来消除轮毂图像在采集过程中产生的图像噪声；
[0065] S2-2.利用梯度锐化算法，将图像当前点像素值与其下一个像素值之差的绝对值，加上当前点像素值与其下一行当前像素值之差的绝对值，如果结果大于阈值，则当前点像素值置为此结果，这样使得图像更加突出，以便于分析；
[0066] S2-3.对步骤S2-2所得的图像进行直方图均衡化；
[0067] S2-4.对步骤S2-3所得的图像归一化处理，以加快训练网络的收敛性。
[0068] 所述的离线训练阶段首先进行样本分类，即将样本分成轮辐、轮辋和轮轴三大类并进行处理，具体处理步骤包括；
[0069] S3-1.分别将各类样本分割成的M×M小图像，M可取80、100或120。根据是否包含缺陷将小图像样本分为正样本和负样本；
[0070] S3-2.在训练卷积神经网络模型的过程中，为增加轮毂检测器的鲁棒性，对步骤S3-1所得的样本进行随机地微小的尺度变换([0.96,1.08]倍)、对比度变换(对比度系数[0.8,1.2])和旋转变换([-60,+60]度，每次变换5度)；
[0071] S3-3.每次调用小批量样本时，即可选64个样本，随机对样本进行水平翻转，添加高斯随机噪声，并且从变换后的小样本图像中随机选取出N×N的区域作为卷积神经网络的训练样本，N可以取96，以增加样本的多样性，提高训练得到的卷积神经网络模型的泛化能力。
[0072] 训练轮毂缺陷检测神经网络模型即缺陷检测器的包括：
[0073] S4-1.根据轮辋样本、轮辐样本和轮轴样本，分别采用BP算法训练轮辋缺 陷检测神经网络模型、轮辐缺陷检测神经网络模型以及轮轴缺陷检测神经网络模型，每次迭代采用最小批的方式计算网络误差和更新权重；
[0074] S4-2.训练时，学习速率设定为0.01；
[0075] S4-3.每次迭代输入64个样本，以平均误差更新参数；
[0076] S4-4.设计网络模型。轮毂缺陷检测神经网络模型是一个多层卷积神经网络模型，有监督地从大量样本中自动地进行特征学习。输入是一张图像，输出是图像的分类标签。因此，输入层的神经元数量和检测图像的像素数量相等，输出层只有一个神经元节点，直接输出图像的分类结果。轮毂缺陷检测神经网络模型包含两部分：第一部分是一个多阶段的特征提取器，交替地包含卷积层，降采样层和局部响应归一化层，执行卷积、降采样和非线性变换；第二部分是一个分类器，是一个由两个全连接层相互连接组成的全连接神经网络，通过反向传播算法训练一个能够对于第一部分提取出来的轮毂图像特征进行正确分类的分类器。在本方案中设计的轮毂缺陷检测神经网络模型的特征提取有两个阶段。第一阶段是低层特征的提取，例如点和线等，第二阶段通过反向传播算法的训练，对低层特征进行线性组合形成高层特征；
[0077] S4-5.轮毂缺陷检测神经网络模型在分类时，将获取到的轮毂图像分割成M×M的小样本图像，M取100。取每张M×M的小样本图像取左上角，左下角，右上角，右下角以及中心5个96×96区域图像，将这5个区域图像通过卷积神经网络模型计算得到5个输出值，并将这5个输出值进行平均，最后根据平均的输出值即可判定轮毂的该区域是否有缺陷。网络输出值的范围为[0,1]，大于设定阈值0.5表示轮毂上相应的区域存在缺陷，反之表示轮毂上相应的区域不存在缺陷；
[0078] S4-6.当在测试集上正确率达到所要求的准确率时终止网络训练，最终获得轮毂缺陷检测器。
[0079] 所述的在线检测阶段具体流程如下：
[0080] 在线检测时，按照由轮轴至轮辐再到轮辋的全自动检测流程，检测系统依次在不同工位获取在线图像，具体步骤如下：
[0081] S6-1.获取轮毂的轮轴图像，并利用样本离线预处理的方法对获取的轮轴图像进行预处理，调用轮轴缺陷检测检测器对每幅轮轴图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
[0082] S6-2.获取轮毂的轮辐图像，并利用样本离线预处理的方法对获取的轮辐图像进行预处理，调用轮辐缺陷检测检测器对每幅轮辐图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
[0083] S6-3.获取轮毂的轮辋图像，并利用样本离线预处理的方法对获取的轮辋图像进行预处理，调用轮辋缺陷检测检测器对每幅轮辋图像进行缺陷检测，如果发现存在缺陷，则对存在缺陷的区域进行标记，并以检测的时间作为文件名命名该幅图像进行保存；
[0084] S6-4.缺陷识别检测的输出方式根据用户的要求，或显示图像、或给出报警信号等；
[0085] S6-5.如果在步骤S6-1至S6-3的任一幅图像中检测出缺陷，则将该轮毂送入不合格产品区，如果没有检测出缺陷，就将该轮毂送入合格产品区。
[0086] 图3示出本发明轮毂缺陷检测卷积神经网络的完整结构示意图。其中所有卷积层的神经元的输出函数为RELU函数，所有
池化层的池化方式为最大池化，最后的输出层采用Softmax层。本发明在实际的轮毂生产线中采集轮毂图像，并利用所述轮毂缺陷检测方法对采集到的轮毂图像进行检测。
[0087] 图4是实际生产线上采集带缺陷的轮辐样本图像，从图4可以看出，原始图像的缺陷与背景的对比不明显。
[0088] 图5是本发明的实施例中对样本图像图4进行预处理前的图像灰度直方图，从图5可以看出，原始图像包含比较多的冗余信息。
[0089] 图6是对实测样本图4进行预处理后的图像，从图6可以看出经过预处理后的图像缺陷与背景的对比更加强烈，缺陷更加明显。
[0090] 图7示出图6的灰度直方图中的最大和次大峰
位置，即原始图像进行灰度变换的范围；图8-1、8-2、8-3分别为本发明的实施例中的对未进行训练的轮毂的轮辐、轮辋和轮轴图像进行缺陷检测的结果图，从图8-1、8-2、8-3中可以看出，训练出的缺陷检测器能够正确地检测并且标识出轮辐，轮轴以及轮辋图像中的缺陷及其位置。从上述实施例的结果图中可以看出，本发明在实际的工程应用中具有比较良好的识别效果。
[0091] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
