铁路货车小部件轴承挡键螺母松动和丢失故障检测方法
技术领域
[0001] 本
发明涉及一种轴承挡键螺母松动和丢失故障检测方法。属于货运列车检测技术领域。
背景技术
[0002] 货车轴承挡键螺母松动和丢失故障是一种常见故障，一旦出现问题就会影响货运列车的安全，所以需要对轴承挡键螺母松动和丢失故障进行检查。长期以来，采用人工检查图像的方式进行挡键螺母松动和丢失故障检测，不仅效率低，而且容易出现漏检的情况。货车轴承挡键螺母和
螺栓属于小部件，检车人员在工作过程中极易疲劳，更容易出现漏检、错检的情况，难以保障准确率。因此，货车的故障检测采用自动识别的方式提高检测效率和准确率具有重要意义。但是目前还没有一种针对轴承挡键螺母松动和丢失故障的自动检测方法。
[0003] 货车轴承挡键螺母和螺栓极小，且由于轴承挡键螺母和螺栓的自身特点和
位置关系，图像中的轴承挡键螺母和螺栓与背景之间非常容易混合，且较为模糊不易区分，所以直接利用现有的
图像处理技术进行轴承挡键螺母松动和丢失故障识别的准确率极低。如果采用高清摄像头采集图像也不能彻底解决轴承挡键螺母和螺栓与背景不易区分的问题，同时还会造成处理数据过大，导致处理速度非常慢。
发明内容
[0004] 本发明是为了解决目前依靠人工查看图像的检测方式存在成本高、效率低等问题，以及现有的图像自动处理技术进行检测存在准确率低的问题。
[0005] 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法，包括以下步骤：
[0006] 采集图像并提取轴承挡键区域图像；构建样本数据集，样本数据集包括两部分：灰度图像集与三值分割图像集；灰度图像集为轴承挡键区域图像的图像集合；三值分割图像集为轴承挡键区域图像对应的人工标记获取的螺母与螺栓部件的三值分割图像，标记时若存在螺母
覆盖螺栓区域，标记为螺母，即以螺母的
像素值进行标记；灰度图像集与三值分割图像集之间为一一对应关系；
[0007] 利用样本数据集训练
深度学习网络，得到训练好的深度学习网络；
[0008] 针对真实过车图像提取轴承挡键区域图像利用训练好的深度学习网络得到三值分割图像；利用三值分割图像进行故障检测，如果发生螺栓区域无螺母，代表挡键螺母丢失；如果会发生螺栓部分区域在螺母之上，代表挡键螺母松动；若检测上述情况，则进行故障报警。
[0009] 进一步地，所述利用三值分割图像进行故障检测的具体过程包括以下步骤：
[0010] 针对真实过车图像提取轴承挡键区域图像利用训练好的深度学习网络得到三值分割图像；首先检测是否存在螺母对应的像素值，若没有检测到，判断为螺母丢失并报警；若存在检测螺栓对应的像素值，如果没有检测到，判断为正常，如果检测到，则清除背景干扰继续检测，检测螺母对应的像素值的最高点a和螺栓对应的像素值的最高点b，判断如果最高点a对应的位置小于定于最高点b对应的位置，则判断为正常，否则判断为螺母松动并报警。
[0011] 进一步地，所述三值分割图像如下：
[0012] 像素值是1时为挡键螺母区域，像素值是2时为挡键螺栓区域，像素值是0时为其他区域。
[0013] 进一步地，所述灰度图像集中的轴承挡键区域图像通过以下步骤获得：
[0014] 针对采集图像并提取轴承挡键区域图像，将提取轴承挡键区域图像通过线性插值的方法放大到256*256像素。
[0015] 进一步地，所述的训练好的深度学习网络为
编码器-
解码器网络，具体如下：
[0016] 构建编码器网络模型如下：
[0017] 编码器包含5个下
采样的编码单元和1个卷积的编码单元，其中，每个卷积层后都跟随一个批标准化。2个相同编码单元分别包含2个3*3的卷积层加批标准化层和一个
池化层，剩余3个相同的编码单元分别包含3个3*3卷积层加批标准化层和一个池化层；一个卷积的编码单元包含2个3*3的卷积—批标准化层；
[0018] 编码单元1：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层[0019] 编码单元2：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层[0020] 编码单元3：[3*3卷积层→批标准化层]*3→2*2池化层
[0021] 编码单元4：[3*3卷积层→批标准化层]*3→2*2池化层
[0022] 编码单元5：[3*3卷积层→批标准化层]*3→2*2池化层
[0023] 编码单元6：3*3卷积层→批标准化层→3*3卷积层→批标准化层
[0024] 解码器网络模型如下：
[0025] 解码器包含4个上采样的解码单元，前2个解码单元分别包含一个由对编码器编码单元的2*2的上采样层和上一层编码器编码单元的合并层和3个卷积层加批标准化层，第3个编码单元是由1个2*2上采样层和3个卷积层加批标准化层，最后由1个4*4上采样层和2个卷积层加一个批标准化层组成。其中，解码器部分的卷积层包含卷积核为1*1的卷积层，可以有效减少特征网络参数。
[0026] 解码单元1：编码单元5与编码单元6的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0027] 解码单元2：编码单元4与解码单元1的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0028] 解码单元3：解码单元2的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0029] 解码单元4：解码单元3的4*4的上采样层→1*1卷积层→批标准化层→1*1卷积层(softmax激活函数)。
[0030] 进一步地，所述提取轴承挡键区域图像的过程包括以下步骤：
[0031] 根据
硬件的
轴距信息和轴承挡键的位置先验知识，从图信息中确定轴承挡键的感兴趣区域并提取出轴承挡键的感兴趣区域图像。
[0032] 进一步地，所述采集图像的过程是通过线阵相机进行的，即通过被测物的移动速度计算线阵相机的拍摄
频率，进行连续的多次拍照，将所拍下的多幅“条”形图象，合并成一张完整的图像。
[0033] 有益效果：
[0034] 1、使用图像自动识别的方式代替人工检测，方法或系统能够自动识别车辆故障并报警，作业标准统一，不再受人员素质和责任心影响，不仅能够解决高成本的问题，而且无需人工逐张浏览图片，人工只需对报警图片进行故障确认即可完成检车作业，可节省大量的动态检车人员，并提高作业效率。相比现有的人工检测，检测效率至少提高数十倍，并且图像数量的增加，效率还会进一步提高；而且利用本发明还能够有效提高作业
质量。
[0035] 2、针对小目标灰度数据图片，对样本图片采用线性插值的方法放大到一定尺寸，通过增强神经网络对输入数据特征提取，能够进一步提高
算法的准确性，又不影响算法检测的实时性。
[0036] 同时，针对螺母松动和丢失故障快速和准确检测的特性，本发明引入批标准化层(BatchNormalization)和并在解码器网络部分以卷积核为1x1的卷积层代替卷积核为3x3的卷积层，在保证检测
精度的同时提高学习收敛速度，加快训练速度。在解码器网络部分仅融合编码器网络部分的最后两层高层卷积特征，而不融合底层卷积特征，有效保证防止底层信息变化导致的预测结果图像中的多干扰问题，从而保证了准确性。本发明比传统的手工标准特征提取的
机器视觉检测方法具有高的灵活性、准确性和鲁棒性。利用本发明进行挡键螺母松动和丢失检测的漏检率几乎为0。
附图说明
[0037] 图1为具体实施方式一的流程示意图；
[0038] 图2为粗
定位时的大图与挡键螺母螺栓区域图像，其中矩形框内为挡键螺母螺栓区域；
[0039] 图3为挡键螺母螺栓区域局部放大图像；
[0040] 图4为深度学习网络模型示意图；
具体实施方式
[0042] 具体实施方式一：参照图1具体说明本实施方式，
[0043] 铁路货车小部件轴承挡键螺母松动和丢失故障检测方法，包括以下步骤：
[0044] 1、图像收集
[0045] 在货车轨道周围固定设备搭载
照相机或摄像机，对行驶的货车进行拍摄，货车通过设备后，获取高清灰度全车图像。图像质量主要受两方面的影响，一是自然条件的影响：雨
雪、泥渍、光照等；一是人为条件的影响：油渍、黑漆、设备的安装差异等。
[0046] 因此，获得的挡键螺母图像之间有较大变动。为了增强识别算法的鲁棒性，在收集图像数据的过程中，尽
力地覆盖各种不同条件下的图像。
[0047] 可以采用线阵相机(也称线扫描相机)进行
图像采集，即通过被测物的移动速度计算线阵相机的拍摄频率，进行连续的多次拍照，将所拍下的多幅“条”形图象，合并成一张完整的图，这样可实现无缝拼接，生成
视野大，精度高的二维图象。
[0048] 2、粗定位
[0049] 根据硬件的轴距信息和挡键螺母和螺栓的位置等先验知识，从全车的大图信息中确定轴承挡键区域并提取出包含轴承挡键螺母螺栓的区域图像，由于挡键螺母极小，所以这样能够极大地减少计算量，减少的计算量与挡键螺母在全车图像中的比例有关，一般至少能够将计算量减少90％以上，从而能够极大地提高识别的速度。当然由于挡键螺母极小的特点，其对应提取的轴承挡键的区域图像也可能会在后续步骤造成一定的不利影响。如图2和图3所示，可以看出挡键螺母螺栓区域在整图中极小，且在灰度图中挡键螺母螺栓本身与图中其他区域并无明显差异，所以截取的获得的挡键螺母螺栓区域极小以突出挡键螺母螺栓本身，同时可以减少计算量并提高识别的速度。
[0050] 同时通过图3也能够看出，由于挡键螺母螺栓区域本身相对较小，其图像也不够清晰，所以给挡键螺母螺栓的故障检测非常困难，需要本发明的所有操作协同进行处理，才能够取得良好的检测效果。
[0051] 3、样本数据集
[0052] 样本数据集包括两部分：灰度图像集与三值分割图像集(Ground Truth图像)。灰度图像集为从提取出轴承挡键区域图像集合。三值分割图像集为轴承挡键区域图像对应的人工标记获取的螺母与螺栓部件的三值分割图像，例如：像素值是1、2和0值时分别为为挡键螺母区域、挡键螺栓区域和其他区域。螺母区域与螺栓区域的像素值不同更有利于判断两部件的相对位置，由于螺母相对较小，标记时若存在螺母与螺栓重叠区域，以螺母对应的像素值进行标记。
[0053] 灰度图像集与三值分割图像集之间为一一对应关系。
[0054] 样本数据集的数据扩增。为进一步提高算法的鲁棒性，仍需要对样本数据集进行数据扩增。扩增形式主要为通过对图像进行
对比度增强、锐度变化、直方图均衡化、模糊处理垂直翻转、缩放、平移等随机组合操作。
[0055] 样本数据集的数据图片尺寸的改变：为进一步提高算法的准确性，仍需要对样本图片进行尺寸的放大。图片经粗定位裁剪后的尺寸约为150*150的尺寸，而轴承挡键螺栓的宽度约占图像的十分之一，即约15个像素值左右，而对于一般的神经网络对于图片内特征的提取是需要一定量的像素值或特征足够明显，轴承挡键螺栓和螺母的特征并不足够明显且部件极小，将图片的尺寸采用线性插值的方法放大到256*256，有利于神经网络对于输入数据特征的提取，同时可以在最大程度上保证算法的检测速度。
[0056] 4、目标物体分割
[0057] 本发明的的深度学习网络模型如图4所示。在货车自动识别检测中检测目标轴承挡键螺母的结构较为固定且对于检测的实时性要求较高，所以本发明考虑以减少特征网络参数，实现检测的实时性和高精度。针对故障检测的鲁棒性要求，本发明引入批标准化层(BatchNormalization)和并在解码器网络部分以卷积核为1x1的卷积层代替卷积核为3x3的卷积层，在保证检测精度的同时提高学习收敛速度，加快训练速度。在解码器网络部分仅融合编码器网络部分的最后两层高层卷积特征，而不融合底层卷积特征，有效保证防止底层信息变化导致的预测结果图像中的多干扰问题。
[0058] 深度学习网络模型采用编码器-解码器网络：
[0059] 步骤一：构建编码器网络模型
[0060] 编码器包含5个
下采样的编码单元和1个卷积的编码单元，其中，每个卷积层后都跟随一个批标准化。2个相同编码单元分别包含2个3*3的卷积层加批标准化层和一个池化层，剩余3个相同的编码单元分别包含3个3*3卷积层加批标准化层和一个池化层；一个卷积的编码单元包含2个3*3的卷积—批标准化层；
[0061] 编码单元1：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层[0062] 编码单元2：3*3卷积层→批标准化层→3*3卷积层→批标准化层→2*2池化层[0063] 编码单元3：[3*3卷积层→批标准化层]*3→2*2池化层
[0064] 编码单元4：[3*3卷积层→批标准化层]*3→2*2池化层
[0065] 编码单元5：[3*3卷积层→批标准化层]*3→2*2池化层
[0066] 编码单元6：3*3卷积层→批标准化层→3*3卷积层→批标准化层
[0067] 步骤二：构建解码器网络模型
[0068] 解码器包含4个上采样的解码单元，前2个解码单元分别包含一个由对编码器编码单元的2*2的上采样层和上一层编码器编码单元的合并层和3个卷积层加批标准化层，第3个编码单元是由1个2*2上采样层和3个卷积层加批标准化层，最后由1个4*4上采样层和2个卷积层加一个批标准化层组成。其中，解码器部分的卷积层包含卷积核为1*1的卷积层，可以有效减少特征网络参数。
[0069] 解码单元1：编码单元5与编码单元6的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0070] 解码单元2：编码单元4与解码单元1的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0071] 解码单元3：解码单元2的2*2的上采样层→[1*1卷积层→批标准化层]*1→[3*3卷积层→批标准化层]*2
[0072] 解码单元4：解码单元3的4*4的上采样层→1*1卷积层→批标准化层→1*1卷积层(softmax激活函数)。
[0073] 步骤三：优化器与损失函数的选择
[0074] 对分割网络输出的预测(predict)图像和原始标记的真值(GT)图像计算交叉熵损失函数损失函数(categorical_crossentropy)损失值，通过优化器Adam进行优化权重使得损失值逐渐降低，使分割网络模型学习不断真实数据特征。Adam优化器具有高效、占用内存小、适合大规模数据等优点。
[0075] 步骤四：模型的训练
[0076] 根据损失函数和优化器，通过训练，以不参与训练的图像的分割网络输出的预测图像和原始标记的真值图像计算得到的交叉熵损失函数损失函数的损失值降低为标准，将权重系数进行更新
迭代，直到找到最优的权重系数，得到训练好的编码器-解码器网络。
[0077] 5、挡键螺母松动和丢失故障判别
[0078] 针对真实过车图像提取轴承挡键区域图像，使用所述的编码器-解码器网络进行处理得到预测后的三值分割图像，其中图像中1值为挡键螺母区域，2值为挡键螺栓区域，0为其他区域。得到的三值分割图像参照图1中所示的三值分割图像图像。
[0079] 挡键螺母松动和丢失故障判定流程图，如图5所示。在图像中，正常情况下，挡键螺母应位于螺栓之上，而当出现挡键螺母松动故障时，螺栓会出现在螺母之上；出现挡键螺母丢失故障时，会发生截取的图像中没有像素值为1的区域(无螺母)。在清除背景干扰后，按图5所示的挡键螺母松动和丢失故障判定流程图进行判定，若检测到挡键螺母松动或丢失此二种情况，则进行故障报警。否则，继续处理下一张挡键螺母截取图像。
