技术领域
[0001] 本
发明涉及铁路货车转向架侧架断裂故障图像识别方法，属于铁路货车转向架安全技术领域。
背景技术
[0002] 铁路货车转向架的侧架断裂故障是一种危及行车安全的故障，若不能及时在故障发生前对断裂
位置进行处理，很容易发生安全事故。
[0003] 目前，对侧架断裂的检测中，需要首先获取侧架图像，然后采用人工的方式对图像进行检测，判断侧架是否发生断裂。由于检车人员在对大量图像进行检测的过程中极易发生疲劳、遗漏等人为因素而可能造成漏检、错检状况的发生，因此这种判断方式的可靠性及效率均会受到影响，进而影响货车的行车安全。
[0004] 随着
深度学习与
人工智能的不断发展及技术上的不断成熟，其对图像信息进行处理的技术手段越来越可靠；因而，需要提供一种采用深度学习进行侧架故障识别的技术，从而提高侧架断裂故障识别的准确率及
稳定性。
发明内容
[0005] 针对现有铁路货车转向架的侧架断裂检测采用人工的方式进行，可靠性差的问题，本发明提供一种铁路货车转向架侧架断裂故障图像识别方法。
[0006] 本发明的一种铁路货车转向架侧架断裂故障图像识别方法，它包括以下步骤：
[0007] 步骤一：采集运行中货车转向架侧架的原始灰度图像，根据货车转向架
轴距信息及位置信息，确定每张灰度图像的侧架区域，并对所述侧架区域进行预处理获得侧架区域样本图像，将所有侧架区域样本图像形成样本图像集，对每张侧架区域样本图像配置标记信息形成标记文件，基于样本图像集和标记文件构成样本数据集；
[0008] 步骤二：采用所述样本数据集对
卷积神经网络inceptionv2及卷积神经网络Faster rcnn进行训练，获得训练好的inceptionv2模型及Faster rcnn模型；
[0009] 步骤三：利用训练好的inceptionv2模型及Faster rcnn模型对待检测图像进行处理，获得对应的侧架状态预测结果，实现故障识别。
[0010] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，对所述侧架区域进行预处理包括：
[0011] 对所述侧架区域进行数据扩增，并提高
对比度。
[0012] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，所述数据扩增的形式包括以下至少一种：
[0013] 对提高对比度后的侧架区域进行旋转、平移、缩放和镜像。
[0014] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，所述标记信息包括：
[0015] 图像名称、检测类别及侧架区域样本图像中目标区域的左上
角及右下角坐标。
[0016] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，所述检测类别包括断裂、
水流、粉笔及阴影中至少一类。
[0017] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，所述卷积神经网络inceptionv2及卷积神经网络Faster rcnn采用COCO模型参数进行网络参数初始化。
[0018] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，所述侧架区域样本图像输入卷积神经网络inceptionv2中进行特征提取，获得低维特征图。
[0019] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，所述低维特征图输入卷积神经网络Faster rcnn的RPN层，生成所述目标区域的多个侯选框，将每个侯选框的图像类别区分为前景和后景，并对侯选框的位置进行回归调节；
[0020] 将得到的每个前景候选框使用ROI Pooling层均匀分成9*9
块，对每块进行max pooling处理；并将所有前景候选框变换为相同大小的数据送入全连接层，进行最终目标区域检测类别分类及目标区域的侯选框位置回归。
[0021] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，在对卷积神经网络inceptionv2及卷积神经网络Faster rcnn进行训练的过程中，侧架区域样本图像的损失函数L({pi},{ti})定义如下：
[0022]
[0023] 式中，pi是不同检测类别的分类概率，ti＝{tx,ty,tw,th}是一个向量，表示候选框的偏移量，tx为x轴坐标偏移量，ty为y轴坐标偏移量，tw为候选框宽度偏移量，th为候选框高度偏移量，Ncls为样本数据总数，i为检测类别，λ为分类损失与回归损失的比例权衡参数，是与ti维度相同的向量，表示候选框对目标区域标记框的偏移量；Nreg为回归侯选框个数；
[0024] 其中目标预测的分类损失函数Lcls(pi)采用Focal Loss，定义如下：
[0025]
[0026] 式中αi为样本调节比例，αi∈[0，1]，γ为正数；
[0027] 回归预测的位置损失函数 为：
[0028]
[0029] 设定
[0030] 则
[0031] 根据本发明所述的铁路货车转向架侧架断裂故障图像识别方法，将步骤三中预测结果为断裂的待检测图像进行二值化，使断裂部分的
像素值为1，非断裂部分的像素值为0；对断裂部分对照原始待检测图像进行掩膜，判断掩膜区域的平均像素，若平均像素低于设定像素
阈值，则识别为故障，并进行报警。
[0032] 本发明的有益效果：本发明方法基于深度学习检测网络，对获取图像中侧架部件的断裂情况进行检测。它首先基于样本数据对inceptionv2和Faster rcnn网络进行训练，获得相应的网络模型，然后基于所述模型对待检测图像进行处理，实现故障识别。
[0033] 本发明方法获得的卷积神经网络模型根据先验知识使用高级
图像处理算法和
模式识别方法对待检测图像进行故障分析，判断其是否发生断裂。对侧架图像上发生断裂的区域可进行上传报警，以方便工作人员依据报警位置进行相应的及时处理。本发明对侧架断裂情况可进行可靠的预测，从而可保证铁路货车的安全运行。本发明方法可有效提高断裂检测的准确率。
附图说明
[0034] 图1是本发明所述铁路货车转向架侧架断裂故障图像识别方法的
流程图；
[0035] 图2是卷积神经网络inceptionv2及卷积神经网络Faster rcnn训练过程中，权重系数的计算流程图；
[0036] 图3是获得inceptionv2及Faster rcnn模型的训练流程图；
[0037] 图4是对待检测图像进行处理的流程图。
具体实施方式
[0038] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0040] 下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0041] 具体实施方式一、结合图1所示，本发明提供了一种铁路货车转向架侧架断裂故障图像识别方法，它包括以下步骤：
[0042] 步骤一：采集运行中货车转向架侧架的原始灰度图像，根据货车转向架轴距信息及位置信息，确定每张灰度图像的侧架区域，并对所述侧架区域进行预处理获得侧架区域样本图像，将所有侧架区域样本图像形成样本图像集，对每张侧架区域样本图像配置标记信息形成标记文件，基于样本图像集和标记文件构成样本数据集；
[0043] 步骤二：采用所述样本数据集对卷积神经网络inceptionv2及卷积神经网络Faster rcnn进行训练，获得训练好的inceptionv2模型及Faster rcnn模型；
[0044] 步骤三：利用训练好的inceptionv2模型及Faster rcnn模型对待检测图像进行处理，获得对应的侧架状态预测结果，实现故障识别。
[0045] 本实施方式中，原始灰度图像的获取方法是：在
铁路轨道两旁搭载成像设备，在铁路货车通过时，成像设备由两侧获取货车的线阵图像。获取的图像为高清图像，并为清晰的灰度图像。由于货车侧架部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响，并且，不同
站点拍摄的图像可能存在差异。因此，侧架部件图像之间千差万别。所以，在收集侧架图像数据的过程中，要保证多样性，尽量将各种条件下的侧架图像全部收集。
[0046] 在不同类型的转向架中，侧架部件的形态也会有不同。但由于不同类型间出现的
频率差别较大，某些较不常见转向架类型的侧架部件收集较为困难。因此，将全部类型的侧架部件统称为一类，全部按照一类来建立样本数据集。
[0047] 所述标记文件可以为xml文件。
[0048] 所述样本图像集和标记文件中关于侧架区域样本图像的信息是一一对应的，即每个侧架区域样本图像对应一个标记信息。样本数据集在向训练神经网络时，每次输入的数据信息包括侧架区域样本图像信息，及相应的标记信息。
[0049] 为了处理图像的针对性，可以根据
硬件设备、轴距信息及相关位置等先验知识，从原始灰度图像中初步截取出侧架部件的区域。
[0050] 本实施方式的具体实施过程如图1所示，步骤一中所述的确定每张灰度图像的侧架区域为图1中的初
定位步骤。图1中的侧架图像即为所述待检测图像。
[0051] 进一步，对所述侧架区域进行预处理包括：
[0052] 对所述侧架区域进行数据扩增，并提高对比度。
[0053] 所述样本图像集的建立虽然尽量包括了各种条件下的图像，但为提高算法的稳定性，仍需要对图像进行数据扩增。
[0054] 由于各个站点的成像设备角度距离有所不同，采集到的图像的亮暗程度不同，一些图像太暗导致不能清晰的观测到侧架的断裂区域，因此进入深度学习网络前，可对图像进行局部自适应的提高对比度。
[0055] 作为示例，所述数据扩增的形式包括以下至少一种：
[0056] 对提高对比度后的侧架区域进行旋转、平移、缩放和镜像。
[0057] 所述数据扩增的形式在随机条件下进行，可以最大程度的保证样本的多样性和适用性。
[0058] 再进一步，所述标记信息包括：
[0059] 图像名称、检测类别及侧架区域样本图像中目标区域的左上角及右下角坐标。
[0060] 所述图像名称是为了区分不同的图像，例如，可以为顺序号，也可以为字母标识。
[0061] 再进一步，所述检测类别包括断裂、水流、粉笔及阴影中至少一类。
[0062] 由于侧架上会存在大量的水流痕迹，粉笔痕迹，并且侧架本身的阴影处与断裂处图像特征相似，因此将图像标记为断裂、水流、粉笔和阴影四类，所述检测类别通过人工标记的方式获取。
[0063] 再进一步，所述卷积神经网络inceptionv2及卷积神经网络Faster rcnn采用COCO模型参数进行网络参数初始化。
[0064] 再进一步，所述侧架区域样本图像输入卷积神经网络inceptionv2中进行特征提取，获得低维特征图。
[0065] 再进一步，所述低维特征图输入卷积神经网络Faster rcnn的RPN层，生成所述目标区域的多个侯选框，将每个侯选框的图像类别区分为前景和后景，并对侯选框的位置进行回归调节；
[0066] 将得到的每个前景候选框使用ROI Pooling层均匀分成9*9块，对每块进行max pooling处理；并将所有前景候选框变换为相同大小的数据送入全连接层，进行最终目标区域检测类别分类及目标区域的侯选框位置回归。
[0067] 获得每个侯选框的图像类别区分为前景和后景的具体过程为：使用滑动窗口在低维特征图上滑动，将滑动窗口的中心映射到侧架区域样本图像上，当侧架区域样本图像上映射到的区域与标记文件中对应的目标区域的重叠度(Intersection over Union，IOU)大于0.7时，则该候选框区域为正样本；当侧架区域样本图像上映射到的区域与标记文件中对应的目标区域的重叠度小于0.3时，则该候选框区域为负样本，然后以正负样本1：1训练RPN层，训练最后输出的分类回归任务是，随机
抽取64个前景及背景候选框，其中与真实目标标记位置的IOU大于0.5的为前景，IOU大于0.1且小于0.5的区域为背景。
[0068] 所述ROI Pooling层是一种固定输出大小的max pooling。
[0069] 获得inceptionv2及Faster rcnn模型的具体过程如图3所示。
[0070] 再进一步，在对卷积神经网络inceptionv2及卷积神经网络Faster rcnn进行训练的过程中，侧架区域样本图像的损失函数L({pi},{ti})定义如下：
[0071]
[0072] 式中，pi是不同检测类别的分类概率，ti＝{tx,ty,tw,th}是一个向量，表示候选框的偏移量，tx为x轴坐标偏移量，ty为y轴坐标偏移量，tw为候选框宽度偏移量，th为候选框高度偏移量，Ncls为样本数据总数，i为检测类别，λ为分类损失与回归损失的比例权衡参数，是与ti维度相同的向量，表示候选框对目标区域标记框的偏移量；
[0073] Nreg为回归侯选框个数；
[0074] 其中目标预测的分类损失函数Lcls(pi)采用Focal Loss，定义如下：
[0075]
[0076] 式中αi为样本调节比例，αi∈[0，1]，γ为正数；
[0077] 回归预测的位置损失函数 为：
[0078]
[0079] 设定
[0080] 则
[0081] 本实施方式在Faster rcnn中引入Focal Loss作为分类时的损失函数，可避免类别失衡造成的影响，提高检测的准确率。
[0082] 在正样本时， 为1，负样本时， 为0。
[0083] 再进一步，结合图4所示，将步骤三中预测结果为断裂的待检测图像进行二值化，使断裂部分的像素值为1，非断裂部分的像素值为0；对断裂部分对照原始待检测图像进行掩膜，判断掩膜区域的平均像素，若平均像素低于设定像素阈值，则识别为故障，并进行报警。
[0084] 结合图1和图2所示，在训练获得inceptionv2模型及Faster rcnn模型的过程中，可获得训练好的权重系数。将待检测图像使用inceptionv2模型及Faster rcnn模型行数据变换后，使用训练好的权重系数，可预测出侧架断裂、水流、粉笔和阴影四类位置。
[0085] 由于正常侧架的像素高于断裂处侧架的像素，因此根据经验或依据实验获得像素阈值，若掩膜部分像素值低于设定阈值，则对此部分侧架进行故障报警。若未大于阈值，则表示侧架状态正常，可继续处理下一张侧架图像。
[0086] 综上，本发明方法利用图像自动识别的方式代替现有的人工检测，提高了检测效率及检测准确率；本发明方法将深度学习算法应用到侧架断裂故障自动识别中，提高了整体算法的鲁棒性及
精度。
[0087] 虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多
修改，并且可以设计出其他的布置，只要不偏离所附
权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的
从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
