技术领域
[0001] 本
发明涉及铁路货车脱轨制动装置拉环磨轴故障图像识别方法，属于铁路货车制动装置安全技术领域。
背景技术
[0002] 铁路货车的运营过程中，脱轨自动制动装置在防止脱轨事件的发生中发挥了巨大的作用，它有效降低了脱轨事故带来的经济损失和人身伤害。因而保证脱轨制动装置的安全运行极为重要。
[0003] 目前，对铁路货车脱轨故障的监测方式为人工检查，即以人工的方式对采集的相应图像进行检查，判断是否有迹象预示着脱轨故障的发生。受限于人工作业的效率及
精度，极易发生故障漏检错检的状况，一旦错失对故障图片的检查，将严重威胁铁路货车的安全运行。
[0004] 由于脱轨制动装置能够在脱轨故障发生时可靠进行制动，因此，若能保证脱轨制动装置的正常运行，即可有效的防止脱轨造成危害性的事故。因此，可通过对脱轨制动装置状态的监测实现对脱轨事故的监控。
[0005] 脱轨制动装置的主要故障包括拉环脱落，一旦发生拉环脱落将会造成磨轴现象。随着近年来
深度学习技术的蓬勃发展，需要提供一种用图像自动识别方式代替传统人工的检车方式，来对脱轨自动制动装置拉环脱落产生的磨痕进行自动识别，从而实现对脱轨事故的安全监控，并显著提高检测结果的准确率。
发明内容
[0006] 针对现有铁路货车脱轨故障采用人工检车方式进行故障识别，检测效率低并且准确性差的问题，本发明提供一种铁路货车脱轨制动装置拉环磨轴故障图像识别方法。
[0007] 本发明的一种铁路货车脱轨制动装置拉环磨轴故障图像识别方法，包括以下步骤：
[0008] 步骤一：采集脱轨制动装置拉环磨轴故障图像，获得图像训练样本，并对每个图像训练样本配置标记信息，形成图像训练样本库；所述标记信息用于记录故障标签值及初步故障
位置坐标；
[0009] 步骤二：采用基于inception_resnet_v2的Faster RCNN模型对所有图像训练样本进行训练，获得拉环故障权重系数；并获得由图像训练样本确定的故障预测框属于标签故障的概率；
[0010] 步骤三：采集运行中铁路货车脱轨制动装置图像并进行预处理，获得待识别图像；基于所述拉环故障权重系数判断待识别图像中可能发生故障的疑似预测框，再基于所述概率获得所述疑似预测框为磨轴区域的得分，当得分大于预设的分数
阈值时，确定为拉环磨轴故障，报警。
[0011] 根据本发明的铁路货车脱轨制动装置拉环磨轴故障图像识别方法，[0012] 所述图像训练样本由所述拉环磨轴故障图像预处理后获得。
[0013] 根据本发明的铁路货车脱轨制动装置拉环磨轴故障图像识别方法，所述预处理依次包括对拉环磨轴故障图像的数据增强处理、中值滤波处理及提高图像
对比度。
[0014] 根据本发明的铁路货车脱轨制动装置拉环磨轴故障图像识别方法，所述数据增强处理包括图像旋转、随机裁剪、
水平翻转、竖直翻转、拉伸及缩放。
[0015] 根据本发明的铁路货车脱轨制动装置拉环磨轴故障图像识别方法，所述采用基于inception_resnet_v2的Faster RCNN模型对所有图像训练样本进行训练的过程包括：
[0016] 采用卷积层对图像训练样本进行特征提取，获得特征图。
[0017] 根据本发明的铁路货车脱轨制动装置拉环磨轴故障图像识别方法，对于所述特征图，再采用RPN层生成锚框，对所述锚框一方面采用softmax损失函数判断属于前景或者后景；另一方面用边界框回归
修改所述锚框；进而获得确定为前景的故障预测框；对所述故障预测框进行越界剔除和重叠剔除，再对相互
覆盖率不超过设定IoU阈值的故障预测框进行由小到大的排序，保留前N个故障预测框。
[0018] 根据本发明的铁路货车脱轨制动装置拉环磨轴故障图像识别方法，对于所述N个故障预测框，再采用Roi
池化层进行处理，获得固定大小的建议特征图。
[0019] 根据本发明的铁路货车脱轨制动装置拉环磨轴故障图像识别方法，对于所述建议特征图采用全连接层利用softmax损失函数确定标签故障，并确定实际故障区域位置；同时获得建议特征图属于标签故障的概率。
[0020] 根据本发明的铁路货车脱轨制动装置拉环磨轴故障图像识别方法，步骤三中，根据所述磨轴区域的得分，去除疑似预测框的误差区域，确定最终磨轴区域。
[0021] 本发明的有益效果：本发明方法根据脱轨制动装置在拉环脱落后，会在车轴上产生一圈磨痕的状况，利用
卷积神经网络搭建深度学习模型，采用图像训练样本进行训练，获得权重系数。再基于所述权重系数对货车在实际运行中获取的图像进行自动检测，以确定脱轨自动制动装置拉环脱落造成的磨轴故障。当检测结果为发生故障时，可将故障具体信息上传至检车平台。
[0022] 本发明方法采用深度学习模型对脱轨制动装置拉环磨轴故障进行自动检测，用
人工智能代替人工作业，可提高列检作业的效率，并提高故障检测的准确率；有助于及时发现货车运行故障，保证铁路货运的安全。
附图说明
[0023] 图1是本发明所述的铁路货车脱轨制动装置拉环磨轴故障图像识别方法的
流程图。
具体实施方式
[0024] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0025] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0026] 下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
[0027] 具体实施方式一、结合图1所示，本发明提供了一种铁路货车脱轨制动装置拉环磨轴故障图像识别方法，其特征在于，它包括以下步骤：
[0028] 步骤一：采集脱轨制动装置拉环磨轴故障图像，获得图像训练样本，并对每个图像训练样本配置标记信息，形成图像训练样本库；所述标记信息用于记录故障标签值及初步故障位置坐标；
[0029] 步骤二：采用基于inception_resnet_v2的Faster RCNN模型对所有图像训练样本进行训练，获得拉环故障权重系数；并获得由图像训练样本确定的故障预测框属于标签故障的概率；
[0030] 步骤三：采集运行中铁路货车脱轨制动装置图像并进行预处理，获得待识别图像；基于所述拉环故障权重系数判断待识别图像中可能发生故障的疑似预测框，再基于所述概率获得所述疑似预测框为磨轴区域的得分，当得分大于预设的分数阈值时，确定为拉环磨轴故障，报警。
[0031] 本实施方式中，对图像的采集可通过设置在铁轨两侧的高速相机阵列实现，利用高速相机拍摄脱轨制动装置的可视信息，并输出高清图像。
[0032] 本实施方式中，Faster RCNN模型利用卷积神经网络搭建，经图像训练样本训练后，可用于自动识别由于脱轨自动制动装置拉环脱落而造成的磨轴故障，在保证
算法识别精度的
基础上，提高了识别算法的
稳定性。
[0033] 对于采集的脱轨制动装置拉环磨轴故障图像，由于车轴受车体自身
颜色、新车旧车、雨渍干扰、车厢所拉货物污染因素的影响，导致采集的车轴图像在
亮度和对比度上有明显差异。除此之外，不同
硬件采集设备采集的图像，也会有所不同，这些对深度学习模型的检测结果会有显著影响。因此，在建立图像训练样本库时，为保证样本库的完整性，需要尽量多的收集各种状态下的车轴磨痕图像。
[0034] 所述标记信息是对预处理后的图像训练样本进行故障位置标记，建立VOC数据集。每幅图像训练样本可对应一个标记信息的xml文件，xml文件中存放了故障标记的标签值和故障坐标位置信息。
[0035] 进一步，所述图像训练样本由所述拉环磨轴故障图像预处理后获得。
[0036] 再进一步，所述预处理依次包括对拉环磨轴故障图像的数据增强处理、中值滤波处理及提高
图像对比度。
[0037] 由于拉环磨轴故障易受噪声干扰，为了抵抗来自图像中噪声的干扰，可对数据集中的图像做中值滤波处理。中值滤波是一种非线性
滤波器，在降低图像噪声的同时，能够有效的保护好图像的边缘信息，并提高模型的抗噪声干扰性能。
[0038] 作为示例，所述数据增强处理包括图像旋转、随机裁剪、水平翻转、竖直翻转、拉伸及缩放。受限于客观因素，收集到的脱轨制动装置拉环磨轴故障图像不可能包含所有的情况，所以要对磨轴故障图像进行数据增强处理。对磨轴故障图像扩增后，可增强数据集的鲁棒性。
[0039] 再进一步，所述采用基于inception_resnet_v2的Faster RCNN模型对所有图像训练样本进行训练的过程包括：
[0040] 采用卷积层对图像训练样本进行特征提取，获得特征图。
[0041] 所述Faster RCNN模型中主要包括卷积层、RPN网络、Roi池化层、全连接层。
[0042] 卷积层主要用来提取特征图，作为一种CNN网络目标检测方法，Faster RCNN首先使用一组基础的卷积接relu激活函数再接一层池化层的结构，提取输入图像的特征图(feature maps)，该特征图(feature maps)会用于后续的RPN层和全连接层。
[0043] Faster RCNN是支持输入任意大小的图像的，进入网络前对图像进行了规整化尺度的设定，将图像缩放至固定大小，然后将缩放后的图像送入网络。卷积层中包含了13个conv层、13个relu层和4个pooling层。
[0044] 对于13个conv层：kernel_size＝3，pad＝1，stride＝1；卷积公式：所以conv层不会改变图像大小；即：输入图像大小＝输出图
像大小；
[0045] 对于13个relu层：设置激活函数，不改变图像大小；
[0046] 4个pooling层：kernel_size＝2，stride＝2；pooling层会让输出图片是输入图片的1/2。
[0047] 再进一步，对于所述特征图，再采用RPN层生成锚框，对所述锚框一方面采用softmax损失函数判断属于前景或者后景；另一方面用边界框回归修改所述锚框；进而获得确定为前景的故障预测框；对所述故障预测框进行越界剔除和重叠剔除，再对相互覆盖率不超过设定IoU阈值的故障预测框进行由小到大的排序，保留前N个故障预测框。
[0048] 对于RPN层：RPN(Region Proposal Networks)网络主要用于生成区域建议(region proposals)，首先生成一堆锚框(Anchor box)，对其进行裁剪过滤后，通过softmax损失函数判断
锚点(anchors)属于前景(foreground)或者背景(background)，也即是所需检测物体或者不是所需检测物体，所以这是一个二分类过程。同时，另一分支利用边界框回归(bounding box regression)修正锚框(Anchor box)，形成较精确的建议(proposal)。
[0049] 特征图(feature maps)进入RPN后，先经过一次3*3的卷积，这样做的目的是进一步集中特征信息，紧接两个全卷积结构，kernel_size＝1*1，p＝0，stride＝1。分别得到rpn_cls和rpn_bbox，用来对锚框(Anchor box)进行二分类和获取其坐标信息。得到较准确的预测框后，进一步对预测框进行越界剔除和使用nms(非最大值抑制)，剔除掉重叠的框。保留覆盖率不超过设定的IoU(Intersection over Union)阈值的粗筛选，再取前N个box，这样，进入到下一层Roi池化时，预测框数量只有N个。
[0050] 再进一步，对于所述N个故障预测框，再采用Roi池化层进行处理，获得固定大小的建议特征图。
[0051] 所述Roi池化层利用RPN生成的proposals和inception_resnet_v2得到特征图(feature maps)，得到固定大小的建议特征图(proposal feature map)，进入到后面可利用全连接操作来进行目标识别和
定位。采用基于inception_resnet_v2网络结构设计模型，能够防止过拟合。网络采用梯度下降的
优化算法，随着网络深度的增加，训练误差会一直减小。
[0052] inception_resnet_v2是inception加残差网络的结构设计。Inception网络不需要人为决定使用哪个
过滤器，或是否需要池化，而是由网络自行确定这些参数，它可以给网络添加这些参数的所有可能值，然后把这些输出连接起来，让网络自己学习它需要什么样的参数，采用哪些过滤器组合。网络中加入了softmax分支，因为即便是隐藏单元和
中间层也参加了特征计算，它们能够预测图片的分类，在Inception网络中起到一种调整的效果，防止过拟合。残差网络就是残差
块的堆叠，这样可以把网络设计的很深。残差网络和普通网络的区别是在进行非线性变化前，把数据拷贝后与
指定的数据累加，并进行了非线性变换。对于普通的卷积网络，用梯度下降等常用的优化算法，随着网络深度的增加，训练误差会呈现出先降低后增加的趋势，而期望的理想结果是随着网络深度的增加训练误差逐渐减小。
Resnet随着网络深度的增加训练误差会一直减小。
[0053] 再进一步，对于所述建议特征图采用全连接层利用softmax损失函数确定标签故障，并确定实际故障区域位置；同时获得建议特征图属于标签故障的概率。
[0054] 在全连接层，分类器会将Roi池化层形成的固定大小的特征图(feature map)进行全连接操作，利用softmax损失函数进行具体类别的分类，同时，利用L1 Loss完成边界框回归(bounding box regression)操作获得物体的精确位置。
[0055] 即从PoI Pooling获取到proposal feature maps后，通过全连接层主要实现的功能包括：
[0056] 通过全连接和softmax对region proposals进行具体类别的分类；
[0057] 再次对region proposals进行bounding box regression，获取更高精度的预测框。
[0058] 模型中分类用到了softmax损失函数，softmax函数可以根据它们相对的大小，输出类别选取的概率，并且概率和为1。Softmax的公式为： Si代表的是第i个神经元的输出。
[0059] 模型中分类用到了softmax损失函数，softmax函数可以根据它们相对的大小，输出类别选取的概率，并且概率和为1。Softmax的公式为： Si代表的是第i个神经元的输出。
[0060] 再进一步，步骤三中，根据所述磨轴区域的得分，去除疑似预测框的误差区域，确定最终磨轴区域。
[0061] 由Faster RCNN模型训练后得到权重系数，把采集到的轨制动装置图像中车轴位置经过裁剪和灰度拉伸及中值滤波等预处理后，用获得的权重系数预测磨轴故障可能发生的区域，并通过限制预测框的得分去除误找区域。
[0062] 虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附
权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的
从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
