技术领域
[0001] 本
发明涉及货运列车检测技术领域，具体为一种脱轨自动制动拉环脱落故障图像识别方法。
背景技术
[0002] 脱轨自动制动装置在多起
铁路货车脱轨事故中有效地发挥了作用，大大降低了脱轨造成的损失，以前的故障检测方式为人眼查看，但是脱轨自动制动拉环位于货车底部，受限于视觉
角度，检车人员在检查过程中极易发生漏检、错检的现象，严重威胁货车的运行安全。
[0003] 因此，为了推动铁路运输自动化程度的快速发展，解决人工检测方式存在的成本高、效率低、以及准确率低的问题，实现货车故障检测的自动化具有重大的现实意义。
发明内容
[0004] 本发明的目的是：为了解决现有人工检测方式存在识别
精度低问题，提出一种脱轨自动制动拉环脱落故障图像识别方法。
[0005] 本发明为了解决上述技术问题采取的技术方案是：
[0006] 一种脱轨自动制动拉环脱落故障图像识别方法，包括以下步骤：
[0007] 步骤一、采集铁路货车图像，从采集的铁路货车图像中确定脱轨自动制动拉环区域，并提取出脱轨自动制动拉环区域图像；利用提取出的图像构建训练集；
[0008] 步骤二、构建U-Net网络模型，利用训练集对构建的U-Net网络模型进行训练，获得训练好的
深度学习模型；
[0009] 步骤三、将待测图像输入训练好的U-Net网络模型，进行脱轨自动制动拉环脱落的判定。
[0010] 进一步的，所述步骤一中采集铁路货车图像，从采集的铁路货车图像中确定脱轨自动制动拉环区域，并提取出脱轨自动制动拉环区域图像；利用提取出的图像构建训练集；具体过程为：
[0011] 步骤一一、采集铁路货车图像，从采集的铁路货车图像中确定脱轨自动制动拉环区域，并提取出脱轨自动制动拉环区域图像；
[0012] 步骤一二、对脱轨自动制动拉环区域图像做
对比度增强处理，得到脱轨自动制动拉环增强后的图像；
[0013] 步骤一三、对灰度图像进行旋转、随机裁剪、
水平翻转、竖直翻转、拉伸和缩放方法中的一种或几种对图像进行扩增，获得扩增后的全部图像；
[0014] 步骤一四、用标记工具对步骤一三中扩增后的图像中的拉环轮廓进行标记并生成对应的二值图像，标记后的图像和步骤一三中扩增后的图像组成样本训练集。
[0015] 进一步的，所述步骤二中构建U-Net网络模型，利用训练集对构建的U-Net网络模型进行训练，获得训练好的深度学习模型的具体步骤为：
[0016] 步骤二一、构建U-Net网络模型：
[0017] U-Net网络包括一个收缩路径和一个扩张路径，收缩路径用于捕捉图片中的上下文信息，扩张路径用于对图片中所需要分割出来的部分进行精准
定位，
[0018] 所述收缩路径包括：第一层：64通道卷积层、ReLU激活函数、后接
池化层；第二层：128通道卷积层、ReLU激活函数、后接池化层；第三层：256通道卷积层、ReLU激活函数、后接池化层；
[0019] 所述扩张路径包括：第一层：上
采样、256通道卷积层、ReLU激活函数；第二层：上采样、128通道卷积层、ReLU激活函数；第三层：上采样、64通道卷积层、ReLU激活函数；
[0020] 步骤二二、利用训练集对构建的U-Net网络模型进行训练，获得训练好的深度学习模型；具体过程为：
[0021] 训练集图像作为收缩路径中64通道卷积层的输入，从64通道卷积层的
输出层输出，64通道卷积层的输出经过ReLU激活函数后，作为第一池化层的输入，从第一池化层的输出层输出，完成第一个
下采样；
[0022] 第一池化层的输出作为收缩路径中128通道卷积层的输入，从128通道卷积层的输出层输出，128通道卷积层的输出经过ReLU激活函数后，作为第二池化层的输入，从第二池化层的输出层输出，完成第二个下采样；
[0023] 第二池化层的输出作为收缩路径中256通道卷积层的输入，从256通道卷积层的输出层输出，256通道卷积层的输出经过ReLU激活函数后，作为第三池化层的输入，从第三池化层的输出层输出，完成第三个下采样；
[0024] 第三池化层的输出作为512通道卷积层的输入，从512通道卷积层的输出层输出，512通道卷积层的输出经过ReLU激活函数后输出；
[0025] 512通道卷积层的输出经上采样后的结果，和收缩路径中256通道的输出经过卷积处理的结果，经扩张路径中256通道卷积层卷积，并经ReLU激活函数，完成第一个上采样；
[0026] 第一个上采样过程的输出，经上采样后，和收缩路径中128通道的输出经过卷积处理的结果，经扩张路径中128通道卷积层卷积，并经ReLU激活函数，完成第二个上采样；
[0027] 第二个上采样过程的输出，经上采样后，和收缩路径中64通道的输出经过卷积处理的结果，经扩张路径中64通道卷积层卷积，并经ReLU激活函数，完成第三个上采样，输出分割图像；
[0028] 所述收缩路径中64通道卷积层、128通道卷积层、256通道卷积层、512通道卷积层卷积核大小为3×3；
[0029] 所述扩张路径中256通道卷积层、128通道卷积层、64通道卷积层卷积核大小为3×3；
[0030] 在网络的最后一层，利用1×1的卷积核进行卷积运算，将每个64维的
特征向量映射网络的输出层。
[0031] 进一步的，所述步骤三中将待测图像输入训练好的U-Net网络模型，进行脱轨自动制动拉环脱落的判定；具体过程为：
[0032] 步骤三一、把采集到的脱轨自动制动拉环的图像输入到训练好的U-Net网络，对图像中脱轨自动制动拉环的轮廓进行预测，并将预测后图像转为二值图像，二值图像中白色区域为脱轨自动制动拉环的轮廓区域；
[0033] 步骤三二、对得到的二值图像中拉环的轮廓计算出拉环旋转的角度；
[0034] 若拉环旋转的角度偏移量大于等于设定的
阈值，则认为该脱轨自动制动拉环发生了脱落，输出故障报警信息；
[0035] 若拉环旋转的角度偏移量小于设定的阈值，则认为该脱轨自动制动拉环没有发生故障；
[0036] 步骤三三：判断是否有未处理图像，若有重新执行步骤三一、步骤三二，若没有，结束。
[0037] 进一步的，所述深度学习模型的损失函数为：
[0038]
[0039] 式中，L为交叉熵损失函数， 为当前样本标签预测分布，yi为当前样本标签真实分布，i为第i个样本，N为样本总数。
[0040] 进一步的，所述脱轨自动制动拉环脱落的判定的具体过程为：
[0041] 首先将采集到的脱轨自动制动拉环的图像输入U-Net网络进行训练，得到训练输出的权重系数，然后对脱轨自动制动拉环子图像进行直方图均衡化处理，并使用训练输出的权重系数，对图像中脱轨自动制动拉环的轮廓进行预测，并将图像转为二值图像，对得到的二值图像使用
图像处理算法，计算出拉环旋转的角度，若角度偏移量大于设定的阈值，则认为该脱轨自动制动拉环发生了脱落，输出故障报警信息，若角度偏移量小于设定的阈值，则认为该脱轨自动制动拉环没有发生故障，继续处理下一张图像。
[0042] 本发明的有益效果是：
[0043] 1、利用
卷积神经网络搭建深度学习模型，对脱轨自动制动拉环脱落故障进行自动识别，提高了识别算法的识别精度和
稳定性；
[0044] 2、用
人工智能代替人工劳动，节省人
力的同时，提高了检测结果的准确率和效率；
[0045] 3、在经典U-Net结构
基础上，进行改进，提高模型运行速度；
[0046] 4、将图像的宽高缩放至合适比例，提高模型运行速度；
[0047] 5、对图像做对比度增强处理，提高程序识别精度。
附图说明
[0048] 图1为脱轨自动制动装置拉环故障识别
流程图。
[0049] 图2为权重系数计算流程图。
[0050] 图3为改进的U-Net网络模型。
具体实施方式
[0051] 具体实施方式一：参照图1至图3具体说明本实施方式，本实施方式所述的一种脱轨自动制动拉环脱落故障图像识别方法，包括以下步骤：
[0052] 步骤一、采集铁路货车图像，从采集的铁路货车图像中确定脱轨自动制动拉环区域，并提取出脱轨自动制动拉环区域图像；利用提取出的图像构建训练集；
[0053] 步骤二、构建U-Net网络模型，利用训练集对构建的U-Net网络模型进行训练，获得训练好的深度学习模型；
[0054] 步骤三、将待测图像输入训练好的U-Net网络模型，进行脱轨自动制动拉环脱落的判定。1、建立训练样本库
[0055] 搭建在铁轨附近的高清
图像采集装置可采集货车关键部件的高清灰度图像。由于脱轨自动制动拉环的灰度随车体
颜色、是否有雨渍干扰、车厢所拉货物污染或油渍污染等因素变化，并且不同采集设备采集到的图像，也会有所差异，所以在建立样本训练库时，要收集各种状态下的拉环灰度图像，尽量
覆盖所有的情况，保证数据集的完整性。
[0056] 由于收集到的数据不可能覆盖所有情况下拍摄的脱轨自动制动拉环图像，所以要对数据进行增强，其中可以包括对灰度图像进行旋转、随机裁剪、水平翻转、竖直翻转、拉伸、缩放等操作，以此来增强数据集的完整性。
[0057] 用标记工具对图像中的拉环轮廓进行标记，标记后的图像和原始灰度图像组成样本训练集。灰度图像和标记后的二值图像，两者一一对应，也即二值图像就是灰度图像中拉环
位置轮廓的填充图像，并且两幅图像的大小一致。
[0058] 2、网络搭建
[0059] U-Net网络结构由一个收缩路径和一个扩张路径组成，其中，收缩路径遵循典型的卷积网络结构，收缩路径由两个重复的3×3卷积核(无填充卷积，unpadded convolution)组成，且均使用ReLU激活函数和一个用于下采样(down-sample)的步长为2的最大池化操作，以及在每一个下采样的步骤中，特征通道数量都加倍。在扩张路径中，每一步都包含对特征图进行上采样(up-sample)，然后用3×3的卷积核进行卷积运算(上卷积，up-convolution)，用于减少一半的特征通道数量。接着级联收缩路径中相应的裁剪后的特征图，再用两个3×3的卷积核进行卷积运算，且均使用ReLU激活函数。由于在每次卷积操作中，边界
像素存在缺失问题，因此有必要对特征图进行裁剪。在最后一层，利用1×1的卷积核进行卷积运算，将每个64维的特征向量映射网络的输出层。
[0060] 为了提高模型对抗图像中噪声干扰的能力，将经典的U-Net结构中将收缩路径和扩张路径连接起来的部分做了改进，经典U-Net结构中直接将收缩路径中对应的层经过一个3×3卷积核进行卷积运算后，与对应的扩张路径中的层进行连接。为了提高模型运行速度，将经典U-Net结构中的五层结构缩减至四层结构，并调整相应的通道数，如图3所示。
[0061] 3、模型训练
[0062] 对脱轨自动制动拉环子图像进行直方图均衡化处理，增强拉环和车体背景的对比度，能够提高后续分割的精度。把采集到的脱轨自动制动拉环的图像宽高缩小至原始图像的1/2，在保证分割精度的基础上，提高模型检测的速度。
[0063] U-Net对每个像素使用了一种新颖的损失加权方案，使得分割对象的边缘具有更高的权重。这种损失加权方案帮助U-Net模型以更加稳健的方式在采集的灰度图像中分割脱轨自动制动拉环的轮廓。
[0064] 训练中使用了二分类的交叉熵损失函数(binary_cross_entropy)，是多分类(softmax_cross_entropy)的一种特殊情况，当多分类中，类别只有两类时，即0或者1，即为二分类。
[0065]
[0066] 式中，L为交叉熵损失函数， 为当前样本标签预测分布，yi为当前样本标签真实分布，i为第i个样本，N为样本总数；
[0067] 当yi和 相等时，loss为0；否则loss就是一个正数；而且，概率相差越大，loss就越大。
[0068] 优化器选择的是Adam算法，可以替代传统随机梯度下降过程的一种
优化算法，基于
训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同，Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。
[0069] 4、脱轨自动制动拉环脱落故障识别
[0070] 把采集到的脱轨自动制动拉环的图像输入U-Net网络进行训练，得到训练输出的权重系数。对脱轨自动制动拉环子图像进行直方图均衡化处理，增强拉环和车体背景的对比度，能够提高后续分割的精度。使用训练输出的权重系数，对图像中脱轨自动制动拉环的轮廓进行预测，并将图像转为二值图像，二值图像中白色区域为脱轨自动制动拉环的轮廓区域。正常拉环位置为处于水平状态，角度为0。若拉环处于脱落状态，则在水平方向上发生角度偏移。对得到的二值图像使用图像处理算法，计算出拉环旋转的角度，如果角度偏移量大于设定的阈值，则认为该脱轨自动制动拉环发生了脱落，输出故障报警信息，若小于设定的阈值，则认为该脱轨自动制动拉环没有发生故障，继续处理下一张图像。
[0071] 具体实施方式二：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是所述步骤一中采集铁路货车图像，从采集的铁路货车图像中确定脱轨自动制动拉环区域，并提取出脱轨自动制动拉环区域图像；利用提取出的图像构建训练集；具体过程为：
[0072] 步骤一一、采集铁路货车图像，从采集的铁路货车图像中确定脱轨自动制动拉环区域，并提取出脱轨自动制动拉环区域图像；
[0073] 步骤一二、对脱轨自动制动拉环区域图像进行灰度处理，得到脱轨自动制动拉环区域灰度图像；
[0074] 步骤一三、对灰度图像进行旋转、随机裁剪、水平翻转、竖直翻转、拉伸和缩放方法中的一种或几种对图像进行扩增，获得扩增后的全部图像；
[0075] 步骤一四、用标记工具对步骤一三中扩增后的图像中的拉环轮廓进行标记并生成对应的二值图像，标记后的图像和步骤一三中扩增后的图像组成样本训练集。
[0076] 搭建在铁轨附近的高清图像采集装置可采集货车关键部件的高清灰度图像。由于脱轨自动制动拉环的灰度随车体颜色、是否有雨渍干扰、车厢所拉货物污染或油渍污染等因素变化，并且不同采集设备采集到的图像，也会有所差异，所以在建立样本训练库时，要采集各种状态下的拉环灰度图像，尽量覆盖所有的情况，保证数据集的完整性。
[0077] 由于收集到的数据不可能覆盖所有情况下拍摄的脱轨自动制动拉环图像，所以要对数据进行增强，其中可以包括对灰度图像进行旋转、随机裁剪、水平翻转、竖直翻转、拉伸、缩放等操作，以此来增强数据集的完整性。
[0078] 原始灰度图像和标记后的二值图像，两者一一对应，也即标记后的二值图像就是原始灰度图像中拉环位置轮廓的填充图像，并且两幅图像的大小一致。
[0079] 采用图像旋转、镜像、缩放和增强对比度方法中的一种或几种对图像进行扩增，获得扩增后的全部图像；
[0080] 对扩增后的全部图像进行尺寸归一化，将归一化结果作为深度学习模型的训练集。
[0081] 具体实施方式三：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是所述步骤二中构建U-Net网络模型，利用训练集对构建的U-Net网络模型进行训练，获得训练好的深度学习模型的具体步骤为：
[0082] 步骤二一、构建U-Net网络模型：
[0083] U-Net网络包括一个收缩路径和一个扩张路径，收缩路径用于捕捉图片中的上下文信息，扩张路径用于对图片中所需要分割出来的部分进行精准定位，
[0084] 所述收缩路径包括：第一层：64通道卷积层、ReLU激活函数、后接池化层；第二层：128通道卷积层、ReLU激活函数、后接池化层；第三层：256通道卷积层、ReLU激活函数、后接池化层；
[0085] 所述扩张路径包括：第一层：上采样、256通道卷积层、ReLU激活函数；第二层：上采样、128通道卷积层、ReLU激活函数；第三层：上采样、64通道卷积层、ReLU激活函数；
[0086] 步骤二二、利用训练集对构建的U-Net网络模型进行训练，获得训练好的深度学习模型；具体过程为：
[0087] 训练集图像作为收缩路径中64通道卷积层的输入，从64通道卷积层的输出层输出，64通道卷积层的输出经过ReLU激活函数后，作为第一池化层的输入，从第一池化层的输出层输出，完成第一个下采样；
[0088] 第一池化层的输出作为收缩路径中128通道卷积层的输入，从128通道卷积层的输出层输出，128通道卷积层的输出经过ReLU激活函数后，作为第二池化层的输入，从第二池化层的输出层输出，完成第二个下采样；
[0089] 第二池化层的输出作为收缩路径中256通道卷积层的输入，从256通道卷积层的输出层输出，256通道卷积层的输出经过ReLU激活函数后，作为第三池化层的输入，从第三池化层的输出层输出，完成第三个下采样；
[0090] 第三池化层的输出作为512通道卷积层的输入，从512通道卷积层的输出层输出，512通道卷积层的输出经过ReLU激活函数后输出；
[0091] 512通道卷积层的输出经上采样后的结果，和收缩路径中256通道的输出经过卷积处理的结果，经扩张路径中256通道卷积层卷积，并经ReLU激活函数，完成第一个上采样；
[0092] 第一个上采样过程的输出，经上采样后，和收缩路径中128通道的输出经过卷积处理的结果，经扩张路径中128通道卷积层卷积，并经ReLU激活函数，完成第二个上采样；
[0093] 第二个上采样过程的输出，经上采样后，和收缩路径中64通道的输出经过卷积处理的结果，经扩张路径中64通道卷积层卷积，并经ReLU激活函数，完成第三个上采样，输出分割图像；
[0094] 所述收缩路径中64通道卷积层、128通道卷积层、256通道卷积层、512通道卷积层卷积核大小为3×3；
[0095] 所述扩张路径中256通道卷积层、128通道卷积层、64通道卷积层卷积核大小为3×3；
[0096] 在网络的最后一层，利用1×1的卷积核进行卷积运算，将每个64维的特征向量映射网络的输出层；
[0097] 步骤二三、选择Adam优化器优化权重，得到训练好的U-Net权重系数。
[0098] 在网络的最后一层，利用1×1的卷积核进行卷积运算，将每个64维的特征向量映射网络的输出层；
[0099] 其中，收缩路径遵循典型的卷积网络结构，收缩路径由两个重复的3×3卷积核(无填充卷积，unpadded convolution)组成，且均使用ReLU激活函数和一个用于下采样(down-sample)的步长为2的最大池化操作，以及在每一个下采样的步骤中，特征通道数量都加倍。在扩张路径中，每一步都包含对特征图进行上采样(up-sample)，然后用3×3的卷积核进行卷积运算(上卷积，up-convolution)，用于减少一半的特征通道数量。接着级联收缩路径中相应的裁剪后的特征图，再用两个3×3的卷积核进行卷积运算，且均使用ReLU激活函数。由于在每次卷积操作中，边界像素存在缺失问题，因此有必要对特征图进行裁剪。在最后一层，利用1×1的卷积核进行卷积运算，将每个64维的特征向量映射网络的输出层。
[0100] U-Net对每个像素使用了一种新颖的损失加权方案，使得分割对象的边缘具有更高的权重。这种损失加权方案帮助U-Net模型以更加稳健的方式在采集的灰度图像中分割脱轨自动制动拉环的轮廓。
[0101] 训练中使用二分类的交叉熵损失函数(binary_cross_entropy)，是多分类(softmax_cross_entropy)的一种特殊情况，当多分类中，类别只有两类时，即0或者1，即为二分类。
[0102]
[0103] 式中，L为交叉熵损失函数， 为当前样本标签预测分布，yi为当前样本标签真实分布，i为第i个样本，N为样本总数；
[0104] 当yi和 相等时，loss为0；否则loss就是一个正数；而且，概率相差越大，loss就越大。
[0105] 优化器选择的是Adam算法，可以替代传统随机梯度下降过程的一种优化算法，基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同，Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。通过初始化权重与输入图像数据作用，得到预测图像数据，并通过交叉熵损失函数计算损失值，通过Adam优化器对权重进行优化，计算出新的权重系数，将权重系数进行更新，完成一次训练迭代。训练程序将重复该过程，将全部图像进行规定次数的迭代，迭代过程中，当损失函数变低时，更新权重，直到找到最优的权重系数。
[0106] 具体实施方式四：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是所述步骤三中将待测图像输入训练好的U-Net网络模型，进行脱轨自动制动拉环脱落的判定；具体过程为：
[0107] 步骤三一、把采集到的脱轨自动制动拉环的图像输入到训练好的U-Net网络，对图像中脱轨自动制动拉环的轮廓进行预测，并将预测后图像转为二值图像，二值图像中白色区域为脱轨自动制动拉环的轮廓区域；
[0108] 步骤三二、对得到的二值图像中拉环的轮廓计算出拉环旋转的角度；
[0109] 若拉环旋转的角度偏移量大于等于设定的阈值，则认为该脱轨自动制动拉环发生了脱落，输出故障报警信息；
[0110] 若拉环旋转的角度偏移量小于设定的阈值，则认为该脱轨自动制动拉环没有发生故障；
[0111] 步骤三三：判断是否有未处理图像，若有重新执行步骤三一、步骤三二，若没有，结束。
[0112] 正常拉环位置为处于水平状态，角度为0。若拉环处于脱落状态，则在水平方向上发生角度偏移。
[0113] 具体实施方式五：本实施方式是对具体实施方式一的进一步说明，本实施方式与具体实施方式一的区别是所述深度学习模型的损失函数为：
[0114]
[0115] 式中，L为交叉熵损失函数， 为当前样本标签预测分布，yi为当前样本标签真实分布，i为第i个样本，N为样本总数。
[0116] 需要注意的是，具体实施方式仅仅是对本发明技术方案的解释和说明，不能以此限定权利保护范围。凡根据本发明
权利要求书和
说明书所做的仅仅是局部改变的，仍应落入本发明的保护范围内。
