首页 / 专利库 / 电脑编程 / 算法 / 自学习算法 / 一种铁路货车地板破损故障图像识别方法

一种路货车地板破损故障图像识别方法

阅读:468发布:2020-05-08

专利汇可以提供一种路货车地板破损故障图像识别方法专利检索,专利查询,专利分析的服务。并且一种 铁 路货车地板破损故障 图像识别 方法,涉及货运列车检测技术领域,针对 现有技术 中采用人工检查图像的方式进行故障检测,由于检车人员在工作过程中极易出现疲劳、遗漏,造成检测率低的问题,利用图像自动识别的方式代替人工检测,提高检测效率、准确率。将 深度学习 算法 应用到地板破损故障自动识别中,提高整体算法的 稳定性 及 精度 。为减少雨天对识别率的影响,除了正常区域,破损区域外,将地板上梁体区域以及 杂草 等异物分别进行标记以提高识别准确率。将U-NET模型和SEGNET模型相结合,进行故障识别。同U-NET相比,SEGNET-UNET具有较少的参数,更容易训练。同SEGNET相比,SEGNET-UNET仿照U-NET增加了跳步连接,比SEGNET更注重细节,能更好的提取边界信息。,下面是一种路货车地板破损故障图像识别方法专利的具体信息内容。

1.一种路货车地板破损故障图像识别方法,其特征在于包括以下步骤:
步骤一:获取途径货车的高清线阵图像;
步骤二:根据先验知识从图像中裁剪出待识别部件区域,建立样本数据集;
步骤三:对样本数据集进行数据扩增;
步骤四:对样本数据集中的图像进行标记;
步骤五:将原始图像和标记数据生成数据集,并训练模型;
步骤六:采用SEGNET-UNET网络对图像进行分割,并对各个分割部位进行标记;
步骤七:对于地板分割结果,根据轮廓信息,将图像分为多个故障区域,对于每个故障区域,根据其大小和位置信息,结合故障附近的像素和梯度信息,判断是否有地板破损故障,并上传识别结果。
2.根据权利要求1所述的一种铁路货车地板破损故障图像识别方法,其特征在于所述数据扩增的扩增形式包括:图像的旋转、平移、缩放、平翻转、垂直翻转、对比度、光照调节和增加噪声。
3.根据权利要求1所述的一种铁路货车地板破损故障图像识别方法,其特征在于所述SEGNET-UNET网络包括编码单元、解码单元和编码解码单元,所述编码单元采用5个下采样的编码单元,所述解码单元包括4个上采样的解码单元;
第一编码单元包含32个3×3大小的卷积核进行卷积并批标准化、32个3×3大小的卷积核进行卷积并批标准化、池化
第二编码单元包含48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化、池化;
第三编码单元包含48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化、池化;
第四编码单元包含64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、池化;
第五编码单元包含64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、池化;
编码解码单元包含80个3×3大小的卷积核进行卷积并批标准化、80个3×3大小的卷积核进行卷积并批标准化;
第一解码单元包含编码解码单元上采样长和宽变为原来的两倍后与第五编码单元融合,再和64个1×1大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化;
第二解码单元包含第一解码单元上采样长和宽变为原来的两倍后与第四编码单元融合,再和64个1×1大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化;
第三解码单元包含第二解码单元上采样长和宽变为原来的两倍后再和48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化;
第四解码单元包含第三解码单元长和宽变为原来的四倍后再和32个1×1大小的卷积核进行卷积并批标准化。
4.根据权利要求3所述的一种铁路货车地板破损故障图像识别方法,其特征在于所述SEGNET-UNET网络采用Softmax作为激活函数。
5.根据权利要求3所述的一种铁路货车地板破损故障图像识别方法,其特征在于所述SEGNET-UNET网络中第一编码单元、第二编码单元、第三编码单元、第四编码单元、第五编码单元、编码解码单元、第一解码单元、第二解码单元和第三解码单元采用RELU作为激活函数。
6.根据权利要求3所述的一种铁路货车地板破损故障图像识别方法,其特征在于所述SEGNET-UNET网络的损失函数为:
其中,γ为参数,c为类别,pi(c)是像素i属于类别c的概率,gi(c)是groundtruth图像中像素i属于类别c的概率。
7.根据权利要求1所述的一种铁路货车地板破损故障图像识别方法,其特征在于所述标记的结果为原始图像对应类别的掩码图像。
8.根据权利要求7所述的一种铁路货车地板破损故障图像识别方法,其特征在于所述类别为0为正常区域,1为地板破损区域图像,2为梁体区域,3为杂草异物。

说明书全文

一种路货车地板破损故障图像识别方法

技术领域

[0001] 本发明涉及货运列车检测技术领域,具体为一种铁路货车地板破损故障图像识别方法。

背景技术

[0002] 货车地板破损故障是一种危及行车安全的常见故障,其特点是识别范围大,背景较复杂,故障形态多变。目前,仍完全采用人工逐张看图的方式进行动态检车作业,主要存在以下问题:受人员素质、责任心影响,错漏检问题时有发生,作业质量难以保证;需要大量的动态检车人员,效率低下,人工成本巨大。而采用图像处理深度学习的方法进行地板破损故障自动识别,人工只需对报警结果进行确认,可有效节约人成本,并提高检测准确率。

发明内容

[0003] 本发明的目的是:针对现有技术中采用人工检查图像的方式进行故障检测,由于检车人员在工作过程中极易出现疲劳、遗漏,造成检测率低的问题,提出一种铁路货车地板破损故障图像识别方法。
[0004] 本发明为了解决上述技术问题采取的技术方案是:一种铁路货车地板破损故障图像识别方法,包括以下步骤:
[0005] 步骤一:获取途径货车的高清线阵图像;
[0006] 步骤二:根据先验知识从图像中裁剪出待识别部件区域,建立样本数据集;
[0007] 步骤三:对样本数据集进行数据扩增;
[0008] 步骤四:对数据集中的图像进行标记;
[0009] 步骤五:将原始图像和标记数据生成数据集,并训练模型;
[0010] 步骤六:采用SEGNET-UNET网络对图像进行分割,并对各个分割部位进行标记;
[0011] 步骤七:对于地板分割结果,根据轮廓信息,将图像分为多个故障区域,对于每个故障区域,根据其大小和位置信息,结合故障附近的像素和梯度信息,判断是否有地板破损故障,并上传识别结果。
[0012] 进一步的,所述数据扩增的扩增形式包括:图像的旋转、平移、缩放、平翻转、对比度、光照调节和增加噪声。
[0013] 进一步的,所述SEGNET-UNET网络包括编码单元、解码单元和编码解码单元,所述编码单元采用5个下采样的编码单元,所述解码单元包括4个上采样的解码单元;
[0014] 第一编码单元包含32个3×3大小的卷积核进行卷积并批标准化、32个3×3大小的卷积核进行卷积并批标准化、池化
[0015] 第二编码单元包含48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化、池化;
[0016] 第三编码单元包含48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化、池化;
[0017] 第四编码单元包含64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、池化;
[0018] 第五编码单元包含64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、池化;
[0019] 编码解码单元包含80个3×3大小的卷积核进行卷积并批标准化、80个3×3大小的卷积核进行卷积并批标准化;
[0020] 第一解码单元包含编码解码单元上采样长和宽变为原来的两倍后与第五编码单元融合,再和64个1×1大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化;
[0021] 第二解码单元包含第一解码单元上采样长和宽变为原来的两倍后与第四编码单元融合,再和64个1×1大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化、64个3×3大小的卷积核进行卷积并批标准化;
[0022] 第三解码单元包含第二解码单元上采样长和宽变为原来的两倍后再和48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化、48个3×3大小的卷积核进行卷积并批标准化;
[0023] 第四解码单元包含第三解码单元长和宽变为原来的四倍后再和32个1×1大小的卷积核进行卷积并批标准化。
[0024] 进一步的,所述SEGNET-UNET网络采用Softmax作为激活函数。
[0025] 进一步的,所述SEGNET-UNET网络中第一编码单元、第二编码单元、第三编码单元、第四编码单元、第五编码单元、编码解码单元、第一解码单元、第二解码单元和第三解码单元采用RELU作为激活函数。
[0026] 进一步的,所述SEGNET-UNET网络的损失函数为:
[0027]
[0028]
[0029]
[0030] 其中,γ为参数,c为类别,pi(c)是像素i属于类别c的概率,gi(c)是groundtruth图像中像素i属于类别c的概率。
[0031] 进一步的,所述类别为0为正常区域,1为地板破损区域图像,2为梁体区域,3为杂草异物。
[0032] 本发明的有益效果是:
[0033] 1、利用图像自动识别的方式代替人工检测,提高检测效率、准确率。
[0034] 2、将深度学习算法应用到地板破损故障自动识别中,提高整体算法的稳定性精度
[0035] 3、为减少雨天对识别率的影响,除了正常区域,破损区域外,将地板上梁体区域以及杂草等异物分别进行标记,以提高识别准确率。
[0036] 4、将U-NET模型和SEGNET模型相结合,进行故障识别。同U-NET相比,SEGNET-UNET具有较少的参数,更容易训练。同SEGNET相比,因为SEGNET-UNET仿照U-NET增加了跳步连接,比SEGNET更注重细节,能更好的提取边界信息。
[0037] 5、将损失函数由交叉熵改为Focal Tversky Loss和Focal Loss的加权值,解决了破损区域占比较小的类别不均衡问题,进而提高破损故障的识别召回率,降低漏报发生的概率。附图说明
[0038] 图1为本发明故障识别流程图
[0039] 图2为本发明SEGNET-UNET网络结构图。

具体实施方式

[0040] 具体实施方式一:参照图具体说明本实施方式,本实施方式所述的一种铁路货车地板破损故障图像识别方法,包括以下步骤:
[0041] 步骤一:获取途径货车的高清线阵图像;
[0042] 步骤二:根据先验知识从图像中裁剪出待识别部件区域,建立样本数据集;
[0043] 步骤三:对样本数据集进行数据扩增;
[0044] 步骤四:对数据集中的图像进行标记;
[0045] 步骤五:将原始图像和标记数据生成数据集,并训练模型;
[0046] 步骤六:采用SEGNET-UNET网络对图像进行分割,并对各个分割部位进行标记;
[0047] 步骤七:对于地板分割结果,根据轮廓信息,将图像分为多个故障区域,对于每个故障区域,根据其大小和位置信息,结合故障附近的像素和梯度信息,判断是否有地板破损故障,并上传识别结果。
[0048] 1、图像预处理
[0049] (1)图像收集
[0050] 通过在货车轨道周围搭建高清设备,获取途径货车的高清线阵图像。由于货车部件可能受到雨水、泥渍、油渍、黑漆等自然条件或者人为条件的影响。不同车型的地板有所差异,不同站点拍摄的图像也可能存在差异。即便是同一车型,受天气、甩油、承载货物不同,破损区域的图像也有所不同。因此,为了尽量将各种条件下的地板图像全部收集,在收集地板图像数据的过程中,要保证多样性。除了应多收集破损后各种各样的故障图像,和地板破损相似的图像,如油渍,雨后的雨水印记,粉笔等类型的图像也应多收集,作为对抗样本。
[0051] (2)数据扩增
[0052] 样本数据集的建立虽然包括各种条件下的图像,但为获得更多的训练样本,增加模型的鲁棒性,仍需要对样本数据集进行数据扩增。扩增形式包括图像的旋转、平移、缩放、水平翻转、垂直翻转、对比度、光照调节、增加噪声等操作,每种操作都是在随机条件下进行的,这样可以最大程度的保证样本的多样性和适用性。
[0053] (3)图像标记
[0054] 根据不同模型的需求,对数据集中的图像进行标记。标记结果为原始图像对应的类别(正常区域-0/破损区域-1/梁体区域-2/杂草异物-3)的掩码图像。
[0055] (4)数据集生成
[0056] 将原始图像和标记数据生成数据集,用于模型训练。
[0057] 2、地板图像分割
[0058] (1)利用硬件轴距信息和部件的位置等先验知识,从整列车的大图中裁剪出待识别的地板区域。
[0059] (2)采用SEGNET-UNET网络对图像进行分割,得到0为正常区域,1为地板破损区域图像,2为梁体区域,3为杂草异物。
[0060] U-NET网络能够结合图像的全局与局部细节方面的特征,进行综合的考虑。前几层的卷积结果,会在同高度解码器上的进行信息融合。这样图像的图像高分辨率的细节信息就不会随着网络深度加深而丢失,能帮助最终我们的图像提供精细分割;而经过一次一次卷积池化后,在U-NET的最下层,包含整幅图像的全局信息(故障的总体位置、分布等),因此在医疗图像领域应用十分广泛。
[0061] SEGNET网络的编码器是同FCN一样进行卷积,不使用全连接层是一个拥有较少参数的轻量级网络。在解码器中使用反池化对特征图进行上采样,因此当对低分辨率的特征图进行反池化时,它会忽略邻近的信息,进而精度有所下降。
[0062] SEGNET-UNET网络是U-NET网络和SEGNET网络的结合体。同U-NET相比,SEGNET-UNET具有较少的参数,更容易训练。同SEGNET相比,因为SEGNET-UNET仿照U-NET增加了跳步连接,所以比SEGNET更注重细节,能更好的提取边界信息。如图2所示,具体如下:
[0063] ①32个3×3大小的卷积核进行卷积并批标准化、
[0064] 32个3×3大小的卷积核进行卷积并批标准化、池化;
[0065] ②48个3×3大小的卷积核进行卷积并批标准化、
[0066] 48个3×3大小的卷积核进行卷积并批标准化、池化;
[0067] ③48个3×3大小的卷积核进行卷积并批标准化、
[0068] 48个3×3大小的卷积核进行卷积并批标准化、
[0069] 48个3×3大小的卷积核进行卷积并批标准化、池化;
[0070] ④64个3×3大小的卷积核进行卷积并批标准化、
[0071] 64个3×3大小的卷积核进行卷积并批标准化、
[0072] 64个3×3大小的卷积核进行卷积并批标准化、池化;
[0073] ⑤64个3×3大小的卷积核进行卷积并批标准化、
[0074] 64个3×3大小的卷积核进行卷积并批标准化、
[0075] 64个3×3大小的卷积核进行卷积并批标准化、池化;
[0076] ⑥80个3×3大小的卷积核进行卷积并批标准化、
[0077] 80个3×3大小的卷积核进行卷积并批标准化;
[0078] ⑦2×2上采样⑥同⑤融合,64个1×1大小的卷积核进行卷积并批标准化、[0079] 64个3×3大小的卷积核进行卷积并批标准化、
[0080] 64个3×3大小的卷积核进行卷积并批标准化;
[0081] ⑧2×2上采样⑦同④融合,64个1×1大小的卷积核进行卷积并批标准化、[0082] 64个3×3大小的卷积核进行卷积并批标准化、
[0083] 64个3×3大小的卷积核进行卷积并批标准化;
[0084] ⑨2×2上采样⑧,48个3×3大小的卷积核进行卷积并批标准化、
[0085] 48个3×3大小的卷积核进行卷积并批标准化、
[0086] 48个3×3大小的卷积核进行卷积并批标准化;
[0087] ⑩4×4上采样⑨,32个1×1大小的卷积核进行卷积并批标准化,采用Softmax作为激活函数,输出分割结果;
[0088] 注:除第⑩步,其他步骤均采用RELU作为激活函数。
[0089] (3)损失函数定义
[0090] 传统的分割网络通常采用交叉熵作为损失函数,然而由于地板面积较大,而破损区域相对较小,样本集类别严重不均衡。所以使用交叉熵作为损失函数,每次梯度反向传播对每个类别有相同的关注度,对破损区域的关注度不够。而Tversky Loss虽然解决了样本集不均衡的问题,但因为一旦有小目标像素预测错误,会导致Loss大幅度变动,从而导致梯度变化剧烈,训练不稳定。所以在Tversky Loss的基础上,加入Focal Loss的思想,引入参数γ,用以调节背景区域(包括正常区域,梁体区域和杂草异物区域)及破损区域对Loss的影响。并将Focal Tversky Loss和Focal Loss的加权值作为最终的损失函数,即:
[0091]
[0092]
[0093]
[0094] 3、地板破损故障判别
[0095] 对于地板分割结果,根据轮廓信息,将图像分为多个故障区域。对于每个故障区域,根据其大小和位置信息,结合故障附近的像素和梯度信息,判断是否有地板破损故障,并上传识别结果。
[0096] 本发明通过在货车轨道周围搭建高清成像设备,对高速运行的货车进行拍摄,获取高清的线阵图像。根据轴距信息和部件的位置的先验信息,获得侧部的地板图像。采用深度学习网络,对图像进行多分类,根据分类结果判断图中是否包含疑似破损区域。再结合地板的位置,边缘等信息进行故障分析,判断其是否发生破损。对发生故障的地板进行上传报警,以保证列车的安全运行。
[0097] 需要注意的是,具体实施方式仅仅是对本发明技术方案的解释和说明,不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的,仍应落入本发明的保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈