首页 / 专利库 / 电脑编程 / 算法 / 自学习算法 / 一种铁路货车浴盆破损故障图像识别方法

一种路货车浴盆破损故障图像识别方法

阅读:65发布:2020-05-08

专利汇可以提供一种路货车浴盆破损故障图像识别方法专利检索,专利查询,专利分析的服务。并且一种 铁 路货车浴盆破损故障 图像识别 方法,涉及货运列车检测技术领域,针对 现有技术 中采用人工检查图像的方式进行故障检测,由于检车人员在工作过程中极易出现疲劳、遗漏,进而造成检测效率低的问题,本 发明 采用 图像处理 和 深度学习 的方法进行浴盆故障自动识别,人工只需对报警结果进行确认,可有效节约人 力 成本,并提高检测准确率,本发明将深度学习 算法 应用到浴盆破损故障自动识别中,提高整体算法的 稳定性 及 精度 ;由于浴盆板的背景为千变万化的地板图像,故先采用FasterInception网络检测图像中是否包含浴盆,再用U-NET网络对包含浴盆的子图检测故障,减小不包含浴盆的图像对分割结果的影响。,下面是一种路货车浴盆破损故障图像识别方法专利的具体信息内容。

1.一种路货车浴盆破损故障图像识别方法,其特征在于包括以下步骤:
步骤一,获取途径货车的线阵图像,从图像中定位浴盆区域;
步骤二:利用训练好的深度学习模型分割浴盆对应的图像;
步骤三:根据深度学习模型分割的结果,利用图像处理方法进一步获得分割部件的信息,根据先验知识进行浴盆破损判定,所述判定的具体步骤为:首先得到浴盆轮廓区域最小外接矩形的倾斜度,如果角度偏移大于预先设定的阈值,则判定为故障,对此部分浴盆进行故障报警处理,若未大于阈值,则继续处理下一张图像。
2.根据权利要求1所述的一种铁路货车浴盆破损故障图像识别方法,其特征在于所述步骤一的详细步骤为:
步骤一一:获取途径货车的线阵图像;
步骤一二:根据先验知识从图像中裁剪出待识别部件区域,建立样本数据集;
步骤一三:对样本数据集进行数据扩增;
步骤一四:对样本数据集中的图像进行标记;
步骤一五:将原始图像和标记数据生成数据集,并训练模型;
步骤一六:采用Faster-Inception网络对浴盆进行定位。
3.根据权利要求1所述的一种铁路货车浴盆破损故障图像识别方法,其特征在于所述步骤二的深度学习模型包括编码单元、解码单元和编码解码单元,所述编码单元采用3个下采样的编码单元,所述解码单元包括3个上采样的解码单元;
第一编码单元包含64个3*3的卷积核进行卷积并池化,第二编码单元与第一编码单元相同;
第三编码单元包含128个3*3的卷积核进行卷积并池化;
编码解码单元包含256个3*3的卷积核进行卷积;
第一解码单元将编码解码单元上采样后和第三编码单元融合,再同128个3*3的卷积核进行卷积;
第二解码单元将第一解码单元上采样后和第二编码单元融合,再同64个3*3的卷积核进行卷积;
第三解码单元将第二解码单元上采样后和第一编码单元融合,再同32个3*3的卷积核进行卷积,最后同1*1的卷积核卷积,输出分割结果;
第一编码单元的输出作为第二编码单元的输入,第二编码单元的输出作为第三编码单元的输入;第三编码单元的输出作为编码解码单元的输入;编码解码单元的输出和第三编码单元的输出作为第一解码单元的输入,第一解码单元的输出和第二编码单元的输出作为第二解码单元的输入,第二解码单元的输出和第一编码单元的输出作为第三解码单元的输入。
4.根据权利要求3所述的一种铁路货车浴盆破损故障图像识别方法,其特征在于所述深度学习模型的准确率、召回率、损失函数分别为:
其中, 为记图像按类别提取的边界信息, 为边缘膨胀, 为预测结果的边界信息, 为膨胀结果,·表示两幅二值图像对应像素相乘,sum()表示二值图像的逐像素求和,yc为包含边缘信息的二值图像。
5.根据权利要求2所述的一种铁路货车浴盆破损故障图像识别方法,其特征在于所述数据扩增形式包括:图像的旋转、平移、缩放、镜像等操作。
6.根据权利要求5所述的一种铁路货车浴盆破损故障图像识别方法,其特征在于所述操作在随机条件下进行。
7.根据权利要求2所述的一种铁路货车浴盆破损故障图像识别方法,其特征在于所述不同模型包括目标检测模型和分割模型,所述目标检测模型通过标记得到包含浴盆位置的矩形框的XML文件,所述分割模型的标记结果为原始图像对应的类别的掩码图像。
8.根据权利要求7所述的一种铁路货车浴盆破损故障图像识别方法,其特征在于所述原始图像对应的类别包括:背景、浴盆区域和破损区域。
9.根据权利要求2所述的一种铁路货车浴盆破损故障图像识别方法,其特征在于所述先验知识包括轴距信息和部件的位置信息。

说明书全文

一种路货车浴盆破损故障图像识别方法

技术领域

[0001] 本发明涉及货运列车检测技术领域,具体为一种铁路货车浴盆破损故障图像识别方法。

背景技术

[0002] 货车浴盆破损故障是一种危及行车安全的故障。目前多采用人工检查图像的方式进行故障检测。由于检车人员在工作过程中极易出现疲劳、遗漏等情况,进而造成漏检、错检情况的出现,影响行车安全。采用图像自动识别的方式可提高检测效率和稳定性。近几年,深度学习人工智能不断发展,在技术上不断成熟。因而,采用深度学习进行货车浴盆破损故障识别,可以有效提高检测准确率。

发明内容

[0003] 本发明的目的是:针对现有技术中采用人工检查图像的方式进行故障检测,由于检车人员在工作过程中极易出现疲劳、遗漏,进而造成检测效率低的问题,提出一种铁路货车浴盆破损故障图像识别方法。
[0004] 本发明为了解决上述技术问题采取的技术方案是:
[0005] 一种铁路货车浴盆破损故障图像识别方法,包括以下步骤:
[0006] 步骤一,获取途径货车的线阵图像,从图像中定位浴盆区域;
[0007] 步骤二:利用训练好的深度学习模型分割浴盆对应的图像;
[0008] 步骤三:根据深度学习模型分割的结果,利用图像处理方法进一步获得分割部件的信息,根据先验知识进行浴盆破损判定,所述判定的具体步骤为:首先得到浴盆轮廓区域最小外接矩形的倾斜度,如果角度偏移大于预先设定的阈值,则判定为故障,对此部分浴盆进行故障报警处理,若未大于阈值,则继续处理下一张图像。
[0009] 进一步的,所述步骤一的详细步骤为:
[0010] 步骤一一:获取途径货车的线阵图像;
[0011] 步骤一二:根据先验知识从图像中裁剪出待识别部件区域,建立样本数据集;
[0012] 步骤一三:对样本数据集进行数据扩增;
[0013] 步骤一四:对样本数据集中的图像进行标记;
[0014] 步骤一五:将原始图像和标记数据生成数据集,并训练模型;
[0015] 步骤一六:采用Faster-Inception网络对浴盆进行定位。
[0016] 进一步的,所述步骤二的深度学习模型包括编码单元、解码单元和编码解码单元,所述编码单元采用3个下采样的编码单元,所述解码单元包括3个上采样的解码单元;
[0017] 第一编码单元包含64个3*3的卷积核进行卷积并池化,第二编码单元与第一编码单元相同;
[0018] 第三编码单元包含128个3*3的卷积核进行卷积并池化;
[0019] 编码解码单元包含256个3*3的卷积核进行卷积;
[0020] 第一解码单元将编码解码单元上采样后和第三编码单元融合,再同128个3*3的卷积核进行卷积;
[0021] 第二解码单元将第一解码单元上采样后和第二编码单元融合,再同64个3*3的卷积核进行卷积;
[0022] 第三解码单元将第二解码单元上采样后和第一编码单元融合,再同32个3*3的卷积核进行卷积,最后同1*1的卷积核卷积,输出分割结果;
[0023] 第一编码单元的输出作为第二编码单元的输入,第二编码单元的输出作为第三编码单元的输入;第三编码单元的输出作为编码解码单元的输入;编码解码单元的输出和第三编码单元的输出作为第一解码单元的输入,第一解码单元的输出和第二编码单元的输出作为第二解码单元的输入,第二解码单元的输出和第一编码单元的输出作为第三解码单元的输入。
[0024] 进一步的,所述深度学习模型的准确率、召回率、损失函数分别为:
[0025]
[0026]
[0027]
[0028] 其中, 为记图像按类别提取的边界信息, 为边缘膨胀, 为预测结果的边界信息, 为膨胀结果,·表示两幅二值图像对应像素相乘,sum()表示二值图像的逐像素求和,yc为包含边缘信息的二值图像。
[0029] 进一步的,所述数据扩增形式包括:图像的旋转、平移、缩放、镜像等操作。
[0030] 进一步的,所述操作在随机条件下进行。
[0031] 进一步的,所述不同模型包括目标检测模型和分割模型,所述目标检测模型通过标记得到包含浴盆位置的矩形框的XML文件,所述分割模型的标记结果为原始图像对应的类别的掩码图像。
[0032] 进一步的,所述原始图像对应的类别包括:背景、浴盆区域和破损区域。
[0033] 进一步的,所述先验知识包括轴距信息和部件的位置信息。
[0034] 本发明的有益效果是:
[0035] 1、本发明采用图像处理和深度学习的方法进行浴盆故障自动识别,人工只需对报警结果进行确认,可有效节约人成本,并提高检测准确率;
[0036] 2、本发明将深度学习算法应用到浴盆破损故障自动识别中,提高整体算法的稳定性及精度
[0037] 3、由于浴盆板的背景为千变万化的地板图像,故先采用FasterInception网络检测图像中是否包含浴盆,再用U-NET网络对包含浴盆的子图检测故障,减小不包含浴盆的图像对分割结果的影响。
[0038] 4、对U-NET模型进行优化,减少网络深度和卷积核数量,进而缩短预测时间,提高识别速度。
[0039] 5、浴盆板破损故障主要分为两种:倾斜和破损。因此对分割效果的边界要求较高。故本发明采用Boundary Loss来替代传统的交叉熵作为损失函数,来提高边缘的分割效果,从而更准确的进行故障识别。
附图说明
[0040] 图1为本发明故障识别流程图
[0041] 图2为本发明改进的U-NET网络结构图。

具体实施方式

[0042] 具体实施方式一:参照图1和图2具体说明本实施方式,本实施方式所述的一种铁路货车浴盆破损故障图像识别方法,包括以下步骤:
[0043] 步骤一,获取途径货车的线阵图像,从图像中定位浴盆区域,并进行裁剪;
[0044] 步骤二:利用训练好的深度学习模型分割浴盆对应的图像;
[0045] 步骤三:根据深度学习模型分割的结果,利用图像处理方法进一步获得分割部件的信息,根据先验知识进行浴盆破损判定。
[0046] 一、图像预处理
[0047] (1)图像收集
[0048] 通过在货车轨道周围搭建高清设备,获取途径货车的高清线阵图像。由于货车部件可能受到雨、泥渍、油渍、黑漆等自然条件或者人为条件的影响。不同车型的浴盆所处背景(地板)有所差异,同一车型的浴盆数量存在差异,不同站点拍摄的图像也可能存在差异。因此,浴盆图像之间千差万别。所以,在收集浴盆图像数据的过程中,要保证多样性,尽量将各种条件下的包含/不包含浴盆图像全部收集。
[0049] (2)数据增广
[0050] 样本数据集的建立虽然包括各种条件下的图像,但为获得更多的训练样本,增加模型的鲁棒性,仍需要对样本数据集进行数据扩增。扩增形式包括图像的旋转、平移、缩放、镜像等操作,每种操作都是在随机条件下进行的,这样可以最大程度的保证样本的多样性和适用性。
[0051] (3)图像标记
[0052] 根据不同模型的需求,对数据集中的图像进行标记。目标检测模型,通过标记得到包含浴盆位置的矩形框的XML文件。而分割模型的标记结果为原始图像对应的类别(背景/浴盆区域/破损区域)的掩码图像。
[0053] (4)数据集生成
[0054] 将原始图像和标记数据生成数据集,用于模型训练。
[0055] 二、浴盆定位
[0056] (1)利用硬件的轴距信息和部件的位置等先验知识,从整列车的大图中裁剪出待识别部件区域。
[0057] (2)因为即便是同一车型、同一转向架类型,是否包含浴盆也不确定,并且浴盆的背景(地板)也有所差异。因此直接在粗定位的子图上分割,干扰因素比较多,不利于故障的识别。所以采用Faster-Inception网络对浴盆进行定位。
[0058] (3)综合模型预测结果(得分)及先验知识(浴盆形状,大小,位置,长宽比等),判断图像中是否包含浴盆。如果包含浴盆,则裁剪精确的浴盆区域用于下一步的图像分割
[0059] 三、浴盆分割
[0060] (1)网络结构
[0061] U-NET模型能够结合图像的全局与局部细节方面的特征,进行综合考虑。前几层的卷积结果,会在同高度解码器上的进行信息融合。这样图像的图像高分辨率的细节信息就不会随着网络深度加深而丢失,能帮助最终我们的图像提供精细分割;而经过一次一次卷积池化后,在U-NET的最下层,包含整幅图像的全局信息(故障的总体位置、分布等),因此在医疗图像领域应用十分广泛。
[0062] 区别于高分辨率复杂的医疗图像,浴盆图像的分辨率要相对低些,无需提取超高分辨率特征来进行故障识别。因此在不影响分割结果的前提下,对U-NET网络结构进行了优化:减少网络深度,缩减卷积核的数目,进而减少参数数量,提高模型的预测速度。如图2所示,具体如下:
[0063] (1)64个3×3大小的卷积核进行卷积并池化;
[0064] (2)64个3×3大小的卷积核进行卷积并池化;
[0065] (3)128个3×3大小的卷积核进行卷积并池化;
[0066] (4)256个3×3大小的卷积核进行卷积;
[0067] (5)上卷积(4)同(3)融合,128个3×3大小的卷积核进行卷积;
[0068] (6)上卷积(5)同(2)融合,64个3×3大小的卷积核进行卷积;
[0069] (7)上卷积(6)同(1)融合,32个3×3大小的卷积核进行卷积;
[0070] (8)1×1大小的卷积核进行卷积,输出分割结果;
[0071] (2)损失函数定义
[0072] 由于浴盆板破损故障主要分为两种:倾斜和破损。因此对分割效果的边界要求较高。传统的交叉熵损失函数并不会对边界信息的不准确进行惩罚,因此我们采用Boundary Loss作为损失函数,来提高边缘的分割效果,从而更准确的进行故障识别。具体如下:
[0073] 将标记图像按类别提取边界信息 并将边缘膨胀记为 同理,预测结果的边界信息和膨胀结果分别记为 和 准确率、召回率、损失函数分别定义为:
[0074]
[0075]
[0076]
[0077] 四、浴盆破损故障判别
[0078] 根据预测后的图像,分别得到背景、浴盆区域、破损区域。
[0079] (1)通过浴盆轮廓区域,判断其最小外接矩形的倾斜角度。正常浴盆为垂直放置,角度为90度。如果发生故障会发生角度偏移。所以如果角度偏移大于预先设定的阈值,则对此部分浴盆进行故障报警。若未大于阈值,则继续判断是否破损。
[0080] (2)虽然是对浴盆子图进行分割,但仍不能排除周围地板的干扰。所以不能仅判断是否包含破损区域,仍需判断破损区域是否和浴盆区域相交,来判断浴盆是否破损。
[0081] 本发明在货车轨道周围搭建高清成像设备,对高速运行的货车进行拍摄,获取高清的线阵图像。根据轴距信息和部件的位置的先验信息,获得可能包含浴盆部件的粗定位区域。采用深度学习网络,先对图像中的浴盆部件进行定位,再对浴盆的轮廓,破损区域进行精准分割。再对分割区域进行故障分析,判断其是否发生发生倾斜或破损。对发生故障的浴盆进行上传报警,以保证列车的安全运行。
[0082] 需要注意的是,具体实施方式仅仅是对本发明技术方案的解释和说明,不能以此限定权利保护范围。凡根据本发明权利要求书和说明书所做的仅仅是局部改变的,仍应落入本发明的保护范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈