首页 / 专利库 / 显示技术 / 图像比例 / 一种基于深度学习的闸瓦插销丢失检测方法

一种基于深度学习的闸瓦插销丢失检测方法

阅读:524发布:2020-05-08

专利汇可以提供一种基于深度学习的闸瓦插销丢失检测方法专利检索,专利查询,专利分析的服务。并且一种基于 深度学习 的闸瓦插销丢失检测方法,属于货运列车检测技术领域。本 发明 是为了解决目前依靠人工查看图像的检测方式存在高成本、低效率等问题,以及现有的图像自动处理技术进行检测存在准确率低的问题。本发明首先获取货车图像,然后从图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像;利用训练好的深度学习模型分割闸瓦插销对应的图像;根据深度学习模型分割的结果,利用 图像处理 方法进一步获得分割部件的信息,根据先验规则,进行闸瓦插销丢失的判定。本发明主要用于闸瓦插销丢失检测。,下面是一种基于深度学习的闸瓦插销丢失检测方法专利的具体信息内容。

1.一种基于深度学习的闸瓦插销丢失检测方法,其特征在于,包括以下步骤:
s1、获取货车图像,从图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像;
s2、利用训练好的深度学习模型分割闸瓦插销对应的图像;
s3、根据深度学习模型分割的结果,利用图像处理方法进一步获得分割部件的信息,根据先验规则,进行闸瓦插销丢失的判定;所述先验规则包括闸瓦插销的周长、长宽比和面积。
2.根据权利要求1所述的一种基于深度学习的闸瓦插销丢失检测方法,其特征在于,所述深度学习模型包括编码器解码器和空洞卷积单元;
所述的编码器采用4个下采样的编码单元;所述解码器采用4个上采样的解码单元;
第一编码单元包括两个3*3的卷积层和池化层;第二编码单元与第一编码单元相同;
第三编码单元包括两个3*3的卷积层、一个1*1的卷积层和池化层;第四编码单元与第三编码单元相同;
第一编码单元的输出作为第二编码单元的输入,第二编码单元的输出作为第三编码单元的输入;第三编码单元的输出作为第四编码单元的输入;第四编码单元的输出作为空洞卷积单元的输入;
空洞卷积单元包括并联的3个3*3空洞卷积层,形成四条支路;第一条支路经过dilation=1,2,4的3*3空洞卷积,第二条支路经过经过dilation=1,2的3*3空洞卷积,第三条支路经过dilation=1的3*3空洞卷积,第四条支路不经过卷积;所有支路的结果相加输入到解码器的第一个解码单元;
解码器的4个解码单元相同;每个解码单元包括一个3*3的卷积层,一个4*4的转置卷积层;
同时,第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加;然后经过3*3卷积层后输出最终的结果;
第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入;
第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入;
第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入。
3.根据权利要求2所述的一种基于深度学习的闸瓦插销丢失检测方法,其特征在于,所述的深度学习模型的损失函数如下:
其中,P为预测图像,GT为真值图像,P和GT具有相同的宽W和高H,i、j分别宽、高上像素的序号;gtij为真值图像的一个像素值,Pij为预测图像中的一个像素值。
4.根据权利要求2所述的一种基于深度学习的闸瓦插销丢失检测方法,其特征在于,所述深度学习模型的参数通过训练过程确定。
5.根据权利要求1、2、3或4所述的一种基于深度学习的闸瓦插销丢失检测方法,其特征在于,所述深度学习模型的训练过程中获取训练样本的过程包括以下步骤:
w1、针对获取的货车图像,根据硬件的先验知识,从货车图像信息中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像;
w2、数据集图像预处理,包括以下步骤:
w2.1、根据获得部件的感兴趣区域图像,建立原始的数据集;
w2.2、将闸瓦插销丢失的故障图像和含有伪目标的区域提取出来,放到有待识别部件的随机选取数据集的图像上进行融合,提高负样本比例;
w2.3、对数据集进行数据扩增,数据扩增包括对比度增强、锐度变化、随机缩放、随机旋转度、直方图均衡化、模糊处理;
w3、对数据扩增后组成的训练数据集进行标记,获得与原始图像相对应的标记掩码GT图像。
6.根据权利要求5所述的一种基于深度学习的闸瓦插销丢失检测方法,其特征在于,所述获取的货车图像通过线阵相机获得。
7.一种基于深度学习的闸瓦插销丢失检测系统,其特征在于,包括一个深度学习模型;
所述的深度学习模型包括编码器、解码器和空洞卷积单元;
所述的编码器采用4个下采样的编码单元;所述解码器采用4个上采样的解码单元;
第一编码单元包括两个3*3的卷积层和池化层;第二编码单元与第一编码单元相同;
第三编码单元包括两个3*3的卷积层、一个1*1的卷积层和池化层;第四编码单元与第三编码单元相同;
第一编码单元的输出作为第二编码单元的输入,第二编码单元的输出作为第三编码单元的输入;第三编码单元的输出作为第四编码单元的输入;第四编码单元的输出作为空洞卷积单元的输入;
空洞卷积单元包括并联的3个3*3空洞卷积层,形成四条支路;第一条支路经过dilation=1,2,4的3*3空洞卷积,第二条支路经过经过dilation=1,2的3*3空洞卷积,第三条支路经过dilation=1的3*3空洞卷积,第四条支路不经过卷积;所有支路的结果相加输入到解码器的第一个解码单元;
解码器的4个解码单元相同;每个解码单元包括一个3*3的卷积层,一个4*4的转置卷积层;
同时,第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加;然后经过3*3卷积层后输出最终的结果;
第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入;
第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入;
第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入。
8.根据权利要求7所述的一种基于深度学习的闸瓦插销丢失检测系统,其特征在于,还包括一个部件丢失检测模
所述的部件丢失检测模块,用于根据深度学习模型分割的结果,进一步获得分割部件的信息,并根据先验规则,进行闸瓦插销丢失的判定。
9.根据权利要求7或8所述的一种基于深度学习的闸瓦插销丢失检测系统,其特征在于,还包感兴趣区域图像提取单元,用于从货车图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像。
10.根据权利要求9所述的一种基于深度学习的闸瓦插销丢失检测系统,其特征在于,还包括图像获取模块,用于获取货车图像。

说明书全文

一种基于深度学习的闸瓦插销丢失检测方法

技术领域

[0001] 本发明涉及一种闸瓦插销丢失检测方法。属于货运列车检测技术领域。

背景技术

[0002] 针对于货运列车的设备检测,长期以来,车辆段采用人工查看图像的方法对货运列车进行全车检查,一直存在高成本、效率低等问题。采用人工查看图像的方式,工作枯燥,容易懈怠,有效工作时间有限,效率进一步降低,而且非常容易出现遗漏部件、误报等情况,难以保障准确率。
[0003] 因此,对货车进行自动化故障检测具有重要意义。但是目前并没有一种自动化的故障检测方法。虽然可以通过现有的图像处理技术来实现检测,但是目前的图像处理技术并不能针对闸瓦插销丢失进行有效的检测,主要原因是货车的设备检测具有包括检测环境因素、结构因素、尺寸因素等在内的特殊性,尤其是其尺寸非常小,图像中的结果相对复杂,所以现有的图像处理技术并不能满足闸瓦插销丢失检测,其准确率极低。

发明内容

[0004] 本发明是为了解决目前依靠人工查看图像的检测方式存在成本高、效率低等问题,以及现有的图像自动处理技术进行检测存在准确率低的问题。
[0005] 一种基于深度学习的闸瓦插销丢失检测方法,包括以下步骤:
[0006] s1、获取货车图像,从图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像;
[0007] s2、利用训练好的深度学习模型分割闸瓦插销对应的图像;
[0008] s3、根据深度学习模型分割的结果,利用图像处理方法进一步获得分割部件的信息,根据先验规则,进行闸瓦插销丢失的判定;所述先验规则包括闸瓦插销的周长、长宽比和面积。
[0009] 进一步地,所述深度学习模型包括编码器解码器和空洞卷积单元;
[0010] 所述的编码器采用4个下采样的编码单元;所述解码器采用4个上采样的解码单元;
[0011] 第一编码单元包括两个3*3的卷积层和池化层;第二编码单元与第一编码单元相同;
[0012] 第三编码单元包括两个3*3的卷积层、一个1*1的卷积层和池化层;第四编码单元与第三编码单元相同;
[0013] 第一编码单元的输出作为第二编码单元的输入,第二编码单元的输出作为第三编码单元的输入;第三编码单元的输出作为第四编码单元的输入;第四编码单元的输出作为空洞卷积单元的输入;
[0014] 空洞卷积单元包括并联的3个3*3空洞卷积层,形成四条支路;第一条支路经过dilation=1,2,4的3*3空洞卷积,第二条支路经过经过dilation=1,2的3*3空洞卷积,第三条支路经过dilation=1的3*3空洞卷积,第四条支路不经过卷积;所有支路的结果相加输入到解码器的第一个解码单元;
[0015] 解码器的4个解码单元相同;每个解码单元包括一个3*3的卷积层,一个4*4的转置卷积层;
[0016] 同时,第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加;然后经过3*3卷积层后输出最终的结果;
[0017] 第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入;
[0018] 第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入;
[0019] 第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入。
[0020] 进一步地,所述的深度学习模型的损失函数如下:
[0021]
[0022] 其中,P为预测图像,GT为真值图像,P和GT具有相同的宽W和高H,i、j分别宽、高上像素的序号;gtij为真值图像的一个像素值,Pij为预测图像中的一个像素值。
[0023] 进一步地,所述深度学习模型的参数通过训练过程确定。所述深度学习模型的训练过程中获取训练样本的过程包括以下步骤:
[0024] w1、针对获取的货车图像,根据硬件的先验知识,从货车图像信息中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像;
[0025] w2、数据集图像预处理,包括以下步骤:
[0026] w2.1、根据获得部件的感兴趣区域图像,建立原始的数据集;
[0027] w2.2、将闸瓦插销丢失的故障图像和含有伪目标的区域提取出来,放到有待识别部件的随机选取数据集的图像上进行融合,提高负样本比例;
[0028] w2.3、对数据集进行数据扩增,数据扩增包括对比度增强、锐度变化、随机缩放、随机旋转度、直方图均衡化、模糊处理;
[0029] w3、对数据扩增后组成的训练数据集进行标记,获得与原始图像相对应的标记掩码GT图像。
[0030] 一种基于深度学习的闸瓦插销丢失检测系统,包括一个深度学习模型;
[0031] 所述的深度学习模型包括编码器、解码器和空洞卷积单元;
[0032] 所述的编码器采用4个下采样的编码单元;所述解码器采用4个上采样的解码单元;
[0033] 第一编码单元包括两个3*3的卷积层和池化层;第二编码单元与第一编码单元相同;
[0034] 第三编码单元包括两个3*3的卷积层、一个1*1的卷积层和池化层;第四编码单元与第三编码单元相同;
[0035] 第一编码单元的输出作为第二编码单元的输入,第二编码单元的输出作为第三编码单元的输入;第三编码单元的输出作为第四编码单元的输入;第四编码单元的输出作为空洞卷积单元的输入;
[0036] 空洞卷积单元包括并联的3个3*3空洞卷积层,形成四条支路;第一条支路经过dilation=1,2,4的3*3空洞卷积,第二条支路经过经过dilation=1,2的3*3空洞卷积,第三条支路经过dilation=1的3*3空洞卷积,第四条支路不经过卷积;所有支路的结果相加输入到解码器的第一个解码单元;
[0037] 解码器的4个解码单元相同;每个解码单元包括一个3*3的卷积层,一个4*4的转置卷积层;
[0038] 同时,第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加;然后经过3*3卷积层后输出最终的结果;
[0039] 第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入;
[0040] 第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入;
[0041] 第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入。
[0042] 进一步地,所述的一种基于深度学习的闸瓦插销丢失检测系统,还包括一个部件丢失检测模
[0043] 所述的部件丢失检测模块,用于根据深度学习模型分割的结果,进一步获得分割部件的信息,并根据先验规则,进行闸瓦插销丢失的判定。
[0044] 进一步地,所述的一种基于深度学习的闸瓦插销丢失检测系统,还包感兴趣区域图像提取单元,用于从货车图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像。
[0045] 进一步地,所述的一种基于深度学习的闸瓦插销丢失检测系统,还包括图像获取模块,用于获取货车图像。
[0046] 有益效果:
[0047] 1、使用图像自动识别的方式代替人工检测,方法或系统能够自动识别车辆故障并报警,作业标准统一,不再受人员素质和责任心影响,不仅能够解决高成本的问题,而且无需人工逐张浏览图片,人工只需对报警图片进行故障确认即可完成检车作业,可节省大量的动态检车人员,并提高作业效率。相比现有的人工检测,检测效率至少提高数十倍,并且图像数量的增加,效率还会进一步提高;而且利用本发明还能够有效提高作业质量
[0048] 2、基于深度学习的故障检测方法比传统的手工标准特征提取的机器视觉检测方法具有高的灵活性、准确性和鲁棒性。利用本发明进行闸瓦插销丢失检测的漏检率几乎为0。
附图说明
[0049] 图1为具体实施方式的流程示意图;
[0050] 图2为部分数据扩增的效果图;
[0051] 图3为深度学习模型的网络结构图;
[0052] 图4为空洞卷积单元结构图。

具体实施方式

[0053] 具体实施方式一:参照图1具体说明本实施方式,
[0054] 本实施方式所述的一种基于深度学习的闸瓦插销丢失检测方法,包括以下步骤:
[0055] 1、图像获取
[0056] 利用固定设备搭载照相机或摄像机,对高速运动的货车进行拍摄,拍摄货车的上部、两侧及底部的全车图像。针对于线阵相机(也称线扫描相机),通过被测物的移动速度计算线阵相机的拍摄频率,进行连续的多次拍照,将所拍下的多幅“条”形图象,合并成一张完整的图,这样可实现无缝拼接,生成视野大,精度高的二维图象。
[0057] 2、粗定位
[0058] 根据硬件的轴距信息和部件的位置等先验知识,从全车的大图信息中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像,以此减少计算量并提高识别的速度。
[0059] 3、数据集图像预处理
[0060] 步骤3.1、建立原始数据集
[0061] 根据粗定位获得待识别部件的感兴趣区域图像,建立原始的数据集。
[0062] 步骤3.2、图像融合
[0063] 因为在货车自动识别检测领域,经常出现两种情况:
[0064] 1)图像经常不包含带检测目标的故障图像,负样本比例较小。
[0065] 2)图像干扰因素较多,经常出现一些和真实目标底层纹理特征相近伪目标(草棍等异物),误报较多。
[0066] 所以将闸瓦插销丢失的故障图像和含有伪目标的区域提取出来,放到有待识别部件的随机选取数据集的图像上进行融合,提高负样本比例,减少误报。
[0067] 步骤3.3、对数据集进行数据扩增,扩充后的如图2所示。数据扩增包括对比度增强、锐度变化、随机缩放、随机旋转角度、直方图均衡化、模糊处理等图像处理方式,可以是一种处理方式单独进行处理,也可以是几种图像处理方式共同处理;
[0068] 由于列车车速、室外光照等因素的影响,运动中的货车线阵图像可能会出现对比度不同,图像拉伸等问题,针对自动识别部件图像的具体问题,采用图像增强方法进行处理,既能获得更多的训练样本,也能增加模型的鲁棒性。
[0069] 步骤四:数据标记
[0070] 利用图像融合和数据扩增的数据,组成新的训练数据集并对数据集进行标记,获得与原始图像相对应的标记掩码GT(Ground Truth)图像。
[0071] 4、故障目标分割
[0072] 构建编码器-解码器网络,如图3所示。由于在货车自动识别检测中对于检测的实时性和精度要求较高,所以为满足检测的实时性可以不需要非常深的网络,减少特征网络图个数,实现加速计算。针对故障检测的高精度要求,本发明引入空洞卷积单元使特征图具有更大的感受野,并利用高速通道连接对应特征层,使特征图具有更多的底层的纹理信息,以此保证检测精度。
[0073] 所述多特征图深度学习的训练过程包括以下步骤:
[0074] 步骤4.1、构建编码器网络:
[0075] 由于待识别部件尺寸较小,所以采用4个下采样的编码单元,其中2个相同编码单元是由两个3*3的卷积层和池化层组成,另外2个相同的编码单元是由两个3*3的卷积层、一个1*1的卷积层和池化层组成,一共采用10个卷积层进行特征提取和4个池化层进行下采样,相比现有的编码单元结构,本发明的编码器可以加速计算。
[0076] 步骤4.2、构建解码器网络:
[0077] 解码器采用4个相同的上采样的解码单元,每个解码单元包含一个3*3的卷积层,一个4*4的转置卷积层进行上采样。
[0078] 步骤4.3、编码器和解码器中间部分加入空洞卷积单元,如图4所示。
[0079] 在解码器的后端加入并联的3个3*3空洞卷积层(dilation=1,2,4),第一条支路经过dilation=1,2,4的3*3空洞卷积,第二条支路经过经过dilation=1,2的3*3空洞卷积,第三条支路经过dilation=1的3*3空洞卷积,第四条支路不经过卷积;并联结构可有效的的融合多尺度特征,空洞卷积可以增大感受野,图4中从上到下对应的感受野分别为15,7,3,1,最后将所有支路的结果相加输入到解码器中(第一个解码单元的输入),提升整个网络的识别能
[0080] 步骤4.4、加入高速通道单元连接编码器和解码器特征图。
[0081] 采用高速通道将编码器特征图与相应解码器特征图进行连接,
[0082] 编码器的第一个编码单元中池化层之前的图像通过高速通道输出并与解码器的第四个解码单元输出相加,然后经过3*3卷积层(即dilation=1的3*3空洞卷积层)后输出结果;
[0083] 编码器的第二个编码单元中池化层之前的图像通过高速通道输出并与解码器的第三个解码单元输出相加作为解码器的第四个解码单元的输入;
[0084] 编码器的第三个编码单元中池化层之前的图像通过高速通道输出并与解码器的第二个解码单元输出相加作为解码器的第三个解码单元的输入;
[0085] 编码器的第四个编码单元中池化层之前的图像通过高速通道输出并与解码器的第一个解码单元输出相加作为解码器的第二个解码单元的输入;
[0086] 从而完成分割网络的最终搭建,得到搭建好的分割网络;
[0087] 上述过程可以获取更多的底层的纹理信息,加强底层特征在最后决策中的比重。
[0088] 步骤4.5、把训练数据集和标签图像一起归一化到固定大小256*256,输入到搭建好的分割网络中。
[0089] 步骤4.6、图像数据经过分割网络输出的预测(predict)图像和原始标记的真值(GT)图像做交叉熵损失函数(BCE Loss),使分割网络模型学到的预测数据分布趋近于真实数据分布。
[0090]
[0091] 其中,P为预测(Predict)图像,GT真值(GT)图像,P和GT具有相同的宽W和高H,gtij为真值(GT)图像的一个像素值,Pij为预测(Predict)图像中的一个像素值。
[0092] 步骤4.7、根据损失函数进行误差反向传播,并更新所述分割网络的参数。
[0093] 步骤4.8、重复步骤4.5到4.7,对多个训练样本图片进行多次训练,直至交叉熵损失逐渐收敛,置信度升至稳定值,确定当前学习到的模型参数为训练好的模型参数,从而获得训练好的深度学习模型。所述训练好的模型参数包括深度卷积网络的参数、转置卷积的参数和空洞卷积的参数。
[0094] 5模型预测
[0095] 步骤一:神经网络预测
[0096] 获得货车图像,粗定位部件区域,利用训练好的深度学习模型,进行预测。
[0097] 粗定位的过程如下:从图像中确定待识别部件的感兴趣区域并提取出待识别部件的感兴趣区域图像;
[0098] 步骤二:根据先验规则进行检测
[0099] 根据深度学习模型分割的结果,利用图像处理方法进一步获得分割部件的周长,长宽比,面积大小等信息,根据先验规则,进行闸瓦插销丢失的判定。
[0100] 步骤三:上传报警平台
[0101] 根据判定的结果的信息上传报警平台。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈