一种基于R-FCN的车牌字符检测及分割方法专利检索-深度图电脑图像专利检索查询-专利查询网

一种基于R-FCN的车牌字符检测及分割方法

阅读：943发布：2020-05-11

专利汇可以提供一种基于R-FCN的车牌字符检测及分割方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于R-FCN的车牌字符检测及分割方法。本发明一种基于R-FCN的车牌字符检测及分割方法，包括：S1.制作车牌图像样本并训练基于区域的检测网络；S2.输入一张待检测分割的彩色车牌图像；S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；S4.处理检测神经网络输出的结果以得到车牌字符分割结果。本发明提出的基于R-FCN的车牌字符检测及分割方法可以在复杂车牌图像情况下同时对汉字、数字和英文字母进行准确地分割并不受输入图像尺寸的限制，相比于其它同类基于深度学习方法具有更好的分割准确性和稳定性。，下面是一种基于R-FCN的车牌字符检测及分割方法专利的具体信息内容。

权利要求

1.一种基于R-FCN的车牌字符检测及分割方法，其特征在于，包括：
S1.制作样本并训练基于区域的卷积神经网络R-FCN；
S2.输入一张待检测分割的彩色车牌图像；
S3.将图像输入到基于区域的检测网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；
S4.处理检测神经网络输出的结果以得到车牌字符分割结果。
2.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1的具体流程为：
S1-1.制作车牌字符图像样本；
S1-2.使用样本训练检测网络。
3.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域最小外接矩形边界以制作基于区域的车牌字符图像样本。
4.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S1-2用于训练的代价函数L为：
其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在p像素点的字符区域得分和字符关联区域得分，分别表示网络预测在p像素点的字符区域得分和字符关联区域得分。
5.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，其中步骤S3的具体流程为：
S3-1.通过基于区域的卷积神经网络R-FCN中六层卷积层来提取图像中的车牌字符特征信息；
S3-2.通过四层反卷积层对具有相同分辨率的特征信息进行特征融合和上采样；
S3-3.通过四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图。
6.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S3-2通过反卷积层将深层语义信息进行上采样使其与浅层语义信息拥有相同的分辨率，从而实现不同深度的特征的信息融合，在融合后的特征信息上进行分类可以提升检测神经网络的准确率。
7.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，步骤S3-3对最后融合后的尺寸大小相同的特征信息进行融合和分类，起到分类器的作用。
8.如权利要求1所述的基于R-FCN的车牌字符检测及分割方法，其特征在于，其中步骤S4的具体流程为：
S4-1.设置阈值，对得分图进行阈值分割获得字符区域和字符关联区域二值图；
S4-2.通过连通域标记方法将得到的二值图中的连通域标记并按连通域像素个数进行排序；
S4-3.对连通域像素个数设定阈值，并按阈值过滤像素个数不达阈值的连通域；
S4-4.计算各个连通域的面积最小外接旋转矩阵；
S4-5.使用字符关联区域的外接矩形来分割字符并用字符区域的外接矩形来精确定位车牌字符。

说明书全文

一种基于R-FCN的车牌字符检测及分割方法

技术领域

[0001] 本发明涉及一种基于R-FCN的车牌字符检测及分割方法，属于车牌图像识别领域中车牌字符分割技术。

背景技术

[0002] 车辆牌照识别LPR(License Plate Recognition)系统是图像处理与模式识别技术在智能交通领域应用的重要研究课题之一。其在道路交通监控、停车场管理和车辆登记管理等方面有广泛的应用前景。

[0003] 车牌识别系统作为智能交通系统的重要组成部分，它可以大大提高车辆管理工作的效率，实现车辆管理的自动化和智能化。车牌识别系统主要由两部分构成：车牌的检测和车牌的识别。其中车牌检测的任务是从采集的车辆图像中检测车牌位置并提取车牌区域图像。车牌的识别任务包括从检测到的车牌区域图像中检测并按序分割出车牌字符图像和识别字符图像两部分。由此可见，车牌字符检测是车牌识别系统的重要组成部分，车辆字符检测的效果将会直接关系到系统识别率的高低，因此，如何快速、准确地检测出车牌字符是车牌自动识别技术中关键的一步。现有基于深度学习网络的车牌字符检测方法存在以下技术问题：

[0004] 1.现有方法多以基于滑动窗口的深度学习网络为主，由于实际车牌字符由数字、英文字母和部分汉字组成，这些字符形状多为不规则，若仅用单一形状的窗口平移滑动检测车牌字符并不能准确分割车牌字符。

[0005] 2.现有方法多以基于滑动窗口的深度学习网络为主，该类方法对输入图像尺寸有一定限制。

[0006] 因此，研究应用基于区域的卷积神经网络来分割车牌字符的方法是非常有必要的。

发明内容

[0007] 为了解决背景技术中复杂环境下车牌字符分割难的问题，本发明提供一种基于R-FCN的车牌字符检测及分割方法，其对带有底纹、光照不均和对比度较低的车牌均具有很好的分割效果，能很好地解决现有基于深度学习网络的车牌字符检测方法在复杂车牌场景下检测精度不高问题。

[0008] 为了解决上述技术问题，本发明提供了一种基于R-FCN的车牌字符检测及分割方法，步骤包括：

[0009] S1.制作车牌图像样本并训练基于区域的卷积神经网络；

[0010] S2.输入一张待检测分割的彩色车牌图像；

[0011] S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；

[0012] S4.处理检测神经网络输出的结果以得到车牌字符分割结果。

[0013] 在其中一个实施例中，其中步骤S1的具体流程为：

[0014] S1-1.制作车牌字符图像样本；

[0015] S1-2.使用样本训练检测网络。

[0016] 在其中一个实施例中，其中步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域的最小外接矩形边界处以制作车牌字符图像样本。

[0017] 在其中一个实施例中，其中步骤S1-2用于训练的代价函数为：

[0018]

[0019] 其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在p像素点的字符区域得分和字符关联区域得分，分别表示网络预测在像素点的字符区域得分和字符关联区域得分。

[0020] 在其中一个实施例中，其中步骤S3的具体流程为：

[0021] S3-1.通过卷积神经网络R-FCN中六层卷积层来提取图像中的车牌字符特征信息；

[0022] S3-2.通过四层反卷积层对具有相同分辨率的特征信息进行特征融合和上采样；

[0023] S3-3.通过四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图。

[0024] 在其中一个实施例中，步骤S3-2通过反卷积层将深层语义信息进行上采样使其与浅层语义信息拥有相同的分辨率，从而实现不同深度的特征的信息融合，在融合后的特征信息上进行分类可以提升检测神经网络的准确率。通过不同分辨率的特征图的信息融合，既可以丰富低层卷积层的特征信息以补充低层卷积层在提取特征信息时丢失的深层语义信息，又可以使特征图包含上下文信息，以此准确地检测模糊、低对比度等目标的准确位置。

[0025] 在其中一个实施例中，步骤S3-3对最后融合后的尺寸大小相同的特征信息进行融合和分类，起到分类器的作用。

[0026] 在其中一个实施例中，其中步骤S4的具体流程为：

[0027] S4-1.设置阈值，对得分图进行阈值分割获得字符区域和字符关联区域二值图；

[0028] S4-2.通过连通域标记方法将得到的二值图中的连通域标记并按连通域像素个数进行排序；

[0029] S4-3.对连通域像素个数设定阈值，并按阈值过滤像素个数不达阈值的连通域；

[0030] S4-4.计算各个连通域的面积最小外接旋转矩阵；

[0031] S4-5.使用字符关联区域的外接矩形来分割字符并用字符区域的外接矩形来精确定位车牌字符。

[0032] 本发明与现有技术相比有益效果：相比传统方法，本发明提出的车牌字符分割方法对带有底纹、光照不均和对比度较低的车牌均具有很好的分割效果，相比于现有基于深度学习网络的车牌字符分割方法，本发明提出的车牌字符分割方法可以在复杂车牌图像情况下同时对汉字、数字和英文字母进行准确地分割并不受输入图像尺寸的限制，并且具有更好的分割准确性和稳定性。附图说明

[0033] 图1是本发明的流程图；

[0034] 图2是本发明的车牌字符检测网络结构图。

[0035] 图3是本发明具体实施例中两个车牌在复杂背景环境下车牌字符的准备切分结果示意图

具体实施方式

[0036] 下面结合附图和具体实施例对本发明作进一步的说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

[0037] 如图1所示，所述的一种基于R-FCN的车牌字符检测及分割方法包括以下步骤：

[0038] S1.制作车牌图像样本并训练基于区域的卷积神经网络；

[0039] S2.输入一张待检测分割的彩色车牌图像；

[0040] S3.将图像输入到基于区域的检测神经网络进行车牌字符检测并输出字符区域得分图和字符关联区域得分图；

[0041] S4.处理检测神经网络输出的结果以得到车牌字符分割结果。

[0042] 在其中一个实施例中，其中步骤S1的具体流程为：

[0043] S1-1.制作车牌字符图像样本；

[0044] S1-2.使用样本训练检测网络。

[0045] 在其中一个实施例中，其中步骤S1-1通过将二维各向同性的高斯图像透视变换至字符区域及字符关联区域的最小外接矩形边界处以制作车牌字符图像样本。

[0046] 在其中一个实施例中，其中步骤S1-2用于训练的代价函数为：

[0047]

[0048] 其中p表示字符及其关联区域内的任意一个像素，Sr(p)、Sa(p)分别表示样本标签中在像素点的字符区域得分和字符关联区域得分，分别表示网络预测在p像素点的字符区域得分和字符关联区域得分。

[0049] 在其中一个实施例中，其中步骤S3中的具体流程为：

[0050] S3-1.通过卷积神经网络R-FCN中六层卷积层来提取图像中的车牌字符特征信息；

[0051] S3-2.通过四层反卷积层对具有相同分辨率的特征信息进行特征融合和上采样；

[0052] S3-3.通过四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图。

[0053] 在其中一个实施例中，步骤S3-2通过反卷积层将深层语义信息进行上采样使其与浅层语义信息拥有相同的分辨率，从而实现不同深度的特征的信息融合，在融合后的特征信息上进行分类可以提升检测神经网络的准确率。通过不同分辨率的特征图的信息融合，既可以丰富低层卷积层的特征信息以补充低层卷积层在提取特征信息时丢失的深层语义信息，又可以使特征图包含上下文信息，以此更好地检测模糊、低对比度等目标的准确位置。

[0054] 在其中一个实施例中，步骤S3-3对最后融合后的尺寸大小相同的特征信息进行融合和分类，起到分类器的作用。

[0055] 在其中一个实施例中，其中步骤S4的具体流程为：

[0056] S4-1.设置阈值，对得分图进行阈值分割获得字符区域和字符关联区域二值图；

[0057] S4-2.通过连通域标记方法将得到的二值图中的连通域标记并按连通域像素个数进行排序；

[0058] S4-3.对连通域像素个数设定阈值，并按阈值过滤像素个数不达阈值的连通域；

[0059] S4-4.计算各个连通域的面积最小外接旋转矩阵；

[0060] S4-5.使用字符关联区域的外接矩形来分割字符并用字符区域的外接矩形来精确定位车牌字符。

[0061] 下面结合实例进一步描述发明。

[0062] 在本实施例中，以在复杂背景环境下的车辆牌照分别为浙G152CZ和浙A038M5为例对基于R-FCN的车牌字符检测及分割方法进行说明。

[0063] 本发明采用的基于区域的卷积神经网络的结构如图2所示，检测网络包含六层卷积层来提取图像中的车牌字符特征信息，卷积层尺寸依次减小，各层卷积核个数分别为64、64、128、256、512、512，各层卷积核大小都为3×3，步长分别为1、2、2、2、2、1。检测网络还包含四层反卷积层来对具有相同分辨率的特征信息进行特征融合和上采样，四层反卷积层由上至下各层卷积核个数分别为32、64、128、256，各层反卷积核大小都为3×3，这部分结构使用了U-net网络中类似的跳跃连接，该跳跃连接能够连接具有相同分辨率的反向卷积层的输出特征图与卷积层的输出特征图作为下一层反向卷积层的输入，通过跳跃连接的使用，反向卷积过程可以包含之前卷积层输出具有相同特征图尺寸的输出信息，利用较低层的较粗但较高分辨率的特征图的特征，进一步细化上采样过程。检测网络还包括四层全连接卷积层对最后一层反卷积层输出的特征信息进行分类判断输出字符区域得分图和字符关联区域得分图，这部分结构各层卷积核个数分别为32、32、16、16、2，前三层卷积核大小为3×
3，后两层卷积核大小为1×1。

[0064] 整个训练过程使用了PyTorch深度学习框架来训练网络，相关参数设置如下：优化器选用了ADAM优化器；Batchsize设置为16；Epoch设置为40；学习率初始设为0.1，到第20个Epoch时设为0.01。

[0065] 其中，浙G152CZ和浙A038M5两个车牌图像在复杂背景环境下车牌字符的准确切分结果示意图，具体参见图3所示，并且从图3中可以看出，通过对检测网络输出的字符区域得分图和字符关联区域得分图做进一步的图像处理可实现对车牌单个字符的准确分割。

标题	发布/更新时间	阅读量
深度信息补全方法及其装置、监控系统和存储介质	2020-05-08	470
视觉分拣数据集采集方法及装置	2020-05-08	75
位姿确定方法及装置、增强现实设备和可读存储介质	2020-05-08	315
一种精子标注方法、装置、电子设备及存储介质	2020-05-11	505
直播间弹幕显示方法、存储介质、设备及系统	2020-05-08	848
基于深度学习的无监督端到端的驾驶环境感知方法	2020-05-08	728
制造半导体装置的方法	2020-05-08	695
一种基于深度神经网络增广训练的表面缺陷检测方法	2020-05-08	696
深度获取方法、深度获取装置及电子设备	2020-05-08	196
一种深度感知交通场景多目标检测方法和系统	2020-05-11	593

一种基于R-FCN的车牌字符检测及分割方法

一种基于R-FCN的车牌字符检测及分割方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：