技术领域
[0001] 本
发明属于车标识别技术领域，特别是涉及一种自然场景中的车标识别方法。
背景技术
[0002] 近年来，智能监控变得越来越普及。在涉及
汽车违法犯罪的事件中，车辆的信息采集格外重要。为了更好的采集车辆信息，人们在城市路口、高速公路出入口设置了很多摄像头，对路过的车辆进行信息采集。以车牌、车型等信息来监控车辆在打击涉及汽车的违法犯罪事件中，发挥着重要作用。但车牌恶意遮挡、车牌过脏、车辆套牌以及车型识别不准确等现象时常发生，这些导致了车辆识别方法的可靠性受到了很大挑战；此外，交通部
门管理数以百万计的汽车时，缺少对汽车分类管理的方法。因此，为了更为精准的识别和管理汽车，人们想到了获取车辆的车标信息来进行识别。有了车标信息，就能够知道汽车的品牌，这不但可为以车牌、车型作为识别车辆的方法提供辅助识别作用，还能作为处理大量汽车时对其分类的依据。因此车标的识别具有很高的价值。
[0003] 先兴起的车标识别，由人工对图像进行审查。这一工作模式需要排查的车辆数以万计，需要耗费大量的人
力物力。
[0004] 基于以上背景，国内外有学者提出使用近年来非常流行的
深度学习方法，机器智能地来进行分类任务。这种方法较为先进，在各个领域进行分类表现出的性能都可圈可点。但到了车标识别问题上，由于在实际的自然场景拍摄中，摄像头距离汽车通常非常远，加上汽车的车标本身非常小，这就导致拍摄所得的自然场景中，车标所占的
像素非常少。另外在拍摄得到自然场景图像时，汽车往往都是处于高速运动中，特别是在高速公路上，这就导致拍摄得到的图像很可能会出现模糊。再者由于自然场景拍摄时，受到光线、天气、
顶点度等众多因素的影响，所得图像
质量下降。此外，现实中一幅远距离拍摄图像通常不止包含一辆汽车。
发明内容
[0005] 本发明的目的在于针对
现有技术的不足之处，提供一种准确率高、可靠性好且实用性强的自然场景中的车标识别方法。
[0006] 本发明提供的这种自然场景中的车标识别方法，包括如下步骤：
[0007] 步骤一、采集包含车标的自然图像，对自然图像上的车标进行标定，建立标定车标后的自然图像
数据库；
[0008] 步骤二、对自然图像进行目标检测，检测出其中的车辆，分割并单独保存车辆图像；
[0009] 步骤三、在分割出的车辆图像上检测出车牌区域，并找出车牌四顶点；
[0010] 步骤四、根据车牌四顶点对分割出的车辆图像使用仿射变换矩阵，将具有
角度倾斜的图像修正；
[0011] 步骤五、在修正后的图像上，利用车牌与车标相对
位置关系获取车标区域；
[0012] 步骤六、基于车标区域，在keras
框架上使用深度学习进行车标分类的训练，生成车标分类模型；
[0013] 步骤七、输入待分类车标图像，进行步骤二至步骤五，再利用步骤六训练好的模型即可进行车标分类。
[0014] 进一步的，在所述步骤一中，使用
分辨率在3264*2248到5120*3840之间的摄像机拍摄图像，并利用labelme在拍摄的图像上采用矩型框对车标进行标定，保存标定后图像形成所述自然图像数据库。
[0015] 相应的，在所述步骤二中，在Tensorflow环境中使用yolov3小目标检测
算法对自然图像中的车辆进行检测，检测出车辆后，将车辆单独分割成一幅图像并保存。
[0016] 在一个具体实施方式中，在所述步骤三中，车牌四顶点的确定方法为：
[0017] 以图像左下角为原点，以图像
水平方向为x轴、竖直方向为y轴，建立图像
坐标系，[0018] 使用直线x＝k及y＝k对图像进行扫描，
[0019] k从0开始赋值，每次递增1，当直线x＝k与车牌区域出现重合时，取y值最小的点P1作为车牌的一个顶点；
[0020] 当直线x＝k与车牌区域不再重合时，取x＝k-1时，与车牌区域重合点中y值最大的点P2作为车牌的一个顶点；
[0021] 当直线y＝k与车牌区域出现重合时，取x值最大的点P3作为车牌的一个顶点；
[0022] 当直线y＝k与车牌区域不再重合时，取y＝k-1时，与车牌区域重合点中x值最小的点P4作为车牌的一个顶点。
[0023] 相配套的，将所述步骤三中的四个顶点重定义为视觉直观感受上的左下顶点、右下顶点、左上顶点、右下顶点，重定义的具体步骤为：
[0024] 首先，计算P1、P3之间的欧氏距离D(P1，P3)以及P1、P4之间的欧氏距离D(P1，P4)，[0025]
[0026]
[0027] 式中xi,yi分别为点Pi的横坐标值与纵坐标值，
[0028] 若D(P1，P3)＞D(P1，P4)则采用如下算式对车牌四顶点坐标重新赋值：
[0029]
[0030] 若D(P1，P3)＜D(P1，P4)则采用如下算式对车牌四顶点坐标重新赋值：
[0031]
[0032] 点a为人体视觉直观感受的左下顶点；点b为人体视觉直观感受的右下顶点；点c为人体视觉直观感受的左上顶点；点d为人体视觉直观感受的右上顶点。
[0033] 作为优选在所述步骤四中：利用
[0034] 进行修正，
[0035] 式中xi,yi分别为点Pi的横坐标值与纵坐标值，点A，C，D分别为仿射变换后点a，c，d的对应点。
[0036] 作为优选，在所述步骤五中，车标区域为矩形区域，其左上顶点与右下顶点的坐标根据公式 确定，
[0037] 式中xi,yi分别为点Pi的横坐标值与纵坐标值，点m为车标感兴趣区域的左上顶点，点n为车标感兴趣区域的右下顶点。
[0038] 在一个具体实施方式中，在所述步骤六中，挑选包含30类车标的自然图像，将每类100幅自然图像作为训练集送入resnet-50网络进行训练，生成车标分类模型。
[0039] 本发明先建立自然图像数据库，其次在自然图像中检测出车辆并分割单独保存车辆图像，接着在车辆图像上检测出车牌区域，并找出车牌四顶点，然后根据车牌四顶点进行图像修正，再在修正后的图像上获取车标区域，在keras框架上使用深度学习进行车标分类的训练，生成车标分类模型即可对待分类车标图像进行车标识别。针对车标待识别数据，经车辆的检测、车牌的检测、车辆图像的修正、车标感兴趣区域的提取后，使用训练好的分类模型进行车标分类，完成识别任务。能够更加适应自然场景中的复杂背景，解决了现实拍摄大多数图像中包含多辆汽车的车标识别问题，具有较高的准确率以及适用性。
附图说明
[0040] 图1为本发明一个优选
实施例的流程
框图。
具体实施方式
[0041] 如图1所示，本实施例公开的这种这种自然场景中的车标识别方法按如下七步进行。
[0042] 步骤一、采集包含有车标的自然图像，对自然图像进行车标的标定，建立自然图像数据库。
[0043] 本步骤中采用分辨率在3264*2248到5120*3840之间的摄像机在自然场景中对车标进行数据的采集。为了后续使用深度学习分类训练时数据均衡，在采集过程中，尽量考虑车标种类、光线强弱、拍摄顶点度、拍摄距离这些因素，使得每一类数据相对均衡。使用以上方法在自然场景中采集10000幅图像左右的数据。
数据采集完毕后，采用labelme工具对采集的自然图像中的车标进行标定。在标定时统一采用矩形框对车标进行标定。每标定一个图像文件，均生成一个与之对应的json格式文件。
[0044] 步骤二、对自然图像进行目标检测，检测出其中的车辆，分割并单独保存车辆图像。
[0045] 本步骤中对标定后的自然图像，在Tensorflow环境中使用yolov3小目标检测算法对其中的车辆进行检测，检测出车辆后，将车辆单独分割成一幅图像并保存。
[0046] 步骤三、在分割出的车辆图像上检测出车牌区域，并找出车牌四顶点。
[0047] 本步骤中采用已有的C++车牌识别与
定位算法在步骤二得到的分割车辆图像，检测出车牌区域后，在该图像上以图像左下角为原点，以图像水平方向为x轴、竖直方向为y轴建立坐标系并进行车牌检测，在图像坐标系中使用直线x＝k及y＝k对图像进行扫描，k从0开始赋值，每次递增1，当直线x＝k与车牌区域出现重合时，取y值最小的点(如果有多个点)P1作为车牌的一个顶点；当直线x＝k与车牌区域不再重合时，取x＝k-1时，与车牌区域重合点中y值最大的点(如果有多个点)P2作为车牌的一个顶点；当直线y＝k与车牌区域出现重合时，取x值最大的点(如果有多个点)P3作为车牌的一个顶点；当直线y＝k与车牌区域不再重合时，取y＝k-1时，与车牌区域重合点中x值最小的点(如果有多个点)P4作为车牌的一个顶点。
[0048] 用上述方法找出车牌的四个顶点后，为了后续步骤能够程序化的进行，还需要对四个顶点进行重定义，使重定义后的车牌四顶点分别满足人的视觉直观感受上的左下顶点、右下顶点、左上顶点、右下顶点。
[0049] 具体重定义方法如下：
[0050] 采用如下算式计算P1，P3之间的欧氏距离D(P1，P3)以及P1，P4之间的欧氏距离D(P1，P4)：
[0051]
[0052]
[0053] 式中xi,yi分别为点Pi的横坐标值与纵坐标值。
[0054] 计算出P1，P3及P1，P4之间的欧氏距离后，若D(P1，P3)＞D(P1，P4)则采用如下算式对车牌四顶点坐标重新赋值：
[0055]
[0056] 式中xi,yi分别为点Pi的横坐标值与纵坐标值，点a为人体视觉直观感受的左下顶点；点b为人体视觉直观感受的右下顶点；点c为人体视觉直观感受的左上顶点；点d为人体视觉直观感受的右上顶点。
[0057] 若D(P1，P3)＜D(P1，P4)则采用如下算式对车牌四顶点坐标重新赋值：
[0058]
[0059] 式中xi,yi分别为点Pi的横坐标值与纵坐标值，点a为人体视觉直观感受的左下顶点；点b为人体视觉直观感受的右下顶点；点c为人体视觉直观感受的左上顶点；点d为人体视觉直观感受的右上顶点。
[0060] 步骤四、根据车牌四顶点对分割出的车辆图像使用仿射变换矩阵，将具有角度倾斜的图像修正。
[0061] 本步骤中，由于仿射变换矩阵进行变换时，输入为变换前图像中的三个点，以及变换后图像中与之对应的三个点，因此一共需要输入六个点的坐标，这六个点的坐标具体如下给出：
[0062] 变换前的三个点：使用步骤S3中得到的点Pa，Pc，Pd作为变换前的三个点；
[0063] 变换后的三个点：PA，PC，PD分别与Pa，Pc，Pd对应，其坐标由如下算式计算得出：
[0064] 式中xi,yi分别为点Pi的横坐标值与纵坐标值，点A，C，D分别为仿射变换后点a，c，d的对应点。
[0065] 步骤五、在修正后的图像上，利用车牌与车标相对位置关系获取车标区域。
[0066] 本步骤中，由于汽车的车标一般在车牌上方，具体区域表示为取车牌宽度，并取3倍车牌高度，在车牌上方构成的矩形区域。根据这一方法，使用算式可求得矩形区域的左上角与右下角坐标；
[0067] 式中xi,yi分别为点Pi的横坐标值与纵坐标值，点m为车标感兴趣区域的左上顶点，点n为车标感兴趣区域的右下顶点。
[0068] 步骤六、基于车标区域，在keras框架上使用深度学习进行车标分类的训练，生成车标分类模型。
[0069] 本步骤中，可对自然场景中的车标数据集挑选3000幅左右图像进行步骤二至步骤五的操作后，提取出共计30类车标，每类100幅汽车图像，作为训练集送入resnet-50网络进行训练，生成车标分类模型。
[0070] 步骤七、输入待分类车标图像，进行步骤二至步骤五，再利用步骤六训练好的模型即可进行车标分类。
[0071] 实验时，采集3764个样本，每个样本都是3264×2248分辨率的RGB彩色自然图像，图像中含有若干车标，将各图像都进行车标的标定，并带有车标种类标签。
[0072] 对这些实验样本，首先使用yolov3小目标检测算法，对图像中的车辆进行目标检测，在检测出车辆后，将检测后的车辆图像单独保存为一个文件。再使用车牌检测算法检测出车牌区域，并用步骤三中的方法扫描出车牌的四个顶点，用步骤三中的判别式，重新定义车牌的四个角，使其满足人体视觉直观感受，便于程序化的处理这些点。
[0073] 接下来采用仿射变换矩阵原理，采用步骤四中给出仿射变换六个点的输入后，根据这六个点能求得变换矩阵，再根据求得的矩阵对图像上的每一个像素点进行变换，即得到修正后的图像。其中，给出的变换后的车牌三个角的点，满足车牌两条边垂直的关系，且两条边长度比值满足140：440(中国所有车牌宽高比)，因此变换后得到的图像端正。
[0074] 再根据车标与车牌的相对位置关系，依据如步骤五检测出的车牌区域，确定出车标的感兴趣区域。
[0075] 处理完毕得到的图像共计4022幅，其中3000幅图像共计30类车标作为训练集送入resnet-50网络进行训练，生成车标分类模型。最后将另外1022幅图像作为测试集，使用训练出的分类模型进行分类即可完成车标的识别。
