面向智能终端的车辆信息采集识别方法及系统
阅读：525发布：2024-01-07
专利汇可以提供面向智能终端的车辆信息采集识别方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 涉及数字 图像处理 技术与 人工智能 领域，尤其是面向智能终端的车辆信息采集识别方法及系统中的应用。该识别方法先对采集的图像进行调整，再进行车牌 定位 ，然后对图像进行投影变换和旋转校正，之后进行精确定位，对车牌图像进行字符分割和字符识别，最后得到车牌识别结果；面向智能终端的车辆信息采集系统包括智能终 端子 系统和 服务器 端子系统，智能终端子系统和服务器端子系统通过网络传输数据。为了克服现有的信息采集人员人工采集车辆信息的方式，本发明提出了面向智能终端的车辆信息采集识别方法及系统，能够精确、快速地识别停放车辆的车牌号码以及其他车辆信息，解放信息采集人员的劳动时间，提高办事效率。，下面是面向智能终端的车辆信息采集识别方法及系统专利的具体信息内容。
1.面向智能终端的车辆信息采集识别方法，其特征在于：该方法的步骤如下：
步骤一：对采集的车辆图像进行调整；
步骤二：对步骤一获取的图像运用SSD目标检测算法进行车牌初步定位；
步骤三：对定位后的图像进行投影变换和旋转校正，得到水平车牌；
步骤四：对水平车牌进行精确定位，之后对车牌图像字符分割，再进行字符识别；
步骤五：得到最终的车牌识别结果。
2.根据权利要求1所述的面向智能终端的车辆信息采集识别方法，其特征在于：步骤二具体包括以下步骤：
步骤A：对采集到的图像根据车牌位置设置经验区域，减小数据大小；
步骤B：对处理后的图像采用SSD算法进行车牌检测，SSD算法网络结构分为两个部分，前端进行压缩数据，后端进行特征提取，引入多尺度卷积层得到不同尺寸的特征图，检测多尺度车牌。
3.根据权利要求1所述的面向智能终端的车辆信息采集识别方法，其特征在于：步骤四具体步骤如下：
步骤a：去除校正后车牌图像中多余的像素块，得到精确定位车牌位置；
步骤b：再将车牌图像分割成待识别的字符块：采用临域自适应阈值，寻找出字符的轮廓，利用函数得到最小外接矩形并把轮廓圈出；
步骤c：字符块识别：采用特定算法对字符块进行直方图均衡化，然后送入CNN神经网络，做65种的字符分类。
4.面向智能终端的车辆信息采集识别系统，其特征在于：包括智能终端子系统和服务器端子系统，智能终端子系统和服务器端子系统通过网络传输数据；
智能终端子系统包括数据采集模块、车牌识别模块、GPS定位模块、数据传输接收模块；
数据采集模块，用于采集车辆图像和拍摄时间；
车牌识别模块，用于对采集的车辆图像进行车牌识别，识别车牌号码；
GPS定位模块，用于对车辆进行定位；
数据传输接收模块，用于将智能终端子系统采集的车辆信息传输到服务器端子系统以及接收服务器端子系统的传送的信息；用于发送和接收车主手机信息；用于向服务器端子系统发送查询信息和接收查询结果。
5.根据权利要求4所述的面向智能终端的车辆信息采集识别系统，其特征在于：服务器端子系统包括信息接收模块、数据库模块，信息处理模块和信息传送模块；
信息接收模块，用于接收存储智能终端子系统上传的车辆信息，接收对应车辆的车主反馈的信息，接收信息处理人员对异常信息的处理结果，接收智能终端子系统的查询信息；
数据库模块，用于存储智能终端子系统上传的采集车辆信息以及交警备案车辆信息；
信息处理模块，用于将智能终端子系统传递的车牌识别信息与数据库模块中的车辆车主信息进行配对，找出与车牌识别信息对应的车辆车主信息；用于处理异常提示信息；用于将信息处理人员处理后的信息更新数据库模块内的信息；
信息传送模块，用于将信息通过短信形式发给对应车辆的车主，将智能终端子系统查询的信息传送给智能终端子系统。
6.根据权利要求4所述的面向智能终端的车辆信息采集识别系统，其特征在于：所述的车牌识别模块包括车牌经验区域设置模块、车牌定位模块、车牌校正模块和车牌号码识别模块；
车牌经验区域设置模块，用于对采集的原始车辆图像进行分辨率调整和裁剪；
车牌定位模块，用于采用SSD目标检测算法进行车牌初步定位；
车牌校正模块，用于对定位后的车牌进行投影变换和旋转校正，得到水平车牌；
车牌号码识别模块，用于对水平车牌进行车牌图像字符分割，再进行字符识别，获取目标车牌信息。
7.根据权利要求6所述的面向智能终端的车辆信息采集识别系统，其特征在于：车牌经验区域设置模块包括：
图像分辨率调整单元，用于对获取图像的分辨率进行调整；
图像裁剪单元，用于原始车辆图像进行裁剪。
8.根据权利要求6所述的面向智能终端的车辆信息采集识别系统，其特征在于：车牌定位模块包括：
车牌位置提取单元，对裁剪后的车辆图像进行SSD目标检测算法，先进行压缩数据，再引入卷积层得到不同尺寸的特征图，最后后端进行特征提取，得到车牌图像与位置信息。
9.根据权利要求6所述的面向智能终端的车辆信息采集识别系统，其特征在于：
车牌校正模块包括：
车牌校正单元：对定位后的图像进行投影变换和旋转校正。
10.根据权利要求6所述的面向智能终端的车辆信息采集识别系统，其特征在于：车牌号码识别模块包括：
车牌去像素单元，用于去除车牌图像中多余的像素块；
车牌字符分割单元，采用自适应临界阈值，分离出对比度较大的字符区域，找到二值图像所有的轮廓，用矩形框圈出所有的轮廓，再通过宽高比，面积筛选出符合字符特征的区域；
车牌字符识别单元，用于采用特定算法对字符块进行直方图均衡化，然后送入CNN神经网络，做65种的字符分类，识别出各个车牌字符。
面向智能终端的车辆信息采集识别方法及系统
技术领域
背景技术
[0002] 随着汽车数量的迅速增加，车辆管理方法已经不满足如今的需求，采集车辆效率不高，导致很多车辆管理问题，其中违规停车问题已经成为社会的“顽疾”。交警现在对违规停车数据还处在人工异步处理；首先采集拍摄违规停车图像，然后手动开罚单，接着上传违规停车信息到服务器，最后才是用户对违规信息的查询。期间，工作周期过长，数据多次传输，容易发生管理上的失误。
[0003] 深度学习处于发展阶段，在嵌入式端应用还处于起步阶段，在运算速度上，计算精度都有一定的局限性，其中计算速度对深度学习在嵌入式的应用发展有绝对性的地位，在嵌入式系统中计算速度上有两个重要的因素，参数量和计算代价。其中VGG16分类网络有1亿2千8百万个训练参数(占据内存92759Kb)，并且计算代价为153亿个(衡量标准为float32op的个数)，如此庞大的计算代价和训练参数，对嵌入式的系统是一个莫大考验。
[0004] 对于现有的深度学习的目标检测算法；r-cnn、yolo、SDD系列。其中r-cnn系列的检测速度慢，但检测精度高。yolo·系列速度和精度都有提升，但是对小目标的检测能力很低下，而车牌在图像占的比例很小。SDD算法对在精度和速度相比前两算法都有很大的提升，但是在嵌入式系统中，达到实时性的需求还是有很长的地方值得改进。
发明内容
[0005] 发明目的：
[0006] 为了克服现有的人工采集车辆数据方式，本发明提出了面向智能终端的车辆信息采集识别方法及系统，能够精确、快速地识别相关车辆的车牌号码和车辆位置信息，解放信息采集人员的劳动时间，提高办事效率。
[0007] 技术方案：
[0008] 本发明是通过以下技术方案实现的：
[0009] 面向智能终端的车辆信息采集识别方法，该方法的步骤如下：
[0010] 步骤一：对采集的车辆图像进行调整；
[0011] 步骤二：对步骤一获取的图像运用SSD目标检测算法进行车牌初步定位；
[0012] 步骤三：对定位后的图像进行投影变换和旋转校正，得到水平车牌；
[0013] 步骤四：对水平车牌进行精确定位，之后对车牌图像字符分割，再进行字符识别；
[0014] 步骤五：得到最终的车牌识别结果。
[0015] 步骤二具体包括以下步骤：
[0016] 步骤A：对采集到的图像根据车牌位置设置经验区域，减小数据大小；
[0017] 步骤B：对处理后的图像采用SSD算法进行车牌检测，SSD算法网络结构分为两个部分，前端进行压缩数据，后端进行特征提取，引入多尺度卷积层得到不同尺寸的特征图，检测多尺度车牌。
[0018] 步骤四具体步骤如下：
[0021] 步骤c：字符块识别：采用特定算法对字符块进行直方图均衡化，然后送入CNN神经网络，做65种的字符分类。
[0022] 面向智能终端的车辆信息采集识别系统，包括智能终端子系统和服务器端子系统，智能终端子系统和服务器端子系统通过网络传输数据；
[0023] 智能终端子系统包括数据采集模块、车牌识别模块、GPS定位模块、数据传输接收模块；
[0024] 数据采集模块，用于采集车辆图像和拍摄时间；
[0025] 车牌识别模块，用于对采集的车辆图像进行车牌识别，识别车牌号码；
[0026] GPS定位模块，用于对车辆进行定位；
[0027] 数据传输接收模块，用于将智能终端子系统采集的车辆信息传输到服务器端子系统以及接收服务器端子系统的传送的信息；用于发送和接收车主手机信息；用于向服务器端子系统发送查询信息和接收查询结果。
[0028] 服务器端子系统包括信息接收模块、数据库模块，信息处理模块和信息传送模块；
[0029] 信息接收模块，用于接收存储智能终端子系统上传的车辆信息，接收对应车辆的车主反馈的信息，接收信息处理人员对异常信息的处理结果，接收智能终端子系统的查询信息；
[0030] 数据库模块，用于存储智能终端子系统上传的采集车辆信息以及交警备案车辆信息；
[0031] 信息处理模块，用于将智能终端子系统传递的车牌识别信息与数据库模块中的车辆车主信息进行配对，找出与车牌识别信息对应的车辆车主信息；用于处理异常提示信息；用于将信息处理人员处理后的信息更新数据库模块内的信息；
[0032] 信息传送模块，用于将信息通过短信形式发给对应车辆的车主，将智能终端子系统查询的信息传送给智能终端子系统。
[0033] 所述的车牌识别模块包括车牌经验区域设置模块、车牌定位模块、车牌校正模块和车牌号码识别模块；
[0034] 车牌经验区域设置模块，用于对采集的原始车辆图像进行分辨率调整和裁剪；
[0035] 车牌定位模块，用于采用SSD目标检测算法进行车牌初步定位；
[0036] 车牌校正模块，用于对定位后的车牌进行投影变换和旋转校正，得到水平车牌；
[0037] 车牌号码识别模块，用于对水平车牌进行车牌图像字符分割，再进行字符识别，获取目标车牌信息。
[0038] 车牌经验区域设置模块包括：
[0039] 图像分辨率调整单元，用于对获取图像的分辨率进行调整；
[0040] 图像裁剪单元，用于原始车辆图像进行裁剪。
[0041] 车牌定位模块包括：
[0042] 车牌位置提取单元，对裁剪后的车辆图像进行SSD目标检测算法，先进行压缩数据，再引入卷积层得到不同尺寸的特征图，最后后端进行特征提取，得到车牌图像与位置信息。
[0043] 车牌校正模块包括：
[0044] 车牌校正单元：对定位后的图像进行投影变换和旋转校正。
[0045] 车牌号码识别模块包括：
[0046] 车牌去像素单元，用于去除车牌图像中多余的像素块；
[0047] 车牌字符分割单元，采用自适应临界阈值，分离出对比度较大的字符区域，找到二值图像所有的轮廓，用矩形框圈出所有的轮廓，再通过宽高比，面积筛选出符合字符特征的区域；
[0048] 车牌字符识别单元，用于采用特定算法对字符块进行直方图均衡化，然后送入CNN神经网络，做65种的字符分类，识别出各个车牌字符。
[0049] 优点和效果：
[0050] 将本发明的算法移植智能终端中，在智能终端子系统完成车辆信息采集的工作，该系统识别速度快，识别精度高，实现多角度车牌定位，一百张现实场景图像正确率为98％，平均检测速度为445毫秒。
[0051] 通过对SSD算法的修改，系统提升计算速度，实现系统的实时性，其中训练参数为4千2百万，缩小为原有的vgg16网络训练参数的30倍，缩小了计算代价为5亿6千9百万，比原有缩小了的27倍，但在精度上并没有损失太多。为增加系统的检测效果，采取迁移学习策略，人工添加多角度数据，使系统具备一定的泛化能力，可以识别多角度的车辆数据，[0052] 此系统节省了人力与物力，信息采集人员可以随时随地采集数据，只要在智能终端安装本系统，使采集数据变得方便快捷，采集后可以上传服务器，采集人员对采集后的数据无权在此处理，同步处理方式，即采集，识别，上传，通知，都一次完成，使管理工作更加高效。附图说明
[0053] 图1为面向智能终端的车辆信息采集识别方法流程图；
[0054] 图2为智能终端子系统识别结果显示图；
[0055] 图3为步骤二中SSD算法的先验框示意图；
[0056] 图4为步骤二中SSD算法的8×8特征图；
[0057] 图5为步骤二中SSD算法的4×4特征图；
[0058] 图6多角度车牌检测结果图；
[0059] 图7为SSD算法网络结构图；
[0060] 图8为传统卷积结构图；
[0061] 图9为深度卷积结构图；
[0062] 图10为点卷积结构图；
[0063] 图11为临域自适应阈值字符分割图；
[0064] 图12为车牌识别结果图；
[0065] 图13为面向智能终端的车牌信息采集系统的架构图；
[0066] 图14为本发明的车辆信息采集系统的流程图；
[0067] 图15为识车牌识别模块的原理框图；
[0068] 图16为智能终端子系统的信息查询流程图；
[0069] 图17为地图GPS参数选择图。
具体实施方式
[0070] 本发明是解决信息采集人员采集车辆信息需要人工进行大量操作，例如交警手动书写违规停车单或者是采集违规停车的数据难的问题，本方法可以完成手动拍摄违规停车图像、定位车牌、识别车牌、显示违规停放车辆信息。本系统可以作为智能终端的APP方便信息采集人员进行信息采集工作。
[0071] 在计算机的计算效率快速提高的时代里，深度学习在图像分类和目标检测的表现十分出色。本方法就采用深度学习的方法；其中车牌检测采用SSD目标检测算法，由于在压缩特征图的前端网络发生了变化，原VGG网络变为mobile-net网络，根本的变化是将传统卷积方式变为了深度可分离卷积，减少了卷积运算的时间，从而加快目标提取的时间。
[0072] 对于深度学习训练：车牌检测数据集中包含1680图像，其中1500张作为训练集，180张作为测试集训练阶段，在VOC数据集上预训练20万次的模型上进行迁移学习，车牌检测数据集做20万次训练。
[0074] 可以定位多角度的车牌，车牌号码识别精确、速度快。本发明涉及的智能终端可以是现有的智能手机、平板或者其他带有拍照功能的便携式智能终端。
[0075] 下面结合附图对本发明进行具体说明：
[0076] 如图1所示，面向智能终端的车辆信息采集识别方法，该方法的步骤如下：
[0077] 步骤一：对采集的车辆图像进行调整；
[0078] 步骤二：对步骤一获取的图像运用SSD目标检测算法进行车牌初步定位；
[0079] 步骤三：对定位后的图像进行投影变换和旋转校正，得到水平车牌；
[0080] 步骤四：对水平车牌进行精确定位，去除多余像素块，之后对车牌图像字符分割，再进行字符识别；
[0081] 步骤五：得到最终的车牌识别结果；最终智能终端显示结果为图2所示。
[0082] 步骤一中对采集的车辆图像进行调整主要是变化输入图像的大小，对图像进行裁剪和分辨率的调整。
[0083] 其中，步骤二具体包括以下步骤：
[0084] 步骤A：对采集到的图像根据车牌位置设置经验区域，减小数据大小；
[0085] 步骤B：对处理后的图像采用深度学习SSD算法进行，SSD算法采用网络结构，SSD算法网络结构分为两个部分，前端进行压缩数据，后端进行特征提取，引入多尺度卷积层得到不同尺寸的特征图，检测多尺度车牌。
[0086] 步骤二中的SSD借鉴了Faster R-CNN中anchor的理念，每个单元设置尺度或者长宽比不同的先验框，预测的边界框(bounding boxes)是以这些先验框为基准的，在一定程度上减少训练难度。一般情况下，每个单元会设置多个先验框，其尺度和长宽比存在差异，如图3、图4和图5所示，可以看到每个单元使用了4个不同的先验框，算法结果如图6所示。SSD算法采用网络结构如图7所示，网络分为两个部分：采用标准卷积的VGG前端网络作为SSD目标检测算法的前端网络，目的为压缩特征。后端为提取特征网络，加入卷积特征层、得到不同尺度的特征图、从而实现多尺度目标检测。
[0087] 算法将移植在嵌入式端，所以传统VGG网络达不到实时性的要求，于是将VGG网络的替换为Mobile-net(v1)。
[0088] Mobile-Net的核心思想是通过采用深度可分离卷积与逐点分组卷积组合的方式对原来我们熟知的标准卷积核进行巧妙分解，卷积方式如图8、图9和图10所示，使得该网络权值参数减少，相较于标准卷积操作计算量减少，从而在达到在精度降低可允许的范围内提升网络运算速度的目的。
[0089] 深度可分解的卷积，它可以将标准卷积分解成一个深度卷积和一个点卷积(1×1卷积核)。深度卷积将每个卷积核应用到每一个通道，而1×1卷积用来组合通道卷积的输出。
[0090] 图9和图10是基于标准卷积滤波器改进的Mobile-Net卷积滤波器模型假设输入的特征映射F的尺寸为采用的标准卷积K为(DK,DK,M,N)，对应标准卷积的计算量为：DK×M×N×DF×DF；其中，M为输入的通道数，N为输出的通道数。
[0091] 但如将标准卷积(DK,DK,M,N)拆分为深度卷积和逐点卷积：深度卷积负责滤波作用，尺寸为(DK,DK,1,M)；逐点卷积负责转换通道，尺寸为(1,1,M,N)。
[0092] 深度卷积的计算量为Dk·Dk·M·DF，逐点卷积计算量M·N·DF·DF，所以用深度卷积和逐点卷积代替传统卷积的总计算量：Dk·Dk·M·DF+M·N·DF·DF。
[0093] 对比两种网络的计算量，我们可以看出，Mobile-Net由于对标准卷积的分解可以显著减少计算量，其对比计算公式如下：
[0094]
[0096] 步骤三中的对定位后的图像进行投影变换和旋转校正：
[0097] 投影变换模型可以通过下面的双线性方程来建模：
[0098] x1＝s(x0,y0)＝c1x0+c2y0+c3x0y0+c4 (2)
[0099] y1＝t(x0,y0)＝c5x0+c6y0+c7x0y0+c8 (3)
[0100] 其中x1和y1是原图中的每一个像素坐标点，x0和y0是新图中变换后的图像的与原图对应的坐标点。通过映射关系s(x0,y0)和t(x0,y0)，从而完成投影变换。总共需要解算8个参数(c1,c2......c8)。为此，必须至少知道原图中的4个点；在SSD算法中得到四个坐标点，c1,c2......c8分别代表了公式2和公式3中的方程系数；
[0101] 其中，c值的函数式：
[0102]
[0103]
[0104] 步骤四具体步骤如下：
[0105] 步骤a：去除校正后车牌图像中多余的像素块，得到精确定位车牌位置；
[0106] 步骤b：再将车牌图像分割成待识别的字符块：采用临域自适应阈值，寻找出字符的轮廓，利用函数得到最小外接矩形把轮廓圈出；
[0107] 由于是求取多组阈值下的最小外接矩形轮廓，应该选出最佳匹配的位置区域。做法是先将多组矩形区域的中心点求取平均，再用每组的中心点与平均的中心点的距离作比较，找到用与平均中心点最小距离的中心点，将这个中心点的矩形框作为最终的输出，得到字符块的边界坐标；
[0108] 由于车牌背景不均匀，目标体经常表现为比背景局部亮一些或暗一些，无法确定全局阈值操作，需要通过其邻域找到一个合适的阈值进行分割，采用邻界11×11的计算核，多次自适应阈值，阈值参数C取值范围为(-26,20)步长为2；
[0109] 其中，Opencv中自适应阈值函数：
[0110] adaptiveThreshold(src,dst,maxValue,adaptiveMethod,thresholdType,blockSize,C)；
[0111] 参数说明：
[0112] src-表示源(输入)图像；dst-表示目标(输出)图像；maxval-一个double类型的变量，表示像素值上限；adaptiveMethod-表示要使用的自适应方法的类型的整数变量，它可以是以下两个值之一；ADAPTIVE_THRESH_MEAN_C-阈值是邻域的平均值；ADAPTIVE_THRESH_GAUSSIAN_C-阈值是权重是高斯窗口的邻域值的加权和；thresholdType-表示要使用的阈值类型(正，反)；blockSize-表示用于计算阈值的像素邻域的大小；C-常量(从平均值或加权平均值中减去)的double类型变量。
[0113] 本发明中阈值方法取ADAPTIVE_THRESH_MEAN_C，即领域平均值阈值。
[0114] blockSize大小取11(N×N)，C取值范围(-26,20)。
[0115] 数学公式表达：
[0116] 1.求出领域内灰度平均值为avr_gray.然后减去C，构成参考比较的平均值avr_newgray；
[0117]
[0118] avr_newgray＝avr_gray-C (7)
[0119] 2.领域内每个像素点与avr_newgray作比较，大于则阈值输出255，否则输出0。
[0120]
[0121] 不同C值得输出结果如图11所示。
[0122] 步骤c：字符块识别：采用equalizeHist算法对字符块进行直方图均衡化，然后送入CNN神经网络，做65种的字符分类。
[0124] 网络输入为32*14；
[0125] 第一层采用3×3的卷积，输出32张特征图，relu激活函数层，2×2的最大池化层，步长为2。
[0126] 第二层采用3×3的卷积，输出64张特征图，relu激活函数，2×2的最大池化层，步长为2。
[0127] 第三层采用2×2的卷积，输出128张特征图，relu激活函数。
[0128] 再通过两层全连接层，依次输出256个神经元和65个神经元，最终完成字符的65分类。
[0129] 车牌字符分类集，其中包含65种，汉字为31类，英语字符为24类，数字10个。进行分类训练，得到最终车牌字符分类模型。
[0130] 识别结果与时间如图12所示。字符识别准确率为98％。
[0131] 如图13所示，面向智能终端的车辆信息采集识别系统，包括智能终端子系统和服务器端子系统，智能终端子系统和服务器端子系统通过网络传输数据；
[0132] 智能终端子系统包括数据采集模块、车牌识别模块、GPS定位模块、数据传输接收模块；数据采集模块，用于采集车辆图像和拍摄时间；
[0133] 其中，拍摄时间来源智能终端子系统的系统时间，
[0134] 车牌识别模块，用于对采集的车辆图像进行车牌识别，识别车牌号码；
[0135] GPS定位模块，用于对车辆进行定位；
[0136] 数据传输接收模块，用于将智能终端子系统采集的车辆信息传输到服务器端子系统以及接收服务器端子系统的传送的信息，用于发送和接收车主手机信息；用于向服务器端子系统发送查询信息和接收查询结果。
[0137] 数据采集模块将车辆信息传递给车牌识别模块，车牌识别模块识别车辆图像中的车牌号码，再将车牌识别出的车牌号码和GPS定位以及原始的车辆图像和采集时间通过数据传输接收模块传送到服务器端子系统。
[0138] 服务器端子系统包括信息接收模块、数据库模块，信息处理模块和信息传送模块；
[0139] 信息接收模块，用于接收存储智能终端子系统上传的车辆信息，接收对应车辆的车主反馈的信息，接收信息处理人员对异常信息的处理结果，接收智能终端子系统的查询信息；
[0140] 数据库模块，用于存储智能终端子系统上传的采集车辆信息以及交警备案车辆信息；
[0141] 信息处理模块，用于将智能终端子系统传递的车牌识别信息与数据库模块中的车辆车主信息进行配对，找出与车牌识别信息对应的车辆车主信息；用于处理异常提示信息；用于将信息处理人员处理后的信息更新数据库模块内的信息；
[0142] 信息传送模块，用于将信息通过短信形式发给对应车辆的车主，将智能终端子系统查询的信息传送给智能终端子系统。
[0143] 其中，用于处理异常提示信息的情况包括1.车主对判定结果有异议，则将反馈信息发送回服务器端子系统；2.车辆信息与数据库模块中交警备案信息表中的的车辆信息不匹配则服务器端子系统进行异常提示；3.智能终端子系统中车牌识别正确，车辆信息与数据库中信息匹配成功，但是此车牌号下为两车辆。
[0144] 其中，数据库模块，内部包含两张表，分别是存储采集车辆信息表和交警备案信息表；存储采集车辆信息表包括采集的车辆图像，车牌号码，采集时间，采集车辆所在位置；交警备案信息表包含车辆图像，车辆车牌号码，车主姓名，性别，车主联系方式等。
[0145] 智能终端子系统传递的车牌识别信息与数据库模块中的车辆车主信息进行配对，就是将存储采集车辆信息表和交警备案信息表进行配对，配对成功，则得到车主联系方式，配对不成功，则进行异常提示。
[0146] 服务器端子系统的信息接收模块接收智能终端子系统上传的车辆信息，信息接收模块将采集车辆信息存储在数据库模块的存储采集车辆信息表中，信息处理模块将数据库模块中的存储采集车辆信息表中的采集车牌号码与数据库模块中的交警备案信息表中的车牌号进行配对查找，找到对应的车主信息，将车主信息发送到信息传送模块，信息传送模块将车辆信息发给车主，车主对车辆信息进行判定：如果车主对判定结果没有异议，规定的时间内无反馈信息表示，则更新数据库模块信息；如果车主对判定结果有异议，则将反馈信息发送回服务器端子系统，服务器端子系统的信息接收模块接收车主反馈信息，信息接收模块传递给信息处理模块，信息处理模块传送到信息传送模块，信息传送模块发送给信息处理人员，信息处理人员再将从新核实的数据，反馈结果，发送最终信息到服务器端子系统，并将最终信息发送给车主，服务器端子系统的数据库模块更新数据库，最后流程结束。
[0147] 如果车辆信息与数据库模块中交警备案信息表中的的车辆信息不匹配则服务器端子系统进行异常提示，并将信息发送给信息处理人员对异常数据处理，信息处理人员通过原始的车辆信息进行人工处理异常数据，信息不一致则标记该信息，传回服务器子系统，更新数据库模块的对应信息；信息一致则重新核实采集的数据，服务器端子系统重新判定反馈结果，符合采集原因则发送最终信息给车主并更新数据库，不符合采集原因则发送最终信息给车主并更新数据库。
[0148] 如图14所示，整个系统的信息采集流程，具体步骤是：
[0149] 智能终端子系统进行车辆信息采集，在智能终端子系统显示车辆相关信息及采集原因，智能终端子系统将车辆信息传输至服务器端子系统，服务器端子系统将车辆信息与数据库信息配对，如果配对成功得到车主的联系方式，发送车辆信息给车主，车主对信息进行判断，认为没有错误，规定的时间内无反馈信息表示，则服务器端子系统更新数据库；如果车辆信息与数据库信息配对不成功，则进行异常提示，服务器端子系统提醒信息处理人员对异常数据处理，进行人工处理异常数据，再传送回服务器端子系统，服务器端子系统通过车牌号在数据库查询车辆信息是否一致，结果正确则重新核实采集数据，对反馈结果判断正确与否并发送最终信息给车主，更新数据库；如果服务器端子系统通过车牌号在数据库查询车辆信息不正确则标记信息，更新数据库；
[0150] 如果车主认为信息判断有误，则将信息反馈回服务器端子系统，服务器端子系统生成异常提示，信息处理人员对异常数据处理，并进行人工处理异常数据，对异常处理后返回服务器端子系统，并更新数据库。
[0151] 其中，此时异常处理中有以下几种情况，
[0152] (1)智能终端子系统中车牌识别正确，但服务器端子系统数据库中无此车辆信息，为需要标记的数据。
[0153] (2)智能终端子系统中车牌识别正确，车辆信息与数据库中信息匹配成功，但是此车牌号下为两车辆，此信息为需要标记的数据，与(1)相似。
[0154] (3)智能终端子系统中车牌识别正确，车辆信息与数据库中信息匹配成功，车主对此采集原因不认同，为疑问信息。
[0155] 信息处理人员对异常信息处理，简单分为三种；车辆信息不匹配，需要标记数据，采集错误数据，首先对车牌进行人工识别，通过正确的车牌号码在服务器端子系统数据库中对车辆信息查询，查看车辆是否一致，不一致数据包括，数据库无此车辆信息、数据库交警备案车辆信息与采集车辆信息不符合，信息处理人员标记此数据，并更新数据库；数据一致情况下，即为反馈操作，信息处理人员对采集信息重新鉴定，根据原车辆相关信息(车辆图像，车辆位置信息，车辆采集时间，)重新鉴定，将结果发送给车主并更新数据库。
[0156] 针对车牌识别模块：
[0157] 如图15所示，所述的车牌识别模块包括车牌经验区域设置模块、车牌定位模块、车牌校正模块和车牌号码识别模块；
[0158] 车牌经验区域设置模块，用于对采集的原始车辆图像进行分辨率调整和裁剪；
[0159] 车牌定位模块，用于采用SSD目标检测算法进行车牌初步定位；
[0160] 车牌校正模块，用于对定位后的车牌进行投影变换和旋转校正，得到水平车牌；
[0161] 车牌号码识别模块，用于对水平车牌进行车牌图像字符分割，再进行字符识别，获取目标车牌信息。
[0162] 其中，车牌经验区域设置模块包括：
[0163] 图像分辨率调整单元，用于对获取图像的分辨率进行调整；
[0164] 图像裁剪单元，用于原始车辆图像进行裁剪。
[0165] 车牌定位模块包括：
[0166] 车牌位置提取单元，对裁剪后的车辆图像进行SSD目标检测算法，先进行压缩数据，再引入卷积层得到不同尺寸的特征图，最后后端进行特征提取，得到车牌图像与位置信息。
[0167] 车牌校正模块包括：
[0168] 车牌校正单元：对定位后的图像进行投影变换和旋转校正。
[0169] 车牌号码识别模块包括：
[0170] 车牌去像素单元，用于去除车牌图像中多余的像素块；
[0171] 车牌字符分割单元，采用自适应临界阈值，分离出对比度较大的字符区域，找到二值图像所有的轮廓，用矩形框圈出所有的轮廓，再通过宽高比，面积筛选出符合字符特征的区域；
[0172] 将去除多余的像素块的车牌图像调整至宽136像素、高36像素大小。采用临域自适应阙值，完成字符区域的筛选，找到二值图像字符的轮廓，用最小外接矩形框出每一个字符，通过特征筛选，特定的宽和高，高与宽的比例，筛选出符合字符特征的矩形框，只筛选出除了中文字符以外的六个字符。中文字符后续处理，给矩形框按照从左至右的排序，记录好矩形框坐标、大小参数。
[0173] 中文字符的分割，由于中文字符形态多样化，如字符“川”、“晋”等，局部区域分离较大，容易分割成三个竖线，或“晋”上下分家，变成2个字符或3个字符，此时解决办法是对中文字符区域采用纵向膨胀和横向膨胀，使字符连接完整，再去求取轮廓和矩形框，筛选出中文字符区域。
[0174] 将7个字符区域从左至右排列组合完毕，完成字符的分割。
[0175] 车牌字符识别单元，用于采用特定算法对字符块进行直方图均衡化，然后送入CNN神经网络，做65种的字符分类，识别出各个车牌字符。特定算法采用equalizeHist函数对字符块进行直方图均衡化。
[0176] 如图16所示，智能终端子系统的信息查询流程图：
[0177] 信息采集人员点开智能终端子系统中的APP，开始进行查询；
[0178] 首先，输入查询条件，查询条件可以是：车牌号码，时间，位置等；
[0179] 然后，将查询条件输入，智能终端子系统将查询条件上传至服务器端子系统，服务器端子系统对信息进行筛选，再将匹配信息输出，信息回传至智能手机端子系统，智能手机端子系统将最终信息显示；
[0180] 最后，查询流程结束。
[0181] 如图14所示，智能终端选取智能手机为例：
[0182] 将本发明的智能识别系统嵌入到智能手机中，具体使用步骤如下：
[0183] S1、信息采集人员通过智能手机采集待采集的数据，并识别车牌号码；
[0184] S2、智能手机端通过GPS定位，得到拍摄位置；
[0185] S3、将采集的数据(包括车辆图像，位置信息，车牌号码，拍摄时间，采集原因)传输到服务器端子系统；
[0186] S4、服务器端子系统通过车牌号码，得到车主联系方式，并发送采集到的车辆信息；
[0187] S5、车主收到信息后，如果车主对此信息无异议，表示接受次的车辆信息，服务器端子系统更新数据库；
[0188] S6、如果车主对此信息异议，可以通过反馈方式提出异议，收到反馈后，服务器端子系统产生异常提示将车主异议信息发给信息处理人员，信息处理人员对异常数据处理，进行人工处理异常数据，对异常处理后返回服务器端子系统，并更新数据库；
[0189] 如果步骤S5中车辆信息与数据库信息配对不成功，则进行异常提示，服务器端子系统提醒信息处理人员对异常数据处理，进行人工处理异常数据，再传送回服务器端子系统，服务器端子系统通过车牌号在数据库查询车辆信息是否一致，结果正确则重新核实采集数据，对反馈结果判断正确与否并发送最终信息给车主，更新数据库；如果服务器端子系统通过车牌号在数据库查询车辆信息不正确则标记信息，更新数据库。
[0190] S7、对反馈结果发送给车主；
[0191] S8、流程结束。
[0192] 步骤S1中识别车牌号码的具体过程采用本发明的面向智能终端的车辆信息采集识别方法，先对采集的车辆图像进行调整，再运用SSD目标检测算法进行车牌初步定位，对定位后的图像进行投影变换和旋转校正，得到水平车牌，对水平车牌进行精确定位，之后对车牌图像字符分割，再进行字符识别，得到最终的车牌识别结果。
[0193] 经过车牌识别，得到车牌号码，已经完成车辆图像采集，将车牌号码，记录在手机端数据库。
[0194] 步骤S2中的智能手机端通过GPS定位与时钟功能，将车辆的位置信息记录在手机端的数据库，可以做到精确定位功能，如图17所示为地图GPS参数选择图；
[0195] 其中，
[0196] 低功耗模式：
[0197] GPS关闭、网络打开：得到全部数据；
[0198] GPS打开、网络打开：GPS出现过一次，其他均为网络定位。
[0199] 仅设备模式：
[0200] GPS关闭、网络关闭：无数据；
[0201] GPS关闭、网络打开：大多数无数据；偶尔会采用网络定位，得到全部数据；
[0202] GPS打开、网络打开：大多数使用GPS定位，偶尔会用网络定位，均能得到全部数据；
[0203] GPS打开、网络关闭：只使用GPS定位，有经纬度数据，无地址数据。
[0204] 高精度定位模式：
[0205] GPS打开、网络打开：有卫星时会采用GPS，无卫星时会用网络；
[0206] 定位周期；例如该项设置为2000毫秒。代表2000毫秒重新定位一次；
[0207] 网络超时；例如该项设置为30000毫秒，代表30000毫秒代表数据网不可用；
[0208] 单次定位；仅做一次定位；
[0209] GPS优先；GPS和网络同时存在时选择GPS；
[0211] 开启缓存；记录位置信息；
[0212] 提高首次定位精度；提高第一次定位的精度；
[0214] 步骤S3具体是将车牌号码与车辆图像，停放位置信息与时间信息压缩打包，传输至服务器端子系统，在服务器端子系统将数据解压，此目的为减少数据传输流量，节省传输时间，节约时间成本。
[0215] 服务器接收到数据后，对数据解压，通过车牌号码作为此数据主键，重新存储在服务器端子系统数据库中。
[0216] 步骤S4通过车牌号码，得到车主联系方式，通过短信的形式通知车主，地点、车辆信息采集时间、车牌号码，采集车辆信息原因，告知反馈操作方式。
[0217] 步骤S5如果车主对此信息无异议，表示接受自己的被采集车辆信息原因的，该车辆信息将录入服务器端子系统的数据库。
[0218] 步骤S6如果车主对此信息异议，可以给以反馈方式，收到反馈后，服务器端子系统提醒信息处理人员，信息处理人员人工处理异常数据，对数据重新核实，以服务器端子系统存储的数据库中的GPS和图像信息作为依据，如果确定原结果，通知车主原判定结果正确，将此车辆信息传输至服务器端子系统的数据库，更新数据库；如果否定原数据，将反馈结果反馈给车主，并更新数据库，流程结束。
[0219] 该智能系统的APP可以采集车辆信息，系统可以快速检测车辆的车牌，并精确识别出号码，显示结果。系统在完成整个流程的平均时间为445毫秒，完全可以做到实时性，字符识别精度为98％，该系统将辅助信息采集人员完成数据采集，大大提升了工作效率。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于图像自学习的车辆排队消散时间预测方法 | 2020-08-19 | 0 |
| 一种管道采用开挖槽埋管施工方法 | 2020-10-20 | 0 |
| 一种市政道路的高清监控系统 | 2021-03-13 | 0 |
| 一种基于车载摄像机组的无人机起降监控方法及系统 | 2023-02-04 | 2 |
| 双摄双握自拍杆 | 2020-05-31 | 0 |
| 移动终端应用程序消息通知图标设置方法和装置 | 2021-03-15 | 0 |
| 自然场景中的车标识别方法 | 2020-06-05 | 1 |
| 一种手机随身拍 | 2021-01-02 | 0 |
| 一种基于互联网自助过磅装置 | 2021-09-11 | 0 |
| 电子设备 | 2020-11-28 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈