技术领域
[0001] 本
发明属于
人工智能、图像识别技术领域，具体的说是涉及一种基于图像识别的高位视频智能停车系统，更具体的说是涉及基于图像的车位停车状态检测技术、车牌识别技术、车辆
跟踪技术，同时也包括图像的采集方法。
背景技术
[0002] 目前存在的高位视频智能停车系统方案包括采用基于
传感器与视频/图像相结合的方式，或基于纯视频的图像识别方式。如果采用传感器与视频图像相结合的处理方式，设备成本较高；目前的基于纯视频的图像识别方式主要需解决车牌被遮挡情况下的车牌识别问题。目前的基于纯视频的高位视频智能停车系统一般是根据车辆轨迹跟踪，判断车辆是否有停车的趋势，如果车辆存在减速(或停车趋势)，则触发相应的摄像机抓拍预置位的图像，进一步的进行车辆检测、车牌识别等
算法处理。目前的基于纯视频的高位视频智能停车系统算法相对复杂，识别
精度相对较低，而且一般依赖于并行计算单元(例如GPU)，成本也较高。
发明内容
[0003] 本发明的目的是通过基于纯视频/图像的识别技术实现前端无人值守的高位视频智能停车系统。本发明不依赖于实时的车辆跟踪，通过对周期性的摄像机抓拍图像进行图像识别处理，包括车位状态检测(车辆检测与虚拟车位IOU计算)、车牌识别、车牌遮挡情况下的车辆前向/反向跟踪等技术方式实现停车状态、停车车辆的车牌识别、停车时间统计、停车是否规范等功能。本发明的图像识别运行于杆塔上的嵌入式设备上，不需要GPU等并行资源，依赖于相应的图像识别算法，实现低成本、低功耗、高精度的高位视频智能停车系统。
[0004] 为实现上述目的，本发明采用如下技术方案：
[0005] 基于图像识别的高位视频智能停车系统，包括图像定时采集模
块、车辆检测模块、车位状态监测模块、车牌识别模块和车辆跟踪模块；
[0006] 所述图像定时采集模块用于定时获取摄像机的图像并进行存储；
[0007] 所述车辆检测模块用于根据获取的图像，实时进行车辆检测并输出车辆检测结果到车位状态监测模块；
[0008] 所述车位状态监测模块用于根据车辆检测结果及虚拟车位信息，对车位状态进行实时监测，所述虚拟车位信息为通过对车位区域进行标注后生成虚拟车位区域并存储在
服务器中，所述对车位状态监测的具体方法为：根据车辆检测结果与虚拟车位信息进行重叠率计算，经过重叠率与预设的
门限进行比较，根据比较结果判断车位状态；
[0009] 所述车牌识别模块用于根据获取的图像进行车牌识别，包括车牌检测单元、车牌倾斜估算和矫正单元、车牌字符识别单元；所述车牌检测单元为采用
卷积神经网络进行特征提取，然后通过分类判断获取的图片是否包含车牌，若是，则进入车牌倾斜估算和矫正单元进行处理，否则车牌识别失败，触发车辆跟踪模块；所述车牌倾斜估算和矫正单元基于车牌检测单元提取的特征，进行回归计算获得车牌倾斜相关参数，并用于进行矫正获得正向车牌图片；所述车牌识别单元根据获得的正向车牌图片，采用
深度学习的方法进行特征提取并转换获得输出字符串分类，通过CTC算法对字符串分类进行处理获得车牌识别结果，将车牌识别结果输出；
[0010] 车辆跟踪模块用于在车牌识别失败后对车辆进行轨迹跟踪，具体为对当前车牌识别失败的图片进行
位置标记，在存储的图片中，以标记的位置为中心进行车辆轨迹跟踪，分别对车辆驶入过程和车辆驶出过程进行跟踪，从车辆驶入过程和车辆驶出过程中选择图片再次进入车牌检测单元进行车牌检测，若仍然车牌识别失败，则结束车牌识别并将结果上传。
[0011] 本发明的有益效果为：
[0012] (1)高精度：本发明涉及的车辆检测、车牌识别、车辆跟踪几乎都推荐使用基于深度学习的方法实现，并且充分考虑到了车牌被遮挡的情况，并以驶入过程跟踪识别、驶出过程跟踪识别等方式最大化提升了系统的识别准确率；
[0013] (2)低功耗：本发明设计的相关图像算法不依赖于实时的车辆跟踪与实时的车辆检测等技术，而是采用定时抓拍图像并识别的方法来实现，并且只有在未识别到车牌的情况下才启用车辆跟踪技术，因此涉及的图像识别设备不需要配置并行计算单元(例如GPU)，具有低功耗的特点。
[0014] (3)低成本：因本发明涉及的图像设备不依赖于GPU，因此在
硬件成本方面相对较低。
附图说明
[0015] 图1为本发明的识别过程示意图；
[0016] 图2为本发明的图像识别设备布置示意图。
具体实施方式
[0017] 下面对本发明进行进一步详细说明，同时对系统的部署与实施安装方式进行简要介绍。
[0018] 本发明采用通过定时摄像机抓拍车位附近图像，并通过车位状态检测、倾斜车牌识别、车辆跟踪(前向和反向)等技术方法实现高位视频智能停车系统。
[0019] 图像定时采集模块可由图像识别设备进行实现，用于定时捕捉摄像机的图像，并进行存储。图像拍摄的时间间隔设置为N秒，可根据系统实时性要求进行调整，例如设置N＝1。
[0020] 车辆检测模块采用基于随机相干混合的增强预处理算法、基于卷积神经网络的目标检测算法来实现。
[0021] 其中基于随机相干混合的增强预处理算法可以增加车辆检测算法的模型泛化能
力。具体实现步骤为：
[0022] (1)定义相干混合预处理算法的影响因子；本发明定义的影响因子包括：目标框几何尺寸缩放因子、相干融合系数、
色度变换系数、
饱和度变换系数、
亮度变换系数，并对影响因子进行随机化生成。生成方法如下：目标框几何尺寸缩放因子为[1/a,a]范围(a为常数，例如a＝4)的均匀分布随机数，相干融合系数为(0,1)范围的均匀分布随机数，色度变换系数为[-18,18]范围内的均匀分布随机数，饱和度变换系数和亮度变换系数为(0,2/3)范围内的均匀分布随机数
[0023] (2)对车辆目标区域图像进行样本增强，方法为一次对车辆区域图像进行
颜色空间变化(色度、饱和度、亮度)、车辆区域图像几何尺寸缩放。具体实施步骤为：先将车辆目标区域图像由RGB格式转换为HSV格式，然后对色度通道(hue)进行随机更新，更新公式为：
[0024] h_new＝h_old+delta_h_rand
[0025] 其中h_old为更新之前的色度通道，delta_h_rand为色度变换系数，h_new为更新之后的色度通道。经过色度更新变换之后的图像再经过饱和度和亮度的更新，更新公式分别为：
[0026] satuation_new＝satuation_old*delta_sat_rand
[0027] exposure_new＝exposure_old*delta_exp_rand
[0028] 其中satuation_old，exposure_old分别为更新之前的车辆目标区域图像饱和度和图像亮度，delta_sat_rand，delta_exp_rand分别为随机饱和度变换系数和随机亮度变换系数，satuation_new，exposure_new分别为更新之后的车辆目标区域图像饱和度和图像亮度；
[0029] 最后将经过图像颜色空间变换(色度、饱和度、亮度)变换只有的图像由HSV格式转换为RGB格式
[0030] (3)将增强后的车辆目标区域图像与所有其他样本图像进行随机相干混合。具体实施方式如下：首先对增强后的车辆目标区域图像进行随机尺度变换，即根据步骤(1)中的目标框几何尺寸缩放因子对增强后的车辆目标区域图像进行图像大小缩放，得到随机缩放后的车辆目标区域图像Resize_Image。最后将Resize_Image与所有样本图像集中的图像进行随机相干融合，公式如下:
[0031] Image_New＝α*Image_Old+(1-α)*Resize_Image
[0032] 其中α为随机相干融合系数。
[0033] 基于卷积神经网络的目标检测算法的作用在于对图像中是否存在车辆、车辆的矩形位置区域进行检测，本发明中的基于卷积神经网络的目标检测算法包括一阶段目标检测算法(例如YOLO、SSD)，两阶段目标检测算法(FasterRCNN、RFCN)等。基于卷积神经网络的目标检测算法与基于随机相干混合的增强预处理算法相结合可以提升算法模型的泛化能力(在实际的车辆检测应用过程获得更高的检测精度)。
[0034] 车位状态检测需要依赖于车辆检测结果和虚拟车位信息，虚拟车位可通过人工标注坐标区域的方式生成，并存储在图像识别服务器或后端服务器中。车位状态检测是根据车辆检测结果(车辆的位置和区域信息)与虚拟车位信息进行重叠率计算(IOU计算)；如果重叠率超过一定门限thresh_1,则认为车位被占用，如果重叠率低于此门限，则认为车位为空闲状态。车辆与车位重叠率(IOU)的计算公式为：
[0035]
[0036] 车牌识别分为车牌检测、车牌倾斜估算和矫正、车牌字符识别几个阶段，如图1所示：
[0037] 车牌检测和车牌倾斜参数估算可以利用同一个卷积神经网络(CNN)来提取特征，然后进行分类(是否为车牌)和回归(车牌倾斜相关参数估算)运算。
[0038] 车牌矫正可通过车牌倾斜参数进行逆变换，
像素插值的方法得到正向车牌。
[0039] 车牌识别方法可采用基于深度学习的特征提取(如CNN、RNN、LSTM特征提取)与CTC分类相结合的方法实现，具体为首先将经过车牌检测与矫正得到的图像经过CNN做特征提取，然后经过RNN或LSTM对CNN提取到的特征进行进一步的特征转换并输出字符串分类。最后由CTC对字符串分类进行去重/去空处理(删除重复和空白的字符位置)，得到最后的车牌识别结果。一种更好的车牌识别方法可以在此
基础上增加Attention机制，基于Attention机制的车牌识别是再CNN特征提取之后对各个区域的特征信息进行加权处理。
[0040] 车辆跟踪是当车牌识别失败的情况下对车辆进行轨迹跟踪，搜索到车牌未被遮挡的图片，进而重新进行车牌识别。
[0041] 车辆跟踪的方法可以采用基于相关滤波的方法(例如KCF算法)，也可以采用深度学习特征提取与RPN相结合的方法(例如simaese系列算法)。
[0042] 车辆跟踪的实施方法是从存在车牌号未被识别的位置开始，在历史图像该位置附近区域附近进行搜索。具体可以分为车辆驶入过程跟踪(反向，从当前图像开始分析历史图像)和车辆驶出过程跟踪(前向，从历史图像开始分析至当前图像)。
[0043] 经过车辆跟踪后得到的图像需再次经过车牌识别处理，如果车牌识别成功，则认为成功，向后端服务器上报相关车位状态信息和车牌信息。如果车牌识别失败，则认为车牌识别失败(不需再经过车辆跟踪和车牌识别)，并向后端服务器上报相关状态和告警信息。
[0044] 高位视频智能停车系统的安装部署需结合场地环境进行考虑：
[0045] 1)如果车位附近存在较多树木遮挡，一种较好的实施方法是将摄像机和杆塔、图像识别设备等设施安装在公路对面的对应位置，减小车牌被遮挡的概率。
[0046] 2)如果车位附近无树木遮挡，建议采用F型杆塔来安装摄像头。不同的场地可调节
横杆的高度，不同高度的横杆采用不同的焦距范围的变焦摄像机(枪机或球机)来进行
图像采集。
[0047] 一种可行的F型杆塔部署方式示意图如图2所示，一条道路上可以采用多个“F”型杆塔进行安装
覆盖，可以根据路况调整两个F型杆塔之间的间距。如下图所示，两个F型杆塔之间间隔4-8个车位。
