基于视频深度学习的车辆识别方法专利检索-图像分割视听技术与设备专利检索查询-专利查询网

基于视频 深度学习的车辆识别方法

阅读：756发布：2020-05-08

专利汇可以提供基于视频深度学习的车辆识别方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于视频深度学习的车辆识别方法，包括以下步骤：步骤a、利用车载摄像头对路况进行实时收集，将视频通过硬件设备进行图像分割形成独立的二值图像，采用图像目标检测算法对图片进行预处理；步骤b、利用深度学习对经过预处理的灰度图进行二值化处理过程中，使用迭代法统计并计算出图像的各灰度分布，并对此进行迭代确定图像的最佳分割阈值；步骤c、将经过处理的灰度图导入边缘计算平台对其进行特征提取，分离目标与背景区域，对复杂背景与车辆进行分离，仅对车辆部分进行增强；步骤d、将经过处理的图像导入智能云镜终端显示。本发明提供的一种基于视频深度学习的车辆识别方法，检测速度快、检测效率高、对图片精度要求低和能够保证准确度。，下面是基于视频深度学习的车辆识别方法专利的具体信息内容。

权利要求

1.一种基于视频深度学习的车辆识别方法，其特征在于：包括以下步骤：
步骤a、利用车载摄像头对路况进行实时收集，将视频通过硬件设备进行图像分割形成独立的二值图像，采用图像目标检测算法对图片进行预处理；
步骤b、利用深度学习对经过预处理的灰度图进行二值化处理过程中，使用迭代法统计并计算出图像的各灰度分布，并对此进行迭代确定图像的最佳分割阈值；
步骤c、将经过处理的灰度图导入边缘计算平台对其进行特征提取，分离目标与背景区域，对复杂背景与车辆进行分离，仅对车辆部分进行增强；
步骤d、将经过处理的图像导入智能云镜终端显示。
2.根据权利要求1所述的基于视频深度学习的车辆识别方法，其特征在于：步骤a中，图片预处理过程包括进行形状检测并经过灰度变换、灰度拉伸、去噪、滤波过程。
3.根据权利要求1所述的基于视频深度学习的车辆识别方法，其特征在于：步骤b中，迭代法计算灰度分布，确定图像的最佳分割阈值的方法具体步骤为：
步骤b1、去除最大最小的灰度值，取剩余的图像灰度的中值作为初始阈值T(j)，j为迭代次数，初始j＝0；
步骤b2、用T(j)分割图像，将图像分为两个区域，分别为C1(j)、C2(j)；
步骤b3、利用公式计算C1(j)的平均灰度值：
利用公式计算C2(j)的平均灰度值：
其中为第j次迭代时区域C1的像素点个数，为第j次迭代时区域C2的像素点个数，f(x，y)表示图像中(x，y)点的灰度值；
步骤b4、利用公式计算得到一个新的门限值；
步骤b5、令j＝j+1，重复步骤b2、b3和b4三个步骤，使得T(j+1)与T(j)的差小于规定值或j达到最大的迭代次数。
4.根据权利要求1所述的基于视频深度学习的车辆识别方法，其特征在于：步骤c中，分离目标与背景区域的方法具体步骤为：
步骤c1、引入颜色特征作为SVM分类的辅助特征，将基于HSV空间的颜色直方图这一特征与ORB特征算法相结合进行物体识别，增加识别的鲁棒性，分离目标与背景区域；
步骤c2、在提取目标与背景区域时，利用边缘检测算法提取出反映灰度变化的边缘点，然后剔除某些边界点或者填补边界间断点，将这些边缘连接成完整的线，提取出初步图像；
步骤c3、将提取出的初步图像采用支持向量机SVM进行图像分类获得车辆特征。
5.根据权利要求4所述的基于视频深度学习的车辆识别方法，其特征在于：步骤c1包括以下具体步骤：
步骤c11，将视频序列中图像帧的颜色空间划分为若干子区间，每个子区间对应一个直方图的bin区间；
步骤c12，根据人体的视觉分辨能力将H空间分为8份，S空间和V空间分别分为3份，根据色彩的范围不同和主观颜色感知对HSV空间进行非等间隔的量化；
步骤c13，根据步骤c12所得量化级，将各颜色分量根据公式G＝HQsQv+SQv+V合成构造一维特征矢量，其中，Qs和Qv分别是分量S和V的量化级数；
步骤c14，遍历图像，统计出颜色空间各子区间的图像像素点数目，通过公式计算得出图像帧的颜色分布情况，从而提取出所需的颜色特征，
其中，k为直方图矢量的某一维度，L表示直方图bin的数目，nk是划入对应颜色空间子区间的像素点数目，N表示图像的像素点总数；H(k)表示图像中颜色的组成分布，即出现了哪些颜色以及各种颜色出现的概率。
步骤c14，通过ORB特征匹配算法检测获取初始目标位置，输入目标图像作为特征模板，再通过ORB特征点的方向信息对搜索窗口进行修正，从而检测得到一个移动的目标位置。
6.根据权利要求4所述的基于视频深度学习的车辆识别方法，其特征在于：步骤c3包括以下具体步骤：
步骤c31、增加RPN网络的候选区域搜索目标框为322、642、1282、2562、5122中的其中一种，候选区域的长宽比例为1：1、1：2、2：1中的一种；将获得的车辆特征图片导入RPN网络，RPN网络通过平移与缩放对其进行修正，得到建议框，同时剔除不准确的建议框；
步骤c32、确定建议框与原始图片的前景区域对应的特征映射块，将其使用金字塔池化的方法向量化，得到特征向量，然后将特征向量输入SVM中进行具体分类，采用一对多方法，将提取出的初步图像作为一个样本类别，将训练库中的图像作为另一个图像类别，进行分类学习，从而获得车辆特征。

说明书全文

基于视频深度学习的车辆识别方法

技术领域

[0001] 本发明涉及基于视频深度学习的车辆识别方法，属于智能驾驶技术领域。

背景技术

[0002] 随着经济水平的提高，车辆数量逐渐增加，道路状况日渐堪忧，智能驾驶成为大势所趋，而车辆识别算法在智能驾驶领域至关重要。市场上的有关智能驾驶的科技产品中，车辆识别算法大多有着识别时间长、准确度低下等问题，也因此成为了智能驾驶产品推广的阻力。

[0003] 目前常用的视频车辆检测方法包括：光流法、帧间差法、背景差分法和基于机器学习等方法，前三种检测方法都是常规的基于图像处理技术的车辆检测方法，存在耗时长、图片精度要求高、检测率低下的问题。而基于机器学习的检测方法，已有的检测方法使用CNN全连接之后通过Softmax输出，CNN训练的时候，样本需求量大，将重叠IOU大于0.5的标记为正样本，反之为负样本，这样标注导致该种分类效果差，mAP从54.2％降到50.9％，且Softmax是在随机采样的背景样本上进行训练，准确度难以保证。

发明内容

[0004] 本发明要解决的技术问题是，克服现有技术中存在耗时长、图片精度要求高、检测率低下和准确度难以保证的缺陷，提供一种检测速度快、检测效率高、对图片精度要求和能够保证准确度的基于视频深度学习的车辆识别方法。

[0005] 为解决上述技术问题，本发明采用的技术方案为：

[0006] 基于视频深度学习的车辆识别方法，其特征在于：包括以下步骤：

[0007] 步骤a、利用车载摄像头对路况进行实时收集，将视频通过硬件设备进行图像分割形成独立的二值图像，采用图像目标检测算法对图片进行预处理；

[0008] 步骤b、利用深度学习对经过预处理的灰度图进行二值化处理过程中，使用迭代法统计并计算出图像的各灰度分布，并对此进行迭代确定图像的最佳分割阈值；

[0009] 步骤c、将经过处理的灰度图导入边缘计算平台对其进行特征提取，分离目标与背景区域，对复杂背景与车辆进行分离，仅对车辆部分进行增强；

[0010] 步骤d、将经过处理的图像导入智能云镜终端显示。

[0011] 步骤a中，图片预处理过程包括进行形状检测并经过灰度变换、灰度拉伸、去噪、滤波过程。

[0012] 步骤b中，迭代法计算灰度分布，确定图像的最佳分割阈值的方法具体步骤为：

[0013] 步骤b1、去除最大最小的灰度值，取剩余的图像灰度的中值作为初始阈值T(j)，j为迭代次数，初始j＝0；

[0014] 步骤b2、用T(j)分割图像，将图像分为两个区域，分别为C1(j)、C2(j)；

[0015] 步骤b3、利用公式计算C1(j)的平均灰度值：

[0016]

[0017] 利用公式计算C2(j)的平均灰度值：

[0018]

[0019] 其中为第j次迭代时区域C1的像素点个数，为第j次迭代时区域C2的像素点个数，f(x,y)表示图像中(x,y)点的灰度值；

[0020] 步骤b4、利用公式计算得到一个新的门限值；

[0021]

[0022] 步骤b5、令j＝j+1，重复步骤b2、b3和b4三个步骤，使得T(j+1)与T(j)的差小于规定值或j达到最大的迭代次数。

[0023] 步骤c中，分离目标与背景区域的方法具体步骤为：

[0024] 步骤c1、引入颜色特征作为SVM分类的辅助特征，将基于HSV空间的颜色直方图这一特征与ORB特征算法相结合进行物体识别，增加识别的鲁棒性，分离目标与背景区域；

[0025] 步骤c2、在提取目标与背景区域时，利用边缘检测算法提取出反映灰度变化的边缘点，然后剔除某些边界点或者填补边界间断点，将这些边缘连接成完整的线，提取出初步图像；

[0026] 步骤c3、将提取出的初步图像采用支持向量机SVM进行图像分类获得车辆特征。

[0027] 步骤c1包括以下具体步骤：

[0028] 步骤c11，将视频序列中图像帧的颜色空间划分为若干子区间，每个子区间对应一个直方图的bin区间；

[0029] 步骤c12，根据人体的视觉分辨能力将H空间分为8份，S空间和V空间分别分为3份，根据色彩的范围不同和主观颜色感知对HSV空间进行非等间隔的量化；

[0030] 步骤c13，根据步骤c12所得量化级，将各颜色分量根据公式G＝HQsQv+SQv+V合成构造一维特征矢量，其中，Qs和Qv分别是分量S和V的量化级数；

[0031] 步骤c14，遍历图像，统计出颜色空间各子区间的图像像素点数目，通过公式计算得出图像帧的颜色分布情况，从而提取出所需的颜色特征，其中，k为直方图矢量的某一维度，L表示直方图bin的数目，nk是划入对应颜色空间子区间的像素点数目，N表示图像的像素点总数；H(k)表示图像中颜色的组成分布，即出现了哪些颜色以及各种颜色出现的概率。

[0032] 步骤c14，通过ORB特征匹配算法检测获取初始目标位置，输入目标图像作为特征模板，再通过ORB特征点的方向信息对搜索窗口进行修正，从而检测得到一个移动的目标位置。

[0033] 步骤c3包括以下具体步骤：

[0034] 步骤c31、增加RPN网络的候选区域搜索目标框为322、642、1282、2562、5122中的其中一种，候选区域的长宽比例为1:1、1:2、2:1中的一种；将获得的车辆特征图片导入RPN网络，RPN网络通过平移与缩放对其进行修正，得到建议框，同时剔除不准确的建议框；

[0035] 步骤c32、确定建议框与原始图片的前景区域对应的特征映射块，将其使用金字塔池化的方法向量化，得到特征向量，然后将特征向量输入SVM中进行具体分类，采用一对多方法，将提取出的初步图像作为一个样本类别，将训练库中的图像作为另一个图像类别，进行分类学习，从而获得车辆特征。

[0036] 本发明的有益效果：本发明公开的基于视频深度学习的车辆识别方法，采用Faster-RCNN结合SVM分类，比起单纯的CNN需要更少的样本数量，因此可以对训练数据进行更加严格的标注，分类效果更好，且SVM采用困难负例挖掘，提高了分类准确度。附图说明

[0037] 图1为本发明中选用的Faster-RCNN网络框架图；

[0038] 图2为本发明中基于视频深度学习的车辆识别方法的流程示意图。

具体实施方式

[0039] 下面结合附图对本发明作进一步描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

[0040] 如图1所示，Faster-RCNN网络主要包括四个内容：Conv layers、RPN(region proposal networks)、RoI pooling、Classification。Conv layers包含conv、pooling、relu三种层；用于提取input image的feature maps，该feature maps会用于后续的RPN层和全连接层。RPN在原有图片尺度上，设置了候选Anchor，然后判断Anchor中有目标的positive anchor和无目标的negative ancho。RoI pooling负责收集proposal，并计算出proposal feature maps，送入后续网络，输入包括：原始的feature maps和RPN输出的proposal boxes。Classification利用已经获得的proposal feature maps，通过全连接与Softmax计算每个proposal具体属于哪个类别，输出cls_prob概率向量，同时利用bounding box regression获得每个regionproposal的位置偏移量bbox_pred，用于回归获得更精确的目标检测框。

[0041] 本发明利用车载摄像头对路况进行实时采集，并利用基于视频的Faseter-RCNN的车辆识别系统提取出车辆特征点，将其导入训练库进行匹配，最终导出车辆类别，再通过边缘计算平台进行匹配后导入智能云镜终端显示，并利用基于图像显著性的新算法Objectness-BING，结合使用颜色对比分析候选区，有效定位目标候选区域，提高系统物体识别的准确率和速度；

[0042] 如图2所示，本发明基于视频深度学习的车辆识别方法，包含以下步骤：

[0043] 步骤一，利用摄像头对路况进行实时收集，将视频通过硬件设备进行图像分割形成独立的二值图像，采用图像目标检测算法对图片进行预处理，即：进行形状检测并经过灰度变换、灰度拉伸、去噪、滤波等过程对图像进行预处理得到灰度图。

[0044] 步骤二，为了提高提取图像的准确性，本发明在利用深度学习对经过预处理的灰度图进行二值化处理过程中，使用迭代法统计并计算出图像的各灰度分布，并对此进行迭代确定图像的最佳分割阈值。

[0045] 具体地，步骤二中迭代法计算灰度分布，确定图像的最佳分割阈值的方法具体步骤为：

[0046] 步骤1)去除最大最小的灰度值，取剩余的图像灰度的中值作为初始阈值T(j)，j为迭代次数，初始j＝0；

[0047] 步骤2)用T(j)分割图像，将图像分为两个区域，分别为C1(j)、C2(j)；

[0048] 步骤3)利用公式计算C1(j)的平均灰度值：

[0049]

[0050] 利用公式计算C2(j)的平均灰度值：

[0051]

[0052] 其中为第j次迭代时区域C1的像素点个数，为第j次迭代时区域C2的像素点个数，f(x,y)表示图像中(x,y)点的灰度值；

[0053] 步骤4)利用公式计算得到一个新的门限值；

[0054]

[0055] 步骤5)令j＝j+1，重复b，c，d三个步骤，使得T(j+1)与T(j)的差小于规定值或j达到最大的迭代次数。

[0056] 步骤三，为了有效减少时间延迟，本发明采取将经过处理的灰度图导入边缘计算平台对其进行特征提取，分离目标与背景区域，对复杂背景与车辆进行分离，仅对车辆部分进行增强，实现特定场景下的性能识别验证。

[0057] 分离目标与背景区域的方法具体为：

[0058] a.引入颜色特征作为SVM分类的辅助特征，将基于HSV空间的颜色直方图这一特征与ORB特征算法相结合进行物体识别，增加识别的鲁棒性，分离目标与背景区域；

[0059] 其中，引入基于HSV空间的颜色直方图与SVM相结合的方法具体为：

[0060] 步骤1)将视频序列中图像帧的颜色空间划分为若干子区间，每个子区间对应一个直方图的bin区间；

[0061] 步骤2)根据人体的视觉分辨能力将H空间分为8份，S空间和V空间分别分为3份，根据色彩的范围不同和主观颜色感知对HSV空间进行非等间隔的量化；

[0062] 步骤3)根据步骤2)所得量化级，将各颜色分量根据公式G＝HQsQv+SQv+V合成构造一维特征矢量，其中，Qs和Qv分别是分量S和V的量化级数；

[0063] 步骤4)遍历图像，统计出颜色空间各子区间的图像像素点数目，通过公式计算得出图像帧的颜色分布情况，从而提取出所需的颜色特征，其中，k为直方图矢量的某一维度，L表示直方图bin的数目，nk是划入对应颜色空间子区间的像素点数目，N表示图像的像素点总数；H(k)表示图像中颜色的组成分布，即出现了哪些颜色以及各种颜色出现的概率。

[0064] 步骤5)通过ORB特征匹配算法检测获取初始目标位置，输入目标图像作为特征模板，再通过ORB特征点的方向信息对搜索窗口进行修正,从而检测得到一个移动的目标位置。

[0065] b.在提取目标与背景区域时，利用边缘检测算法提取出反映灰度变化的边缘点，然后剔除某些边界点或者填补边界间断点，将这些边缘连接成完整的线，提取出初步图像；

[0066] c.将提取出的初步图像采用支持向量机SVM进行图像分类获得车辆特征；

[0067] 其中，利用faster-RCNN结合支持向量机SVM进行图像分类的方法为：

[0068] 步骤1)增加RPN网络的候选区域搜索目标框为322、642、1282、2562、5122中的其中一种，候选区域的长宽比例为1:1、1:2、2:1中的一种；将获得的车辆特征图片导入RPN网络，RPN网络通过平移与缩放对其进行修正，得到建议框，同时剔除不准确的建议框；

[0069] 步骤2)确定建议框与原始图片的前景区域对应的特征映射块，将其使用金字塔池化的方法向量化，得到特征向量，然后将特征向量输入SVM中进行具体分类，采用一对多方法，将提取出的初步图像作为一个样本类别，将训练库中的图像作为另一个图像类别，进行分类学习，从而获得车辆特征；

[0070] 借助基于矩阵填充的识别分析算法识别多个物体，实现前后车识别算法的多场景适配，抛弃单张物体图片建库的方式，使用至多5张标准视角图片为每个物体构建模板库，使得在不同角度下拍摄的输入图像也能够识别，借助于有效的候选区提取，进行多个物体的有效识别。

[0071] 步骤四，提取出车辆具体结构将其导入智能云镜终端。

[0072] 以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

标题	发布/更新时间	阅读量
带宽压缩中的后选择预测方法	2020-05-08	1009
一种基于深度学习的CT图像中肾脏分割方法	2020-05-08	767
一种基于SVM分类器的纸币冠字号字符分割方法	2020-05-08	621
图像压缩方法、设备及系统	2020-05-08	505
基于视频深度学习的车辆识别方法	2020-05-08	756
基于捕获内容的截屏图像的像素将显示内容分割成区域	2020-05-11	27
一种基于图谱组合信息稀疏表示的多图谱标签融合方法	2020-05-08	466
图像的语义分割方法、装置、电子设备及可读存储介质	2020-05-08	858
基于障碍物的下端线检测ROI的方法和装置	2020-05-08	626
基于深度学习的纵膈淋巴结超声弹性图像分割分类方法	2020-05-11	400

基于视频深度学习的车辆识别方法

基于视频深度学习的车辆识别方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：