技术领域
[0001] 本
发明涉及视频
图像处理中的车型识别技术领域。
背景技术
[0002] 车型识别是
智能交通系统的重要组成部分，可以为交通事件的处理提供有
力证据，同时可以为车辆
跟踪等功能提供更多帮助。
现有技术中关于车型识别主要分为两个类型，分别是基于模板的识别和基于分类器的识别。
[0003] 其中基于模板的识别适用于比较特定的场景之下，有
申请号为201410014474.1的中国
专利就公开了ETC车道中车型识别方法及装置，即适用在不停车
电子收费系统中，这种场景下的车型识别只要求识别出来的车型能够对应保存在系统中的
模版即可，被识别车辆所处环境相对稳定与摄像头之间的距离也相对固定，但是该方法并不能处理复杂环境下的车型识别。
[0004] 为此，又有申请号为201210049730.1的中国专利公开了一种复杂场景下的车型识别方法，所采用的原理就是上文提到的基于分类器的识别方法，其主要涉及到选择特征并结合特定
机器学习判别方法进行分类，而关于特征的选取以及机器学习生成的分类器是决定车型识别效率和准确度的关键所在，在该方案中对于特征的选取和生成分类器能够满足对于如小型车和大型车之间的识别，也能够满足比如轿车和吉普车、出租车和面包车等等之间的识别，但是具体到如生产厂商、年份等识别是不能达到的。
发明内容
[0005] 本发明的目的是提供一种车型识别方法及装置，能够识别车辆的准确类型诸如生产厂商。
[0006] 为了解决上述技术问题，本发明采用如下技术方案：一种车型识别方法，包括机器训练生成分类器过程和对待测图片的判别过程，在生成分类器的过程中，基于车牌确定训练集图片中所需要的图像范围，将已经确定的图像范围划分区域，
选定各区域内的特征信息，分别将各自区域内选定的所有特征信息投入机器训练生成一一对应各区域的分类器，通过已经生成的分类器对待测图片进行单区域判别，依据单区域判别结果再经过多区域
置信度融合得到车型识别结果。
[0007] 从原理上而言，车型识别的准确度取决于对图像特征信息的提取和利用，本发明首先以车牌为参照确定了所需要的图像范围大小，因为车牌在制作过程中具有统一标准，并且在确定范围的情况下对图像进行分区域训练和判别方法，不同区域各自训练独立的分类器，基于单区域判别结果再经过多区域置信度融合得到车型识别结果，该方法充分考虑了
图像识别过程中的过拟合现象，降低了个别因素对于识别结果的干扰。
[0008] 本发明还公开了一种车型识别系统，包括分类器生成装置和对待测图片的判别装置，所述的分类器生成装置基于车牌确定训练集图片中所需要的图像范围，将已经确定的图像范围划分区域，选定各区域内的特征信息，分别将各自区域内选定的所有特征信息投入机器训练生成一一对应各区域的分类器；所述的判别装置通过已经生成的分类器对待测图片进行单区域判别，依据单区域判别结果再经过多区域置信度融合得到车型识别结果。
[0009] 采用上述技术方案后，本发明具有如下优点：本发明针对图像进行区域划分，针对不同区域各自训练独立的分类器，基于单区域判别结果再进行多区域置信度融合方式取得识别结果，有效增加了车型识别的精确度，能够进一步识别出诸如车辆生产厂商这样的细节信息，特别适用于智能交通系统，可以为交通事件的处理提供有力证据。
附图说明
[0010] 下面结合附图对本发明的具体实施方式作进一步说明：
[0011] 图1为本发明车型识别方法一种
实施例的
流程图；
[0012] 图2为视频图像中车辆图像示例图；
[0013] 图3为本发明车型识别方法一种实施例的图像分区域划分示例图；
[0014] 图4为本发明车型识别方法一种实施例的特征信息提取示例图。
具体实施方式
[0015] 在本发明中，涉及了图像识别技术中的诸多术语，包括
角点、hog特征、sift点特征、
随机森林及各种
算法，这些术语在本领域技术内都具备唯一定义，在本文中直接引述上述的术语。
[0016] 参见图1，为本发明的一种优选实施方式的流程图，主要分为了两个主要过程，即机器训练生成分类器过程和对待测图片的判别过程，其中生成分类器过程涉及对训练集图片的处理，而具体的判别过程则涉及对待测图片的处理。无论是对于训练集图片的处理亦或对于待测图片的处理都涉及了对于图像范围大小的确定，因为不同的图片中实物的缩放比例是不同的，需要对其进行统一处理，由于车辆的车牌是有统一制作标准的，所以可以用来作为确定图像范围的参照。关于车牌的
位置定位属于常规技术，在本文中不再赘述。
[0017] 参见图2，在本实施例中，基于车牌位置信息对车辆前脸图像进行范围的确定，当然车辆的车尾也是可以采用同样方式进行范围确定的，根据实际情况，图像总宽度为车牌宽度5倍，图像总高度为为车牌高度10倍，其中考虑车牌在车辆前脸中的具体位置偏下，所以图像的宽度应该以车牌的中点为中心，而图像的高度则应该以车牌的中点为参考点上方截取高度为7.5倍车牌高度，下方截取高度为2.5车牌高度，完成范围确定之后的图像即如图2所示例。然后，再对范围确定的图像进行统一缩放以便于后期处理，在实施例中优选缩放为400*200
像素的大小。从图1中可以看到，对于训练集图片的范围大小确定方法和对于待测图片的范围大小确定方法是一致的，这也是后续进行车型判别的前提条件。
[0018] 在确定好图像范围大小之后，再进行分区域划分，如图3所示，在本实施例中，将已经确定好范围大小的图像优选分为了12个区域，其中车牌所在的区域是被排除在外的，因为这部分区域对于具体车型而言并无增加判别准确性的信息，反而车牌上的角点会造成不必要的干扰，所以这部分区域被单独隔离出来。又参见图3，车牌两侧的附近区域也同样被排除，理由同上。
[0019] 这里需要强调，对于训练集图片和待测图片而言，划分区域可以是相同的，但是考虑到边界划分带来的邻近边界区域信息突变会影响后续的判别结果，本实施例优选方式是训练集图片相关的图像区域划分不同于待测图片的区域划分方式。如图3所示，训练集图片划分的图像区域间存在部分重叠，而待测图片划分的图像区域间不存在部分重叠。比如a和b两条实线加上两条外边缘构成了待测图片划分的区域1的分割区域，A和B两条虚线加上两条外边缘构成了训练集图片划分的区域1的分割区域；实线a、b和d加上最上面的外边缘构成了待测图片划分的区域2的分割区域，虚线B、C和D加上最上面的边缘线构成了训练集图片划分的区域2的分割区域，可以看到训练集图片划分的区域1和区域2之间存在重叠部分，并且均大于并且完全包含了待测图片分割所对应区域，作为优选，多出部分宽度方向20-25像素(如Aa之间的像素差)，高度方向为15-20像素(如Bb之间的像素差)。
[0020] 在完成上述的图像范围大小确定和区域划分之后，针对已经划分的各区域进行特征信息的选定提取，应该首先明确，无论是进行区域划分步骤还是区域的具体划分方法都是为了后续更加准确有效的识别出车型，就图3而言，12个区域的划分方式是根据对于识别车型而言的有效信息集中度来的，如此就可以将各区域进行区分，分为特征稀疏区域、特征密集区域和普通区域，各区域位置的大小都由上述的有效信息集中度而定，当然12个区域的划分办法仅仅是相对优选的方式，理论上而言，区域划分越
细则越有利于后续的车型识别，但是过于细致的划分同样也会影响车型识别的效率，如图3所示，其中区域1、3、11属于特征稀疏区域，作为优选方式选定检测8个角点，区域5和8属于特征密集区域，作为优选方式选定需要检测12个角点，其他为普通区域，作为优选方式选定检测10个角点。下文中将介绍由于角点选定的数量不同而导致的特征信息上的不同，在后续识别车型时，自然特征密集区域所起到作用就越大，进而增大车型识别的准确度，具体角点检测方法可以采用FAST角点检测算法。
[0021] 接下来是对于各区域特征信息的选定提取，本实施方式中所述的特征信息由三个部分融合而成，具体包括了位置信息、
块特征信息和点特征信息，就效率而言可以先进行角点
配对，可以对各自区域内的角点进行任意配对，已经配对的若干个角点为一组，参见图4，作为优选实施方式，对每一个区域的角点统一进行三三配对，如以第一区域的8个角点为例，任意三个角点作为一组都进行组合，一共有56种组合(8*7*6/1*2*3＝56)，每三个点构成的组合按照图4所示进行特征信息的选定提取。
[0022] 其中位置信息又包括了相对位置信息和绝对位置信息，参见图4，同样第一区域为例，以M表示车牌中心点，A、B、C表示第一区域检测到的三个点，首先比较三个点和M之间的距离，按照距离的远近确定三个点的排列次序，AM最远，BM次之，CM最近，所以三个点的排列次序为ABC。对于绝对位置信息，将M作为一个二维直角
坐标系的原点，右上为第一象限，左上为第二象限，左下为第三象限，右下为第四象限，然后依次提取ABC三个点的x、y坐标值以及相对于原点的距离，分别用AMx、AMy和|AM|表示(以A点举例)，一共9个值。对于相对位置信息，以C点为参考点，提取AB两点相对于C点的坐标位移(包括x、y坐标轴，共4个变量)，通过以下方法计算(CMx-AMx)，(CMy–AMy)，(CMx-BMx)，(CMy–BMy)。另外还需要两个比例参数，用以下方式计算：(|AB|/|BC|)，(|AC|/|BC|)，通过计算这两个比例参数相对于其他位置信息更加稳定，抗缩放和旋转能力更强。这样相对位置信息提取完成，共6维变量，加上绝对位置信息的9维变量，整体位置信息共包括15维变量信息。
[0023] 接下来提取块特征信息，块特征的匹配最关键在于对齐，即两个块需要大致指向同一个区域，这里我们借鉴点的位置对块位置进行约束，很好的保证了
块匹配的对齐性，具体做法为：分别计算x和y方向上ABC三个点对应坐标的最大值和最小值，记为Hx，Lx(X方向最大值和最小值)，Hy，Ly(Y方向最大值和最小值)，通过这4个值即可完整确认一个矩形框，将该矩形框统一缩放为24*24像素大小，然后提取hog特征(可以按照标准的hog特征提取方法，提取64维特征)。
[0024] 最后依次提取ABC三点的sift点特征信息(128维，同样可以按照标准的sift点特征特征提取方法)。
[0025] 将上述的位置信息、块特征信息和点特征信息结合形成完整的特征信息，其总维度为463维(15+64+128*3＝463)。其中sift点特征所占比例较高，可以通过PCA(Principal Component Analysis)将其由384维降低为256维，这样总的特征维度变为335维(15+64+256＝335)，通过多次实验证明，对于sift特征的
降维对总体准确率几乎没有影响，但是提升了训练效率。其他区域的特征信息选定提取方法原理上和第一区域相同，只是角点数量上可能不同，而关于特征信息的提取，对于训练集图片和待测图片而言方法是一致的。本实施例以车牌中心为参考融合三角形结构化位置信息、基于三角点约束形成的矩形块HOG特征和sift点特征，能够充分利用各特征信息的作用，有效提升了后续的车型识别准确度。
[0026] 在完成特征信息的选定提取之后，开始训练生成分类器的步骤，在实施例中，优选将特征信息投入随机森林进行训练，随机森林可以处理高维特征，并且随机性的引入使其不容易陷入过拟合，并且可以同时处理离散变量和非离散变量，训练过程也比较迅速。需要强调，本实施例是采用分区域进行判别的，一共12个区域，将各区域内的特征信息分别投入随机森林进行训练最终产生了12个随机森林分类器。考虑到车型类别较多，在本实施例中优选使用200颗
决策树，当然也可以按照实际需求在200-400之间选择，超过400颗树之后，在识别率上难以继续提高，只会带来效率上的下降。决策树采取C4.5算法选择最佳属性，并使用悲观
剪枝策略防止过拟合现象。每颗树使用随机选择的是25维特征，单颗树的最大深度为30层。
[0027] 如上文所述，在投入到随机森林的特征信息中包含了三部分，而每个部分特征信息对于车型识别的重要性是不同的，其中位置信息具备更加稳定的性质并且具备抗缩放和旋转能力，其重要性要高于块特征信息和点特征信息，而在实际测试中发现块特征信息的区分度要略高于点特征信息，所以块特征信息又要比点特征信息重要，而随机森林的特征选择是完全随机的，为了既不破坏随机森林的随机特性又能够使得其在选择特征的时候偏向于更加重要的特征信息，本实施采用一种加权随机选择特征的方式，将位置信息、块特征和点特征按照一定的比例进行加权处理，其中位置信息、块特征信息和点特征信息的权重比例应该依次降低，关于该权重比例，一种优选方式是位置信息不小于块特征信息的2倍，而块特征信息不小于点特征信息的1.5倍，还有一种优选方式是若位置信息占比例等份4至9份，则块特征信息占1.5至4份，而点特征占1至1.5份。本实施例中位置信息、块特征信息和点特征信息权重比例采用5：2：1，将位置信息的15维特征乘以5，变成75维特征，新特征的0-
4维特征对应原来的0维特征，5-9维特征对应原来的1维特征，依次类推；块特征则乘以2变为128维特征，0-1维特征对应原来的0维，2-3维特征对应原来的1维，依次类推。点特征信息
256维保持不变，这样随机森林在选取特征的时候，搜索的范围由原来的335(0-334)变为现在的459(0-458)，搜索算法依旧使用完全随机数，这样既保证了特征选取的随机性，同时提升了更重要特征被选择的概率，有效提升对车型的判别能力。
[0028] 在生成12个随机森林分类器并完成对待测图片的特征信息选定提取之后，针对待测图片首先进行每个区域单独判别，从待测图片中每个区域提取的特征都进入对应区域的分类器，一般情况下，随机森林对一次判别只输出一个结果，即获得决策树最多的那个车型类别，而在本实施例当中，由于使用的是局部特征，理论上存在多个车型类别有相似的局部特征，如果只取获得决策树最多的结果，忽略其他结果，可能导致有效信息的损失，为此本实施例随机森林输出综合匹配个数最多的前3至5个结果，在本实施例中优选5个。最后进行多区域置信度融合过程：通过上述过程，依据各区域的匹配结果进行多区域置信度融合判断，判断公式为
[0029]
[0030] 其中假定若一个车型类别C在K区域的综合匹配度排名为Kr(取值范围为1-5)，K区域获取的角点个数为Ks，n为所划分的区域总数本实施例中应该取12，m为同组角点数量，在本实施例中m取3，置信度ratio最高的车型类别为车型识别结果。
[0031] 上述公式中的分母相当于一个归一化常量，即保证在本次判别过程中，所有出现的候选类别其置信度相加等于1，通过上述公式计算取置信度最高的类别作为车型判别的结果，但是考虑到车型判别可能还存在误差，也可以将置信度排名前5的车型均呈现给用户，通过本方法可以准确识别出车辆的生产厂家、生产年份等详细的车型信息。
[0032] 在本实施方式中，对应于车型识别方法，还公开一种车型识别系统，所述的分类器生成装置包括了区域划分器，对确定的图像范围划分区域时将车牌区域排除，划分出的区域中包含了特征稀疏区域、特征密集区域和普通区域，其中特征密集区域选定特征信息多于普通区域，而普通区域选定特征信息多于特征稀疏区域。
[0033] 所述的分类器生成装置包括了特征信息选定器，在各区域中选定角点，其中特征密集区域选定角点的数量多于普通区域，而普通区域选定角点的数量多于特征稀疏区域，对各自区域内的角点进行任意配对，已经配对的若干个角点为一组，所述各区域内的特征信息包括位置信息、块特征信息和点特征信息，所述的位置信息为同组各角点之间的相对位置信息以及各角点相对于车牌中心点的绝对位置信息，所述的块特征信息为针对同组角点围成的矩形框所提取的hog特征，所述的点特征信息为针对同组角点位置关系排序的sift点特征。所述的判别装置包括了单区域判别器，所述的单区域判别器对待测图片进行区域划分，该划分方式对应于训练集图片的区域划分方式，完成区域划分之后的待测图片再选定各区域内的特征信息，该特征信息选定方式对应于训练集图片的特征信息选定方式，通过所述的分类器对待测图片进行单区域判别。
[0034] 所述的判别装置包括了多区域置信度判断器，依据各区域的匹配结果进行多区域置信度判断，判断公式为
[0035]
[0036] 其中若一个车型类别C在K区域的综合匹配度排名为Kr，K区域获取的角点个数为Ks，n为所划分的区域总数，m为同组角点数量，置信度ratio最高的车型类别为车型识别结果。
[0037] 除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和
变形，只要不脱离本发明的精神，均应属于本发明所附
权利要求所定义的范围。
