基于多尺度区域特征约束的车辆细粒度识别方法及装置
阅读：894发布：2020-05-08
专利汇可以提供基于多尺度区域特征约束的车辆细粒度识别方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 实施方式提供一种基于多尺度区域特征约束的车辆细粒度识别方法及装置，属于 计算机视觉 技术领域，方法包括：获取待识别的第一车辆目标图像；以及以第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对第一车辆目标图像进行车辆细粒度分类识别；车辆细粒度识别模型通过包括经多尺度区域特征提取后的 训练数据 样本的训练集对MA-CNN模型训练后得到。本发明的上述技术方案通过多重注意 力 机制与多尺度区域特征相结合的 深度学习 神经网络进行训练，在局部注意力计算时，车辆目标图像 定位 准确，且基本没有特征损失，提高了车辆细粒度的识别准确率，并且能够完成端对端的训练，从而极大地简化了计算。，下面是基于多尺度区域特征约束的车辆细粒度识别方法及装置专利的具体信息内容。
1.一种基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，包括：
获取待识别的第一车辆目标图像；以及
以所述第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对所述第一车辆目标图像进行车辆细粒度分类识别；所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
2.根据权利要求1所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述训练数据通过以下步骤得到：
获取第二车辆目标图像；
确定所述第二车辆目标图像中的目标区域；
将所述目标区域划分为多个尺度区域并标记；
依据包围盒约束算法及标记后的第二车辆目标图像对目标检测模型的各检测框进行初步定位；以及
依据海伦约束算法及经初步定位后的第二车辆目标图像对所述目标检测模型的检测框进行最终定位，以最终定位后的第二车辆目标图像的图像数据作为训练数据样本。
3.根据权利要求2所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述目标检测模型基于FASTER-RCNN模型构建。
4.根据权利要求2所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述将所述目标区域划分为多个尺度区域，包括：
将所述目标区域划分为多个尺度区域，其中，最中心的尺度区域为第一目标区域,最外围的尺度区域为第三目标区域，所述第一目标区域与所述第三目标区域之间为第二目标区域，所述第三目标区域包含所述第一目标区域及所述第二目标区域，所述第二目标区域包含所述第一目标区域。
5.根据权利要求2所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述MA-CNN模型包括依次连接的基础网络层、通道聚类层及局部分类子网络层，所述所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到，包括：
以所述训练数据样本作为所述MA-CNN模型的输入；
交替训练所述通道聚类层及局部分类子网络层通道聚类层；
依据预设的损失函数优化所述MA-CNN模型的参数，得到训练后的车辆细粒度识别模型。
6.根据权利要求5所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述预设的损失函数为：
L＝L(X)+Lcng(Mi)+L(Y)；
其中，L(X)为所述通道聚类层的损失函数，Lcng(Mi)为所述局部分类子网络层的损失函数，L(Y)为多尺度区域约束损失函数。
7.根据权利要求6所述的基于多尺度区域特征约束的车辆细粒度识别方法，其特征在于，所述交替训练所述通道聚类层及局部分类子网络层通道聚类层，包括：
固定所述局部分类子网络层，依据所述通道聚类层的损失函数优化所述通道聚类层；
固定所述通道聚类层，依据所述局部分类子网络层的损失函数优化所述局部分类子网络层；
交替重复上述过程，直至所述通道聚类层的损失函数及所述局部分类子网络层的损失函数满足收敛条件。
8.一种基于多尺度区域特征约束的车辆细粒度识别装置，其特征在于，包括：
图像获取模块，被配置为获取待识别的第一车辆目标图像；以及
细粒度识别模块，被配置为以所述第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对所述第一车辆目标图像进行车辆细粒度分类识别；所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
9.一种基于多尺度区域特征约束的车辆细粒度识别设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器连接的至少一个存储器及总线；
其中，所述处理器及存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1-7中任一项所述的基于多尺度区域特征约束的车辆细粒度识别方法。
10.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时执行如权利要求1-7中任一项所述的基于多尺度区域特征约束的车辆细粒度识别方法。
基于多尺度区域特征约束的车辆细粒度识别方法及装置
技术领域
[0001] 本发明涉及计算机视觉技术领域，具体地涉及一种基于多尺度区域特征约束的车辆细粒度识别方法、一种基于多尺度区域特征约束的车辆细粒度识别装置、一种基于多尺度区域特征约束的车辆细粒度识别设备以及一种计算机可读存储介质。
背景技术
[0002] 随着现代化交通、安防等行业的迅速发展，目标识别技术越来越多的被应用于各种领域，是近年来计算机视觉与模式识别技术在智能交通领域的重要研究课题之一。
[0003] 车辆细粒度识别是计算机视觉领域的一个重要研究方向，相同车型的车辆识别对于传统方法难度较大，因为往往同类车辆之间的差异十分微小，不同之处可能仅仅在于其之上的年检标志，或者是车内某些小装饰。随着深度学习的兴起，很多研究者基于此也尝试将深度学习应用于目标检测识别领域，其中细粒度级别图像分析是针对此类问题的一项计算机视觉领域热门研究课题，其目标是对上述细粒度级别图像中的物体子类进行定位、识别及检索等若干视觉分析任务的研究，具有真实场景下广泛的应用价值。
发明内容
[0005] 本发明实施方式的目的是提供一种基于多尺度区域特征约束的车辆细粒度识别方法、一种基于多尺度区域特征约束的车辆细粒度识别装置、一种基于多尺度区域特征约束的车辆细粒度识别设备以及一种计算机可读存储介质，以解决现有现有算法对同类型车识别率不高，识别不够准确的问题。
[0006] 为了实现上述目的，在本发明第一方面，提供一种基于多尺度区域特征约束的车辆细粒度识别方法，包括：
[0007] 获取待识别的第一车辆目标图像；以及
[0008] 以所述第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对所述第一车辆目标图像进行车辆细粒度分类识别；所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
[0009] 可选地，所述训练数据通过以下步骤得到：
[0010] 获取第二车辆目标图像；
[0011] 确定所述第二车辆目标图像中的目标区域；
[0012] 将所述目标区域划分为多个尺度区域并标记；
[0013] 依据包围盒约束算法及标记后的第二车辆目标图像对目标检测模型的各检测框进行初步定位；以及
[0014] 依据海伦约束算法及经初步定位后的第二车辆目标图像对所述目标检测模型的检测框进行最终定位，以最终定位后的第二车辆目标图像的图像数据作为训练数据样本。
[0015] 可选地，所述目标检测模型基于FASTER-RCNN模型构建。
[0016] 可选地，所述将所述目标区域划分为多个尺度区域，包括：
[0017] 将所述目标区域划分为多个尺度区域，其中，最中心的尺度区域为第一目标区域,最外围的尺度区域为第三目标区域，所述第一目标区域与所述第三目标区域之间为第二目标区域，所述第三目标区域包含所述第一目标区域及所述第二目标区域，所述第二目标区域包含所述第一目标区域。
[0018] 可选地，所述MA-CNN模型包括依次连接的基础网络层、通道聚类层及局部分类子网络层，所述所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到，包括：
[0019] 以所述训练数据样本作为所述MA-CNN模型的输入；
[0020] 交替训练所述通道聚类层及局部分类子网络层通道聚类层；
[0021] 依据预设的损失函数优化所述MA-CNN模型的参数，得到训练后的车辆细粒度识别模型。
[0022] 可选地，所述预设的损失函数为：
[0023] L＝L(X)+Lcng(Mi)+L(Y)；
[0024] 其中，L(X)为所述通道聚类层的损失函数，Lcng(Mi)为所述局部分类子网络层的损失函数，L(Y)为多尺度区域约束损失函数。
[0025] 可选地，所述交替训练所述通道聚类层及局部分类子网络层通道聚类层，包括：
[0026] 固定所述局部分类子网络层，依据所述通道聚类层的损失函数优化所述通道聚类层；
[0027] 固定所述通道聚类层，依据所述局部分类子网络层的损失函数优化所述局部分类子网络层；
[0028] 交替重复上述过程，直至所述通道聚类层的损失函数及所述局部分类子网络层的损失函数满足收敛条件。
[0029] 在本发明的第二方面，提供一种基于多尺度区域特征约束的车辆细粒度识别装置，包括：
[0030] 图像获取模块，被配置为获取待识别的第一车辆目标图像；以及[0031] 细粒度识别模块，被配置为以所述第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对所述第一车辆目标图像进行车辆细粒度分类识别；所述车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
[0032] 在本发明的第三方面，提供一种基于多尺度区域特征约束的车辆细粒度识别设备，包括：
[0033] 至少一个处理器；以及
[0034] 与所述处理器连接的至少一个存储器及总线；
[0035] 其中，所述处理器及存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如上述的基于多尺度区域特征约束的车辆细粒度识别方法。
[0036] 在本发明的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时执行如上述的基于多尺度区域特征约束的车辆细粒度识别方法。
[0037] 本发明的上述技术方案通过多重注意力机制与多尺度区域特征相结合的深度学习神经网络进行训练，在局部注意力计算时，车辆目标图像定位准确，且基本没有特征损失，提高了车辆细粒度的识别准确率，并且能够完成端对端的训练，从而极大地简化了计算。
[0040] 图1是本发明一种实施方式提供的一种基于多尺度区域特征约束的车辆细粒度识别方法的方法流程图；
[0041] 图2是本发明一种实施方式提供的训练数据获取方法流程图；
[0042] 图3是本发明一种实施方式提供的一种基于多尺度区域特征约束的车辆细粒度识别装置的装置示意框图；
[0043] 图4是本发明一种实施方式提供的一种基于多尺度区域特征约束的车辆细粒度识别设备的示意框图。
[0044] 附图标记说明
[0045] 100-图像获取模块，200-细粒度识别模块，70-车辆细粒度识别设备，701-处理器，702-存储器，703-总线。
具体实施方式
[0046] 以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0047] 在本发明实施方式中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0048] 如图1所示，在本实施方式的第一方面，提供一种基于多尺度区域特征约束的车辆细粒度识别方法，包括：
[0049] 获取待识别的第一车辆目标图像；以及
[0050] 以第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对第一车辆目标图像进行车辆细粒度分类识别；车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
[0051] 如此，本实施方式通过多重注意力机制与多尺度区域特征相结合的深度学习神经网络进行训练，在局部注意力计算时，车辆目标图像定位准确，且基本没有特征损失，提高了车辆细粒度的识别准确率，并且能够完成端对端的训练，从而极大地简化了计算。
[0052] 具体的，MA-CNN模型，即多重注意力模型的框架包括三部分：基础网络层、通道聚类层及局部分类子网络层。MA-CNN模型的运行过程为：首先，整个网络以全尺寸图像作为输入，将其输入到基础网络层中，提取基于区域的特征标识，其中，基础网络层为卷积层，其次，通道聚类层从基础网络层中获取特征表示的特征通道，并通过从空间相关通道中聚类、加权和池化来生成多个注意部分，然后生成一个sigmoid函数以产生各部分的局部特征概率，局部特征标识结果是通过从基于区域的特征标识集中生成的，局部特征具有空间注意机制。第三，通过局部分类子网络层中的完全连接层和SoftMax层预测每个部分到细粒度类别的一组概率分数。通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型进行训练，结合多尺度区域特征提取，有效的提高了对于目标图像的定位精度。
[0053] 本实施方式基于通道聚类层和局部分类子网络层的预训练，结合基础网络层，构建多重注意力模型的神经网络层级结构，其中，局部分类子网络层和通道聚类层通常一起进行预训练。
[0054] 通道聚类层用于判别局部定位，局部分类子网络层用于识别定位后的局部特征，并生成相应权重。例如，先给定输入车辆图像为X，首先通过将图像输入预训练的卷积层提取图像的原始深度特征，提取出的深度特征表述为：W*X，其中*代表了一系列的卷积、池化等操作，W为基础网络模型。然后，将图像X分为N个局部，假如有N组通道聚类层，每组通道聚类层的结构由带有tanh的两个特征通道构成，且每个局部对应一组通道聚类层。
[0055] 为了防止训练陷入局部最优解，需要对通道聚类层进行预训练，具体地，由于每个特征通道都会对特定类型的视觉模式产生响应，所以每个特征通道都有一个峰值响应点，这样每个特征通道都可以用一个位置向量表示，其元素是所有训练图像在该通道上的峰值响应坐标。把这些位置向量作为特征，进行聚类，将不同的通道分成N个聚类，即N个部分，用长度为c(通道数)的指示向量表示每个通道是否属于该聚类，如果是，则该通道位置为1,否则为0。N个指示向量为互斥的关系，通道数c通常不等于聚类部分数目N。
[0056] 为了保证上述过程在训练中得到优化，本实施方式用fc近似聚类过程，若产生N个部分，则用N组全连接层，全连接层是现有的神经网络的全连接层的结构，每个全连接层接收基础网络层的特征图像，然后产生一个权重向量di：
[0057] di(X)＝fi(W*X)；
[0058] 其中di(X)＝[d1,...,dc]。C为通道数目，fi表示第i组全连接层的聚类函数，定义全连接层的聚类函数为f(·)＝[f1(·),...,fN(·)]，每一个fi定义为输入卷积特征，产生一个跨通道的权重向量Di。同时，为了获得准确的权重向量，通常需要预训练fc参数，基于学习到的权重向量，可以得到每个部位的注意力热图。W*X代表基础网络层提取的特征热图。dj与对应特征通道相乘，相加后用sigmoid归一化得到一个可能性热图：
[0059]
[0060] 其中，Mi(X)是对每一个部分可能性热图进行相加然后进行sigmoid函数归一化以后得到的相应的该部分的注意力可能性热图。M(x)是整体的注意力可能性热图。[W*X]j表示表示第j个局部的深度特征。
[0062]
[0063] 其中，点积表示数组元素[W*X]j和Mi依次相乘。
[0064] 通过以上步骤对聚类层的预训练步骤，设置好各个参数，从而构建多重注意力模型的神经网络层级结构。构建好多重注意力模型的神经网络层级结构后，通过预先经过多尺度区域特征提取后的训练数据样本对建立好的多重注意力模型进行训练，进一步调整模型的各层参数，得到车辆细粒度识别模型，通过预先经过多尺度区域特征提取的训练数据样本对多重注意力模型进行训练，能有效的提高多重注意力模型对目标定位的精度，从而使得车辆细粒度识别模型对目标区域的定位精度更高。
[0065] 如图2所示，为了使得多个区域尺度的MA-CNN模型对目标区域的定位更准确，需要进行对目标车辆图像训练数据进行处理，训练数据通过以下步骤得到：
[0066] 获取第二车辆目标图像；
[0067] 确定第二车辆目标图像中的目标区域；
[0068] 将目标区域划分为多个尺度区域并标记；
[0069] 依据包围盒约束算法及标记后的第二车辆目标图像对目标检测模型的各检测框进行初步定位；以及
[0070] 依据海伦约束算法及经初步定位后的第二车辆目标图像对目标检测模型的检测框进行最终定位，以最终定位后的第二车辆目标图像的图像数据作为训练数据样本。
[0071] 其中，目标检测模型基于FASTER-RCNN模型构建。在结构上，FASTER-RCNN将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。其主要包括以下部分：
[0072] 卷积层(Conv layers)：作为一种CNN网络目标检测方法，FASTER-RCNN首先使用一组基础的conv+relu+pooling层提取图像的feature maps。该feature maps被共享用于后续RPN层和全连接层。
[0073] RPN网络(Region Proposal Networks)：RPN网络用于生成region proposals。该层通过softmax判断anchors属于foreground或者background，再利用bounding box regression修正anchors获得精确的proposals。
[0074] Roi Pooling：该层收集输入的feature maps和proposals，综合这些信息后提取proposal feature maps，送入后续全连接层判定目标类别。
[0075] 分类和回归(Classification)：利用proposal feature maps计算proposal的类别，同时再次bounding box regression获得检测框最终的精确位置。
[0076] 将第二车辆目标图像作为FASTER-RCNN模型的输入，区分第二车辆目标图像的背景，确定第二车辆目标图像的目标区域，将目标区域划分为多个尺度区域并对每个尺度区域进行标记，依据包围盒约束算法，基于标记后的第二车辆目标图像对目标检测模型的各检测框进行初步定位，使得各检测框满足包围盒约束算法的约束，从而对检测框进行初步定位。基于初步定位后的第二车辆目标图像，通过海伦约束算法进一步对检测框进行定位，选择满足海伦约束算法约束的检测框作为最终定位的检测框，经过包围盒约束算法与海伦约束算法的双重约束、过滤后，有效提高了对于目标检测的定位精度，以经过最终定位后的第二车辆目标图像的图像数据作为MA-CNN模型的训练数据样本，其中，训练数据样本包括第二车辆目标图像及检测框定位数据。本实施方式将搜索区域的尺度设置为图片的长宽比可变，总体图片大小不变，从而有利于增加视频图像的处理需求，大大减少了计算量。对于原始的输入图片，RPN网络会得到约两万个检测框，在实际应用时，一些超出图片边界的搜索框会被剔除；同时，对于同一目标重叠覆盖的搜索框，采用非极大值抑制(Non-Maximum Suppression，NMS)方法来处理，以达到去除重叠搜索框的目的。
[0077] 为了微调多个区域尺度的FASTER-RCNN模型，需要对目标车辆图像训练数据进行多尺度目标区域进行标注，将目标区域划分为多个尺度区域，包括：
[0078] 将目标区域划分为多个尺度区域，其中，最中心的尺度区域为第一目标区域,最外围的尺度区域为第三目标区域，第一目标区域与第三目标区域之间为第二目标区域，第三目标区域包含第一目标区域及第二目标区域，第二目标区域包含第一目标区域。
[0079] 本实施方式中，将检测的目标区域分为3个尺度,最中心的尺度区域为p0区域,中间的尺度为p1区域,最外围的部分为完整的目标区域。目标区域包含p1和p0区域,p1区域包含p0区域。其中，最中心的尺度区域p0以及中间部分的尺度区域p1的标注信息如下所示：
[0080]
[0081]
[0082] 其中x1,y1,x2,y2分别为目标物体最外围区域的左下角和右上角的横、纵坐标值，和 分别为目标物体中心部分p0标注信息的左下角和右上角的横、纵坐标值。 和 分别为目标物体中心部分p1标注信息的左下角和右上角的横、纵坐标值。
[0083] 对基于多尺度区域信息标注后的第二车辆目标图像数据，进行改进的包围盒约束处理优化，使标注车辆信息定位更加准确，将处理后的车辆图像整理成数据集。其具体过程如下：
[0084] 根据多尺度区域互相包含的关系,对检测的结果进行包围盒约束算法优化,更有效的筛选出图片中包含目标物体和多尺度目标中心的检测框,使得检测出包含目标物体的检测框数量提高和检测的定位准确度提高,p1区域包含在物体目标区域内,p0区域包含在p1区域内。即满足公式 和 且
Δbox(X)值不为0的约束条件,设置ε值为10,选择满足上述关系的检测框并且优先选择FASTER-RCNN检测的包含目标物体得分概率分数依大到小排序靠前的检测框，其具体选择可以根据实际情况确定，其中box表示检测到的完整的目标区域。将标注好的目标车辆图像进行包围盒约束以后，分类形成相应第二目标车辆图像数据集。
Δbox(X)值不为0的约束条件,设置ε值为10,选择满足上述关系的检测框并且优先选择FASTER-RCNN检测的包含目标物体得分概率分数依大到小排序靠前的检测框，其具体选择可以根据实际情况确定，其中box表示检测到的完整的目标区域。将标注好的目标车辆图像进行包围盒约束以后，分类形成相应第二目标车辆图像数据集。
[0085] 基于改进的海伦约束算法及经初步定位得到的第二目标车辆图像数据集，对第二目标车辆图像进行最终定位，同时将处理后的车辆图像整理成数据集，海伦约束算法的具体步骤如下：
[0086] 由于通过包围盒约束算法初步定位后能确定各尺度区域的包含关系，但是无法很好的将各尺度检测框中心点约束在同一个中心点，而将各尺度检测框中心点约束在同一个中心点可以求出检测位置更精确的检测框，因此，需要在初步定位的基础上，进一步对各检测框的中心点进行约束。
[0087] 依据平面上不在同一条直线上的三个点唯一确定一个外接圆,故而计算多尺度区域的中心点坐标，其中，目标物体的检测中心坐标计算公式为 目标物体中心部分p1检测框的中心坐标公式为 目标物体中心部分p0检测框的中心坐标公式为目标物体区域与p0区域中心坐标之间的距离公式为目标物体区域与p1区域中心坐标之间的距离公式为 p0区域与p1区
域中心坐标之间的距离公式为 通过海伦公式计算连接各中心
坐标的三角形的外接圆面积： 本实施方式中设置
面积S的最大值为120，即通过海伦公式计算出的面积S大小不能超过120，以此作为约束条件，选择FASTER-RCNN提取的候选框中包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。
域中心坐标之间的距离公式为 通过海伦公式计算连接各中心
坐标的三角形的外接圆面积： 本实施方式中设置
面积S的最大值为120，即通过海伦公式计算出的面积S大小不能超过120，以此作为约束条件，选择FASTER-RCNN提取的候选框中包含物体得分概率分数排序靠前且满足海伦检测约束条件的目标物体和各尺度中心部分检测框。
[0088] 本实施方式基于MA-CNN模型构建车辆细粒度识别模型，其中，MA-CNN模型包括依次连接的基础网络层、通道聚类层及局部分类子网络层，需要通过训练对MA-CNN模型的参数进行调整，以使得最终输出的结果最佳，则，车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到，包括：
[0089] 以训练数据样本作为MA-CNN模型的输入；
[0090] 交替训练通道聚类层及局部分类子网络层通道聚类层；
[0091] 依据预设的损失函数优化MA-CNN模型的参数，得到训练后的车辆细粒度识别模型。
[0092] 其中，交替训练通道聚类层及局部分类子网络层通道聚类层，包括：
[0093] 固定局部分类子网络层，依据通道聚类层的损失函数优化通道聚类层；
[0094] 固定通道聚类层，依据局部分类子网络层的损失函数优化局部分类子网络层；
[0095] 交替重复上述过程，直至通道聚类层的损失函数及局部分类子网络层的损失函数满足收敛条件。
[0096] 通过标注定位好的第二目标车辆图像的图像数据集，训练多重注意力模型，确定多重注意力模型的损失函数：学习局部分类损失函数(part classification loss)和通道聚类损失函数(channel grouping loss)的联合损失，从而进行权重参数矩阵和偏置值的调整。其中，损失函数调整采用交替优化、相互强化的方式，交替训练局部分类子网络层和通道聚类层，最后，结合两个约束条件的损失函数，输出最后系统的总损失函数，即预设的损失函数为：
[0097] L＝L(X)+Lcng(Mi)+L(Y)；
[0098] 其中，L(X)为通道聚类层的损失函数，Lcng(Mi)为局部分类子网络层的损失函数，L(Y)为多尺度区域约束损失函数。
[0099] 多重注意力模型的损失由两部分组成，一部分是局部分类损失函数(part classification loss)，即普通的分类网络中的交叉熵；另一部分是通道聚类损失函数，一张图片X的损失函数表示如下，N表示N个细节部分。
[0100] 本实施方式的算法中，通道聚类层的损失函数如下，由两个部分组成：
[0101]
[0102] 其中，Y(i)表示使用基于局部特征Pi(X)从第i个部分开始预测的标签向量，Y*是地面真值标签向量，训练是通过一个SoftMax函数来指定类别标签来实现，其中，Lcng是由Dis和Div两块组成，则，Lcng可以表示为：
[0103] Lcng(Mi)＝Dis(Mi)+λDiv(Mi)；
[0104] 其中，Dis和Div表示了权重为λ的差异和距离函数，Dis是使同一局部内的坐标更聚集，Div是使不同局部尽量疏远，Mi是上述的可能性热点图。
[0105] 本实施方式采用相互强化的方式，交替训局部分类子网络层和通道类聚层，首先，固定卷积层，通过Lcng优化通道聚类层，然后固定通道聚类层，通过Lcls，训练局部分类子网络层，交替迭代直至两类损失函数都不再改变。
[0106] 为了进一步提高车辆细粒度识别模型的识别精度，在确定通道聚类层的损失函数以及局部分类子网络层的损失函数的基础上，还需要确定基于多尺度区域约束部分损失函数：
[0107] 将目标车辆区域按权重视为一个锚点，把包围盒约束及海伦约束两个约束条件视为是逐渐约束并靠近锚点的两个距离样本，首先把基于包围盒约束的条件推向锚点，满足第一个约束，该部分的约束条件权重参数设置为β，然后再用海伦约束的条件推向前两个锚点，使其整体满足第二个约束条件，该部分的权重参数设置为γ，两部分约束条件结合后，结合度量学习的成果，得到其损失函数为：L(Y)＝γ(β Log(1+Δbox(x))+Log(1+S))；
[0108] 其中，β与γ为根据不同车辆标注图像人为设定的参数，通常γ取值为0.5到0.8，β取值为0.8到1之间。
[0109] 最后，得到多重注意力模型的最终的整体损失函数为三部分之和，即预设的损失函数L＝L(X)+Lcng(Mi)+L(Y)。
[0110] 通过包含不同车辆属性的细粒度图像分类的第二目标车辆图像数据集，通过带标签的数据的有监督学习训练多重注意力模型神经网络，同时将得到的训练好的各层中的权重参数矩阵和偏置值，对应地赋值给多重注意力模型神经网络中的各个层，最终实现对车辆特征提取和车辆多属性识别。
[0111] 如图3所示，在本发明的第二方面，提供一种基于多尺度区域特征约束的车辆细粒度识别装置，包括：
[0112] 图像获取模块100，被配置为获取待识别的第一车辆目标图像；以及[0113] 细粒度识别模块200，被配置为以第一车辆目标图像为输入，经预训练的车辆细粒度识别模型对第一车辆目标图像进行车辆细粒度分类识别；车辆细粒度识别模型通过包括经多尺度区域特征提取后的训练数据样本的训练集对MA-CNN模型训练后得到。
[0114] 如图4所示，在本发明的第三方面，提供一种基于多尺度区域特征约束的车辆细粒度识别设备70，包括：
[0115] 至少一个处理器701；以及
[0116] 与处理器701连接的至少一个存储器702及总线703；
[0117] 其中，处理器701及存储器702通过总线703完成相互间的通信；处理器701用于调用存储器702中的程序指令，以执行如上述的基于多尺度区域特征约束的车辆细粒度识别方法。
[0118] 在本发明的第四方面，提供一种计算机可读存储介质，其上存储有程序，该程序被处理器701执行时执行如上述的基于多尺度区域特征约束的车辆细粒度识别方法。
[0119] 综上所述，本实施方式构建了一个多注意力卷积神经网络(MA-CNN)模型，让局部生成网络和特征学习能互相强化，同时模型抛弃手工标记局部注意力的方法，采用弱监督学习方法，通过本实施方式的算法，能够准确的对违法车辆进行检测识别，如检测出车辆是否贴有年检标、驾驶员是否打电话和未系安全带等行为；以及通过如纸巾盒、摆件、挂件等多维度的特征组合对车辆进行智能检索等，能够大大增加车辆识别的准确率，同时简化计算步骤，很好的应用于各类具有实时输出车辆图像功能的目标检测的视频车辆识别侦查系统，能很好的帮助有关部门提高工作效率，提升道路交通安全，保证广大群众的生命安全。
[0120] 本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0121] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0122] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0123] 以上结合附图详细描述了本发明的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
[0124] 另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 融合大数据与物联网的医养结合信息服务与预警系统 | 2020-05-08 | 891 |
| 一种固体绝缘材料界面介电性能测试装置及方法 | 2020-05-11 | 66 |
| 用于从多个外围设备接收数据的方法及设备 | 2020-05-08 | 792 |
| 一种单片晶圆湿式处理设备及处理方法 | 2020-05-08 | 50 |
| 一种用于桥梁索股入鞍施工的框架式机械自动化设备 | 2020-05-11 | 618 |
| 针对移动通信设备的天线 | 2020-05-08 | 586 |
| 软件产品质量数据处理方法及装置 | 2020-05-08 | 402 |
| 基于FPGA的biss-c协议的译码系统 | 2020-05-08 | 789 |
| 一种石墨散热片喷涂设备 | 2020-05-08 | 43 |
| 一种定位快换结构 | 2020-05-08 | 115 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
外围设备热门专利
QQ群二维码
意见反馈
意见反馈