基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法专利检索-查询似然模型人工智能专利检索查询-专利查询网

基于 深度学习的图像增强与伪孪生 卷积神经网络结合的行人再识别方法

阅读：759发布：2020-05-08

专利汇可以提供基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，该方法包括以下步骤：首先采集行人图像构建候选行人库，并构建行人再识别模型，该模型包括图像缩放和增强模块，两个特征提取模块和相似度计算模块；通过图像缩放和增强模块将候选样本缩放到与待查询样本相同的尺寸，然后将缩放后的图像作增强处理；将待查询样本和作增强处理后的候选样本输入到两个特征提取模块中，得到两个样本的特征图；最后将两个样本的特征图输入到相似度计算模块中，输出待查样本与候选样本是否具有相同身份标签的判断。本发明对行人图像进行缩放和增强处理，改善输入到伪孪生卷积神经网络的样本的视觉表现，从而提升再识别模型的性能。，下面是基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法专利的具体信息内容。

权利要求

1.一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，该方法包括以下步骤：
(1)采集Np个行人的Nx幅图像构建候选行人库，记作其中xi代表第i个候选q
样本图像，为对应xi的行人身份标签；设待查询样本的图像为x。
(2)构建行人再识别模型，该模型可表示为一个四元组B＝(M,f1,f2,S)，其中B为行人再识别模型，M为图像缩放和增强模块，f1和f2为特征提取模块，S为相似度计算模块；所述图像缩放和增强模块M包括一个深度卷积神经网络，所述特征提取模块f1和f2为一个伪孪生卷积神经网络，所述相似度计算模块S包括一个卷积层和一个Softmax层。
q
(3)通过图像缩放和增强模块M将候选样本xi缩放到与待查询样本x 相同的尺寸，然后将缩放后的图像输入到深度卷积神经网络中作增强处理。
(4)将待查询样本xq输入到f1中，提取待查询样本xq的特征，得到待查询样本xq的特征图；并将作增强处理后的候选样本xi输入到f2中，提取候选样本xi的特征，得到候选样本xi的特征图。
(5)将步骤(4)中得到的待查询样本xq的特征图和候选样本xi的特征图，同时输入到相似度计算模块S中，输出待查样本xq与候选样本xi是否具有相同身份标签的判断。具体计算步骤包括：设F1为特征提取模块f1输出的特征图，F2为特征提取模块f2输出的特征图，相似度计算模块首先按下式计算特征图每个元素的差值的平方形成一个新的特征图Fs：
Fs＝(F1-F2)2；
其次，相似度计算模块中的卷积层包含2个大小为1×1×2048的卷积核，该卷积层以Fs为输入，输出一个二维向量(q1,q2)，其中以q1作为xq与xi具有相同身份标签的概率，q2作为xq与xi具有不同身份标签的概率，根据二维向量(q1,q2)的值判断待查询样本xq与xi是否具有相同的身份标签。
2.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述步骤(3)中的深度卷积神经网络对缩放后的图像作增强处理，具体为：设待查询样本xq的大小为Hq×Wq，当前参与识别的候选样本xi的大小为Hi×Wi，则首先以双三次插值算法将候选样本缩放为Hq×Wq大小的图像，记作所述深度卷积神经网络包含d个层次，其中d可为14到18之间的整数，将输入到所述深度卷积网络，若最后一层的输出为按下式与输入样本融合后作为与对应的增强后的样本：
所述深度卷积神经网络的d个层次，除第一和最后一层外的其它层次具有相同的结构，该结构包括一个卷积层和一个ReLU层，每个卷积层均包含64个3×3×64大小的卷积核；第一层包含64个3×3×C大小的卷积核，与输入样本作卷积运算后产生64个特征图，其中C等于输入样本的通道数；最后一层包含C个3×3×64大小的卷积核，该层卷积运算的输出结果的大小和通道数目都与输入样本相同。
3.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述步骤(4)中特征提取模块f1和f2具有相同的网络结构，该网络结构为在残差网络ResNet-50的最后一个残差单元之后添加一个额外的卷积层，记添加在f1中的额外卷积层为Conv_E01，添加在在f2中的额外卷积层为Conv_E02，Conv_E01和Conv_E02具有相同的结构，其卷积核数目等于候选库中行人身份类别数，卷积核大小等于1×1×
2048；在所述额外的卷积层Conv_E01和Conv_E02之后分别接一个Softmax层；f1和f2中的两个ResNet-50的各个层次共享权值；卷积层Conv_E01和Conv_E02及其后的Softmax层不共享权值，且仅用于模型参数的训练。
4.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述步骤(5)中所述特征提取模块f1输出的特征图为f1的残差网络ResNet-50中最后一个残差块输出的特征图，特征提取模块f2输出的特征图为f2的残差网络ResNet-50中最后一个残差块输出的特征图。
5.根据权利要求1或2所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述图像缩放和增强模块以一个深度卷积神经网络对缩放后的图像作增强处理，所述深度卷积神经网络各个层次的参数以学习的方式确定，包括如下步骤：
步骤a：准备训练样本，设xk为一个参与训练的图像，其大小为Hk×Wk，取缩放系数r为符合r∈[1.5,4]的实数，将xk缩小为Hk/r×Wk/r大小后，以双三次插值算法放大为具有Hk×Wk大小的图像，且记作以构成一对训练样本，记训练样本集为其中N
为集合中样本的数目；
步骤b：批量加载训练样本，对每一对训练样本按下式计算深度卷积神经网络的损失函数EV：
其中代表以为输入时，图像缩放增强模块中的深度卷积神经网络产生的输出图像；
步骤c：以最小化所有训练样本的损失函数累加和为目标，以Adam优化算法更新深度卷积神经网络各层的权值。
6.根据权利要求1所述的基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，其特征在于，所述特征提取模块f1、f2和相似度计算模块中的各个层次的参数以两阶段学习的方式确定，设训练样本集中包含了来自NT个行人的NS个样本，表示为其中xi代表第i个样本，为对应xi的行人身份标签，第一阶段训
练仅针对f1和f2模块中各个层次的参数，包括如下步骤：
步骤A：从训练样本集中随机选取两个样本(xm,ym)和(xn,yn)，若xm的尺寸大于xn，则以(xm,ym)作为f1的输入，xn以双三次插值算法缩放到与xm一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'n，以(x'n,yn)作为f2的输入；若xn的尺寸大于xm，以(xn,yn)作为f1的输入，xm以双三次插值算法缩放到与xn一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'm，以(x'm,ym)作为f2的输入；
步骤B：加载步骤A处理后的训练样本到所述特征提取模块f1和f2，对应每一个加载的训练样本，f1或f2中最后的Softmax层将输出NT维的向量向量的每个元素为一个正实数，且满足：若输入样本的真实身份标签为Lk，则期望与Lk相对应的向量元素具有大于其它元素的输出值，所以对每一个训练样本按下式计算特征提取模块的损失函数ED：
其中pi的取值取决于训练样本的身份标签，若训练样本的身份标签为Li，则pi＝1，否则pi＝0；
步骤C：以最小化所有训练样本的ED损失函数累加和为目标，以Adam优化算法更新特征提取模块中各层的权值；
当第一阶段训练完成后，再进行第二阶段训练，第二阶段训练固定f1和f2中各个层次的参数为第一阶段训练所得的参数，仅调整相似度计算模块S中各个层次的参数，包括如下步骤：
步骤D：从训练样本集中随机选取两个样本，形成正样本对或负样本对，(xm,ym；xn,yn)，若ym＝yn，则为正样本对，否则为负样本对；
步骤E：加载正样本对或负样本对到所述的特征提取模块f1、f2和相似度计算模块S，对应每一个加载的正样本对或负样本对，相似度计算模块中的Softmax层将输出一个二维向量向量的每个元素为一个正实数，且满足：若加载的为正样本对，则期望否则期望按下式计算相似度计算模块的损失函数EM：
其中，对于正样本对，q1＝1，q2＝0，对于负样本对，q1＝0，q2＝1；
步骤F：以最小化所有训练样本的EM损失函数累加和为目标，以Adam优化算法更新相似度计算模块中各层的权值。

说明书全文

基于 深度学习的图像增强与伪孪生 卷积神经网络结合的行人

再识别方法

技术领域

[0001] 本发明涉及计算机视觉领域，尤其涉及一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法。

背景技术

[0002] 行人再识别是指以多个摄像机采集的视频为输入，利用计算机视觉技术自动确认不同位置的摄像机在不同时刻拍摄到的多个行人目标是否属于同一个人的技术。行人再识别在公共安全和刑侦工作及图像检索等领域具有很高的应用价值，因此，一直受到学术界和产业界的广泛关注。

[0003] 近年来，基于深度学习的方法逐渐取代以手工方式设计特征和分类器的传统方法，成为行人再识别的主流方法。中国专利201710780179.0采用两个神经网络，分别以原始的全身图像和从全身图像提取的人体部位图像作为输入，组合两个网络的输出作为总的特征加以识别；中国专利201811168809.X训练了行人姿态模型过滤行人姿态，背景分割模型去除图像中的背景部分，特征提取模型提取行人特征，最后通过特征匹配完成行人再识别。

[0004] 需要指出的是，现有的技术大多假设所有行人图像具有一致的大小，并且其分辨率足够满足再识别模型对图像分辨率的要求。很少考虑在不同摄像机采集的视频中，行人所占的图像区域大小不一，而且许多时候表现为较小的尺寸，对于深度神经网络而言，无法有效地提取行人区域所蕴含的可分性特征。进一步地，若以简单的插值算法缩放图像到合适的尺寸，则难免引入图像模糊，影响再识别模型的性能。

[0005] 本发明提供一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，在将经过缩放的行人图像输入到孪生卷积神经网络之前引入了一个基于深度学习的增强模块，以改善图像插值后的视觉表现，从而有助于提升再识别模型的性能。

发明内容

[0006] 本发明目的在于针对现有技术的不足，提出一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法。

[0007] 本发明的目的是通过以下技术方案来实现的：一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，该方法包括以下步骤：

[0008] (1)采集Np个行人的Nx幅图像构建候选行人库，记作其中xi代表第i个候选样本图像，为对应xi的行人身份标签；设待查询样本的图像为xq；

[0009] (2)构建行人再识别模型，该模型可表示为一个四元组B＝(M,f1,f2,S)，其中B为行人再识别模型，M为图像缩放和增强模块，f1和f2为特征提取模块，S为相似度计算模块；所述图像缩放和增强模块M包括一个深度卷积神经网络，所述特征提取模块f1和f2为一个伪孪生卷积神经网络，所述相似度计算模块S包括一个卷积层和一个Softmax层；

[0010] (3)通过图像缩放和增强模块M将候选样本xi缩放到与待查询样本xq相同的尺寸，然后将缩放后的图像输入到深度卷积神经网络中作增强处理；

[0011] (4)将待查询样本xq输入到f1中，提取待查询样本xq的特征，得到待查询样本xq的特征图；并将作增强处理后的候选样本xi输入到f2中，提取候选样本xi的特征，得到候选样本xi的特征图；

[0012] (5)将步骤(4)中得到的待查询样本xq的特征图和候选样本xi的特征图，同时输入到相似度计算模块S中，输出待查样本xq与候选样本xi是否具有相同身份标签的判断。具体计算步骤包括：设F1为特征提取模块f1输出的特征图，F2为特征提取模块f2输出的特征图，相似度计算模块首先按下式计算特征图每个元素的差值的平方形成一个新的特征图Fs：

[0013] Fs＝(F1-F2)2；

[0014] 其次，相似度计算模块中的卷积层包含2个大小为1×1×2048的卷积核，该卷积层q以Fs为输入，输出一个二维向量(q1,q2)，其中以q1作为x与xi具有相同身份标签的概率，q2作为xq与xi具有不同身份标签的概率，根据二维向量(q1,q2)的值判断待查询样本xq与xi是否具有相同的身份标签。

[0015] 进一步地，所述步骤(3)中的深度卷积神经网络对缩放后的图像作增强处理，具体q q q为：设待查询样本x的大小为H×W ，当前参与识别的候选样本xi的大小为Hi×Wi，则首先以双三次插值算法将候选样本缩放为Hq×Wq大小的图像，记作所述深度卷积神经网络包含d个层次，其中d可为14到18之间的整数，将输入到所述深度卷积网络，若最后一层的输出为按下式与输入样本融合后作为与对应的增强后的样本：

[0016]

[0017] 所述深度卷积神经网络的d个层次，除第一和最后一层外的其它层次具有相同的结构，该结构包括一个卷积层和一个ReLU层，每个卷积层均包含64个3×3×64大小的卷积核；第一层包含64个3×3×C大小的卷积核，与输入样本作卷积运算后产生64个特征图，其中C等于输入样本的通道数；最后一层包含C个3×3×64大小的卷积核，该层卷积运算的输出结果的大小和通道数目都与输入样本相同。

[0018] 进一步地，所述步骤(4)中特征提取模块f1和f2具有相同的网络结构，该网络结构为在残差网络ResNet-50的最后一个残差单元之后添加一个额外的卷积层，记添加在f1中的额外卷积层为Conv_E01，添加在在f2中的额外卷积层为Conv_E02，Conv_E01和Conv_E02具有相同的结构，其卷积核数目等于候选库中行人身份类别数，卷积核大小等于1×1×2048；在所述额外的卷积层Conv_E01和Conv_E02之后分别接一个Softmax层；f1和f2中的两个ResNet-50的各个层次共享权值；卷积层Conv_E01和Conv_E02及其后的Softmax层不共享权值，且仅用于模型参数的训练。

[0019] 进一步地，所述步骤(5)中所述特征提取模块f1输出的特征图为f1的残差网络ResNet-50中最后一个残差块输出的特征图，特征提取模块f2输出的特征图为f2的残差网络ResNet-50中最后一个残差块输出的特征图。

[0020] 进一步地，所述图像缩放和增强模块以一个深度卷积神经网络对缩放后的图像作增强处理，所述深度卷积神经网络各个层次的参数以学习的方式确定，包括如下步骤：

[0021] 步骤a：准备训练样本，设xk为一个参与训练的图像，其大小为Hk×Wk，取缩放系数r为符合r∈[1.5,4]的实数，将xk缩小为Hk/r×Wk/r大小后，以双三次插值算法放大为具有Hk×Wk大小的图像，且记作以构成一对训练样本，记训练样本集为其中N为集合中样本的数目；

[0022] 步骤b：批量加载训练样本，对每一对训练样本按下式计算深度卷积神经网络的损失函数EV：

[0023]

[0024] 其中代表以为输入时，图像缩放增强模块中的深度卷积神经网络产生的输出图像；

[0025] 步骤c：以最小化所有训练样本的损失函数累加和为目标，以Adam优化算法更新深度卷积神经网络各层的权值。

[0026] 进一步地，所述特征提取模块f1、f2和相似度计算模块中的各个层次的参数以两阶段学习的方式确定，设训练样本集中包含了来自NT个行人的NS个样本，表示为其中xi代表第i个样本，为对应xi的行人身份标签，第一阶段训练仅针对f1和f2模块中各个层次的参数，包括如下步骤：

[0027] 步骤A：从训练样本集中随机选取两个样本(xm,ym)和(xn,yn)，若xm的尺寸大于xn，则以(xm,ym)作为f1的输入，xn以双三次插值算法缩放到与xm一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'n，以(x'n,yn)作为f2的输入；若xn的尺寸大于xm，以(xn,yn)作为f1的输入，xm以双三次插值算法缩放到与xn一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'm，以(x'm,ym)作为f2的输入；

[0028] 步骤B：加载步骤A处理后的训练样本到所述特征提取模块f1和f2，对应每一个加载的训练样本，f1或f2中最后的Softmax层将输出NT维的向量向量的每个元素为一个正实数，且满足：若输入样本的真实身份标签为Lk，则与Lk相对应的期望向量元素具有大于其它元素的输出值，所以对每一个训练样本按下式计算特征提取模块的损失函数ED：

[0029]

[0030] 其中pi的取值取决于训练样本的身份标签，若训练样本的身份标签为Li，则pi＝1，否则pi＝0；

[0031] 步骤C：以最小化所有训练样本的ED损失函数累加和为目标，以Adam优化算法更新特征提取模块中各层的权值；

[0032] 当第一阶段训练完成后，再进行第二阶段训练，第二阶段训练固定f1和f2中各个层次的参数为第一阶段训练所得的参数，仅调整相似度计算模块S中各个层次的参数，包括如下步骤：

[0033] 步骤D：从训练样本集中随机选取两个样本，形成正样本对或负样本对，(xm,ym；xn,yn)，若ym＝yn，则为正样本对，否则为负样本对；

[0034] 步骤E：加载正样本对或负样本对到所述的特征提取模块f1、f2和相似度计算模块S，对应每一个加载的正样本对或负样本对，相似度计算模块中的Softmax层将输出一个二维向量向量的每个元素为一个正实数，且满足：若加载的为正样本对，则期望否则期望按下式计算相似度计算模块的损失函数EM：

[0035]

[0036] 其中，对于正样本对，q1＝1，q2＝0，对于负样本对，q1＝0，q2＝1；

[0037] 步骤F：以最小化所有训练样本的EM损失函数累加和为目标，以Adam优化算法更新相似度计算模块中各层的权值。

[0038] 本发明的有益效果：本发明提供的行人再识别方法以图像缩放和增强模块对行人图像进行缩放和增强处理，以改善输入到伪孪生卷积神经网络的样本的视觉表现，从而有助于提升再识别模型的性能；并根据待查询样本和增强处理后的候选样本的特征图进行相似度计算，从而判断待查样本与候选样本是否具有相同身份。附图说明

[0039] 图1为本发明的行人再识别方法流程示意图；

[0040] 图2为本发明图像缩放和增强模块中的深度卷积神经网络的结构示意图；

[0041] 图3为本发明的特征提取模块和相似度计算模块的网络结构示意图；

[0042] 图4为没有图像缩放和增强模块的行人再识别的一个结果示意图；

[0043] 图5为增加了图像缩放和增强模块的行人再识别的一个结果示意图。

具体实施方式

[0044] 下面结合附图和具体实施例对本发明做进一步阐述，以便本领域技术人员更好地理解本发明的实质。

[0045] 如图1所示，一种基于深度学习的图像增强和伪孪生卷积神经网络结合的行人再识别方法，该方法包括以下步骤：

[0046] (1)采集Np个行人的Nx幅图像构建候选行人库，记作其中xi代表第i个候选样本图像，为对应xi的行人身份标签，每个身份标签标识了不同的行人，可为不重复的序号，为第Np个行人的身份标签；设待查询样本的图像为xq；

[0047] (2)构建行人再识别模型，该模型可表示为一个四元组B＝(M,f1,f2,S)，其中B为行人再识别模型，M为图像缩放和增强模块，f1和f2为特征提取模块，S为相似度计算模块；所述图像缩放和增强模块M包括一个深度卷积神经网络，所述特征提取模块f1和f2为一个伪孪生卷积神经网络，所述相似度计算模块S包括一个卷积层和一个Softmax层；

[0048] 所述深度卷积神经网络各个层次的参数以学习的方式确定，包括如下步骤：

[0049] 步骤a：准备训练样本，设xk为一个参与训练的图像，其大小为Hk×Wk，取缩放系数r为符合r∈[1.5,4]的实数，将xk缩小为Hk/r×Wk/r大小后，以双三次插值算法放大为具有Hk×Wk大小的图像，且记作以构成一对训练样本，记训练样本集为其中N为集合中样本的数目；

[0050] 步骤b：批量加载训练样本，对每一对训练样本按下式计算深度卷积神经网络的损失函数EV：

[0051]

[0052] 其中代表以为输入时，图像缩放增强模块中的深度卷积神经网络产生的输出图像；

[0053] 步骤c：以最小化所有训练样本的损失函数累加和为目标，以Adam优化算法更新深度卷积神经网络各层的权值。

[0054] 所述特征提取模块f1、f2和相似度计算模块中的各个层次的参数以两阶段学习的方式确定，设训练样本集中包含了来自NT个行人的NS个样本，表示为其中xi代表第i个样本，为对应xi的行人身份标签，第一阶段训练仅针对f1和f2模块中各个层次的参数，包括如下步骤：

[0055] 步骤A：从训练样本集中随机选取两个样本(xm,ym)和(xn,yn)，若xm的尺寸大于xn，则以(xm,ym)作为f1的输入，xn以双三次插值算法缩放到与xm一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'n，以(x'n,yn)作为f2的输入；若xn的尺寸大于xm，以(xn,yn)作为f1的输入，xm以双三次插值算法缩放到与xn一致的尺寸后由图像缩放和增强模块中的深度卷积神经网络作增强处理，形成增强后图像x'm，以(x'm,ym)作为f2的输入；

[0056] 步骤B：加载步骤A处理后的训练样本到所述特征提取模块f1和f2，对应每一个加载的训练样本，f1或f2中最后的Softmax层将输出NT维的向量向量的每个元素为一个正实数，且满足：若输入样本的真实身份标签为Lk，则与Lk相对应的期望向量元素具有大于其它元素的输出值，所以对每一个训练样本按下式计算特征提取模块的损失函数ED：

[0057]

[0058] 其中pi的取值取决于训练样本的身份标签，若训练样本的身份标签为Li，则pi＝1，否则pi＝0；

[0059] 步骤C：以最小化所有训练样本的ED损失函数累加和为目标，以Adam优化算法更新特征提取模块中各层的权值；

[0060] 当第一阶段训练完成后，再进行第二阶段训练，第二阶段训练固定f1和f2中各个层次的参数为第一阶段训练所得的参数，仅调整相似度计算模块S中各个层次的参数，包括如下步骤：

[0061] 步骤D：从训练样本集中随机选取两个样本，形成正样本对或负样本对，(xm,ym；xn,yn)，若ym＝yn，则为正样本对，否则为负样本对；

[0062] 步骤E：加载正样本对或负样本对到所述的特征提取模块f1、f2和相似度计算模块S，对应每一个加载的正样本对或负样本对，相似度计算模块中的Softmax层将输出一个二维向量向量的每个元素为一个正实数，且满足：若加载的为正样本对，则期望否则期望按下式计算相似度计算模块的损失函数EM：

[0063]

[0064] 其中，对于正样本对，q1＝1，q2＝0，对于负样本对，q1＝0，q2＝1；

[0065] 步骤F：以最小化所有训练样本的EM损失函数累加和为目标，以Adam优化算法更新相似度计算模块中各层的权值。

[0066] (3)如图2所示，通过图像缩放和增强模块M将候选样本xi缩放到与待查询样本xq相同的尺寸，然后将缩放后的图像输入到深度卷积神经网络中作增强处理；候选样本库中的样本来自于多个不同的摄像机，它们的大小、视角等往往存在较大的差异。设待查询样本xq的大小为Hq×Wq，当前参与识别的候选样本xi的大小为Hi×Wi，则首先以双三次插值算法将候选样本缩放为Hq×Wq大小的图像，记作所述深度卷积神经网络包含d个层次，其中d可为14到18之间的整数，将输入到所述深度卷积网络，若最后一层的输出为按下式与输入样本融合后作为与对应的增强后的样本：

[0067]

[0068] 所述深度卷积神经网络的d个层次，除第一和最后一层外的其它层次具有相同的结构，该结构包括一个卷积层和一个ReLU层，每个卷积层均包含64个3×3×64大小的卷积核；第一层包含64个3×3×C大小的卷积核，与输入样本作卷积运算后产生64个特征图，其中C等于输入样本的通道数；最后一层包含C个3×3×64大小的卷积核，该层卷积运算的输出结果的大小和通道数目都与输入样本相同。

[0069] (4)将待查询样本xq输入到f1中，提取待查询样本xq的特征，得到待查询样本xq的特征图；并将作增强处理后的候选样本xi输入到f2中，提取候选样本xi的特征，得到候选样本xi的特征图；特征提取模块f1和f2具有相同的网络结构，该网络结构为在残差网络ResNet-50的最后一个残差单元之后添加一个额外的卷积层，记添加在f1中的额外卷积层为Conv_E01，添加在在f2中的额外卷积层为Conv_E02，Conv_E01和Conv_E02具有相同的结构，其卷积核数目等于候选库中行人身份类别数，卷积核大小等于1×1×2048；在所述额外的卷积层Conv_E01和Conv_E02之后分别接一个Softmax层；f1和f2中的两个ResNet-50的各个层次共享权值；卷积层Conv_E01和Conv_E02及其后的Softmax层不共享权值，且仅用于模型参数的训练。

[0070] (5)如图3所示，将步骤(4)中得到的待查询样本xq的特征图和候选样本xi的特征图，同时输入到相似度计算模块S中，输出待查样本xq与候选样本xi是否具有相同身份标签的判断。具体计算步骤包括：设F1为特征提取模块f1输出的特征图，F2为特征提取模块f2输出的特征图，特征提取模块f1输出的特征图为f1的残差网络ResNet-50中最后一个残差块输出的特征图，特征提取模块f2输出的特征图为f2的残差网络ResNet-50中最后一个残差块输出的特征图，相似度计算模块首先按下式计算特征图每个元素的差值的平方形成一个新的特征图Fs：

[0071] Fs＝(F1-F2)2；

[0072] 其次，相似度计算模块中的卷积层包含2个大小为1×1×2048的卷积核，该卷积层以Fs为输入，输出一个二维向量(q1,q2)，其中以q1作为xq与xi具有相同身份标签的概率，q2作为xq与xi具有不同身份标签的概率，根据二维向量(q1,q2)的值判断待查询样本xq与xi是否具有相同的身份标签。

[0073] 本发明实施例在实际应用场景下进行了大量的测试，图4和图5比较了有无本发明实施例的图像缩放和增强模块对再识别结果的影响，图4和图5的最左边图像为输入的查询图像，右边则为候选库中与查询图像具有较大相似度的10幅图像，并且在图像的上方标注了相似度的排序。从图中可以看出，若候选库中的图像缩放后不作基于深度卷积神经网络的图像增强，在Rank-10结果中有三个错误的识别，分别位于第2、7和8顺位；引入了本发明实施例的图像增强模块后，Rank-10结果中的错误识别减少到2个，其顺位也降低为第3和第9。所以，本发明实施例以图像缩放和增强模块对行人图像进行缩放和增强处理，改善了输入到伪孪生卷积神经网络的样本的视觉表现，从而有助于提升再识别模型的性能。

[0074] 上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

标题	发布/更新时间	阅读量
一种基于序列图像特征的自主无人系统位置识别定位方法	2020-05-12	35
一种基于点线综合特征的视觉同时建图与定位方法	2020-05-11	166
基于深度学习改进的天气与用电相关性预测方法及装置	2020-05-11	231
一种利用卷积多层注意力网络机制生成面向查询的视频摘要的方法	2020-05-13	253
一种面向学者的用户画像构建及应用方法	2020-05-12	902
一种变电设备故障率预测方法，系统，设备及可读存储介质	2020-05-13	798
基于元语义分解的电力客服留言生成模型样本处理系统及方法	2020-05-13	627
一种基于局部变换一致的非刚性点集配准方法	2020-05-15	223
基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法	2020-05-08	759
一种面向海洋多维数据的可视分析系统及方法	2020-05-14	435

基于深度学习的图像增强与伪孪生卷积神经网络结合的行人再识别方法

基于深度学习的图像增强与伪孪生卷积神经网络结合的行人

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：