技术领域
[0001] 本
发明涉及
计算机视觉的研究领域，特别涉及一种基于迁移学习和特征融合的行人重识别方法。
背景技术
[0002] 行人重识别过程主要由两部分组成，即特征学习部分和度量学习部分。现有的行人重识别方法多是试图提取出一个足够好的特征表达，使其可以描述一个人在不同条件下具有独特性和鲁棒性的特征，基于此目的研究者们从色彩，纹理和形状等不同
角度设计出多种手工特征，并取得了较好的结果。度量学习方面，使用标准的距离度量如欧式距离不能很好的计算行人特征的相似度，所以度量学习方面的研究是学习一个合适的度量，使得同一行人不同图像的距离小于不同人图像的距离。
[0003] 如今，
深度学习在诸多计算机视觉任务中取得了出色的结果，其中
卷积神经网络在当前最大型的
图像识别数据库ImageNet上达到了最优
水平。由于在计算机视觉中，不同领域图像的底层卷积特征具有通用性，将在ImageNet等大型数据库预先训练好的
基础网络在其他领域数据库上进行微调训练，以作为新数据的特征提取器，这种方法称为迁移学习中的微调方法。神经网络的迁移学习解决两方面问题，一是数据量少不足以训练出较好的神经网络，二是减少训练时间；
[0004]
现有技术在特征提取方面一般使用两种方法，一是根据行人数据特点构建具有针对性的特征，如使用
颜色统计特征，纹理特征，局部特征融合(ELF),局部极大值特征(LOMO)等，二是使用深度学习方法，通过神经网络学习行人的隐式特征，如Wu等人设计一个卷积网络结构称为“PersonNet”；Liu等人提出一个多尺度的三元组卷积结构；Wang等人设计出一个孪生卷积网络
框架；Varior等人使用长短时记忆网络(LSTM)结合孪生网络等；但是手工设计特征复杂二深度学习由于数据量不足使得网络学习结果差。
发明内容
[0005] 本发明的目的在于克服现有技术的缺点与不足，提供一种基于迁移学习和特征融合的行人重识别方法。
[0006] 本发明的目的通过以下的技术方案实现：
[0007] 一种基于迁移学习和特征融合的行人重识别方法，其特征在于，包含以下步骤：
[0008] S1、从公开数据集中获取行人数据；
[0009] S2、搭建神经网络ResNet，在数据集ImageNet上进行初步训练，得到初次训练的网络集合，并进行保存；
[0010] S3、将初步训练得到的网络集合，在数据集MARS上进行微调，即微调网络，使用行人重识别数据作为网络输入，移除神经网络ResNet最后一层，加入一层softmax分类层，将
输出层前一层的结果作为三元组损失的输出，即进行第二次训练，得到第二次训练的网络集合；具体为：
[0011] 将 表示为第i个样本，由三个部分组成，Ii为
选定行人图片， 为正例， 为负例；F为卷积网络，则有三元组损失函数：
[0012]
[0013] 将正例与选定图片间的距离定义为：
[0014]
[0015] 将负例与选定图片间的距离定义为：
[0016]
[0017] 通过三元组损失函数与交叉熵损失函数，组合为联合函数，给神经网络约束，使得学习一个相同行人的图片具有相似输出，不同行人具有不相似输出：
[0018] 联合函数为：
[0019]
[0020] 其中，T(Ii,yi)为交叉熵损失函数，Ii为第i张图片，yi为第i张图片的类别标记；类别为行人身份标识，每个行人有多张图片，即多张图片的类别为同一个，在三元组损失中，正例负例分别为相同行人类别和不同行人类别。
[0021] S4、进行特征提取，提取卷积网络特征和提取手工特征，具体过程为：
[0022] 首先输入行人图片，提取卷积网络特征FCNN(Ii)，即CNN特征；手工特征方面，采取表达
像素特征的层级分布描述子GOG，定义为Fhand(Ii)，即GOG手工特征；将卷积网络特征FCNN(Ii)和手工特征Fhand(Ii)进行拼接，得到高-低特征Fjoint，表示为：
[0023] Fjoint＝[FCNN(Ii),Fhand(Ii)]，
[0024] S5、利用交叉视角的二次判别方法XQDA，对高-低特征Fjoint进行度量学习；具体为：
[0025] 将数据集分为测试集与训练集，使用步骤S4中提取高-低级特征的方法提取训练集高-低级特征，在XQDA上进行训练，学习出行人的样本间距离；
[0026] 对测试集提取高-低级特征，得到测试集高-低级特征，输入测试集高-低级特征进行验证，输出行人的样本间距离，根据行人的样本间距离评估样本相似度即行人相似度，其后和行人的真实类别进行对比验证；
[0028]
[0029] 其中，Δ＝x-z表示不同视角的样本x和样本z之间的差异，πI为组内差异，πE为组间差异，P(Δ|π)表示Δ符合π的高斯分布；
[0030] 进一步，引入子空间映射矩阵W，样本间距离d(x,z)为：
[0031]
[0032] 其中， 表示组内协方差矩阵， 表示组间协方差矩阵，W为子空间映射矩阵，ΔT为Δ转置；WT为W转置，将∑-1映射到子空间；
[0033] 通过学习样本映射，得到行人在特征空间的不同样本距离，根据距离衡量是否为同类，获取重识别结果。
[0034] 进一步地，步骤S1中，所述获取行人数据，具体过程为：行人数据集是从行人不同的角度进行拍摄，使用人工选取和自动化选取的方式，对行人图片进行裁剪，得到行人图片，组成数据集；
[0035] 进一步地，步骤S1中，所述公开数据集包含：VIPeR、CUHK01、GRID、MARS，其中，使用MARS微调预训练的神经网络，使用VIPeR、CUHK01、GRID验证；
[0036] 进一步地，所述神经网络ResNet，是一个加入残差机制的深度卷积神经网络，由两层以上卷积神经网络组成，构建过程为：采用PyTorch框架构建深度学习网络ResNet；
[0037] 进一步地，所述初步训练，具体过程为：加载在数据集ImageNet上训练完成的公开ResNet参数；
[0038] 进一步地，所述步骤S3中，还包括，在微调网络之后，将网络最后一层删除，输入数据后，网络输出一个
特征向量，整个网络作为特征提取器在VIPeR、CUHK01和GRID三个数据集上进行验证；
[0039] 进一步地，步骤S4中，所述特征获取过程为：采用GOG算法提取手工特征，并使用微调网络提取网络输出层前一层的结果作为卷积网络特征；
[0040] 进一步地，步骤S5中，所述在XQDA上进行训练，具体为：将提取的手工特征和卷积网络特征进行拼接融合，再使用XQDA算法进行分类。
[0041] 本发明与现有技术相比，具有如下优点和有益效果：
[0042] 本发明采用交叉熵损失函数和三元组损失函数对整个网络加以更强的约束，再提取手工特征和卷积网络特征进行特征融合，形成高-低级特征，
覆盖行人行动表达的不同层次，达到较好的识别效果，并以微调的形式减少训练时间；本发明结果优于多种单独提取手工特征或者卷积网络特征所取得的结果，并且迁移学习在实践过程中与其他神经网络方法相比，对于小数据集具有良好的泛化性和可移植性。
附图说明
[0043] 图1是本发明所述一种基于迁移学习和特征融合的行人重识别方法流程
框图；
[0044] 图2是本发明所述一种基于迁移学习和特征融合的行人重识别方法的网络训练框架图。
具体实施方式
[0045] 下面结合
实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0046] 实施例1
[0047] 一种基于迁移学习和特征融合的行人重识别方法，其特征在于，包括以下步骤：
[0048] 第一步：从公开数据集中获取行人数据；
[0049] 本发明使用四个公开数据集，分别是VIPeR、CUHK01、GRID和MARS，这些行人数据集是由多个行人在现实情况下被不同角度的摄像机拍摄，然后使用人工选取或者自动化选取的方法，对行人部分进行裁剪得到行人图片片组成，每个行人类别包括多张图片，在实验过程中对验证的数据分成测试集和训练集两部分。其中我们使用MARS微调预训练的神经网络，使用VIPeR、CUHK01和GRID验证本发明的效果。
[0050] 第二步：搭建神经网络ResNet，所述神经网络ResNet，是一个加入残差机制的深度卷积神经网络，由两层以上卷积神经网络组成，构建过程为：采用PyTorch框架构建深度学习网络ResNet；在数据集ImageNet上进行初步训练，具体过程为：加载在数据集ImageNet上训练完成的公开ResNet参数；得到初次训练的网络集合，并进行保存；
[0051] 第三步：将初步训练得到的网络集合，在数据集MARS上进行微调，使用行人重识别数据作为网络输入，移除神经网络ResNet最后一层，加入一层softmax分类层，将输出层前一层的结果作为三元组损失的输出，即进行第二次训练，得到第二次训练的网络集合；
[0052] 本发明使用预先在ImageNet数据集上训练的模型作为基础网络，即首先搭建一个神经网络，然后将ImageNet数据输入给网络进行训练，训练完成后，保存整个网络的参数，即得到一个完整的且训练完全的神经网络，这个网络已经具备良好的图片分类能
力，但是针对特定的数据缺少更好的泛化性，因此需要在行人重识别数据集MARS上进行微调，即微调网络，即再次训练，第二次训练时，由于网络训练过一次，所以无需训练多次就可以达到较好的效果；
[0053] 在微调过程中使用融合的损失函数，由于行人重识别和传统图片识别任务不同，单一的身份识别损失不足以给神经网络一个合适的约束使得其可以学习到符合重识别任务的特征，结合三元组损失和交叉熵损失构造一个新的组合损失函数，用来施以更强的约束；
[0054] 微调具体为：
[0055] 将 表示为第i个样本，由三个部分组成，Ii为选定行人图片， 为正例， 为负例；F为卷积网络，则有三元组损失函数：
[0056]
[0057] 将正例与选定图片间的距离定义为：
[0058]
[0059] 将负例与选定图片间的距离定义为：
[0060]
[0061] 三元组损失的目的是使得 距离更近， 距离更远，即将同一行人的不同角度图片间的距离拉近，不同行人图片间的距离拉远；
[0062] 交叉熵损失属于身份识别损失的一种，其目的是给神经网络约束使得学习一个相同行人的图片具有相似输出，而不同行人图片具有不相似输出的特征，使得学习一个相同行人的图片具有相似输出，不同行人具有不相似输出；通过三元组损失函数与交叉熵损失函数，组合为联合函数，给神经网络约束；
[0063] 联合函数为：
[0064]
[0065] 其中，T(Ii,yi)为交叉熵损失函数，Ii为第i张图片，yi为第i张图片的类别标记；类别为行人身份标识，每个行人有多张图片，即多张图片的类别为同一个，在三元组损失中，正例负例分别为相同行人类别和不同行人类别；
[0066] 在微调网络之后将网络最后一层删除，保留其他结构和参数，输入数据后网络输出一个特征向量，整个网络作为特征提取器在VIPeR、CUHK01和GRID三个数据集上进行验证；
[0067] 第四步：进行特征提取，提取卷积网络特征和提取手工特征；在特征提取和融合阶段，分为两个步骤：
[0068] 1.对数据集的图片提取两种特征，一种提取手工特征，一种是提取上一个阶段训练的提取的特征，即卷积网络特征。
[0069] 2.对两种特征进行融合，结合不同特征的优势；
[0070] 具体过程为：
[0071] 首先输入行人图片，提取卷积网络特征FCNN(Ii)，即CNN特征；手工特征方面，采取表达像素特征的层级分布描述子GOG，定义为Fhand(Ii)，即GOG手工特征；将卷积网络特征FCNN(Ii)和手工特征Fhand(Ii)进行拼接，得到高-低特征Fjoint，表示为：
[0072] Fjoint＝[FCNN(Ii),Fhand(Ii)]，
[0073] 第五步：利用交叉视角的二次判别方法XQDA，对高-低特征进行度量学习，对于需要在数据集中查找的行人，XDQA会对每个候选行人输出一个相似度，通过相似度，就可以得到最有可能是同一个行人的量化值；度量学习和验证过程可以分为两步：
[0074] 1.使用训练集在XQDA上进行训练得到不同行人间的相似度映射空间.[0075] 2.验证时，输入行人数据，输出测试行人和候选行人间的相似度值，根据此值和测试行人的真实类别进行验证；
[0076] XQDA的主要思想是将一个行人看成两部分构成，一部分是人与人之间的差异，另一部分是个体自身的差异，并且假设两部分分别服从高斯分布，其后用高斯模型分别拟合类内和类间样本特征的差值分布，根据两个高斯分布的对数似然比推导出
马氏距离。
[0077] 具体为：
[0078] 将数据集分为测试集与训练集，使用步骤S4中提取高-低级特征的方法提取训练集高-低级特征，在XQDA上进行训练，学习出行人的样本间距离；
[0079] 对测试集提取高-低级特征，得到测试集高-低级特征，输入测试集高-低级特征进行验证，输出行人的样本间距离，根据行人的样本间距离评估样本相似度即行人相似度，其后和行人的真实类别进行对比验证；
[0080] XQDA算法具体为：
[0081]
[0082] 其中，Δ＝x-z表示不同视角的样本x和样本z之间的差异，πI为组内差异，πE为组间差异，P(Δ|π)表示Δ符合π的高斯分布；
[0083] 进一步，引入子空间映射矩阵W，样本间距离d(x,z)为：
[0084]
[0085] 其中， 表示组内协方差矩阵， 表示组间协方差矩阵，W为子空间映射矩阵，ΔT为Δ转置；WT为W转置，将∑-1映射到子空间；
[0086] 通过学习样本映射，得到行人在特征空间的不同样本距离，根据距离衡量是否为同类，获取重识别结果。
[0087] 在学习到样本映射后，可以得到行人在特征空间的映射，并且此映射符合同行人不同样本更近，不同行人间的样本更远的分布特点，当输入新的数据，映射到特征空间，再根据样本间的距离可以得到行人样本的相似度，依据相似度进行行人重识别排序，距离越近即相似度越大则为同一行人的概率就越大，在实际使用时会输出距离最近即最有可能是同一行人的结果。
[0088] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
