通过二进制特征与联合层叠结构融合的人脸识别工作方法以
及智能芯片
技术领域
背景技术
[0002] 在现有的人脸识别
算法的研究与应用中，人脸验证或人脸鉴定采用的相似临近搜索技术成为影响算法速度的重要因素之一，如何进一步提高相似临近搜索技术的速度已成为研究的重中之重。
[0003] 研究者们提出了两种思路来解决这个问题，一是在原始的特征表示上使用
降维的方法来得到较短的特征表示，例如主成份分析(Principal Component Analysis,PCA)方法；二是将特征表示转换为二进制特征表示；更有将两者进行结合的方法，例如
迭代量化方法(Iterative Quantization,ITQ)这些方法中，
哈希算法在近几年受到广泛的关注。哈希算法能在保持图像特征相似性的前提下，将图像特征映射为二进制编码，其在存储和在相似度计算上具有优势。近年来，基于监督的哈希算法越来越被引起重视，它们通过学习训练样本的关系来构建哈希函数，比传统的与数据无关的哈希算法更有效。但目前很多带监督的哈希方法通常采用图像对或者图像三元组的方式进行训练，它使得训练阶段需要大量的计算代价和存储代价，最终使得模型训练几乎不可能实现。
发明内容
[0004] 本发明旨在至少解决
现有技术中存在的技术问题，特别创新地提出了一种通过二进制特征与联合层叠结构融合的人脸识别工作方法。
[0005] 为了实现本发明的上述目的，本发明提供了一种通过二进制特征与联合层叠结构融合的人脸识别工作方法，包括如下步骤：
[0006] S1，获取图像特征中人脸特征数据，通过
卷积神经网络中构建人脸特征数据哈希层，同时学习对应的人脸特征数据哈希函数，使得提取到的人脸特征数据从浮点型转换为二进制的人脸特征数据；
[0007] S2，使人脸特征数据哈希函数满足独立性和量化误差最小的约束，并对人脸特征数据哈希函数进行求解；
[0008] S3，对于求解完成的人脸特征数据哈希函数通过使用级联结构数据运算进行深度人脸特征数据变换；
[0009] S4，通过深度二进制人脸特征数据哈希函数，
抽取的人脸特征数据与人脸特征数据关键点检测、人脸特征数据
姿态估计与人脸特征数据分类，以及人脸特征数据对齐方法进行深度挖掘；
[0010] S5，人脸特征
数据挖掘后，利用相似度进行人脸图像比对识别，对人脸特征数据进行
鉴别提炼，获取需要的人脸特征数据。
[0011] 所述的通过二进制特征与联合层叠结构融合的人脸识别工作方法，优选的，所述S1包括：
[0012] 假设人脸特征数据集合表示为X＝{In}N，其中每个人脸特征数据In∈Rd，其中Rd表示d维度的实数集，N代表人脸特征数据集合的大小，下标n为样本数量且为正整数；人脸特征数据集合对应的标签集合为Y＝{yn}N×M，其中M为人脸特征数据集合中类别的数量，每一行代表人脸特征数据通过一位有效编码(One-Hot Encoding)后的结果，人脸特征数据标签yn对应的列值为1，余下的值填充0。深度哈希算法的目的为学习一个映射，这个映射应表示为：
[0013] H:X→{0,1}N×K (1)
[0014] 其中，X为K维度的输入特征；X代表映射；输入特征通过映射后得到的输出应表示为K维的二进制编码B＝{bn}∈{0,1}N×K。同时，该映射除了进行特征的二进制编码以外，还需要保持着不同图像之间的相似性信息。
[0015] 特征提取层及其前面的所有层的前向传播操作共同组成上述映射，哈希层为Tanh激活函数，哈希层输出的激活值通过量化编码后就是二进制特征。
[0016] 假设第l层为哈希层，人脸特征数据In在第l层哈希层的前一层提取得到的激活输出矩阵为 哈希层在未激活之前的输出矩阵应表示为：
[0017]
[0018] 其中，W(l)∈Rd×k为哈希层的权重矩阵，其中d×k为维度d和维度k的二维实数集，b(l)为哈希层的偏置项， 为哈希层的输出矩阵；哈希层的输出通过Tanh激活函数进行激活得到松弛过的二进制编码，Tanh激活函数将输出的1维数值映射为值域在(-1,1)之间的数值，通过量化编码后能得到-1或者1的二进制特征，第l层哈希层激活得到的激活输出矩阵为：
[0019]
[0020] 其中，f(·)代表Tanh激活函数； 代表第l哈希层的激活矩阵；bn代表提取得到的人脸特征数据二进制特征；最终二进制编码函数应用表示为：
[0021]
[0022] 且 代表第l哈希层所获得的人脸二进制特征，
[0023]
[0024] 其中，sign(z)函数表示当z>0的时候为1,否则为0。对于矩阵类型的参数将对每个元素进行单独计算。因为Tanh激活后得到的范围为(-1,1)，故该公式通过取中间值0将松弛的二值码量化为二进制特征。
[0025] 所述的通过二进制特征与联合层叠结构融合的人脸识别工作方法，优选的，所述S2包括：
[0026] 采用双通道网络结构来实现深度二进制哈希；在给定某人脸数据对(Ii,Ij)，假设人脸特征数据对分别为特征xi和xj，该xi和xj为输入人脸特征数据在Rd维度下的表示，在这个维度下面特征之间的关系应用欧式距离来代替相似度的关系；最终采用高斯核度量相似度G(i,j)，i,j都为正整数，相应的表达式为：
[0027]
[0028] 其中，ε为人工设定的超参数，代表相似特征之间的距离； 代表人脸特征数据对特征之间的欧式距离的平方；特征xi和xj为二进制
特征向量矩阵；
[0029] 假设二进制哈希特征每位是相互独立的，相应的优化公式应表示：
[0030]
[0031] 表示当W取值时，使得后面的这个式子为最小值，
[0032]
[0033] 其中， 代表第i位输入的哈希层激活矩阵所对应的第i位输入的bn二进制编码；约束 代表编码的每位出现-1或者1的概率都为50％； 代表平均
2
汉明距离，优化目标为相似的图像对在汉明空间下尽可能的相似；||W||/2代表L2正则项。
[0034] 所述的通过二进制特征与联合层叠结构融合的人脸识别工作方法，优选的，所述S2还包括使用Softmax分类损失函数和哈希损失函数作为优化目标：
[0035] 将 转化为采用多任务联合
监督学习的方式进行优化。同时，因为将特征提取与哈希学习是结合在一起的，故只需要保证特征能实现正确分类，同时保证特征哈希化正确即可。也就是说，通过Softmax分类损失函数和设计的哈希损失函数实现二进制特征的提取，相应的目标函数为：
[0036]
[0037] 其中，W代表神经网络中的所有参数；λ代表正则项系数；LS代表Softmax分类损失函数；LH代表哈希损失函数，其由两部分构成，表达式为：
[0038] LH＝αLHB+βLHC (8)
[0039] 其中，α和β为超参，用于平衡多个任务的权重，表示不同任务的重要性。LHC为哈希紧凑损失函数，其表达式为：
[0040]
[0041] 其中， 代表哈希层的激活矩阵，对应着n个样本的二进制特征表示， 代表取二进制特征表示的第i位的值； 代表哈希层样本n的二进制特征表示的均值，d为特征表示的编码长度；通过哈希紧凑损失函数，学习得到的二进制特征的0/1概率是等概率的，同时它一定程度与最大交叉熵的目的是相同的。
[0042] 然而，如果单纯的使用紧凑损失函数，学习得到最优特征表示为所有的特征都为0。为解决这个问题，并将特征的数值尽可能的拉开。故在卷积神经网络中，构建哈希二进制损失函数LHB，应表示为：
[0043]
[0044] 通过哈希二进制损失函数，学习得到的二进制特征将尽可能拉大与0的距离。
[0045] 所述的通过二进制特征与联合层叠结构融合的人脸识别工作方法，优选的，所述S3包括：
[0046] ①预处理
[0047] 对目标图像中的人脸进行检测并对齐，得到对齐后的标准人脸图像I。
[0048] ②特征提取
[0049] 通过随机梯度下降的方式训练并得到算法的模型，将标准人脸图像I作为输入，并行所述的卷积神经网络和所述的深度二进制哈希学习所示的卷积神经网络中，前向传播并提取相应的深度特征FP和深度二进制特征FB。
[0050] ③样本选择
[0051] 从人脸
数据库中读取可能与输入样本有关的深度二值特征，计算标准人脸图像的深度二进制特征与它们的汉明距，并将结果的汉明距离作升序排序。考虑到汉明距离越小代表两者更加相似，故选取前Q个对象记录作为样本选择的结果，将选择出来的样本编码输入到下一级的高
精度人脸识别。
[0052] ④高精度人脸识别
[0053] 从人脸数据库中读取样本选择得到的Q个对象记录的深度特征，计算标准人脸图像的深度特征与它们的余弦相似度并作升序排序。考虑到弦相似度越大代表两者更加相似，基于最近邻算法将相似度最大的样本作为识别的结果。
[0054] 所述的通过二进制特征与联合层叠结构融合的人脸识别工作方法，优选的，所述S4包括：
[0055] A，将处理后的人脸特征数据进行输入操作，对齐后的人脸图像集合I；人脸图像的关键点K；人脸数据库标签Y及对应的深度抗姿态变化特征Fp和深度二进制特征FB；人脸图像集合的大小B；人脸数据库的大小D；预先定义的对象记录Q；人脸识别最低
阈值T。
[0056] B，根据A步骤进行输出，人脸识别标签集合
[0057] for i＝1...B do
[0058] 将对齐后的人脸图像li输入本
专利所述网络
[0059] 前向传播并提取二进制特征
[0060] for j＝1...D do
[0061] 计算二进制特征 与 的汉明距离Hj
[0062] 根据汉明距离矩阵H对人脸数据库从小到大进行排序
[0063] 选取人脸数据库中汉明距离最小的前Q条对象记录集合RQ
[0064] 根据第i个人脸图像的关键点Ki进行姿态估计，得到该第i个人脸图像姿态
角度YAWi
[0065] 对姿态角度YAWi进行分类，得到姿态类别Ci
[0066] 将对齐后的人脸图像li和姿态类别Ci输入文章所述的网络
[0067] 向前传播第三章所述网络并提取深度抗姿态变化的特征
[0068] for j＝1...Q do
[0069] 计算深度抗姿态变化特征 与 的余弦相似度Sj； 代表的第j次循环所获得的深度二进制特征，其中j取值范围为集合RQ，
[0070] 根据余弦相似度矩阵S对人脸数据库从小到大进行排序；
[0071] 如果余弦相似度矩阵S的最大值小于阈值T，然后执行
[0072] 人脸图像li不存在于人脸数据库中，继续执行上述步骤；
[0073] 选取余弦相似度最高的记录标签作为识别结果
[0074] 所述的通过二进制特征与联合层叠结构融合的人脸识别工作方法，优选的，所述S5包括：
[0075] 对于人脸特征数据验证(1：1)协议，假设人脸图像对的数量为N，单次相似度计算需要的时间为T，显而易见人脸验证(1：1)需要的时间为
[0076] Tv＝N×T。
[0077] 所述的通过二进制特征与联合层叠结构融合的人脸识别工作方法，优选的，所述S5还包括：
[0078] 对于人脸鉴别(1：N)协议，假设要搜索的图像数量为S，人脸数据库的大小为N，单次相似度计算需要的时间为T，则人脸鉴别(1：N)需要的时间为：
[0079] Ti＝S×N×T (11)
[0080] 通过联合层叠的方式进行人脸识别，根据式(11),它对应的时间为：
[0081] TC＝S×(N×TH+Z×TE) (12)
[0082] 其中，S代表要搜索的图像数量；N代表人脸数据库的大小；TH代表计算单次汉明距离需要的时间；TE代表计算单次计算欧几里德距离需要的时间；Z代表排序重选的样本数量；式(12)相对于式(11)，多出的时间为：
[0083]
[0084] 当K比较小的时候多出来时间 对整体的时间不会有较大的影响，即：
[0085] TC＝S×(N×TH+Z×TE)＜S×N×TE。
[0086] 所述的通过二进制特征与联合层叠结构融合的人脸识别工作方法，优选的，所述S5包括：
[0087] 卷积层均采用参数为3×3的卷积核，步长1，边缘填充1；子
采样层均采用采样2×2的区域，步长为2，采样方式为最大值，采用汉明距离来度量特征之间的相似性。
[0088] 样本为250×250大小的彩色人脸图像。人脸识别的全过程包含人脸与关键点检测、
人脸姿态估计与分类，人脸对齐，特征提取以及最后利用相似度来搜索人脸图像的人脸识别阶段。
[0089] 本发明还公开一种智能芯片，使用所述方法的芯片。
[0090] 综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0091] 在卷积神经网络中构建哈希层，将哈希层得到的编码作为分类器输入，同时加入Softmax分类损失函数和哈希损失函数作为优化目标之一；在学习特征表示的时候同时学习它对应的哈希函数，使得提取到的特征从浮点型转换为二进制的特征，并使哈希函数满足独立性和量化误差最小的约束；针对哈希算法精度轻微下降的问题，通过联合级联结构将深度特征变换与深度二进制人脸哈希相结合，通过多种特征与多种度量的多次选择，最终匹配出最佳的目标作为结果。
[0092] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0093] 本发明的上述和/或附加的方面和优点从结合下面附图对
实施例的描述中将变得明显和容易理解，其中：
[0094] 图1是本发明基于卷积神经网络的二进制人脸哈希示意图；
[0095] 图2是本发明基于联合级联结构的人脸识别示意图；
[0096] 图3是本发明深度二进制人脸哈希的网络结构示意图；
[0097] 图4是本发明总示意图。
具体实施方式
[0098] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0099] 如图1和2所示，深度二进制人脸哈希的基本思想为在卷积神经网络中构建哈希层，在学习特征表示的时候同时学习它对应的哈希函数，使得提取到的特征从浮点型的特征转换为二进制的特征。深度二进制人脸哈希的示意图如图1所示，网络前向传播后哈希层的激活值就是潜在的属性，也就是二进制特征。针对人脸这个场景，通过对哈希损失函数的优化来学习人脸专用的哈希函数，实现比传统哈希算法更好的特征二进制化。
[0100] 所述的深度二进制哈希算法包括：
[0101] ①在原有的卷积神经网络中构建哈希层，将哈希层得到的编码输入分类器进行分类，Softmax分类损失函数作为优化目标之一。
[0102] ②通过图像的标签信息在学习分类的
基础上还同时学习二进制编码对应的哈希函数。
[0103] ③不仅仅考虑分类函数的误差，还考虑将浮点型连续值量化为二进制哈希码时产生的误差，使得哈希函数满足独立性和量化误差最小的约束，从而得到表达能
力更强的哈希码。
[0104] ④直接进行学习，不需要构建图像对或者三元组。
[0105] 如图4所示，本发明提供了一种通过二进制特征与联合层叠结构融合的人脸识别工作方法，包括如下步骤：
[0106] S1，获取图像特征中人脸特征数据，通过卷积神经网络中构建人脸特征数据哈希层，同时学习对应的人脸特征数据哈希函数，使得提取到的人脸特征数据从浮点型转换为二进制的人脸特征数据；
[0107] S2，使人脸特征数据哈希函数满足独立性和量化误差最小的约束，并对人脸特征数据哈希函数进行求解；
[0108] S3，对于求解完成的人脸特征数据哈希函数通过使用级联结构数据运算进行深度人脸特征数据变换；
[0109] S4，通过深度二进制人脸特征数据哈希函数，抽取的人脸特征数据与人脸特征数据关键点检测、人脸特征数据姿态估计与人脸特征数据分类，以及人脸特征数据对齐方法进行深度挖掘；
[0110] S5，人脸特征数据挖掘后，利用相似度进行人脸图像比对识别，对人脸特征数据进行鉴别提炼，获取需要的人脸特征数据。
[0111] 对哈希层及二进制编码
[0112] 假设人脸特征数据集合表示为X＝{In}N，其中每个人脸特征数据In∈Rd，N代表人脸特征数据集合的大小，下标n为样本数量且为正整数；人脸特征数据集合对应的标签集合为Y＝{yn}N×M，其中M为人脸特征数据集合中类别的数量，每一行代表人脸特征数据通过一位有效编码(One-Hot Encoding)后的结果，人脸特征数据标签yn对应的列值为1，余下的值填充0。深度哈希算法的目的为学习一个映射，这个映射应表示为：
[0113] H:X→{0,1}N×K (1)
[0114] 其中，X为K维度的输入特征；X代表映射；输入特征通过映射后得到的输出应表示为K维的二进制编码B＝{bn}∈{0,1}N×K。同时，该映射除了进行特征的二进制编码以外，还需要保持着不同图像之间的相似性信息。
[0115] 在如图3所示的基于卷积神经网络的二进制人脸哈希示意图中，特征提取层及其前面的所有层的前向传播操作共同组成上述映射，哈希层为Tanh激活函数，哈希层输出的激活值通过量化编码后就是二进制特征。
[0116] 假设第l层为哈希层，人脸特征数据In在第l层哈希层的前一层提取得到的激活输出矩阵为 哈希层在未激活之前的输出矩阵应表示为：
[0117]
[0118] 其中，W(l)∈Rd×k为哈希层的权重矩阵，b(l)为哈希层的偏置项， 为哈希层的输出矩阵；哈希层的输出通过Tanh激活函数进行激活得到松弛过的二进制编码，Tanh激活函数将输出的1维数值映射为值域在(-1,1)之间的数值，通过量化编码后能得到-1或者1的二进制特征，第l层哈希层激活得到的激活输出矩阵为：
[0119]
[0120] 其中，f(·)代表Tanh激活函数； 代表第l层哈希层的激活矩阵；bn代表提取得到的人脸特征数据二进制特征；最终二进制编码函数应用表示为：
[0121]
[0122]
[0123] 其中，sign(z)函数表示当z>0的时候为1,否则为0。对于矩阵类型的参数将对每个元素进行单独计算。因为Tanh激活后得到的范围为(-1,1)，故该公式通过取中间值0将松弛的二值码量化为二进制特征。
[0124] 对哈希损失函数及算法求解
[0125] 同哈希算法构造的哈希函数差别巨大，最终的效果也是千差万别，但是有一点是相同的，那就是在保持数据的相似性的前提下使得二进制编码尽可能的紧致。为了评判不同哈希函数的好坏，谱哈希(Spectral Hashing，SH)给出了对哈希函数的三个评价标准，本专利对其进行了调整和
修改：
[0126] ①它能够将有效的创建并维持二进制编码之间的关系，学习得到的二进制编码能够保持图像类别之间的相似度关系，直接表现为同一类别的图像会的被映射到十分相似或者相同的二进制编码。
[0127] ②学习得到的二进制编码应该有区分性并且每位应该带尽可能多的信息，表现为更短的编码具有更好的效果。
[0128] ③学习得到的二进制编码的每位独立并且均匀分布，表现为编码的每位出现-1或者1的概率都为50％，即二进制编码的平均值为0。
[0129] 参考谱哈希的优化目标函数，为了平衡多个样本之间的关系，采用双通道网络结构来实现深度二进制哈希；在给定某人脸特征数据对(Ii,Ij)，假设人脸特征数据对分别为d特征xi和xj，该xi和xj为输入人脸特征数据在R 维度下的表示，在这个维度下面特征之间的关系应用欧式距离来代替相似度的关系；最终采用高斯核度量相似度G(i,j)，其中i大于j，都为正整数，相应的表达式为：
[0130]
[0131] 其中，ε为人工设定的超参数，代表相似特征之间的距离； 代表人脸特征数据对特征之间的欧式距离的平方；特征xi和xj为二进制特征向量矩阵；
[0132] 假设二进制哈希特征每位是相互独立的，相应的优化公式应表示：
[0133]
[0134]
[0135] 其中， 代表第i位输入的哈希层激活矩阵所对应的第i位输入的bn二进制编码；约束 代表编码的每位出现-1或者1的概率都为50％； 代表平均
2
汉明距离，优化目标为相似的图像对在汉明空间下尽可能的相似；||W||/2代表L2正则项。
[0136] 将 转化为采用多任务联合监督学习的方式进行优化。同时，因为将特征提取与哈希学习是结合在一起的，故只需要保证特征能实现正确分类，同时保证特征哈希化正确即可。也就是说，通过Softmax分类损失函数和设计的哈希损失函数实现二进制特征的提取，相应的目标函数为：
[0137]
[0138] 其中，W代表神经网络中的所有参数；λ代表正则项系数；LS代表Softmax分类损失函数；LH代表哈希损失函数，其由两部分构成，表达式为：
[0139] LH＝αLHB+βLHC (8)
[0140] 其中，α和β为超参，用于平衡多个任务的权重，表示不同任务的重要性。LHC为哈希紧凑损失函数，其表达式为：
[0141]
[0142] 其中， 代表哈希层的激活矩阵，对应着n个样本的二进制特征表示， 代表取二进制特征表示的第i位的值； 代表哈希层样本n的二进制特征表示的均值，d为特征表示的编码长度；通过哈希紧凑损失函数，学习得到的二进制特征的0/1概率是等概率的，同时它一定程度与最大交叉熵的目的是相同的。
[0143] 然而，如果单纯的使用紧凑损失函数，学习得到最优特征表示为所有的特征都为0。为解决这个问题，并将特征的数值尽可能的拉开。故在卷积神经网络中，构建哈希二进制损失函数LHB，应表示为：
[0144]
[0145] 通过哈希二进制损失函数，学习得到的二进制特征将尽可能的拉大与0的距离。
[0146] 联合级联结构的人脸识别定义
[0147] 通过深度二进制人脸哈希，学习得到的二进制特征能有效地提高人脸识别搜索的速度；二进制特征的优点是提取特征和匹配速度快，但汉明距离不能完整地反映特征间的关系和未对姿态进行
感知与学习等多个因素共同造成。故，算法如何在保持速度的基础上进一步提高结果的准确率成为重要问题。
[0148] 对于准确率和速度的矛盾，本专利采用联合级联结构进行结合，其中深度二进制哈希学习起一个特征选择的作用。通过二进制特征来实现样本快速选择，经过选择后的样本使用高准确率并且抗姿态变化的人脸特征进行“精细”识别，最终实现在高精度下的高速识别。
[0149] 联合级联结构的人脸识别流程
[0150] 通过联合级联结构结合深度二进制人脸哈希与深度特征变换的人脸识别,过程如图1所示。整个联合级联结构的人脸识别跟标准人脸识别算法的最大区别在于样本选择和有针对性的使用特征，最终实现层层递进地筛选匹配的样本，通过多种特征与多种度量的多次选择，最终匹配出最佳的目标作为结果。通过层层递进的选择过程在保持高准确性的基础上，还避免了直接使用高精度模型的高复杂度。
[0151] 这个过程中算法的基础组成和变化的步骤如下：
[0152] ①预处理
[0153] 对目标图像中的人脸进行检测并对齐，得到对齐后的标准人脸图像I。
[0154] ②特征提取
[0155] 通过随机梯度下降的方式训练并得到算法的模型，将标准人脸图像I作为输入，并行所述的卷积神经网络和所述的深度二进制哈希学习所示的卷积神经网络中，前向传播并提取相应的深度抗姿态特征FP和深度二进制特征FB。
[0156] ③样本选择
[0157] 从人脸数据库中读取可能与输入样本有关的深度二值特征，计算标准人脸图像的深度二进制特征与它们的汉明距，并将结果的汉明距离作升序排序。考虑到汉明距离越小代表两者更加相似，故选取前Q个对象作为样本选择的结果，将选择出来的样本编码输入到下一级的高精度人脸识别。
[0158] ④高精度人脸识别
[0159] 从人脸数据库中读取样本选择得到的Q个对象的深度特征，计算标准人脸图像的深度特征与它们的余弦相似度并作升序排序。考虑到弦相似度越大代表两者更加相似，基于最近邻算法将相似度最大的样本作为识别的结果。
[0160] A，将处理后的人脸特征数据进行输入操作，对齐后的人脸图像集合I；人脸图像的关键点K；人脸数据库标签Y及对应的深度抗姿态变化特征Fp和深度二进制特征FB；人脸图像集合的大小B；人脸数据库的大小D；预先定义的参数Q；人脸识别最低阈值T。
[0161] B，根据A步骤进行输出，人脸识别标签集合
[0162] for i＝1...B do
[0163] 将对齐后的人脸图像li输入本专利所述网络
[0164] 前向传播并提取二进制特征
[0165] for j＝1...D do
[0166] 计算二进制特征 与 的汉明距离Hj
[0167] 根据汉明距离矩阵H对人脸数据库从小到大进行排序
[0168] 选取人脸数据库中汉明距离最小的前Q条记录集合RQ
[0169] 根据第i个人脸图像的关键点Ki进行姿态估计，得到该第i个人脸图像姿态角度YAWi
[0170] 对姿态角度YAWi进行分类，得到姿态类别Ci
[0171] 将对齐后的人脸图像li和姿态类别Ci输入文章所述的网络
[0172] 向前传播并提取深度抗姿态变化的特征
[0173] for j＝1...Q do
[0174] 计算深度抗姿态变化特征 与 的余弦相似度Sj； 代表的第j次循环所获得的深度二进制特征，其中j取值范围为集合RQ，
[0175] 根据余弦相似度矩阵S对人脸数据库从小到大进行排序；
[0176] if余弦相似度矩阵S的最大值小于阈值T then
[0177] 人脸图像li不存在于人脸数据库中，继续执行上述步骤；
[0178] 选取余弦相似度最高的记录标签作为识别结果
[0179] 上述算法为基本的联合层叠结构的人脸识别，并未包含主成份分析、三元组嵌入层等多个实际场景中常常用来适配场景的步骤。
[0180] 其中，卷积层均采用参数为3×3的卷积核，步长1，边缘填充1；子采样层均采用采样2×2的区域，步长为2，采样方式为最大值，采用汉明距离来度量特征之间的相似性。
[0181] 样本为250×250大小的彩色人脸图像。人脸识别的全过程包含人脸与关键点检测、人脸姿态估计与分类，人脸对齐，特征提取以及最后利用相似度来搜索人脸图像的人脸识别阶段。
[0182] 提取人脸特征数据后，因不同协议有着不同的流程和时间复杂度，故接下来对不同的协议进行单独分析。对于人脸特征数据验证(1：1)协议，假设人脸图像对的数量为N，单次相似度计算需要的时间为T，显而易见人脸验证(1：1)需要的时间为
[0183] Tv＝N×T (10)
[0184] 对于人脸鉴别(1：N)协议，假设要搜索的图像数量为S，人脸数据库的大小为N，单次相似度计算需要的时间为T，则人脸鉴别(1：N)需要的时间为：
[0185] Ti＝S×N×T (11)
[0186] 通过联合层叠的方式进行人脸识别，根据式(11),它对应的时间为：
[0187] TC＝S×(N×TH+Z×TE) (12)
[0188] 其中，S代表要搜索的图像数量；N代表人脸数据库的大小；TH代表计算单次汉明距离需要的时间；TE代表计算单次计算欧几里德距离需要的时间；Z代表排序重选的样本数量。式(12)相对于式(11)，多出的时间为：
[0189]
[0190] 当K比较小的时候多出来时间 对整体的时间不会有较大的影响，即：
[0191] TC＝S×(N×TH+Z×TE)＜S×N×TE
[0192] 本专利针对人脸识别这个场景，通过构建哈希层、哈希损失函数与卷积神经网络相结合来直接提取二进制特征，将人脸哈希算法通常采用的特征提取后再独立进行哈希二进制化的流程简化为直接提取二进制哈希特征。同时，最终提取到的二进制特征能有效地提高计算速度与节约需求的存储空间，这对于移动端、嵌入式等计算能力比较弱的场合具有巨大的意义。
[0193] 针对哈希后算法精度轻微下降的问题，通过联合级联结构进行人脸识别，这种方式通过层层筛选的方式在保持速度的前提下有效提升特征表达的准确率，最终实现算法在准确率几乎不下降的情况下，计算时间较大缩减。针对手机等嵌入式设备上计算能力比较弱并且存储空间代价比较高昂的场景，应单纯采用基础的二进制特征进行计算；针对需要高精度的场合，应采用联合层叠结构进行识别，实现在保持高精度下的高速识别。
[0194] 结合深度卷积神经网络与二进制哈希函数的编码方法构建名为深度二进制哈希的算法，将学习得到的二进制哈希码用于大规模的人脸识别当中。并针对哈希算法精度轻微下降的问题，通过联合级联结构进行人脸识别，通过层层筛选的方式在保持速度的前提下有效提升特征表达的准确率，最终保证算法准确率的情况下，较大缩减计算时间。
[0195] 尽管已经示出和描述了本发明的实施例，本领域的普通技术人员应理解：在不脱离本发明的原理和宗旨的情况下应对这些实施例进行多种变化、修改、替换和变型，本发明的范围由
权利要求及其等同物限定。
