技术领域
[0001] 本
发明涉及一种人脸识别方法，尤其是一种基于小波变换及稀疏表示的人脸识别方法。
背景技术
[0002] 人脸识别技术因其在系统安全验证、身份管理、信用验证、视频会议、
人机交互、智能家居等方面的巨大应用前景，而成为当前
模式识别和
人工智能领域越来越热
门的一个研究方向。以往许多人脸识别方法在光照变化及表情变化等情况下的识别率较低，因此，高鲁棒性的人脸识别方法研究，仍然是当前人脸识别研究中的挑战和重要内容之一。
[0003] 传统全局特征提取
算法如主成分分析(Principal Component Analysis，简称PCA)、线性判别分析(Linear Discriminant Analysis，简称LDA)等在复杂人脸样本库上的识别率较低，在光照、表情变化等因素影响下的人脸识别鲁棒性较差。Wright等人近年提出了一种基于稀疏表示分类(Sparse Representation-based Classification，简称SRC)的人脸识别方法，该方法仿真人类的视觉
感知特性，引入稀疏字典并通过字典中的
原子来线性表示人脸图像，通过最小残差来确定人脸样本所属类别。稀疏理论在人脸识别中的成功应用，为解决许多棘手的人脸识别难题提供了新思路，将稀疏表示分类应用于人脸识别成为近年来的研究热点。Yang等将Gabor特征结合SRC进行分析，提出了一种基于Gabor特征的稀疏表示人脸识别(GSRC)方法，由于从局部区域
抽取的Gabor特征能够避免许多不利因素的影响，使得该方法提高了人脸识别率，且具有一定的鲁棒性，但Gabor变换需要在不同的尺度和方向上进行，因此该方法的计算复杂度较高，识别时间较长；LDA考虑了样本的类别信息，适合于分类，张勇等将LDA方法引入SRC，实现了一种基于线性判别分析和稀疏表示分类(LDA-SRC)的人脸识别方法,但由于LDA类内散度矩阵的奇异性问题，使得LDA-SRC方法在许多人脸识别问题上无法顺利进行，并且该方法本身并没有考虑光照、表情、遮挡等因素的影响；刘梓等人将一种贪婪搜索(Greedy Search，简称GS)的思想引入SRC方法，提出了基于稀疏表示和贪婪搜索的人脸分类方法(SRC-GS)，该方法在人脸遮挡情况下的识别率较为理想，但其没有对算法其它方面的鲁棒性进行验证，且该计算复杂度较高。Tang等人提出了一种加权组(Weighted Group)稀疏表示分类方法(WGSRC)，该方法对混合l1，2范数进行加权处理，最后通过正则化重建误差对样本进行识别，该方法对人脸的
姿态变化具有较好的鲁棒性，但是其在识别时所需的权值是根据经验设置的，且其在光照变化较大的人脸库上的识别率较低。
发明内容
[0004] 本发明所要解决的技术问题是提供一种在不同光照程度和不同表情下均能较好地识别测试人脸图像在人脸库中所属类别的基于小波变换及稀疏表示的人脸识别方法。
[0005] 本发明解决上述技术问题所采用的技术方案为：
[0006] 一种基于小波变换及稀疏表示的人脸识别方法，包括以下步骤：
[0007] ①假设人脸库中包括n个类别的人脸图像集，每个类别的人脸图像集包括m张待训练的人脸图像，s张待测试的人脸图像，所有待训练的人脸图像构成训练样本集，所有待测试的人脸图像构成测试样本集，其中，n≥2，m≥2，s≥2；
[0008] ②利用小波变换对该训练样本集中的每幅待训练的人脸图像进行分解，得到每幅待训练的人脸图像的低频分量、
水平细节高频分量、垂直细节高频分量和对
角细节高频分量；
[0009] ③用主成分分析方法对每幅待训练的人脸图像的低频分量进行特征提取，得到每个低频分量对应的低频
特征向量和对应的低频特征值，将所有低频特征向量按照对应的低频特征值从大到小的顺序排列形成低频
正交投影空间，将所有待训练的人脸图像的低频分量在低频正交投影空间投影，得到对应的低频训练投影特征集，将低频训练投影特征集定义为低频字典，记为DL；
[0010] ④用主成分分析方法对每幅待训练的人脸图像对应的水平细节高频分量、垂直细节高频分量和对角细节高频分量进行融合，得到每幅待训练的人脸图像对应的最终高频融合训练图像；
[0011] 用主成分分析方法对每个最终高频融合训练图像进行特征提取，得到每个最终高频融合训练图像对应的高频特征向量和对应的高频特征值，将所有高频特征向量按照各自对应的高频特征值从大到小的顺序排列形成高频正交投影空间，将所有最终高频融合训练图像在高频正交投影空间上进行投影，得到对应的高频投影特征集，将高频投影特征集记为高频字典，记为DH；
[0012] ⑤利用小波变换对该测试样本集中的每幅待测试的人脸图像进行分解，得到每幅待测试的人脸图像的低频分量、水平细节高频分量、垂直细节高频分量和对角细节高频分量；
[0013] ⑥用主成分分析方法对每幅待测试的人脸图像的水平细节高频分量、垂直细节高频分量和对角细节高频分量进行融合，得到每幅待测试的人脸图像对应的最终高频融合测试图像；
[0014] 将每幅待测试的人脸图像的低频分量在低频正交投影空间上进行投影，得到每幅待测试的人脸图像对应的低频测试投影特征，将其中第i幅待测试的人脸图像对应的低频测试投影特征记为 其中，n×s表示人脸库中待测试的人脸图像的总数；
[0015] 将每幅待测试的人脸图像对应的最终高频融合测试图像在高频正交投影空间上进行投影，得到每幅待测试的人脸图像对应的高频测试投影特征，将其中第i幅待测试的人脸图像对应的高频测试投影特征记为
[0016] ⑦获取每幅待测试的人脸图像在人脸库中所属的人脸图像集的类别，完成人脸识别，其中获取第i幅待测试的人脸图像所属的人脸图像集的类别的具体过程如下：
[0017] ⑦-1将 在DL上进行稀疏表示获取 在DL中与每个类别的人脸图像集对应的低频重构特征，共n个低频重构特征，再获取 与每个低频重构特征的残差并提取其中的最小残差，将该最小残差对应的人脸图像集的类别记为q，1≤q≤n，将q定义为利用低频字典确定的第i幅待测试的人脸图像所属的人脸图像集的类别；
[0018] 将 在DH上进行稀疏表示获取 在DH中与每个类别的人脸图像集对应的高频重构特征，共n个高频重构特征，再获取 与每个高频重构特征的残差并提取其中的最小残差，将该最小残差对应的人脸图像集的类别记为t，1≤t≤n，将t定义为利用高频字典确定的第i幅待测试的人脸图像所属的的人脸图像集的类别；
[0019] ⑦-2若q等于t，则将q确定为第i幅待测试的人脸图像所属的人脸图像集的类别，完成人脸识别的过程，否则，执行步骤⑦-3；
[0020] ⑦-3将 在第q个类别的人脸图像集中对应的低频重构特征记为 将 与 的互相关系数记为ρL， 其中， 表示求 与 的协方差的运算，表示 的方差， 表示 的方差；
[0021] 将 在第t个类别的人脸图像集中对应的高频重构特征记为 将 与 的互相关系数记为ρH， 其中， 表示求 与 的协方差的运算，表示 的方差， 表示 的方差；
[0022] 若|ρL|≥|ρH|，则判定第i幅待测试的人脸图像属于第q个类别的人脸图像集，完成对第i幅待测试的人脸图像的识别过程；若|ρL|＜|ρH|，则判定第i幅待测试的人脸图像属于第t个类别的人脸图像集，完成对第i幅待测试的人脸图像的识别过程，其中，“||”为取绝对值符号。
[0023] 所述的步骤④中用主成分分析方法对每幅待训练的人脸图像的水平细节高频分量、垂直细节高频分量和对角细节高频分量进行融合的具体过程为：
[0024] ④-1：利用主成分分析将每幅待训练的人脸图像的垂直细节高频分量与每幅待训练的人脸图像的水平细节高频分量进行融合，得到每幅待训练的人脸图像对应的第一高频融合训练图像；
[0025] ④-2：利用主成分分析将每幅待训练的人脸图像对应的第一高频融合训练图像与每幅待训练的人脸图像的对角细节高频分量进行融合，得到每幅待训练的人脸图像对应的最终高频融合训练图像。在利用小波变换得到的每幅待训练的人脸图像的垂直细节高频分量、水平细节高频分量和对角细节高频分量中，由于垂直细节高频分量和水平细节高频分量所包含的人脸特征较为丰富，而对角细节高频分量包含的人脸特征较少，因此先利用主成分分析的方法将垂直细节高频分量和水平细节高频分量进行融合得到的第一高频融合训练图像，能够包含较为丰富的人脸特征，然后再利用主成分分析的方法将第一高频融合训练图像与对角细节高频分量进行融合，得到最终高频融合训练图像，使在不同光照程度和不同人脸表情变化下的人脸识别率大大提高。
[0026] 所述的步骤⑥中用主成分分析方法对每幅待测试的人脸图像的水平细节高频分量、垂直细节高频分量和对角细节高频分量进行融合的具体过程为：
[0027] ⑥-1：利用主成分分析将每幅待测试的人脸图像的垂直细节高频分量与每幅待测试的人脸图像的水平细节高频分量进行融合，得到每幅待测试的人脸图像对应的第一高频融合测试图像；
[0028] ⑥-2：利用主成分分析将每幅待测试的人脸图像对应的第一高频融合测试图像与每幅待测试的人脸图像的对角细节高频分量进行融合，得到每幅待测试的人脸图像对应的最终高频融合测试图像。在利用小波变换得到的每幅待测试的人脸图像的垂直细节高频分量、水平细节高频分量和对角细节高频分量中，由于垂直细节高频分量和水平细节高频分量所包含的人脸特征较为丰富，而对角细节高频分量包含的人脸特征较少，因此先利用主成分分析将垂直细节高频分量和水平细节高频分量进行融合得到的第一高频融合测试图像能够包含较为丰富的人脸特征，然后再利用主成分分析将第一高频融合测试图像与对角细节高频分量进行融合，得到最终高频融合测试图像，使在不同光照程度和不同人脸表情变化下的人脸识别率大大提高。
[0029] 与
现有技术相比，本发明的优点在于借助小波变换的优良特性，通过小波变换对每张待训练的人脸图像进行分解，得到对应的低频分量和三种对应不同细节的高频分量，再用主成分分析方法对三种高频分量进行融合，得到对应的最终高频融合训练图像，并分别构造低频字典和高频字典，最后将测试样本中的待测试的人脸图像分别在低频字典和高频字典中进行稀疏表示来实现人脸识别，并引入互相关系数的概念进一步增加人脸识别的准确性；通过小波变换对人脸图像进行分解时，人脸图像的低频分量能够较好地表达人脸图像的光照特征，人脸图像的三种对应不同细节的高频分量能够较好地表达人脸图像的细节特征，而这些细节特征又能够反应出人脸图像的表情变化，因此，通过设置低频字典和高频字典能够圈定待测试的人脸图像在标准人脸库中所属的人脸图像集的初步类别，并在圈定的初步类别不唯一时，通过引入互相关系数来确定待测试的人脸图像在标准人脸库中最终所属的人脸图像集的类别，从而提高了整个人脸识别的识别率和可靠性，实验结果表明，采用本发明的人脸识别方法在不同光照程度和不同人脸表情变化下的人脸识别率大大提高，光照鲁棒性和表情鲁棒性较好。
附图说明
[0030] 图1为本发明的步骤流程示意图。
具体实施方式
[0031] 以下结合附图
实施例对本发明作进一步详细描述。
[0032] 一种基于小波变换及稀疏表示的人脸识别方法，包括以下步骤：
[0033] ①假设人脸库中包括n个类别的人脸图像集，每个类别的人脸图像集包括m张待训练的人脸图像，s张待测试的人脸图像，所有待训练的人脸图像构成训练样本集，所有待测试的人脸图像构成测试样本集，其中，n≥2，m≥2，s≥2。
[0034] ②利用小波变换对该训练样本集中的每幅待训练的人脸图像进行分解，得到每幅待训练的人脸图像的低频分量、水平细节高频分量、垂直细节高频分量和对角细节高频分量。
[0035] ③用主成分分析方法对每幅待训练的人脸图像的低频分量进行特征提取，得到每个低频分量对应的低频特征向量和对应的低频特征值，将所有低频特征向量按照对应的低频特征值从大到小的顺序排列形成低频正交投影空间，将所有待训练的人脸图像的低频分量在低频正交投影空间投影，得到对应的低频训练投影特征集，将低频训练投影特征集定义为低频字典，记为DL。
[0036] ④用主成分分析方法对每幅待训练的人脸图像对应的水平细节高频分量、垂直细节高频分量和对角细节高频分量进行融合，得到每幅待训练的人脸图像对应的最终高频融合训练图像，具体过程为：
[0037] ④-1：利用主成分分析将每幅待训练的人脸图像的垂直细节高频分量与每幅待训练的人脸图像的水平细节高频分量进行融合，得到每幅待训练的人脸图像对应的第一高频融合训练图像；
[0038] ④-2：利用主成分分析将每幅待训练的人脸图像对应的第一高频融合训练图像与每幅待训练的人脸图像的对角细节高频分量进行融合，得到每幅待训练的人脸图像对应的最终高频融合训练图像。
[0039] 用主成分分析方法对每个最终高频融合训练图像进行特征提取，得到每个最终高频融合训练图像对应的高频特征向量和对应的高频特征值，将所有高频特征向量按照各自对应的高频特征值从大到小的顺序排列形成高频正交投影空间，将所有最终高频融合训练图像在高频正交投影空间上进行投影，得到对应的高频投影特征集，将高频投影特征集记为高频字典，记为DH；
[0040] ⑤利用小波变换对该测试样本集中的每幅待测试的人脸图像进行分解，得到每幅待测试的人脸图像的低频分量、水平细节高频分量、垂直细节高频分量和对角细节高频分量。
[0041] ⑥用主成分分析方法对每幅待测试的人脸图像的水平细节高频分量、垂直细节高频分量和对角细节高频分量进行融合，得到每幅待测试的人脸图像对应的最终高频融合测试图像，具体过程为：
[0042] ⑥-1：利用主成分分析将每幅待测试的人脸图像的垂直细节高频分量与每幅待测试的人脸图像的水平细节高频分量进行融合，得到每幅待测试的人脸图像对应的第一高频融合测试图像；
[0043] ⑥-2：利用主成分分析将每幅待测试的人脸图像对应的第一高频融合测试图像与每幅待测试的人脸图像的对角细节高频分量进行融合，得到每幅待测试的人脸图像对应的最终高频融合测试图像。
[0044] 将每幅待测试的人脸图像的低频分量在低频正交投影空间上进行投影，得到每幅待测试的人脸图像对应的低频测试投影特征，将其中第i幅待测试的人脸图像对应的低频测试投影特征记为 其中，n×s表示人脸库中待测试的人脸图像的总数；
[0045] 将每幅待测试的人脸图像对应的最终高频融合测试图像在高频正交投影空间上进行投影，得到每幅待测试的人脸图像对应的高频测试投影特征，将其中第i幅待测试的人脸图像对应的高频测试投影特征记为
[0046] ⑦获取每幅待测试的人脸图像在人脸库中所属的人脸图像集的类别，完成人脸识别，其中获取第i幅待测试的人脸图像所属的人脸图像集的类别的具体过程如下：
[0047] ⑦-1将 在DL上进行稀疏表示获取 在DL中与每个类别的人脸图像集对应的低频重构特征，共n个低频重构特征，再获取 与每个低频重构特征的残差并提取其中的最小残差，将该最小残差对应的人脸图像集的类别记为q，1≤q≤n，将q定义为利用低频字典确定的第i幅待测试的人脸图像所属的人脸图像集的类别；
[0048] 将 在DH上进行稀疏表示获取 在DH中与每个类别的人脸图像集对应的高频重构特征，共n个高频重构特征，再获取 与每个高频重构特征的残差并提取其中的最小残差，将该最小残差对应的人脸图像集的类别记为t，1≤t≤n，将t定义为利用高频字典确定的第i幅待测试的人脸图像所属的的人脸图像集的类别；
[0049] ⑦-2若q等于t，则将q确定为第i幅待测试的人脸图像所属的人脸图像集的类别，完成人脸识别的过程，否则，执行步骤⑦-3；
[0050] ⑦-3将 在第q个类别的人脸图像集中对应的低频重构特征记为 将 与 的互相关系数记为ρL， 其中， 表示求 与 的协方差的运算，表示 的方差， 表示 的方差；
[0051] 将 在第t个类别的人脸图像集中对应的高频重构特征记为 将 与 的互相关系数记为ρH， 其中， 表示求 与 的协方差的运算，表示 的方差， 表示 的方差；
[0052] 若|ρL|≥|ρH|，则判定第i幅待测试的人脸图像属于第q个类别的人脸图像集，完成对第i幅待测试的人脸图像的识别过程；若|ρL|＜|ρH|，则判定第i幅待测试的人脸图像属于第t个类别的人脸图像集，完成对第i幅待测试的人脸图像的识别过程，其中，“||”为取绝对值符号。
[0053] 通过数值实验来验证本发明所提出的人脸识别方法的有效性，实验基于Yale B和JAFFE两个标准人脸库，在3.30GHz，4G内存，64位Win7的
计算机系统下进行，实验中的小波变换采用db2小波基。
[0054] 测试一：采用Yale B标准人脸库进行光照鲁棒性的测试，Yale B标准人脸库中包含了10类人脸图像集，每类人脸图像集包含64张的不同光照变化下的人脸图像，每张人脸图像的
分辨率大小为168×192，根据光照角度与摄像光轴的夹角θ，将每类人脸图像集中的所有人脸图像分为五个子集，分别为第一子集(θ<12°)、第二子集(20°<θ<25°)、第三子集(35°<θ<50°)、第四子集(60°<θ<77°)和第五子集(θ>78°),由于θ范围的差异，进入成像系统的反射光线强度不同，从而使得对应不同θ范围内的人脸图像表现出不同的感光特性，使该数值实验的光照条件与自然的光照条件相符。
[0055] 实验时将每类人脸图像集中的第四子集中的全部人脸图像用于训练，然后用每类人脸图像集中剩下的子集分别进行不同光照强度下测试。
[0056] 表1在Yale B标准人脸库上采用本发明的人脸识别方法与采用传统的六种人脸识别方法的人脸识别率的比较
[0057]
[0058] 由表1可知，与传统的六种人脸识别方法相比，本发明采用的人脸识别方法在几种不同光照条件下的几个子集上都保持了较高的识别率，其中基于
特征脸的Eigenfaces+NN方法的人脸识别率最低，而采用SVM的人脸识别方法在某些子集上的识别率较高，但在光照变化最大的第五子集上，其识别率较低；实际实验时，采用Gabor-SRC方法的识别时间最长,为11.00s～28.00s，而采用本发明的人脸识别方法的识别时间的范围为2.50s～3.80s,属于较快的识别时间范围。由此可见，采用Yale B标准人脸库进行光照鲁棒性的测试时，采用本发明的人脸识别方法不仅光照鲁棒性较好，其时间效率也比较理想。
[0059] 测试二：采用JAFFE标准人脸库进行表情鲁棒性的测试，在JAFFE标准人脸库中包含了10类人共219张对应不同表情的人脸图像，在测试二中选择其中的210张人脸图像进行测试，每类人脸图像集包含了21张包含6种不同的特征表情和1种中性表情的人脸图像，每种表情对应3张人脸图像。
[0060] 测试时，将每个人的3张对应中性表情的人脸样本用于训练，然后用对应其它6种不同的特征表情的人脸图像进行测试。
[0061] 表2在JAFFE标准人脸库上采用本发明的人脸识别方法与采用传统的六种人脸识别方法的人脸识别率的比较
[0062]
[0063] 由表2可知，与传统的六种人脸识别方法相比，本发明采用的人脸识别方法在6种不同的特征表情下的识别率上较为优越，其表情鲁棒性较好，而且从测试时的识别时间效率上来看，本发明采用的人脸识别方法的识别时间较快，在对6种不同的特征表情的人脸图像进行识别时的平均识别时间约为0.17s，而采用Gabor-SRC方法的平均识别时间最长，约为3.91s,采用其它五种方法的平均识别时间都略高于本发明采用的人脸识别方法的平均识别时间，因此，从测试二的结果可以看出，与其它六种方法相比，本发明采用的人脸识别方法的识别时间效率也较高。
