基于部分主分量分析和姿态估计联合的人脸识别方法
阅读：283发布：2020-08-08
专利汇可以提供基于部分主分量分析和姿态估计联合的人脸识别方法专利检索，专利查询，专利分析的服务。并且本 发明 公开一种基于部分主分量分析和 姿态 估计联合的 人脸识别 方法，包括如下步骤：(1)在原始样本库中事先存放虚拟三维人脸图，应用主分量分析法计算原始样本库中的扩展人脸空间；且应用部分主分量分析法结合人眼和嘴巴自动 定位 算法 对两幅不同姿态的二维训练人脸图进行姿态估计；(2)根据姿态估计结果在扩展人脸空间中寻找相应的子人脸空间；(3)根据两幅不同姿态的二维训练人脸图、扩展人脸空间和子人脸空间，生成新的虚拟三维人脸图；(4)使用新的虚拟三维人脸图更新原始样本库；(5)应用部分主分量分析法结合人眼和嘴巴自动定位算法对待识别二维人脸图进行姿态估计；(6)使用部分主分量分析法对待识别二维人脸图进行识别。，下面是基于部分主分量分析和姿态估计联合的人脸识别方法专利的具体信息内容。
1.一种基于部分主分量分析和姿态估计联合的人脸识别方法，其特征在于包括如下步骤：
(1)在原始样本库中事先存放虚拟三维人脸图，应用主分量分析法计算所述原始样本库中的扩展人脸空间；且应用部分主分量分析法结合人眼和嘴巴自动定位算法对两幅不同姿态的二维训练人脸图进行姿态估计；
(2)根据步骤(1)得到的姿态估计结果在扩展人脸空间中寻找相应的子人脸空间；
(3)根据所述两幅不同姿态的二维训练人脸图、扩展人脸空间和子人脸空间，生成新的虚拟三维人脸图；
(4)使用所生成的新的虚拟三维人脸图更新原始样本库；
(5)应用部分主分量分析法结合人眼和嘴巴自动定位算法，对待识别二维人脸图进行姿态估计；
(6)利用步骤(5)得到的姿态估计结果和预设的查找表，对待识别二维人脸图进行截取得到截断二维测试人脸图，使用部分主分量分析法对所述截断二维测试人脸图进行识别。
2.根据权利要求1所述的基于部分主分量分析和姿态估计联合的人脸识别方法，其特征在于，在步骤(1)中，应用部分主分量分析法结合人眼和嘴巴自动定位算法对二维训练人脸图进行姿态估计的方法如下：
1)对二维训练人脸图用部分主分量分析法进行姿态估计，将姿态估计结果记为P1；
2)利用姿态估计结果P1和所述预设的查找表对所述二维训练人脸图截取，得到截断二维训练人脸图；
3)对所述截断二维训练人脸图采用部分主分量分析法进行姿态估计，将该姿态估计结果记为P2；
4)计算P1和P2的差，若P1和P2的差的绝对值小于预设的阈值，则以P1作为二维训练人脸图的最终姿态估计结果；否则对所述二维训练人脸图进行眼睛和嘴巴的定位，并根据定位结果估计姿态，将该姿态估计结果记为P3；
5)比较P3和P1是否一致，若一致，则以P1作为二维训练人脸图的最终姿态估计结果；
否则，以P2作为二维训练人脸图的最终姿态估计结果。
3.根据权利要求1所述的基于部分主分量分析和姿态估计联合的人脸识别方法，其特征在于，在步骤(5)中，应用部分主分量分析法结合人眼和嘴巴自动定位算法对待识别二维人脸图进行姿态估计的方法如下：
a)对待识别二维人脸图用部分主分量分析法进行姿态估计，将该姿态估计结果记为P4；
b)利用姿态估计结果P4和所述预设的查找表对所述待识别二维人脸图截取，得到截断待识别二维人脸图；
c)对所述截断待识别二维人脸图采用部分主分量分析法进行姿态估计，将该姿态估计结果记为P5；
d)计算P4和P5的差，若P4和P5的差的绝对值小于预设的阈值，则以P4作为待识别二维人脸图的最终姿态估计结果；否则对所述待识别二维人脸图进行眼睛和嘴巴的定位，并根据定位结果估计姿态，将该姿态估计结果记为P6；
f)比较P6和P4是否一致，若一致，则以P4作为待识别二维人脸图的最终姿态估计结果；否则，以P5作为待识别二维人脸图的最终姿态估计结果。
基于部分主分量分析和姿态估计联合的人脸识别方法
技术领域
[0001] 本发明属于人脸识别技术领域，涉及一种基于部分主分量分析和姿态估计联合的姿态鲁棒的人脸识别方法，可以根据不同姿态的二维人脸图生成虚拟三维人脸图。
背景技术
[0002] 近几十年来，人脸识别一直是计算机视觉领域研究的热点，它有着广泛的实际应用，可应用于人机交互领域、视频监控等。光照、表情和姿态等方面的变化增大了人脸识别的难度，其中姿态变化是人脸识别的最大瓶颈，仍是一个具有挑战性的课题。为了解决这个问题，提出了很多方法，可以分为三大方面：基于单视角，基于多视角，基于三维模型。在单视角方法中，主要是提取不变特征，这种方法适用于小角度变化，但在角度变化大的情况下无效。在多视角方法中，存放每个人各个角度的图片，对每个角度构建一个分类器，这种方法虽然识别效果好，但是实际中不可能获取每个人各个角度的照片。现有技术中还提出基于三维模型的人脸识别方法，该模型能够较好的解决光照和姿态的变化问题。然而这种方法存在着一些问题：第一，计算量大，不适用于实时处理；第二，需要大量三维扫描模型来构建数据库，在实际应用中，例如在视频监控中，能得到的图像大部分是二维，一般无法获得三维信息，因此该方法的应用受限。
发明内容
[0003] 本发明的目的在于克服上述不足而提供一种简单的基于部分主分量分析和姿态估计联合的人脸识别方法，以对不同姿态下的人脸进行识别。
[0004] 为实现上述目的，本发明所采取的技术方案的主要步骤如下：
[0005] (1)在原始样本库中事先存放虚拟三维人脸图，应用主分量分析法计算所述原始样本库中的扩展人脸空间；且应用部分主分量分析法结合人眼和嘴巴自动定位算法对两幅不同姿态的二维训练人脸图进行姿态估计；
[0006] (2)根据步骤(1)得到的姿态估计结果在扩展人脸空间中寻找相应的子人脸空间；
[0007] (3)根据所述两幅不同姿态的二维训练人脸图、扩展人脸空间和子人脸空间，生成新的虚拟三维人脸图；
[0008] (4)使用所生成的新的虚拟三维人脸图更新原始样本库；
[0009] (5)应用部分主分量分析法结合人眼和嘴巴自动定位算法，对待识别二维人脸图进行姿态估计；
[0010] (6)利用步骤(5)得到的姿态估计结果和预设的查找表，对待识别二维人脸图进行截取得到截断二维测试人脸图，使用部分主分量分析法对所述截断二维测试人脸图进行识别。
[0011] 进一步地，本发明在步骤(1)中，应用部分主分量分析法结合人眼和嘴巴自动定位算法对二维训练人脸图进行姿态估计的方法如下：
[0012] 1)对二维训练人脸图用部分主分量分析法进行姿态估计，将姿态估计结果记为P1；
[0013] 2)利用姿态估计结果P1和所述预设的查找表对所述二维训练人脸图截取，得到截断二维训练人脸图；
[0014] 3)对所述截断二维训练人脸图采用部分主分量分析法进行姿态估计，将姿态估计结果记为P2；
[0015] 4)计算P1和P2的差，若P1和P2的差的绝对值小于预设的阈值，则以P1作为二维训练人脸图的最终姿态估计结果；否则对所述二维训练人脸图进行眼睛和嘴巴的定位，并根据定位结果估计姿态，将姿态估计结果记为P3；
[0016] 5)比较P3和P1是否一致，若一致，则以P1作为二维训练人脸图的最终姿态估计结果；否则，以P2作为二维训练人脸图的最终姿态估计结果。
[0017] 进一步地，本发明在步骤(5)中，应用部分主分量分析法结合人眼和嘴巴自动定位算法对待识别二维人脸图进行姿态估计的方法如下：
[0018] a)对待识别二维人脸图用部分主分量分析法进行姿态估计，将姿态估计结果记为P4；
[0019] b)利用姿态估计结果P4和所述预设的查找表对所述待识别二维人脸图截取，得到截断待识别二维人脸图；
[0020] c)对所述截断待识别二维人脸图采用部分主分量分析法进行姿态估计，将姿态估计结果记为P5；
[0021] d)计算P4和P5的差，若P4和P5的差的绝对值小于预设的阈值，则以P4作为待识别二维人脸图的最终姿态估计结果；否则对所述待识别二维人脸图进行眼睛和嘴巴的定位，并根据定位结果估计姿态，将姿态估计结果记为P6；
[0022] f)比较P6和P4是否一致，若一致，则以P4作为待识别二维人脸图的最终姿态估计结果；否则，以P5作为待识别二维人脸图的最终姿态估计结果。
[0023] 本发明相比于现有技术的主要优点为：(1)利用两张不同姿态的二维训练人脸图生成新的虚拟三维人脸图来更新原始样本库，较多视角方法而言，不需要获得各个姿态的二维训练人脸图作为样本库，因而本发明具有广泛的适用性；(2)较基于三维模型的人脸识别方法而言，本发明无需利用三维扫描模型来构建样本库，无需进行三维特征点运算，可大幅降低计算的复杂性，有利于实时处理，同时又不失多姿态人脸识别的准确性；(3)较主分量分析法而言，本发明对待识别二维人脸图进行姿态估计，根据姿态估计的结果，采用部分主分量分析法进行识别，对姿态的鲁棒性更高；(4)本发明采用部分主分量分析法结合人眼和嘴巴自动定位算法对人脸图进行姿态估计，对姿态估计的准确性更高，同时计算复杂性较原有的姿态估计方法并没有太大增加；(5)针对多姿态人脸识别的目的，根据预设的查找表对待识别二维人脸图截取，去除了待识别二维人脸图与虚拟三维人脸图不相关的部分，提高了识别率。(6)本发明在视频监控领域有很好的应用。附图说明
[0024] 图1为基于部分主分量分析和姿态估计联合的人脸识别方法的流程示意图；
[0025] 图2为二维训练人脸图和虚拟三维人脸图的示意图，其中，(a)为二维训练人脸图，(b)为虚拟三维人脸图；
[0026] 图3为本发明基于部分主分量分析法结合人眼和嘴巴自动定位算法对二维训练人脸图进行姿态估计的流程图；
[0027] 图4为人眼和嘴巴自动定位的结果图，其中，(a)为姿态为0°的二维训练人脸图的人眼和嘴巴定位结果，(b)为姿态为30°的二维训练人脸图的人眼和嘴巴定位结果，(c)为姿态为60°的二维训练人脸图的人眼和嘴巴定位结果，(d)为姿态为90°的二维训练人脸图的人眼和嘴巴定位结果；
[0028] 图5为本发明根据姿态为0°和姿态为90°的二维训练人脸图生成虚拟三维人脸图的结果图，其中，图(a)为姿态为0°的二维训练人脸图，图(b)为姿态为90°的二维训练人脸图，图(c)为由图(a)和图(b)生成的新的虚拟三维人脸图的结果图。
具体实施方式
[0029] 下面，结合附图和具体实施例，以UPC人脸数据库为例进一步举例说明本发明。UPC人脸库是由44个人的人脸图组成，每个人有27张人脸图，分别是在3种不同光照情况下(自然光，45°方向的强光，0°方向的强光)的9个不同姿态(0°，±30°，±45°，±60°，±90°)。其中左边脸方向假定为正方向。本实施例只考虑在自然光下的姿态变化，不考虑其他光照变化情况。
[0030] 一、如图1所示，本实施例的步骤如下：
[0031] 步骤1：在原始样本库中事先存放虚拟三维人脸图，应用主分量分析法计算所述原始样本库中的扩展人脸空间：
[0032] 本实施例中UPC人脸数据库的二维人脸图如图2(a)所示，将其分辨率归一化到122×100像素。原始样本库中事先存放了50张由UPC人脸数据库合成的虚拟三维人脸图，如图2(b)所示，分别由25个人的虚拟三维人脸图以及虚拟三维人脸图的镜像组成。虚拟三维人脸图是由正面图、±45°、±90°共五张人脸图拼接而成，并将其分辨率归一化到
122×240像素。主分量分析法的主要目的是通过线性变化找到一组最优的单位正交向量基，用他们的线性组合来重建样本，使重建后的样本和原样本误差最小。原始样本库中的扩展人脸空间也就是所求的一组最优的单位正交向量基。其计算方法如下：
122×240像素。主分量分析法的主要目的是通过线性变化找到一组最优的单位正交向量基，用他们的线性组合来重建样本，使重建后的样本和原样本误差最小。原始样本库中的扩展人脸空间也就是所求的一组最优的单位正交向量基。其计算方法如下：
[0033]
[0034] 式(1)中，ST是总体散度矩阵，M为原始样本库中的样本数量，xi为原始样本库中第i个虚拟三维人脸图的按行展开的列向量形式，μ是原始样本库中xi(i＝1，2，...，50)的平均值。总体散度矩阵ST的正交归一化的特征向量就是子空间的正交基。采用主要的特征向量作为正交基的方法就称之为主分量分析法。由于主分量分析法是基于一维信号的计算，因而其主要步骤如下所示：将原始样本库中50张虚拟三维人脸图按行展开转化为N＝122×240维的列向量，其中122和240分别为虚拟三维人脸图的高度和宽度，50为原始样本库中样本的数量。令xi为原始样本库中第i个虚拟三维人脸图的按行展开的列向量形式，则原始样本库可记为xi(i＝1，2，...，50)。求出样本库xi(i＝1，2，...，50)的均值Tμ，即均值脸；得到各个样本与均值脸的差值：φi＝xi-μ；构造总体散度矩阵：C＝AA，A＝[φ1，φ2，...，φM]；计算C的特征向量vi，由于C是N×N(N＝122×240)矩阵，N非常T
大会使得计算量很大。因而转求AA(M×M)的特征值λi和正交归一化特征向量ui，C的特征向量vi可以通过下式得到
大会使得计算量很大。因而转求AA(M×M)的特征值λi和正交归一化特征向量ui，C的特征向量vi可以通过下式得到
[0035]
[0036] 将特征值λi从大到小顺序，选取前k个最大特征值对应的非零特征向量vi，其中，作为本发明的优选实施方式，k的选取可满足的条件是：前k个特征值的能量大于所有C的特征值的总能量的90％。本实施例取k值为20。由各特征向量vi(i＝1，2，...，20)组成的子空间V就是特征向量空间，也就是扩展人脸空间。
[0037] 步骤2：应用部分主分量分析法结合人眼和嘴巴自动定位算法对两幅不同姿态的二维训练人脸图进行姿态估计，将最终姿态估计结果记为Q、Q’，其主要流程图见图3。
[0038] 姿态估计的准确性不仅关系到合成的新的虚拟三维人脸图的精度还影响到识别率，由于应用部分主分量分析法对二维训练人脸图进行姿态估计的准确性并不是很高，可以进一步提高，因此采用图3所示的步骤，具体如下：
[0039] 1)对两幅不同姿态的二维训练人脸图用部分主分量分析法进行姿态估计，将姿态估计结果分别记为P1、P1’；
[0040] 其主要步骤是对原始样本库利用二维主分量分析法求得最优投影轴zk′(k′＝1，...，N)，具体如下：
[0041]
[0042] 式(3)中，Gi为图像的协方差矩阵，M为原始样本库中的样本数量，Ii为原始样本库中第i个虚拟三维人脸图，表示原始样本库中Ii(i＝1，2，...，50)的平均值。求得Gt的特征值，对其特征值进行由大到小排序，前k’个最大特征值对应的特征向量即所要求的最优投影轴zk′(k′＝1，...，N)，其中，作为本发明的优选实施方式，k’的选取可满足的条件是：前k’个最大特征值的能量大于所有Gt的特征值的总能量的90％。本实施例取k’＝16。式(4)中得到的j就是二维训练人脸图的姿态：
[0043]
[0044] 式(4)中，N表示最优投影轴的个数，且N＝k’，向量sk表示二维训练人脸图在最优投影轴zk′上的投影。每个向量sk有P个元素，其中P是二维训练人脸图的宽度，rk表示在最优投影轴zk′上的投影。由两幅不同姿态的二维训练人脸图就可以得到两个不同的二维训练人脸图的姿态j和j’。其中，j即为其中一幅二维训练人脸图的姿态估计结果P1，j’为另一幅二维训练人脸图的姿态估计结果P1’。
[0045] 2)利用姿态估计结果P1、P1’和所述预设的查找表对所述二维训练人脸图截取，得到两幅截断二维训练人脸图：
[0046] 通过对虚拟三维人脸图和二维训练人脸图的比较，可以发现二维训练人脸图的某些区域与虚拟三维人脸图有很高的相关性，但有些地方是完全不相关，因此如果利用了这些不相关的信息会降低新的虚拟三维人脸图的准确性，同时降低识别的准确性。因而，在生成新的虚拟三维人脸图的算法中的二维训练人脸图可以由与虚拟三维人脸图相关性高的部分代替，即得到截断二维训练人脸图。所述预设的查找表是不同姿态的截断二维训练人脸图截取宽度范围的选取，截取宽度范围的选取与二维训练人脸图和虚拟三维人脸图的分辨率有关，是一种基于经验的设置，单位为像素。预设的查找表中截取宽度范围的选取是通过实验选取，使得UPC人脸数据库中不同姿态的待识别二维人脸图的识别率最佳，表1示出了一种查找表。其中UPC人脸数据库中二维训练人脸图和待识别二维人脸图的分辨率为122×100像素，虚拟三维人脸图的分辨率为122×240像素。考虑到30°，45°，60°之间以及-30°，-45°，-60°之间区别很小，因而查找表中姿态为30°，45°，60°的二维训练人脸图的截取宽带范围是一样的，且姿态为-30°，-45°，-60°的二维训练人脸图的截取宽带范围也是一样的。
[0047] 表1 查找表
[0048]估计姿态 截取宽度范围 估计姿态 截取宽度范围 估计姿态 截取宽度范围
0° 20-80 60° 30-90 -45° 0-60
30° 30-90 90° 40-100 -60° 0-60
45° 30-90 -30° 0-60 -90° 0-50
0° 20-80 60° 30-90 -45° 0-60
30° 30-90 90° 40-100 -60° 0-60
45° 30-90 -30° 0-60 -90° 0-50
[0049] 3)对所述两幅截断二维人脸图采用1)中的部分主分量分析法进行姿态估计，将姿态估计结果记为P2、P2’；
[0050] 4)计算P1和P2的差，若P1和P2的差的绝对值小于预设的阈值(一般，该阈值可设为二维训练人脸图宽度的5％，即5像素)，则以P1作为其中一幅二维训练人脸图的最终姿态估计结果Q；否则对所述其中一幅二维训练人脸图进行眼睛和嘴巴的定位，并根据定位结果估计姿态，将姿态估计结果记为P3；计算P1’和P2’的差，若P1’和P2’的差的绝对值小于预设的阈值，则以P1’作为另一幅二维训练人脸图的最终姿态估计结果Q’；否则对所述另一幅二维训练人脸图进行眼睛和嘴巴的定位，并根据定位结果估计姿态，将姿态估计结果记为P3’；
[0051] 对二维训练人脸图进行眼睛和嘴巴定位的方法如下所示：
[0052] 在YCbCr色彩空间中，在人眼附近，Cb高和Cr低，因而通过式(5)创建眼图EyeMap：
[0053]
[0054] 式(5)中，Cb和Cr为YCbCr色彩空间中的两个色彩分量，分别为蓝色成分和红色成分。
[0055] 在YCbCr色彩空间中，在嘴巴区域，比起脸部其他区域，有较强的红色成分，较弱的蓝色成分，因而Cr强于Cb，因而通过式(6)创建嘴图MouthMap：
[0056]
[0057] 其中，系数
[0058] 式(7)中，FG是指人脸区域，n是人脸区域的像素个数。
[0059] 将眼图和嘴图分别通过自适应阈值将其二值化，再通过腐蚀膨胀，得到眼睛和嘴巴的位置，定位结果如图4所示。图4(a)为姿态为0°的二维训练人脸图的人眼和嘴巴定位结果，图4(b)为姿态为30°的二维训练人脸图的人眼和嘴巴定位结果，图4(c)为姿态为60°的二维训练人脸图的人眼和嘴巴定位结果，图4(d)为姿态为90°的二维训练人脸图的人眼和嘴巴定位结果。从图4(a)、4(b)、4(c)和4(d)可以看出眼睛和嘴巴定位的效果很好，对各个不同姿态都有效。根据眼睛和嘴巴的位置可以粗略估计姿态，主要步骤如下所示：若检测到只有一只眼睛，且其x轴坐标在靠近左半边，嘴巴的中心位置也位于左边，则认为是左侧面；若其x轴坐标在靠近右半边，嘴巴的中心位置位于右边，则认为是右侧面；若检测到两只眼睛，且两只眼睛的平均x轴坐标在图像x轴中心，即50像素左右，且嘴巴的中心位置的x轴坐标也在50像素左右，则认为是正面图；若两只眼睛的平均x轴坐标在图像x轴中心的偏左位置，且嘴巴中心位置的x轴坐标也在在图像x轴中心的偏左位置，则认为是左偏面，这里左偏面包含30°，45°，60°；若两只眼睛的平均x轴坐标在图像x轴中心的偏右位置，且嘴巴中心位置的x轴坐标也在在图像x轴中心的偏右位置，认为是右偏面，这里右偏面包含-30°，-45°，-60°；
[0060] 5)比较P3和P1是否一致，若一致，则以P1作为其中一幅二维训练人脸图的最终姿态估计结果Q；否则，以P2作为其中一幅二维训练人脸图的最终姿态估计结果Q。比较P3’和P1’是否一致，若一致，则以P1’作为另一幅二维训练人脸图的最终姿态估计结果Q’；否则，以P2’作为另一幅二维训练人脸图的最终姿态估计结果Q’。
[0061] 步骤3：根据步骤2得到的最终姿态估计结果Q、Q’在扩展人脸空间V中选取相应的子人脸空间 和 具体如下：
[0062] 将扩展人脸空间V的每一列转换为122×240矩阵，则可以得到20个转化后的扩展人脸空间矩阵，每个扩展人脸空间矩阵都近似一个人脸。根据最终姿态估计结果Q，选取20个扩展人脸空间矩阵中宽度范围为Q到Q+100(100为二维训练人脸图的宽度)的子矩阵，将这些子矩阵按行变换为122×100的列向量，再合并为12200×20的矩阵，就得到了其中一幅二维训练人脸图的子人脸空间 根据最终姿态估计结果Q’，选取20个扩展人脸空间矩阵中宽度范围为Q’到Q’+100的子矩阵，将这些子矩阵按行变换为122×100的列向量，再合并为12200×20的矩阵，就得到了另一幅二维训练人脸图的子人脸空间[0063] 步骤4：根据所述两幅不同姿态的二维训练人脸图、扩展人脸空间和子人脸空间，生成新的虚拟三维人脸图。通过子人脸空间计算系数a1、a2...an，使得二维训练人脸图重建误差最小，再将系数a1、a2...an重投影回扩展人脸空间，就可以得到新的虚拟三维人脸图。
其步骤如下：
其步骤如下：
[0064] 1)由主分量分析法可知，通过系数a1、a2...an和子空间人脸图可以重建二维训练人脸图，即
[0065]
[0066] 式(8)中，a1、a2...an是系数，是子人脸空间的特征向量。
[0067] 2)计算系数a1、a2...an，使得两张二维训练人脸图重建误差最小。
[0068]
[0069] 式(9)中， 是其中一幅二维训练人脸重建图， 是其中一幅二维训练人脸图， 是另一幅二维训练人脸重建图， 是另一幅二维训练人脸图。
[0070] 通过求解式(9)a1、a2...an的值，由a1、a2...an构成的向量 可以由式(10)表示：
[0071]
[0072] 式(10)中， 分别是其中一幅二维训练人脸图和另一幅二维训练人脸图的子人脸空间。
[0073] 3)将向量 再投影回扩展人脸空间，就可以生成新的虚拟三维人脸图。
[0074]
[0075] 式(11)中，αk(k＝1，2...，n)为式(10)求得的系数a1、a2...an，n为向量 的维数，为扩展人脸空间，I180°为生成的新的虚拟三维人脸图。
[0076] 根据姿态为0°和姿态为90°的二维训练人脸图生成的虚拟三维人脸图的结果图如图5所示，可以看出新的虚拟三维人脸图包含了各个不同姿态的二维训练人脸图信息。
[0077] 步骤5：使用所生成的新的虚拟三维人脸图更新原始样本库；
[0078] 步骤6：在识别阶段，应用部分主分量分析法结合人眼和嘴巴自动定位算法，对待识别二维人脸图进行姿态估计，将最终姿态估计结果记为Q2，该方法与步骤3一致，具体如下：
[0079] a)对待识别二维人脸图用部分主分量分析法进行姿态估计，将姿态估计结果记为P4；
[0080] 其主要步骤如下：对原始样本库利用二维主分量分析法求得最优投影轴zk′(k′＝1，...，N)；利用式(12)得到的j就是待识别二维人脸图的姿态P4：
[0081]
[0082] 式(12)中，N为最优投影轴的数目，且N＝k’，向量sk表示待识别二维人脸图在最优投影轴zk′上的投影。每个向量sk有P个元素，其中P是待识别二维人脸图的宽度，rk表示原始样本库中虚拟三维人脸图的平均值在最优投影轴zk′上的投影。
[0083] b)利用姿态估计结果P4和所述预设的查找表对所述待识别二维人脸图截取，得到截断待识别二维人脸图；
[0084] c)对所述截断待识别二维人脸图采用a)中的部分主分量分析法进行姿态估计，将姿态估计结果记为P5；
[0085] d)计算P4和P5的差，若P4和P5的差的绝对值小于预设的阈值(一般，该阈值设为待识别二维人脸图宽度的5％，即5像素)，则以P4作为待识别二维人脸图的最终姿态估计结果Q2；否则对所述待识别二维人脸图进行眼睛和嘴巴的定位，并根据定位结果估计姿态，将姿态估计结果记为P6；
[0086] 对待识别二维人脸图进行眼睛和嘴巴定位的方法如下所示：
[0087] 在YCbCr色彩空间中，在人眼附近，Cb高和Cr低，因而通过式(5)创建眼图。在YCbCr色彩空间中，在嘴巴区域，比起脸部其他区域，有较强的红色成分，较弱的蓝色成分，因而通过式(6)创建嘴图。将眼图和嘴图分别通过自适应阈值将其二值化，再通过腐蚀膨胀，得到眼睛和嘴巴的位置。根据眼睛和嘴巴的位置可以粗略估计姿态，主要步骤如下所示：若检测到只有一只眼睛，且其x轴坐标在靠近左半边，嘴巴的中心位置也位于左边，则认为是左侧面；若其x轴坐标在靠近右半边，嘴巴的中心位置位于右边，则认为是右侧面；若检测到两只眼睛，且两只眼睛的平均x轴坐标在图像x轴中心，即50像素左右，且嘴巴的中心位置的x轴坐标也在50像素左右，则认为是正面图；若两只眼睛的平均x轴坐标在图像x轴中心的偏左位置，且嘴巴中心位置的x轴坐标也在在图像x轴中心的偏左位置，则认为是左偏面，这里左偏面包含30°，45°，60°；若两只眼睛的平均x轴坐标在图像x轴中心的偏右位置，且嘴巴中心位置的x轴坐标也在在图像x轴中心的偏右位置，认为是右偏面，这里右偏面包含-30°，-45°，-60°；
[0088] f)比较P6和P4是否一致，若一致，则以P4作为待识别二维人脸图的最终姿态估计结果Q2；否则，以P5作为待识别二维人脸图的最终姿态估计结果Q2。
[0089] 步骤7：利用步骤(6)得到的姿态估计结果Q2和预设的查找表，对待识别二维人脸图进行截取得到截断二维测试人脸图，使用部分主分量分析法对所述截断二维测试人脸图进行识别，具体如下：
[0090] 1)根据姿态估计的结果Q2和表1所示的查找表，对待识别二维人脸图进行截取得到截断二维测试人脸图。
[0091] 2)利用部分主分量分析法对截断二维测试人脸图进行识别。如下式所示：
[0092]
[0093] 式(13)中，j为待识别二维人脸图的最终姿态估计结果Q2，N是二维主分量分析法得到的最优投影轴zk′(k′＝1，...，N)的个数，rk(l)是截断二维测试人脸图在zk′(k′＝1，...，N)上的投影，每个rk(l)有P个元素，其中P是截断二维测试人脸图的宽度，是更新的样本库中第i个虚拟三维人脸图在zk′(k′＝1，...，N)上的投影，得到的i就是待识别二维人脸图的识别结果。
[0094] 二、技术效果的验证
[0095] (一)验证方法：
[0096] 为了验证本发明对多姿态人脸识别的效果，本发明利用UPC人脸数据库做了两次实验。本实验采用主频为3.06GHz，内存为2GB的Intel Pentium 4处理器。
[0097] 实验一：对现有技术的基于主分量分析法与基于本发明的多姿态人脸识别的性能进行比较。
[0098] 实验一中，待识别二维人脸图为自然光下的24个人9个角度，共216张人脸图。在本发明算法中，样本库为24张虚拟三维人脸图，其虚拟三维人脸图是根据本发明的算法，由姿态为0°和姿态为90°的二维训练人脸图生成；在主分量分析法中，样本库为自然光下姿态为0°和姿态为90°的24个人的二维训练人脸图，共48张二维训练人脸图，识别率如表2所示，所需时间如表3所示，时间单位为毫秒(ms)。
[0099] 表2 主分量分析法与本发明的识别率
[0100]主分量分析法 本发明
识别率 39.8％ 86.6％
识别率 39.8％ 86.6％
[0101] 表3 算法所需时间
[0102]主分量分析法 本发明
时间(ms) 296 406
时间(ms) 296 406
[0103] 实验二：对现有技术的基于部分主分量分析法与基于本发明的多姿态人脸识别的性能进行比较。
[0104] 实验二中，待识别二维人脸图为自然光下的24个人9个角度，共216张人脸图。在本发明中，样本库为24张虚拟三维人脸图，其虚拟三维人脸图是由姿态为0°和姿态为
90°的二维训练人脸图根据本发明方法生成，记为训练样本A；在部分主分量分析法中，样本库为24张虚拟三维人脸图，其虚拟三维人脸图是由姿态为0°和姿态为90°的二维训练人脸图根据部分主分量分析法生成，记为训练样本B。姿态估计的准确性如表4所示，识别率如表5所示，所需时间如表6所示，时间单位为毫秒(ms)。
90°的二维训练人脸图根据本发明方法生成，记为训练样本A；在部分主分量分析法中，样本库为24张虚拟三维人脸图，其虚拟三维人脸图是由姿态为0°和姿态为90°的二维训练人脸图根据部分主分量分析法生成，记为训练样本B。姿态估计的准确性如表4所示，识别率如表5所示，所需时间如表6所示，时间单位为毫秒(ms)。
[0105] 表4 姿态估计准确性
[0106]部分主分量分析法 本发明
姿态估计准确性 92.13％ 94.44％
姿态估计准确性 92.13％ 94.44％
[0107] 表5 部分主分量分析法与本发明的识别率
[0108]部分主分量分析法 本发明
识别率 82.8％ 86.6％
识别率 82.8％ 86.6％
[0109] 表6 算法所需时间
[0110]平均时间(ms) 姿态估计 识别 总时间
本发明 328 78 406
部分主分量分析法 312 78 390
本发明 328 78 406
部分主分量分析法 312 78 390
[0111] (二)实验结论：
[0112] 由表2可以看出本发明方法相对于现有技术的主分量分析法识别率提高了一倍以上，是一种姿态鲁棒的人脸识别算法。由表4和表5可以看出本发明基于部分主分量分析法结合人眼和嘴巴自动定位算法进行姿态估计的方法与现有技术的基于部分主分量分析法进行姿态估计相比，对姿态估计更为准确，且人脸识别率更高。由表3和表6可以看出本发明所需时间虽大于主分量分析法，但与部分主分量分析法相比，所需时间相差不多，仍基本适用于实时处理。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于深度学习的大角度人脸姿态估计方法 | 2020-05-13 | 618 |
| 人脸图像的检测方法和装置 | 2020-05-20 | 548 |
| 一种基于信息融合的固定岗位人员疲劳检测方法 | 2020-05-24 | 573 |
| 基于尺度变化空调视觉免唤醒识别方法、系统、智能家居 | 2020-05-08 | 233 |
| 一种基于异质人脸图像融合特征的人脸识别方法 | 2020-05-19 | 198 |
| 一种基于视觉物联网的图书馆座位管理系统 | 2020-05-25 | 641 |
| 一种基于多子空间嵌入的头部姿态估计方法 | 2020-05-26 | 290 |
| 一种基于多任务的人脸质量估计方法 | 2020-05-13 | 663 |
| 一种基于头部姿态的人脸识别方法 | 2020-05-22 | 120 |
| 一种图像处理方法、装置及电子设备 | 2020-05-18 | 463 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈