技术领域
[0001] 本
发明属于
模式识别和
图像处理领域，涉及一种采用全新有效的单样本人脸识别解决方案应用于二代身份证相片识别的方法，特别涉及每个待识别对象仅有一幅训练图像进行人脸自动识别的系统。
背景技术
[0002] 二代身份证是我国16岁以上成年人使用最频繁的有效证件，携带持有者的唯一身份证编号、人脸相片和个人基本信息。与一代身份证相比，二代身份证采用了非
接触式IC卡技术，具有机读功能即通过二代身份证阅读器能够读取芯片贮存的信息。基于二代身份证相片的人脸识别，是近几年兴起的一种人脸识别新应用，被广泛应用于公安机关追捕逃犯、会议代表身份验证、大型档案查询系统等场景中。
[0003] 基于身份证相片的人脸识别，就是将在真实环境中采集到的人脸图像和身份证人脸库中的图像进行比对，判断所采集人脸图像的身份。和传统的人脸识别系统不同，它的每个待识别对象有且仅有一幅图像即身份证相片可供使用，是一个典型的单样本人脸识别应用。正是由于训练样本数量不够充足（仅有一张），且不具备足够的代表性，使得目前大部分的主流人脸识别
算法要么性能严重下降，要么根本无法正常工作。基于身份证相片的人脸识别，除了要解决单样本情况下识别率低，对光照、表情、
姿态等因素鲁棒性不高的问题外，还要考虑待识别图像与身份证相片的年龄跨度造成的不利影响。
发明内容
[0004] 技术问题：本发明提供了一种识别率高、鲁棒性强，并可以在一定程度上减轻年龄差异对系统性能影响的相片识别中的单样本人脸识别方法。
[0005] 技术方案：本发明的相片识别中的单样本人脸识别方法，首先对训练样本集中的所有相片图像进行人脸重建，得到新的训练样本集，然后分别对新的训练样本集和测试样本中的图像进行盖伯Gabor特征表示和数据
降维处理，最后使用
支持向量机对降维后的测试样本的盖伯Gabor特征进行人脸分类，该方法的具体步骤为：
[0006] 1）采用人脸重建方法对训练样本集中的所有相片图像进行人脸重建，得到每张相片的重建图像，然后使用基于主动形状模型的人脸图像预处理方法将所述每张相片的重建图像和原相片图像一起进行剪切，得到17张剪切后的图像，所述17张剪切后的图像一起构成单张相片图像重建集，所有相片的单张相片图像重建集组成新的训练样本集，从而将单样本人脸识别问题转化为一般的多样本人脸识别问题；
[0007] 2）用二维盖伯Gabor核函数对所述新的训练样本集中的图像进行卷积，提取新的训练样本集中的图像的盖伯Gabor特征，然后通过
采样率为10×10的采样因子对得到的新的训练样本集中的图像的盖伯Gabor特征进行
下采样，得到下采样盖伯Gabor特征；
[0008] 3）使用保局判别分析算法对所述步骤2）中提取的新的训练样本集中的图像的下采样盖伯Gabor特征进行数据降维，得到训练图像的低维特征空间表示，具体做法为：
[0009] 首先将一个单张相片图像重建集的17张训练样本看作一类，不同的单张相片图像重建集的训练样本看作不同的类，以此构造类间邻接图和类内邻接图，然后计算所述类内邻接图的权值矩阵 和所述类间邻接图的权值矩阵 通过求解如下的矩阵方程式的广义特征值问题，得到一个
特征向量W，利用所述特征向量W将单张相片图像重建集的下采样盖伯Gabor特征投影到低维空间，得到训练图像的低维特征空间表示；
[0010] X(Dp-Sp)XTw＝λX(Dc-Sc)XTw
[0011] 其中，X＝{x1，x2，…，xN}，xi∈RD代表高维数据集，N表示数据个数，RD表示D维T p c高维空间，X 是矩阵X的转置矩阵，D，D 都是对
角阵，其中对角上的元素分别为求得的λ和w分别是上式的特征值和特征向量，取上式的前d个最大特征值λ1≥λ2≥...≥λd·所对应的特征向量W＝[v1，v2，…，vd]就是所求的特征向量，所述d的选择由 确定，α表示压缩后样本保留表示信息的大小，取α＝95％；
[0012] 4）首先使用基于主动形状模型的人脸图像预处理方法将测试样本集中的每一张图像进行剪切，然后用二维盖伯Gabor核函数对剪切后的测试图像进行卷积，提取测试样本图像的盖伯Gabor特征，然后通
过采样率为10×10的采样因子对得到的测试样本图像的盖伯Gabor特征进行下采样，得到下采样盖伯Gabor特征；
[0013] 5）使用保局判别分析算法对所述步骤4）中提取的测试样本图像的下采样盖伯Gabor特征进行数据降维，得到测试图像的低维特征空间表示，具体做法为：
[0014] 利用所述步骤3）中得到的特征向量W将测试样本图像的下采样盖伯Gabor特征投影到低维空间，得到测试图像的低维特征空间表示；
[0015] 6）使用基于径向基核函数的支持向量机，对所述步骤3）中得到的训练图像的低维特征空间表示和所述步骤5）中得到的测试图像的低维特征空间表示进行人脸分类，得到人脸识别结果。
[0016] 本发明中，步骤1）中的使用基于主动形状模型的人脸图像预处理方法将所述每张相片的重建图像和原相片图像一起进行剪切，从而得到得到17张剪切后的图像的具体方法为：对训练样本集中的所有相片图像分别进行图像增强、图像几何变换和
三维人脸重建，所述的图像增强是采用组合投影法、增强的组合投影法和SVD奇异值分解扰动法分别得到三个图像增强结果；所述的图像几何变换是采用镜像变换得到一个图像镜像变换结果、采用0.95和1.05两个尺度变换系数分别进行尺度变换得到两个尺度变换结果、采用左旋转5度和右旋转5度两个旋转角度分别进行旋转变换得到两个旋转变换结果；三维人脸重建是通过调节Candide-3参数化
网格模型中的姿态参数，在原图像的
基础上分别左右旋转5度，左右旋转10度，
俯仰旋转5度，俯仰旋转10度得到八个结果。
[0017] 本发明的步骤2）中的二维盖伯Gabor核函数为5个尺度和8个方向的Gabor小波核函数。
[0018] 本发明的步骤3）中分别按照下式计算类内邻接图的权值矩阵 和所述类间邻接图的权值矩阵
[0019]
[0020] 其中，X＝{x1，x2，…，xN}，xi∈RD·代表高维数据集，xi，xj′.分别表示X的第i个和第j个数据，li和lj′.分别代表样本xi和xj的类别，若样本一共有c类，则有li∈{1，2，…，c}。
[0021] 本发明的步骤6）中的基于径向基核函数的支持向量机是Libsvm包。
[0022] 本发明中所应用的Candide-3模型是一个基于人脸动作编码系统的参数化模型，由113个关键点和168个三角面片组成，可以不用授权公开使用，且与MPEG-4动画兼容，可以实现表情动画并在不同系统间的移植，被广泛应用于人脸建模和动画研究中。
[0023] 本发明的步骤2）中选用的二维盖伯Gabor核函数为5个尺度和8个方向的Gabor小波核函数。Gabor核函数中有两个可以调节的参数即核函数的尺度和方向，为了最大限度地捕捉图像时域-
频域特征，尺度和方向一般都采用均匀采样。方向参数在[0.pi]上均匀采样，尺度参数目前只能依据经验取得。5个尺度和8个方向是目前最常用的一种形式。盖伯Gabor特征下采样的具体过程为：Gabor特征图先按行每10个
像素取平均值合并成一个像素，然后再按列每10个像素取平均值合并成一个像素，这样对于一幅100×100的Gabor特征图，经10×10的采样因子下采样后，就得到了10×10的下采样盖伯Gabor特征图，大大降低了维数。
[0024] 有益效果：本发明方法与
现有技术相比，具有以下的优点：
[0025] 1.该方法使用人脸重建方法将单样本人脸问题转化为一般的多样本人脸识别问题，并使用保局判别分析算法进行数据降维，取得了较高的识别率。保局判别分析（LPDA）算法将主成分分析（Principal Component Analysis，PCA）和LPP的思想相结合，使得数据集在投影空间中，非近邻点尽可能分开的同时，保留数据原有的邻近关系，同时利用了样本的类别信息，使得分类效果更好。传统的Eigenface方法在ORL
数据库上的实验结果表明，在每人有9幅训练样本的情况下，采用“留一法”得到的识别率可以达到95%；而在单样本情况下，识别率不足65%。此方法在ORL、Yale和FERET三个标准人脸库上，在仅有一张训练样本的情况下，分别取得高达92.03%、93.44%和90.89%的识别率，在二代身份证相片的识别中，取得了81.95%识别率。
[0026] 2.该方法对人脸识别中光照、姿态等因素具有较好的鲁棒性。人脸重建得到的多张不同图像具有多种不同的姿态，故此方法在测试样本具有不同姿态时效果很好。同时，提取图像的二维Gabor特征进行特征表示，可以消除光照对人脸识别的影响。此外，人脸重建保局判别分析属于一种流形学习方法，除了识别率方面表现出的优势外，对外界因素的变换也具有一定的鲁棒性。
[0027] 3.针对二代身份证相片测试
图像采集过程中出现的噪声、旋转等问题具有很好的鲁棒性。对测试图像分别加入椒盐噪声、泊松噪声、Speckle噪声的影响，识别率均稍有下降，但下降的幅度均未超过3%；对测试图像进行小角度的旋转，识别率下降4%-5%左右；对测试图像加入高斯噪声，识别率反而稍有提高，这是由于高斯噪声使得测试图像变得模糊，和像素普遍偏低的身份证相片更加相似。这些实验结果都表明了，该方法对噪声和选旋转具有不错的鲁棒性。
[0028] 4.单样本人脸识别解决方案中扩充样本集的人脸重建方法，包括组合投影方法、增强组合投影方法、SVD扰动方法、几何变换法和基于Candide-3模型的三维人脸建模方法。其中，在使用Candide-3模型进行
三维建模时，重建图像中人脸区域外的部分会出现了一定程度的失真。针对这一情况，提出了一种基于主动形状模型预处理方法，该方法可以有效去除了头发，
耳朵等人脸外的不利于识别的部分，保留了最主要的人脸信息区域。
[0029] 5.流形学习方法可以从非线性、高维数、大规模的数据里找出事物的几何结构和本质规律，实现数据的维数简约。在局部保持投影（Locality Preserving Projection，LPP）基础上提出了一种保局判别分析（LPDA）算法进行特征降维。
[0030] 6.此单样本人脸识别解决方案不仅解决了单样本人脸识别准确率低，容易受光照、表情、姿态影响的问题，而且对身份证相片年龄跨度，真人与身份证相片存在差异性等因素也有一定的鲁棒性。
附图说明
[0031] 图1为本发明单样本人脸识别方法的
流程图；
[0032] 图2为本发明的单样本人脸识别方法中步骤1）的流程图；
[0033] 图3为ORL人脸库上人脸重建和预处理过程性能效果比较图；其中，方法一：图像增强法和几何变换法；方法二：使用Candide-3模型
三维重建法；方法三：使用图像增强法、几何变换和Candide-3模型的方法；方法四：使用图像增强法、几何变换、Candide-3模型的方法人脸重建，并进行主动形状模型预处理的方法；
[0034] 图4为ORL人脸库上二维Gabor特征和其他特征的性能效果比较图；
[0035] 图5为三个标准人脸数据库上二维Gabor特征加数据降维方法性能效果比较图；
[0036] 图6为ORL人脸库上人脸识别分类器性能效果比较图；
[0037] 图7为不同噪声和旋转条件下，本发明的单样本人脸识别方法在二代身份证识别中的效果图。
具体实施方式
[0038] 下面通过具体
实施例对本发明的方法作进一步具体说明。
[0039] （1）单样本情况下的人脸重建和预处理
[0040] 鉴于单张图像提供的用于特征提取的特征信息十分有限，且目前多样本人脸识别技术已经取得了不错的识别效果，通过人脸重建、扩充训练集容量，将单样本问题转化为多样本人脸识别不失为一种好的思路。
[0041] 图像增强法通过对单幅样本进行图像增强，以突出对识别有利的信息，抑制无用的甚至会对识别造成干扰的特征。本人脸重建过程采用组合投影法（Projection Combined Principal Component Analysis，（PC）2A）、增强的组合投影法（Enhanced Projection Combined Principal Component Analysis，E（PC）2A）和SVD奇异值分解扰动法（Singular Value Decomposition Perturbation）三种，得到3张重建样本。
[0042] 图像几何变换法包括镜像变换、尺度变换、旋转变换。镜像变换以垂直中心线为轴进行变换，得到的图像可以部分消除头部旋转对人脸识别的影响，提高有姿态变化的人脸识别效果；尺度变换将原图像按系数0.9缩小，空出的部分补0或1，或将原图像按系数1.1放大，对超出原图像的部分进行剪切，系数也可根据实际情况去0.95或1.05等；旋转变换在图像平面内绕中心旋转一个角度 然后通过插值和剪切使旋转图像与原图像大小相同。一般情况下，旋转后的图像要比原图像大，超出原图像的部分值填0或l。通过几何变换可以得到5张重建样本。
[0043] 三维人脸建模是近年来
计算机视觉和图形学的一个研究热点，考虑单张图像包含的信息相对较少，为避免不必要的点对模型的影响和众多模型点的调整，选用使用较为简单的Candide-3参数化网格模型进行特定人脸建模。Candide-3模型是一个基于人脸动作编码系统的参数化模型，由113个关键点和168个三角面片组成，可以不用授权公开使用，且与MPEG-4动画兼容，可以实现表情动画并在不同系统间的移植，被广泛应用于人脸建模和动画研究中。通过调节姿态控制参数，得到向左向右旋转5°，10°以及向左向右旋转5°，10°的重建图像，共得到8张重建样本。
[0044] 为了减轻Candide-3人脸重建过程中的图像失真问题，使用基于主动形状模型的人脸图像预处理系统对原训练样本和得到的16张重建样本进行图像剪切，去除人脸区域外的部分。
[0045] （2）单样本人脸图像特征表示
[0046] 人脸图像的特征表示是人脸识别过程中非常关键的一步，本解决方案采用二维Gabor特征进行特征表示。二维Gabor函数可以精确逼近
哺乳动物的视觉皮层细胞感受野，很大程度上反应人脸的不变信息，对光照、姿态等具有一定的鲁棒性，同时具有良好的时频局部化特性，被广泛应用于特征表示领域。二维Gabor核函数可以定义为：
[0047]
[0048] 其中，z＝(x，y)表示坐标值，u，v表示Gabor核函数的尺度和方向，决定Gabor
滤波器的方向参数 和尺度参数kv，kv＝kmax/fv， 取参数σ＝2π,kmax＝π/2， 本解决方案选用使用较多的是选取5个不同
频率和8-(v+2)/2
个不同方向上的40个滤波器，具体参数为：kv＝2 π， v＝0，1，2，3，4，u＝
0，1，2，…，7。
[0049] 将原图像与Gabor函数进行卷积即可得到图像的Gabor特征表示，如式（2）所示。
[0050] G(z)＝I(z)*ψu，v(z) （2）
[0051] 考虑卷积的计算复杂度太大，考虑采用快速傅里叶变换及其反变换简化计算，如式（3）所示。-1 -1
[0052] G(z) ＝ I(z)*ψu,v(z) ＝ F (F(I(z)*ψu,v(z))) ＝ F (F(I(z))·F(ψu，v(z))) （3）
[0053] 此外，图像经Gabor变换后得到的向量维数非常高，本解决方案采用采样率为10×10的采样因子进行下采样，对高维向量进行初步降维。这样，将每个下采样后的Gabor系数矩阵所有行首尾连接为矢量形式，然后再将这40个向量首尾相接形成一个高维向量，就是所求的Gabor特征。
[0054] （3）基于保局判别分析（LPDA）的特征降维方法
[0055] 局部保持投影（Locality Preserving Projection，LPP）是一种常用的流形学习算法，它能揭示复杂的非线性流形结构，在降维的同时保持了数据的内在几何和局部结构。
[0056] 设有样本集X＝{x1，x2，…，xN}，xi∈RD，线性变换为y＝WTx，变换矩阵W可以通过最小化如下目标函数得到：
[0057]
[0058] 其中，S是权值矩阵，可采用ε-近邻法定义：
[0059]
[0060] 其中，ε＞0是一个足够小的常量，t＞0-是一个由实验验证得到的常量。对目标函数进行简单的线性变换，LPP的求解可转化为求解以下最优化问题：T
[0061] s.t YDY＝1 （6）
[0062] 其中，D为N×N对角阵， L＝D-S为拉普拉斯矩阵。Dx越大，表示yi越重要。式（6）的解可进一步转化为求解以下特征值问题：
[0063] XLXTW＝λXDXTW （7）
[0064] 主成分分析法（Principal Component Analysis，PCA）以样本的最优重建为目的，使得重构后的样本与原样本的均方误差最小求得线性投影，求解以下优化问题：
[0065]
[0066] LPP致
力于保留数据集的局部结构，只考虑近邻点；PCA对近邻点和非近邻点采取相同的处理方式，通过引入补图的概念，可以对对数据集中的近邻点和非近邻点采取不同的处理方式，使得非近邻点在投影空间中尽可能分开的同时，保留数据集原有的邻近关系。
[0067] 设Gc是高维数据集X＝{x1，x2，...，xN}，xi∈RD|的邻接图，Gp是Gc的补图，也就是当且仅当Gc中
顶点i和j不相连时，Gp中的顶点i和j相连。由此，式（8）可以进一步转化为式（9）：
[0068]
[0069] 其中，
[0070] 经LPP和PCA思想相结合，得到优化函数如下：
[0071] s.t.
[0072] 将yi＝WTxi.代入优化式（10），优化函数可以进一步简化为：
[0073] max WT(XDpXT-XSpXT)W s.t. WT(XDcXT-XScXT)W＝1 （11）[0074] 其中，设li代表样本：xi的类别，有li∈{1，2，…，c}，对式（10）中的 和 分别做如下定义：
[0075]
[0076]
[0077] 这样，就加入了样本的类别信息，Dp，Dc都是对角阵，
[0078] 通过Lagrange乘子法求解：
[0079] L(W，λ)＝WT(XDpXT-XSpXT)W-λ(WT(XDcXT-XScXT)W-1) （14）[0080] 对L(W，λ)求偏导，可得：
[0081]
[0082] 令 则式（4-17）的解可进一步转化为求解以下特征值问题：
[0083] X(Dp-Sp)XTw＝λX(Dc-Sc)XTw （16）
[0084] 单样本人脸识别解决方案采用PLDA算法进行数据降维，算法流程如表1所示。
[0085] 表1LPDA算法流程表
[0086]
[0087]
[0088] （4）基于支持向量机（SVM）的分类方法
[0089] 支持向量机（Support Vector Machine，SVM）是目前最常用、效果最好的分类器之一，它的最大特点是基于Vapnik的结构
风险最小化原则，能够在分类器的容量和训练误差之间保持很好的平衡，具有较高的学习泛化能力。也就是说不仅能处理小样本问题，还能很好地在高维（甚至是无穷维）空间工作。同时，支持向量机是一个凸优化问题，局部最优解也就是全局最优解，可以防止过学习，这一特征是很多学习算法如神经网络算法等所不及的。单样本人脸识别解决方案采用支持向量机进行分类，采用径向基（RBF）核函数，如式（17）所示。
[0090] κ(x，y)＝exp(-||x-y||2/σ2) （17）
[0091] 具体实施过程中，采用台湾大学林智仁副教授等设计开发的Libsvm包。Libsvm是一个使用方便、快速有效的SVM开源
软件包，可以解决可以解决C-SVM，ε-SVR和ν-SVR等问题，包括基于一对一算法的多类模式识别问题，在模式识别领域得到广泛应用。
[0092] （5）单样本人脸识别
框架在二代身份证相片识别中的应用
[0093] 身份证相片是二代身份证包含的重要信息之一，也是二代身份证信息数据库中的一个重要组成部分。由于身份证携带信息的唯一性和使用的频繁性，使用身份证相片进行人脸识别具有独特的优势。二代身份证相片识别是一个典型的单样本人脸识别问题，可将单样本解决方案应用于其中。
[0094] 进行二代身份证相片识别之前，必须建立对应的人脸数据库。本发明采用新中新第二代居民身份证阅读器DKQ-116D型，它遵循公安部台式居民身份证阅读器通用技术要求，可以将IC卡居民身份证内的文字、数字压缩相片等个人信息独处并送入计算机现实，进行身份证的识别、核验或录入。这样，使用摄像头捕捉到测试图像后，就可以使用单样本人脸识别框架完成识别了。
