技术领域
[0001] 本
发明属于
模式识别技术，尤其涉及一种人脸图像重建方法、装置及人脸识别系统。
背景技术
[0002] 人脸识别作为一种重要的身份
鉴别技术，在安全、金融、
人机交互、信息、教育等诸多领域有着广泛的应用前景。由于采集的光照环境无法控制，模板图像与测试图像的光照条件总是不尽相同，这使得目前基于图像的人脸识别系统难以应对光照变化带来的影响。
[0003] 光照变化下人脸识别系统的改进主要基于两类：(1)光照模板差分：将光照下人脸图像分解为人脸光照不变量和光照模板；(2)光照子空间：从人脸光照图像拟合光照子空间，任意光照的图像均可由该光照子空间线性表出。
[0004] 在第一类方法下，由于光照模板为
光源在人脸图像上沿着人脸法向方向的投影，与光照不变量之间并不相互独立，直接的模板差分所获得的光照不变图像使得人脸结构和纹理信息被大大削弱，往往只剩下轮廓信息，难以描述整体图像特征；在第二类方法下，由于从参考图像中训练目标图像的光照子空间，因此目标图像的重建图像也依赖于参考图像，从而导致图像失真，而且该类方法直接以眼睛
位置来对齐图像，由于不同个体图像之间本身存在差异，导致未精确对齐的图像重建失真更加严重。
[0005] 在实现本发明的过程中
发明人发现，由于不同光照下图像之间的表象差异很大，而光照模板差分和光照子空间的方法都采用相同的方法应对所有的光照条件，这样必然导致不同光照下的人脸识别结果差异很大。
发明内容
[0006] 本发明
实施例提供一种人脸图像重建方法、装置及人脸识别系统，能够改善光照变化下的人脸识别结果。
[0007] 本发明实施例采用如下技术方案：
[0008] 一种人脸图像重建方法，包括：
[0010] 判断对齐后的目标图像所属光照类别；
[0011] 获取所述对齐后的目标图像所属光照类别的重建模型；
[0012] 根据所述重建模型重建所述对齐后的目标图像，获得所述对齐后的目标图像的标准光照图像。
[0013] 一种人脸图像重建装置，包括：
[0014] 对齐单元，用于对目标图像进行像素级对齐；
[0015] 光照类别判断单元，用于判断对齐后的目标图像所属光照类别；
[0016] 重建模型获取单元，用于获取所述对齐后的目标图像所属光照类别的重建模型；
[0017] 重建单元，用于根据所述重建模型重建所述对齐后的目标图像，获得所述对齐后的目标图像的标准光照图像。
[0018] 一种人脸识别系统，包括人脸识别装置和人脸图像重建装置，其中，[0019] 所述人脸图像重建装置，用于对目标图像进行重建获得目标图像的标准光照图像；
[0020] 所述人脸识别装置，用于对所述人脸图像重建装置重建所得的目标图像的标准光照图像进行人脸识别。
[0021] 本发明实施例的人脸图像重建方法、装置及人脸识别系统，通过对目标图像进行像素级对齐，可以获得比仅以眼睛位置进行对齐的图像更好的对齐效果，使得对齐后的图像不会出现大的失真；通过判断对齐后的目标图像所属光照类别，并获取所述对齐后的目标图像所属光照类别的重建模型，然后根据该重建模型重建所述对齐后的目标图像，获得所述对齐后的目标图像的标准光照图像，可以将相同光照投影的图像分为一类，将目标图像作为一个整体进行图像重建，与
现有技术相比，避免了光照模板差分导致的图像特征的丢失，同时也避免了光照子空间带来的重建误差，因此能够改善光照变化下的人脸识别结果。
附图说明
[0022] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍。
[0023] 图1为本发明实施例提供的人脸图像重建方法的流程示意图；
[0024] 图2为本发明实施例的人脸对齐示意图；
[0025] 图3为本发明实施例的光照分类示意图；
[0026] 图4为本发明实施例的人脸图像重建方法的
流程图；
[0027] 图5为一个具体人脸图像采用本发明实施例的人脸图像重建方法获得标准光照图像的流程图；
[0028] 图6(a)为对Yale B
数据库在不同光照类别下采用本发明实施例方法得到的人脸识别率与其他
算法的对比示意图；
[0029] 图6(b)为对Yale B数据库在不同光照类别下采用本发明实施例方法得到的图像表象与其他算法的对比示意图；
[0030] 图7(a)为人脸对齐与未对齐情况下人脸识别率的对比示意图；
[0031] 图7(b)为人脸对齐与未对齐情况下人脸重建效果的对比示意图，其中第一行为未对齐重建，第二行为对齐重建；
[0032] 图8为本发明实施例提供的人脸图像重建装置的功能单元结构图；
[0033] 图9为本发明实施例提供的人脸识别系统的组成示意图。
具体实施方式
[0034] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
[0035] 如图1所示，本发明实施例提供的人脸图像重建方法，包括：
[0036] 步骤11，对目标图像进行像素级对齐。
[0037] 该步骤具体可以为：根据每张训练图像的关键点
变形通用人脸模型，依次获得每张训练图像对应的真实感人脸模型；根据所有训练图像的真实感人脸模型的均值，利用
迭代方法得到标准人脸模型；根据所述标准人脸模型变形目标图像，使得所述目标图像与所述标准人脸模型像素级对齐。
[0038] 其中，所述关键点为预先定义的人脸像素点，在本发明中，关键点定义为人脸上81个点，包括人脸轮廓，眼睛，鼻子，嘴巴等器官，用来描述人脸形状。关键点可以通过主动形状模型(Active Shape Model，ASM)自动
定位获得。
[0039] 所述的通用人脸模型，是从三维数据库中导出，为人头
网格模型，共含有13936个
顶点和27538个面片。该通用人脸模型上的部分稀疏点与预先定义的人脸像素点一一对应，在本发明中将这些对应点称为模型对应点。
[0040] 首先，根据每张训练图像的关键点变形通用人脸模型获得一组真实感人脸模型。
[0041] 假设训练图像的关键点序列为pI，通用人脸模型的对应点序列为pM，通过RBF变形M I可以使得在变形函数F(x)的作用下，p 与p 相同。
[0042] F(pM)＝pI，其中： 为所选RBF核函数，||x-xi||表示点x与xi之间距离。
[0043] 根据给定的对应点pM和pI，可以计算得到变形系数权重ω：
[0044]
[0045] 在获得变形函数后，对于通用人脸模型上除模型对应点之外的稀疏点pM，带入该I变形函数可以计算得到模型变形后的对应图像像素点p′，从而实现通用人脸模型与训练图像上的像素点之间的完全对齐。
[0046]
[0047] 由于特征点选取在人脸器官和轮廓等部位，因此可以精确对齐人脸关键部位，并约束其他相对平滑的人脸区域。变形后的通用人脸模型即为每张训练图像对应的三维真实感人脸模型。
[0048] 需要说明的是，由于每张训练图像
姿态可能不同，为保证所有真实感人脸模型具有相同姿态，在根据每张训练图像变形通用人脸模型前，有必要先对训练图像姿态进行调整。I
[0049] 人脸图像的姿态存在三个方向的旋转变化，对于一组关键点p，令其旋转为
正面I的特征点pn，则有
I I
[0050] pn＝s·R(α，β，γ)·p+t
[0051] 其中s，R，t分别对应旋转变换中的尺度、旋转和位移因子，α，β，γ为三个方向I M的旋转
角度。由于通用人脸模型为完全正面，因此特征点对齐后的pn与模型对应点p 之间的距离最小，姿态旋转的角度可以通过最小化相应
能量函数获得：
[0052]
[0053] 其中能量函数为模型对应点的前两位坐标与图像关键点之间的距离。根据LM(Levenberg-Marquardt)算法可以很容易获得人脸姿态旋转角度，从而将人脸校正为正面姿态。
[0054] 接着，在获得所有真实感人脸模型后，利用迭代的方法获得标准人脸模型。获得标准人脸模型的过程如下：
[0055] (1)根据姿态矫正后的每张训练图像的人脸形状，变形通用人脸模型到每个人脸形状，得到每张训练图像对应的真实人脸模型；
[0056] (2)计算所有真实人脸模型的平均值得到平均人脸模型，变形姿态校正后的每张训练图像人脸形状到平均人脸模型；
[0057] (3)重复第(2)步，直到前后两次平均人脸模型差异小于某
阈值，则此时平均人脸模型即为标准人脸模型。
[0058] 然后，根据所述标准人脸模型变形目标图像，使得所述目标图像与所述标准人脸模型像素级对齐。
[0059] 由于标准人脸模型减小了人脸模型与人脸形状之间的差异，因此根据标准人脸模型变形目标图像，使得目标图像与标准人脸模型像素级对齐后，不会使得对齐后的人脸形状出现大的失真。
[0060] 参见图2，图2为本发明实施例的人脸对齐示意图，图2第一列给出了通用人脸模型，真实感人脸模型和标准人脸模型示意图，图2后四列对应四张不同人脸，每行依次为原始人脸图像、真实感人脸模型、眼睛对齐图像和像素级对齐图像。从图2中可以看出标准人脸模型与人脸形状更为接近，人脸图像经像素级对齐后实现了像素点的一一对应，比仅仅以眼睛位置进行对齐的图像获得更好的对齐效果。
[0061] 步骤12，判断对齐后的目标图像所属光照类别。
[0062] 根据光照在图像上的投影，将相同光照投影分布的图像分为一类，便于每类光照下的图像重建关系拟合。由于光照体现为光源沿人脸法向的投影，在人脸法向与光源方向相同的区域，其光照投影强度最大，会形成光照中心。光照中心近似为图像较亮区域的中心，相同的光照中心表现为近似的光照方向和相同的图像明暗变化，因此本发明以光照中心的位置来进行光照类别分类。
[0063] 首先，根据对齐后的目标图像的像素均值，对对齐后的目标图像进行明暗二值化分割。
[0064] 假设人脸图像I为h*w大小，I的像素均值为 则二值化图像Ib为：其中明值取1，暗值取0。
[0065] 然后，计算所述对齐后的目标图像上所有取明值像素点的
重心，作为所述对齐后的目标图像的光照中心。
[0066] 图像二值化后，所有像素值为1的点为原始图像较亮点，计算图像上所有1像素点的重心，即为图像的光照中心。
[0067] 最后，根据光照中心的所在位置判断所述对齐后的目标图像所属光照类别。
[0068] 由于人脸结构差异，相同光照下的人脸图像其光照中心的所在位置不可能完全相同，本发明采用按固定规则对图像进行分
块来实现光照分类，将光照中心属于相同分块的图像分为同一光照类别。
[0069] 假设将人脸图像均匀划分为nh*nw块，则人脸图像对应的光照类别为：cL＝{c|PL∈Ic}，其中Ic为第c块子图像，PL为图像光照中心，cL为其对应光照类别。子图像块大小根据实验获得，理论上而言，子图像块越小，图像光照类别越细，分类效果越好，但由于图像之间存在差异，相同光照下的图像光照中心位置会有偏差，因此过小的子图像块反而会带来分类误差。在本发明中将所有图像归一化为64*64大小，子图像块为8*8。
[0070] 对于标准光照图像，其二值化图像的0、1值均匀分布，因此光照中心通常为图像中心点，这与标准光照方向基本一致。对于单光源图像，由于光源的投影并不是图像某点的
亮度变化，而是某一区域的亮度增强，因此光照中心即可反映光源的方向；对于多光源图像，在其二值化图像上，图像光照中心为多种光源的中心。由于本发明的光照分类目的不是精确地对光照方向估计，而是将相同光照投影的图像分为一类，因此对任意光照条件均可正确分类。
[0071] 参见图3，图3为本发明实施例的光照分类示意图。图3给出了人脸分块以及不同光照类别图像的样本，其中每个样本对应一张原图和一张二值化图像。从图3中可以看出，本发明实施例的光照分类结果与图像原始光照方向基本一致。
[0072] 步骤13，获取所述对齐后的目标图像所属光照类别的重建模型。
[0073] 为获取每种光照类别的重建模型，本发明实施例将所有训练图像按光照类别进行分类，对每类光照类别下的每张训练图像，
配对一张对应的标准光照图像，从而获得该种光照类别下的一组训练图像对，然后根据该种光照类别下的一组训练图像对，拟合得到原始光照图像与标准光照图像之间的重建关系。
[0074] 具体地，首先利用该种光照类别下的一组训练图像和对应的一组标准光照图像分别建立原始光照子空间和标准光照子空间，然后投影所述一组训练图像到原始光照子空间进行最大主元分析(Principal component analysis，PCA)
降维并获得一组投影系数，投影所述对应的一组标准光照图像到标准光照子空间进行PCA降维并获得另一组投影系数；最后线性拟合所述两组投影系数，获得两组投影系数之间的重建矩阵和重建误差，从而获得该种光照类别下的重建模型。
[0075] 对于任意图像，其原始光照图像 (t表示1～n
图像序列中的任意一张)和标准光照图像 之间近似存在线性关系：
[0076]
[0077] 其中，F(x)＝R·x+E为对应关系，R为重建矩阵，E为重建误差。假设为光照类别Lc下的所有原始光照图像， 为对应标准光照图像，其中n为该光照类别下的图像数目，Rc和Ec分别为对应重建关系，则[0078]
[0079] 设图像像素数目为m，则重建矩阵Rc为m*m维，重建误差Ec为m*1维。Rc和Ec可L N以根据最小二乘法从子集I 和I 中计算得出。由于多数情况下图像像素数目m要远远大N
于图像个数n，即I 列满秩，计算所得的Rc和Ec会存在很大的误差，因此需要对图像进行降维。
[0080] 根据PCA理论，任意图像投影为对应子空间内一点。分别以原始光照图像和标准光照图像构建子空间，则：
[0081]
[0082] 其中α，β，BN，BL分别对应两组图像的投影系数和投影基。投影后投影系数α，β可分别描述原始光照图像和标准光照图像，从而原始图像得以降维。设投影系数为k维，由于原始光照图像子空间和标准光照图像子空间相互对应，因此两组投影系数维度可以保持一致。
[0083] 设投影系数重建矩阵和重建误差分别为Rp和Ep，则原始光照图像和标准光照图像之间的对应关系可以转化为相应投影系数之间的关系：
[0084]
[0085] ，其中R′p为(k+1)*(k+1)维。由于PCA降维后，图像数目n与k+1相当，因此可以直接得到如下重建矩阵：
[0086]
[0087] 步骤14，根据所述重建模型重建所述对齐后的目标图像，获得所述对齐后的目标图像的标准光照图像。
[0088] 该步骤具体可以为：投影对齐后的目标图像到所属光照类别的原始光照子空间中，得到其原始光照的投影系数；然后利用该原始光照的投影系数，从对应光照类别的重建模型中得到其标准光照的投影系数；最后再利用该标准光照的投影系数，从对应光照类别的标准光照图像子空间中重建出该对齐后的目标图像的标准光照图像。
[0089] 对于输入图像 投影到对应原始光照子空间中得到对应原始光照的投影系数βin，然后根据其对应的重建模型计算出其对应标准光照的投影系数αin＝Rc·βin+Ec，从而重构出标准光照图像为
[0090] 为此，本发明实施例的人脸图像重建方法，通过对目标图像进行像素级对齐，可以获得比仅以眼睛位置进行对齐的图像更好的对齐效果，使得对齐后的图像不会出现大的失真；通过判断对齐后的目标图像所属光照类别，并获取所述对齐后的目标图像所属光照类别的重建模型，然后根据该重建模型重建所述对齐后的目标图像，获得所述对齐后的目标图像的标准光照图像，可以将相同光照投影的图像分为一类，将目标图像作为一个整体进行图像重建，与现有技术相比，避免了光照模板差分导致的图像特征的丢失，同时也避免了光照子空间带来的重建误差，因此能够改善光照变化下的人脸识别结果。
[0091] 进一步地，本发明实施例的人脸图像重建方法还可以包括：
[0092] 步骤15，将所述对齐后的目标图像的标准光照图像校正回原始形状，获得与所述目标图像形状相同的标准光照图像。
[0093] 由于在重建之前，将目标图像与标准人脸模型进行了像素级对齐，所以重建所得的标准光照图像的像素点与标准人脸模型的稀疏点一一对应，因此有必要根据径向基函数(Radial Basis Function，RBF)变形该重建图像，使得图像关键点与目标图像的关键点保持一致，从而得到与对齐前目标图像形状相同的标准光照图像。为此可以进一步地改善光照变化下的人脸识别结果。
[0094] 综上所述，本发明实施例的人脸图像重建方法的流程图可以如图4所示，包括如下步骤：
[0095] 步骤101，通过所有训练图像训练通用人脸模型得到标准人脸模型，将任意光照的目标图像与该标准人脸模型进行像素级对齐。
[0096] 步骤102，对对齐后的所有训练图像和目标图像进行光照类别判断。
[0097] 步骤103，为每种光照类别的训练图像建立训练图像对，获得重建模型。
[0098] 具体地，可以利用每种光照类别的一组训练图像和对应的一组标准光照图像分别建立对应光照类别的原始光照子空间和标准光照子空间，分别投影训练图像和标准光照图像到对应的子空间进行PCA降维并获得两组投影系数，依据该两组投影系数训练重建关系获得对应光照类别的重建模型。
[0099] 步骤104，选择对应光照类别的重建模型对对齐后的目标图像进行图像重建，获得对齐后的目标图像的标准光照图像。
[0100] 步骤105，对重建所得的图像进行形状校正，获得与所述目标图像形状相同的标准光照图像。
[0101] 参见图5，图5为一个具体人脸图像采用本发明实施例的人脸图像重建方法获得标准光照图像的流程图。包括图像对齐、标准光照图像重建以及形状校正的处理步骤，在处理之前，还需要根据训练图像将通用人脸模型训练成标准人脸模型，以及根据训练图像训练不同光照重建关系获得不同光照类型的重建模型。
[0102] 在Yale B数据库上，对本发明实施例的人脸图像重建方法进行了实验验证。参见图6(a)和6(b)，图6(a)为对Yale B数据库在不同光照类别下采用本发明实施例方法得到的人脸识别率与其他算法的对比示意图；图6(b)为对Yale B数据库在不同光照类别下采用本发明实施例方法得到的图像表象与其他算法的对比示意图，这些其他对比算法包括：图像亮度调节、离散余弦变换(Discrete Cosine Transform，DCT)、阴影光照处理(Shadow Illuminator Process，SIP)、商图像(Quoient Image，QI)。Yale B数据库根据光照方向被分为5个子集，实验中以第一个子集为模板，其他子集为测试，图6(a)和6(b)依次给出了原始图像、亮度调节图像、DCT图像、SIP图像、QI图像和采用本发明实施例获得的标准光照图像，在不同光照方向下的识别结果。由图6(a)和6(b)可以看出，不论在人脸识别率还是图像表象上，本发明实施例的人脸图像重建方法都体现了最优秀的重建效果。
[0103] 参见图7(a)和7(b)，图7(a)为人脸对齐与未对齐情况下人脸识别率的对比示意图；7(b)为人脸对齐与未对齐情况下人脸重建效果的对比示意图，其中第一行为未对齐重建，第二行为对齐重建。由图7(a)和7(b)可以看出，本发明提供的人脸对齐方法更有效的实现了图像重建，减小了图像失真。
[0104] 需要说明的是，本发明实施例中提供的人脸对齐方法和光照分类方法也可以用于其它
图像处理，并不限于本发明实施例的人脸图像重建方法。
[0105] 基于本发明实施例的人脸图像重建方法，本发明实施例还提供了一种人脸图像重建装置和一种人脸识别系统。
[0106] 参见图8，本发明实施例提供的人脸图像重建装置，包括：
[0107] 对齐单元81，用于对目标图像进行像素级对齐；
[0108] 光照类别判断单元82，用于判断对齐后的目标图像所属光照类别；
[0109] 重建模型获取单元83，用于获取所述对齐后的目标图像所属光照类别的重建模型；
[0110] 重建单元84，用于根据所述重建模型重建所述对齐后的目标图像，获得所述对齐后的目标图像的标准光照图像。
[0111] 进一步地，仍参见图8，本发明实施例提供的人脸图像重建装置还可以包括：
[0112] 校正单元85，用于将所述重建单元84获得的对齐后的目标图像的标准光照图像校正回原始形状，获得与所述目标图像形状相同的标准光照图像。
[0113] 参见图9，本发明实施例提供的人脸识别系统，包括本发明实施例的人脸图像重建装置80和人脸识别装置90，其中，
[0114] 所述人脸图像重建装置80，用于对目标图像进行重建获得目标图像的标准光照图像；具体地，可以包括图8所示的对齐单元81、光照类别判断单元82、重建模型获取单元83和重建单元84，并且可选地，还可以包括校正单元85。
[0115] 所述人脸识别装置90，用于对所述人脸图像重建装置80重建所得的目标图像的标准光照图像进行人脸识别。
[0116] 本发明实施例的人脸图像重建装置及人脸识别系统中各功能单元的原理说明可以参照图1所述方法实施例的原理，在此不再赘述。
[0117] 本发明实施例的人脸图像重建装置和人脸识别系统，通过对齐单元对目标图像进行像素级对齐，可以获得比仅以眼睛位置进行对齐的图像更好的对齐效果，使得对齐后的图像不会出现大的失真；通过光照类别判断单元判断对齐后的目标图像所属光照类别，并由重建模型获取单元获取所述对齐后的目标图像所属光照类别的重建模型，然后由重建单元根据该重建模型重建所述对齐后的目标图像，获得所述对齐后的目标图像的标准光照图像，可以将相同光照投影的图像分为一类，将目标图像作为一个整体进行图像重建，与现有技术相比，避免了光照模板差分导致的图像特征的丢失，同时也避免了光照子空间带来的重建误差，因此能够改善光照变化下的人脸识别结果。
[0118] 上述具体实施例并不用以限制本发明，对于本技术领域的普通技术人员来说，凡在不脱离本发明原理的前提下，利用本发明提出的通过人脸对齐和光照分类实现对人脸图像的重建，均应包含在本发明的保护范围之内。
