一种基于大姿态对准的人脸识别方法及系统
阅读：419发布：2020-05-12
专利汇可以提供一种基于大姿态对准的人脸识别方法及系统专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于大 姿态 对准的 人脸识别 方法及系统。所述方法包括：(1)获取待识别的单张人脸图像；(2)将单张人脸图像与人脸三维模型进行大姿态对准；(3) 三维人脸重建 模型进行重建，获得人脸3DMM参数；(4)计算余弦相似性判断待识别的人脸与目标人脸是否匹配。所述系统包括：人脸图像获取模 块 、大姿态对齐模块、三维人脸重建模块、和识别模块。本发明实现了基于不同姿态的单张人脸照片的人脸识别技术，大大扩展了人脸识别技术的应用范围，例如监控摄像头视频源的人脸识别。，下面是一种基于大姿态对准的人脸识别方法及系统专利的具体信息内容。
1.一种基于大姿态对准的人脸识别方法，其特征在于，包括以下步骤：
(1)获取待识别的单张人脸2D图像；
(2)将步骤(1)中获得的单张人脸2D图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括多个级联的可视化块；
所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与步骤(1)获取的单张人脸2D图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数；
(3)根据步骤(1)获得的待识别的单张人脸图像和步骤(2)获得的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根据步骤(2)获得的特征点位置获得待识别的人脸3DMM参数；
(4)将步骤(3)获得的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
2.如权利要求1所述的基于大姿态对准的人脸识别方法，其特征在于，步骤(3)采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型。
3.如权利要求2所述的基于大姿态对准的人脸识别方法，其特征在于，步骤(3)采用LeNet、AlexNet、VGG、ResNet、或ResNet-101模型。
4.如权利要求1所述的基于大姿态对准的人脸识别方法，其特征在于，步骤(4)所述余弦相似性按照如下方法计算：
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
5.一种基于大姿态对准的人脸识别系统，其特征在于，包括：
人脸图像获取模块，用于获取待识别的单张人脸2D图像；
大姿态对齐模块，用于将人脸图像获取模块获取的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；所述大姿态对齐模块采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
所述级联的卷积神经网络包括多个级联的可视化块；
所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与人脸图像获取模块获取的单张人脸2D图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数；
三维人脸重建模块，用于根据所述人脸图像获取模块获取的单张人脸图像和大姿态对准模块获取的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根所述大姿态对准模块获取的特征点位置获得待识别的人脸3DMM参数；
识别模块，用于根据三维人脸重建模块获取的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
6.如权利要求5所述的基于大姿态对准的人脸识别系统，其特征在于，所述三维人脸重建模块采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型。
7.如权利要求6所述的基于大姿态对准的人脸识别系统，其特征在于，所述三维人脸重建模块采用LeNet、AlexNet、VGG、ResNet、或ResNet-101模型。
8.如权利要求5所述的基于大姿态对准的人脸识别系统，其特征在于，所述识别模块采用的余弦相似性按照如下方法计算：
其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
一种基于大姿态对准的人脸识别方法及系统
技术领域
[0001] 本发明属于人脸识别领域，更具体地，涉及一种基于大姿态对准的人脸识别方法及系统。
背景技术
[0003] 然而目前的人脸识别技术，都是基于特定的姿态的，例如免冠正面照，否则比对的时候，由于姿态不同，因此难以提取到识别算法要求的相应特征，导致识别困难。但是这种对姿态的要求，限制了人脸识别技术的应用领域，例如追捕逃犯的应用中，只能在特定场合进行筛查，而不能通过监控摄像头进行筛查，造成信息浪费。
发明内容
[0004] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于大姿态对准的人脸识别方法及系统，其目的在于，通过一张人脸照片，进行大姿态对准后，三维建模提取人脸特征进行识别，降低图片采集要求，扩大人脸识别技术的应用范围，由此解决现有的人脸识别技术，对图像采集时人脸姿态要求严格，造成信息浪费的技术问题。
[0005] 为实现上述目的，按照本发明的一个方面，提供了一种基于大姿态对准的人脸识别方法，包括以下步骤：
[0006] (1)获取待识别的单张人脸图像；
[0007] (2)将步骤(1)中获得的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
[0008] (3)根据步骤(1)获得的待识别的单张人脸图像和步骤(2)获得的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根据步骤(2)获得的特征点位置获得待识别的人脸3DMM参数；
[0009] (4)将步骤(3)获得的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
[0011] 优选地，所述基于大姿态对准的人脸识别方法，其步骤(2)采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
[0013] 所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
[0014] 所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数。
[0015] 优选地，所述基于大姿态对准的人脸识别方法，其步骤(3)采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型，优选采用LeNet、AlexNet、VGG、ResNet、或ResNet-101模型。
[0016] 优选地，所述基于大姿态对准的人脸识别方法，其步骤(4)所述余弦相似性按照如下方法计算：
[0017]
[0018] 其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
[0019] 按照本发明的另一个方面，提供了一种基于大姿态对准的人脸识别系统，包括：
[0020] 人脸图像获取模块，用于获取待识别的单张人脸图像；
[0021] 大姿态对齐模块，用于将人脸图像获取模块获取的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
[0022] 三维人脸重建模块，用于根据所述人脸图像获取模块获取的单张人脸图像和大姿态对准模块获取的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根所述大姿态对准模块获取的特征点位置获得待识别的人脸3DMM参数；
[0023] 识别模块，用于根据三维人脸重建模块获取的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
[0024] 优选地，所述基于大姿态对准的人脸识别系统，其所述大姿态对齐模块采用基于回归的方法进行对准，优选LPFA、PIFA、CDM、TSPM、或基于卷积神经网络的大姿态人脸对齐方法。
[0025] 优选地，所述基于大姿态对准的人脸识别系统，其所述大姿态对齐模块采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
[0026] 所述级联的卷积神经网络包括多个级联的可视化块；
[0027] 所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
[0028] 所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数。
[0029] 优选地，所述基于大姿态对准的人脸识别系统，其所述三维人脸重建模块采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型，优选采用LeNet、AlexNet、VGG、ResNet、或ResNet-101模型。
[0030] 优选地，所述基于大姿态对准的人脸识别系统，其所述识别模块采用的余弦相似性按照如下方法计算：
[0031]
[0032] 其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
[0033] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，，能够取得下列有益效果：
[0034] 本发明通过对获取的单张人脸照片，首先进行大姿态对准，使得三维人脸重建和相应特征提取成为可能，在此基础之上进行三建模提取人脸特征进行识别，从而精确提取待识别的人脸特征，和目标人脸特征进行匹配，从而实现任意大姿态的人脸识别。总体而言本发明实现了基于不同姿态的单张人脸照片的人脸识别技术，大大扩展了人脸识别技术的应用范围，例如监控摄像头视频源的人脸识别。附图说明
[0035] 图1是本发明提供的基于大姿态对准的人脸识别方法流程示意图；
[0036] 图2是本发明提供的基于大姿态对准的人脸识别系统结构示意图；
[0037] 图3是本发明实施例提供的大姿态对齐结果示例；
[0038] 图4是本发明实施例提供的大姿态对准用级联神经网络的可视化块结构示意图。
具体实施方式
[0039] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0040] 本发明提供的基于大姿态对准的人脸识别方法，如图1所示，包括以下步骤：
[0041] (1)获取待识别的单张人脸图像；
[0042] (2)将步骤(1)中获得的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
[0043] 优选采用基于回归的方法进行对准，例如LPFA(Jourabloo A,Liu X.Large-Pose Face Alignment via CNN-Based Dense 3D Model Fitting[C]//Computer Vision and Pattern Recognition.IEEE,2016.)、PIFA(Jourabloo A,Liu X.Pose-Invariant 3D Face Alignment[J].2015,7:3694-3702.)、CDM(Yu X,Huang J,Zhang S,et al.Pose-Free Facial Landmark Fitting via Optimized Part Mixtures and Cascaded Deformable Shape Model[C]//IEEE International Conference on Computer Vision.IEEE,2014:1944-1951.)、TSPM(Ramanan D.Face detection,pose estimation,and landmark localization in the wild[C]//Computer Vision and Pattern Recognition.IEEE,
2012:2879-2886.)、基于卷积神经网络的大姿态人脸对齐方法；采用基于卷积神经网络的大姿态人脸对其方法，优选采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
2012:2879-2886.)、基于卷积神经网络的大姿态人脸对齐方法；采用基于卷积神经网络的大姿态人脸对其方法，优选采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
[0044] 所述级联的卷积神经网络包括多个级联的可视化块；
[0045] 所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
[0046] 所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数。所述姿态参数为投影参数m和形状参数p之间的非线性映射关系，记作O＝{M,P}；所述投影处理，即将由3D人脸模型投影得到2D人脸图像，可采用深度缓存技术(Z－buffering)；所述每一个卷积层后面仅接一个批量标准化层(BN层)和一个修正线性单元层(ReLU层)；所述串联的全连接层之间优选具有修正线性单元层(ReLU层)和dropout层，最后一个全连接层用于估计更新的目标参数，记作ΔO，可视化块的输出是更深层次的特征和新的目标姿态参数(ΔO+O)。
[0047] 所述级联的基于卷积的神经网络在训练阶段的反向传播机制中，可视化块通过将误差反向传播，实现对前一可视化块中卷积层和全连接层的调整，使得当前可视化块可以为下一可视化块提取更好的图像特征，从而优化整个网络结构的参数估计。
[0048] 所述级联的基于卷积的神经网络中每一可视化块训练收敛条件为：
[0049] A、所述可视化块输出的姿态参数与期望输出的目标姿态参数的加权参数距离损失函数的值小于该可视化块的收敛阈值。所述加权参数距离损失函数的值按照如下方法计算：
[0050] Ewpdl＝(ΔO-(Og-O0))TW(ΔO-(Og-O0))
[0051] 其中：
[0052] W＝diag(w1,w2,…,wn)
[0053] wi＝‖V(Od(i))-V(Og)‖/∑wi
[0054] Od(i)i＝(O0+ΔO)i
[0055]
[0056] 其中，W是代表每个参数对应权重的矩阵，Og为期望输出的目标姿态参数，Od(i)中的第i个分量对应为预估的所述可视化块输出的姿态参数(O0+ΔO)的第i个分量，其他分量则取自期望输出的目标姿态参数Og对应的分量，‖V(Od(i))-V(Og)‖表示第i个模型参数分量对应的对齐误差。为了简化计算，在计算误差时将W视作为常量。
[0057] 或B、所述可视化块输出的三维模型投影的二维图像与真实二维图像特征点欧式距离损失函数的值小于该可视化块的收敛阈值。所述二维特征点欧式距离El损失函数的值按照如下方法计算：
[0058] E1＝||f(O0+ΔO)-U||2
[0059] 其中U表示二维特征点位置的预期值，f(.)函数的作用是使用当前估计出的三维模型得到对应的二维特征点输出值，O0为所述可视化块输入的姿态参数，O0+ΔO为所述可视化块输出的姿态参数，f(O0+ΔO)即所述可视化块输出的姿态参数表示的三位人脸模型对应的二位特征点输出值。
[0060] (3)根据步骤(1)获得的待识别的单张人脸图像和步骤(2)获得的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根据步骤(2)获得的特征点位置获得待识别的人脸3DMM参数；
[0061] 优选采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型，具体采用LeNet、AlexNet、VGG、ResNet、或ResNet-101(He K,Zhang X,Ren S,et al.Deep Residual Learning for Image Recognition[J].2015:770-778.)，优选采用ResNet-101模型；
[0062] 任意个体的人脸3DMM模型(Smodel,Tmodel)可表示为：
[0063]
[0064] 其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，表示形状参数对应的平均形状向量，表示纹理参数对应的平均纹理向量；WS表示形状参数矩阵，WT表示纹理参数组成的矩阵； 表示形状基向量所对应的组合系数， 表示纹理基向量所对应的组合系数；3DMM参数表示为
[0065] 优选，3DMM参数表示为 经过主成分分析选择。
[0066] 所述基于3DMM算法结合卷积神经网络模型训练收敛条件为：
[0067] 三维人脸重建损失函数的值小于预设的重建阈值。所述三维人脸重建损失函数的值，为调整欧式距离，按照如下方法计算：
[0068]
[0069] 其中，L(yo,y)为关于yo和y的损失函数的值，yo为模型的实际输出3DMM参数，y为模型的目标输出3DMM参数值，y+＝sing(y).y；yo+＝sing(y).yo；ymax＝max(y+,yo+)，为模型对应的过拟合误差， 为欠拟合误差，λ1和λ2为预先设置的调整参数，控制这两个误差的此消彼长。
[0070] (4)将步骤(3)获得的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
[0071] 所述余弦相似性按照如下方法计算：
[0072]
[0073] 其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
[0074] 本发明提供的基于大姿态对准的人脸识别系统，如图2所示，包括：
[0075] 人脸图像获取模块，用于获取待识别的单张人脸图像；
[0076] 大姿态对齐模块，用于将人脸图像获取模块获取的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
[0077] 优选采用，基于回归的方法进行对准，例如LPFA(Jourabloo A,Liu X.Large-Pose Face Alignment via CNN-Based Dense 3D ModelFitting[C]//Computer Vision and Pattern Recognition.IEEE,2016.)、PIFA(Jourabloo A,Liu X.Pose-Invariant 3D Face Alignment[J].2015,7:3694-3702.)、CDM(Yu X,Huang J,Zhang S,et al.Pose-Free Facial Landmark Fitting via Optimized Part Mixtures and Cascaded Deformable Shape Model[C]//IEEE International Conference on Computer Vision.IEEE,2014:1944-1951.)、TSPM(Ramanan D.Face detection,pose estimation,and landmark localization in the wild[C]//Computer Vision and Pattern Recognition.IEEE,
2012:2879-2886.)、基于卷积神经网络的大姿态人脸对齐方法；采用基于卷积神经网络的大姿态人脸对其方法，优选采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
2012:2879-2886.)、基于卷积神经网络的大姿态人脸对齐方法；采用基于卷积神经网络的大姿态人脸对其方法，优选采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
[0078] 所述级联的卷积神经网络包括多个级联的可视化块；
[0079] 所述可视化块包括一个可视化层、多个卷积层、以及多个全连接层；
[0080] 所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的多个卷积层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入多个串联的全连接层，输出更新的姿态参数作为下一可视化块的当前姿态参数。所述姿态参数为投影参数m和形状参数p之间的非线性映射关系，记作O＝{M,P}；所述投影处理，即将由3D人脸模型投影得到2D人脸图像，可采用深度缓存技术(Z－buffering)；所述每一个卷积层后面仅接一个批量标准化层(BN层)和一个修正线性单元层(ReLU层)；所述串联的全连接层之间优选具有修正线性单元层(ReLU层)和dropout层，最后一个全连接层用于估计更新的目标参数，记作ΔO，可视化块的输出是更深层次的特征和新的目标姿态参数(ΔO+O)。
[0081] 所述级联的基于卷积的神经网络在训练阶段的反向传播机制中，可视化块通过将误差反向传播，实现对前一可视化块中卷积层和全连接层的调整，使得当前可视化块可以为下一可视化块提取更好的图像特征，从而优化整个网络结构的参数估计。
[0082] 所述级联的基于卷积的神经网络中每一可视化块训练收敛条件为：
[0083] A、所述可视化块输出的姿态参数与期望输出的目标姿态参数的加权参数距离损失函数的值小于该可视化块的收敛阈值。所述加权参数距离损失函数的值按照如下方法计算：
[0084] Ewpdl＝(ΔO-(Og-O0))TW(ΔO-(Og-O0))
[0085] 其中：
[0086] W＝diag(w1,w2,…,wn)
[0087] wi＝‖V(Od(i))-V(Og)‖/∑wi
[0088] Od(i)i＝(O0+ΔO)i
[0089]
[0090] 其中，W是代表每个参数对应权重的矩阵，Og为期望输出的目标姿态参数，Od(i)中的第i个分量对应为预估的所述可视化块输出的姿态参数(O0+ΔO)的第i个分量，其他分量则取自期望输出的目标姿态参数Og对应的分量，‖V(Od(i))-V(Og)‖表示第i个模型参数分量对应的对齐误差。为了简化计算，在计算误差时将W视作为常量。
[0091] 或B、所述可视化块输出的三维模型投影的二维图像与真实二维图像特征点欧式距离损失函数的值小于该可视化块的收敛阈值。所述二维特征点欧式距离El损失函数的值按照如下方法计算：
[0092] El＝||f(O0+ΔO)-U||2
[0093] 其中U表示二维特征点位置的预期值，f(.)函数的作用是使用当前估计出的三维模型得到对应的二维特征点输出值，O0为所述可视化块输入的姿态参数，O0+ΔO为所述可视化块输出的姿态参数，f(O0+ΔO)即所述可视化块输出的姿态参数表示的三位人脸模型对应的二位特征点输出值。
[0094] 三维人脸重建模块，用于根据所述人脸图像获取模块获取的单张人脸图像和大姿态对准模块获取的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根所述大姿态对准模块获取的特征点位置获得待识别的人脸3DMM参数；
[0095] 优选采用基于3DMM算法结合卷积神经网络模型作为三维人脸重建模型，具体采用LeNet、AlexNet、VGG、ResNet、和ResNet-101(He K,Zhang X,Ren S,et al.Deep Residual Learning for Image Recognition[J].2015:770-778.)，优选采用ResNet-101模型；
[0096] 任意个体的人脸3DMM模型(Smodel,Tmodel)可表示为：
[0097]
[0098] 其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，表示形状参数对应的平均形状向量，表示纹理参数对应的平均纹理向量；WS表示形状参数矩阵，WT表示纹理参数组成的矩阵； 表示形状基向量所对应的组合系数， 表示纹理基向量所对应的组合系数；3DMM参数表示为
[0099] 优选，3DMM参数表示为 经过主成分分析选择。
[0100] 所述基于3DMM算法结合卷积神经网络模型训练收敛条件为：
[0101] 三维人脸重建损失函数的值小于预设的重建阈值。所述三维人脸重建损失函数的值，为调整欧式距离，按照如下方法计算：
[0102]
[0103] 其中，L(yo,y)为关于yo和y的损失函数的值，yo为模型的实际输出3DMM参数，y为模型的目标输出3DMM参数值，y+＝sing(y).y；yo+＝sing(y).yo；ymax＝max(y+,yo+)，为模型对应的过拟合误差， 为欠拟合误差，λ1和λ2为预先设置的调整参数，控制这两个误差的此消彼长。
[0104] 识别模块，用于根据三维人脸重建模块获取的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。
[0105] 所述余弦相似性按照如下方法计算：
[0106]
[0107] 其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
[0108] 以下为实施例：
[0109] 实施例1
[0110] 一种基于大姿态对准的人脸识别方法，如图1所示，包括以下步骤：
[0111] (1)获取待识别的单张人脸图像；
[0112] (2)将步骤(1)中获得的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置，如图3所示；
[0113] 采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
[0114] 所述级联的卷积神经网络包括六个级联的可视化块，前三个可视化块用于姿态参数更新，后三个可视化块用于度量二位特征点误差；
[0115] 所述可视化块，如图4所示，包括一个可视化层、两个卷积层、以及两个全连接层；
[0116] 所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的两个卷积层，每一个卷积层后面紧接一个批量标准化层(BN层)和一个ReLU层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入两个串联的全连接层，两个全连接层的长度分别为800和236，在两个全连接层之间，前一个全连接层后面连接着一个ReLU层和一个dropout层，输出更新的姿态参数作为下一可视化块的当前姿态参数。所述姿态参数为投影参数m和形状参数p之间的非线性映射关系，记作O＝{M,P}；所述投影处理，即将由3D人脸模型采用深度缓存技术(Z－buffering)投影得到2D人脸图像；最后一个全连接层用于估计更新的目标参数，记作ΔO，可视化块的输出是更深层次的特征和新的目标姿态参数(ΔO+O)。
[0117] 本实施例采用端到端优化，所述级联的基于卷积的神经网络在训练阶段的反向传播机制中，可视化块通过将误差反向传播，实现对前一可视化块中卷积层和全连接层的调整，使得当前可视化块可以为下一可视化块提取更好的图像特征，从而优化整个网络结构的参数估计
[0118] 前三个可视化块训练收敛条件为条件A，后三个可视化块训练收敛条件为条件B：
[0119] A、所述可视化块输出的姿态参数与期望输出的目标姿态参数的加权参数距离损失函数的值小于该可视化块的收敛阈值。所述加权参数距离损失函数的值按照如下方法计算：
[0120] Ewpdl＝(ΔO-(Og-O0))TW(ΔO-(Og-O0))
[0121] 其中：
[0122] W＝diag(w1,w2,…,wn)
[0123] wi＝‖V(Od(i))-V(Og)‖/∑wi
[0124] Od(i)i＝(O0+ΔO)i
[0125]
[0126] 其中，W是代表每个参数对应权重的矩阵，Og为期望输出的目标姿态参数，Od(i)中的第i个分量对应为预估的所述可视化块输出的姿态参数(O0+ΔO)的第i个分量，其他分量则取自期望输出的目标姿态参数Og对应的分量，‖V(Od(i))-V(Og)‖表示第i个模型参数分量对应的对齐误差。为了简化计算，在计算误差时将W视作为常量。
[0127] 或B、所述可视化块输出的三维模型投影的二维图像与真实二维图像特征点欧式距离损失函数的值小于该可视化块的收敛阈值。所述二维特征点欧式距离E1损失函数的值按照如下方法计算：
[0128] El＝||f(O0+ΔO)-U||2
[0129] 其中U表示二维特征点位置的预期值，f(.)函数的作用是使用当前估计出的三维模型得到对应的二维特征点输出值，O0为所述可视化块输入的姿态参数，O0+ΔO为所述可视化块输出的姿态参数，f(O0+ΔO)即所述可视化块输出的姿态参数表示的三位人脸模型对应的二位特征点输出值。
[0130] (3)根据步骤(1)获得的待识别的单张人脸图像和步骤(2)获得的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根据步骤(2)获得的特征点位置获得待识别的人脸3DMM参数；
[0131] 采用ResNet-101模型；
[0132] 人脸数据按照如下方法预处理：
[0133] I、图像边界处理：对人脸图像样本进行归一化的处理，采用图像边界处理的方式，调用OpenCV库中的copyMakeBorder方法，该方法通过扩充原图像的边缘，将尺寸过小的图像变大，然后以外插值的方式填充图像的边界，采用的插值方式是复制最边缘像素的方式，即将最边缘像素的值复制到扩充边界中。
[0134] II、人脸检测：直接使用dlib库中自带的frontal_face_detector作为人脸的特征分类器来检测图像中的人脸。
[0135] III、特征点定位：采用所提出的LPFA-CNN方法，完成对输入样本图片的人脸特征点定位。
[0136] 任意个体的人脸3DMM模型(Smode,Tmodel)可表示为：
[0137]
[0138] 其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，表示形状参数对应的平均形状向量，表示纹理参数对应的平均纹理向量；WS表示形状参数矩阵，WT表示纹理参数组成的矩阵； 表示形状基向量所对应的组合系数， 表示纹理基向量所对应的组合系数；3DMM参数表示为
[0139] 3DMM参数表示为 经过主成分分析选择 和 长度均为99。
[0140] 所述基于3DMM算法结合卷积神经网络模型训练收敛条件为：
[0141] 三维人脸重建损失函数的值小于预设的重建阈值。所述三维人脸重建损失函数的值，为调整欧式距离，按照如下方法计算：
[0142]
[0143] 其中，L(yo,y)为关于yo和y的损失函数的值，yo为模型的实际输出3DMM参数，y为模型的目标输出3DMM参数值，y+＝sing(y).y；yo+＝sing(y).yo；ymax＝max(y+,yo+)，为模型对应的过拟合误差， 为欠拟合误差，λ1和λ2为预先设置的调整参数，λ1＝1，λ2＝3。
[0144] (4)将步骤(3)获得的待识别的人脸3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配，所述相似性阈值，设置为70％。
[0145] 所述余弦相似性按照如下方法计算：
[0146]
[0147] 其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
[0148] 实施例2
[0149] 一种基于大姿态对准的人脸识别系统，如图2所示，包括：
[0150] 人脸图像获取模块，用于获取待识别的单张人脸图像；
[0151] 大姿态对齐模块，用于将人脸图像获取模块获取的单张人脸图像与人脸三维模型进行大姿态对准，获得人脸姿态坐标及人脸特征点位置；
[0152] 采用级联的基于卷积的神经网络：具体卷积神经网络结构如下：
[0153] 所述级联的卷积神经网络包括六个级联的可视化块，前三个可视化块用于姿态参数更新，后三个可视化块用于度量二位特征点误差；
[0154] 所述可视化块，如图4所示，包括一个可视化层、两个卷积层、以及两个全连接层；
[0155] 所述可视化层输入为当前姿态参数，经投影处理后输出2D人脸图像；所述2D人脸图像与输入人脸图像一同输入串联的两个卷积层，每一个卷积层后面紧接一个批量标准化层(BN层)和一个ReLU层，输出深层人脸图像作为级联的下一可视化块的输入人脸图像；将深层人脸图像和当前参数通过输入两个串联的全连接层，两个全连接层的长度分别为800和236，在两个全连接层之间，前一个全连接层后面连接着一个ReLU层和一个dropout层，输出更新的姿态参数作为下一可视化块的当前姿态参数。所述姿态参数为投影参数m和形状参数p之间的非线性映射关系，记作O＝{M,P}；所述投影处理，即将由3D人脸模型采用深度缓存技术(Z－buffering)投影得到2D人脸图像；最后一个全连接层用于估计更新的目标参数，记作ΔO，可视化块的输出是更深层次的特征和新的目标姿态参数(ΔO+O)。
[0156] 本实施例采用端到端优化，所述级联的基于卷积的神经网络在训练阶段的反向传播机制中，可视化块通过将误差反向传播，实现对前一可视化块中卷积层和全连接层的调整，使得当前可视化块可以为下一可视化块提取更好的图像特征，从而优化整个网络结构的参数估计
[0157] 前三个可视化块训练收敛条件为条件A，后三个可视化块训练收敛条件为条件B：
[0158] A、所述可视化块输出的姿态参数与期望输出的目标姿态参数的加权参数距离损失函数的值小于该可视化块的收敛阈值。所述加权参数距离损失函数的值按照如下方法计算：
[0159] Ewpdl＝(ΔO-(Og-O0))TW(ΔO-(Og-O0))
[0160] 其中：
[0161] W＝diag(w1,w2,…,wn)
[0162] wi＝‖V(Od(i))-V(Og)‖/∑wi
[0163] Od(i)i＝(O0+ΔO)i
[0164]
[0165] 其中，W是代表每个参数对应权重的矩阵，Og为期望输出的目标姿态参数，Od(i)中的第i个分量对应为预估的所述可视化块输出的姿态参数(O0+ΔO)的第i个分量，其他分量则取自期望输出的目标姿态参数Og对应的分量，‖V(Od(i))-V(Og)‖表示第i个模型参数分量对应的对齐误差。为了简化计算，在计算误差时将W视作为常量。
[0166] 或B、所述可视化块输出的三维模型投影的二维图像与真实二维图像特征点欧式距离损失函数的值小于该可视化块的收敛阈值。所述二维特征点欧式距离El损失函数的值按照如下方法计算：
[0167] El＝||f(O0+ΔO)-U||2
[0168] 其中U表示二维特征点位置的预期值，f(.)函数的作用是使用当前估计出的三维模型得到对应的二维特征点输出值，O0为所述可视化块输入的姿态参数，O0+ΔO为所述可视化块输出的姿态参数，f(O0+ΔO)即所述可视化块输出的姿态参数表示的三位人脸模型对应的二位特征点输出值。
[0169] 三维人脸重建模块，用于根据所述人脸图像获取模块获取的单张人脸图像和大姿态对准模块获取的人脸姿态坐标输入三维人脸重建模型进行重建，获得重建的三维人脸，并根所述大姿态对准模块获取的特征点位置获得待识别的人脸3DMM参数；
[0170] 采用ResNet-101模型；
[0171] 三维人脸重建模块还包括人脸数据预处理子模块，按照如下方法进行人脸数据预处理：
[0172] I、图像边界处理：对人脸图像样本进行归一化的处理，采用图像边界处理的方式，调用OpenCV库中的copyMakeBorder方法，该方法通过扩充原图像的边缘，将尺寸过小的图像变大，然后以外插值的方式填充图像的边界，采用的插值方式是复制最边缘像素的方式，即将最边缘像素的值复制到扩充边界中。
[0173] II、人脸检测：直接使用dlib库中自带的frontal_face_detector作为人脸的特征分类器来检测图像中的人脸。
[0174] III、特征点定位：采用所提出的LPFA-CNN方法，完成对输入样本图片的人脸特征点定位。
[0175] 任意个体的人脸3DMM模型(Smodel,Tmodel)可表示为：
[0176]
[0177] 其中，Smodel表示形状输出数据集，Tmodel表示纹理输出数据集，表示形状参数对应的平均形状向量，表示纹理参数对应的平均纹理向量；WS表示形状参数矩阵，WT表示纹理参数组成的矩阵； 表示形状基向量所对应的组合系数， 表示纹理基向量所对应的组合系数；3DMM参数表示为
[0178] 3DMM参数表示为 经过主成分分析选择 和 长度均为99。
[0179] 所述基于3DMM算法结合卷积神经网络模型训练收敛条件为：
[0180] 三维人脸重建损失函数的值小于预设的重建阈值。所述三维人脸重建损失函数的值，为调整欧式距离，按照如下方法计算：
[0181]
[0182] 其中，L(yo,y)为关于yo和y的损失函数的值，yo为模型的实际输出3DMM参数，y为模型的目标输出3DMM参数值，y+＝sing(y).y；yo+＝sing(y).yo；ymax＝max(y+,yo+)，为模型对应的过拟合误差， 为欠拟合误差，λ1和λ2为预先设置的调整参数，λ1＝1，λ2＝3。识别模块，用于根据三维人脸重建模块获取的待识别的人脸
3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。所述相似性阈值，设置为70％。
3DMM参数与目标人脸3DMM参数进行比对，计算待识别的人脸3DMM参数与目标人脸3DMM参数的余弦相似性，判断待识别的人脸与目标人脸是否匹配：当所述余弦相似性超过预设的相似性阈值时，判断待识别的人脸与目标人脸匹配；否则判断为不匹配。所述相似性阈值，设置为70％。
[0183] 所述余弦相似性按照如下方法计算：
[0184]
[0185] 其中，yo1为待识别的人脸3DMM参数，yo2为目标人脸3DMM参数，D为关于yo1和yo2的余弦相似性。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于人脸三维重建的改进PCA算法 | 2020-05-11 | 146 |
| 一种基于3D打印技术精准修复遗体面部残缺的方法 | 2020-05-14 | 586 |
| 定制人脸混合表情模型自动生成方法及装置 | 2020-05-18 | 483 |
| 一种高压氧舱人脸识别交互方法及系统 | 2020-05-15 | 388 |
| 一种基于面部运动单元的三维非真实感表情生成方法 | 2020-05-11 | 951 |
| 一种实时人脸表情重建方法 | 2020-05-15 | 723 |
| 基于切片数据对称性分析的三维缺损颜面模型重建方法 | 2020-05-16 | 975 |
| 一种基于神经网络的端到端的三维人脸重建方法 | 2020-05-20 | 441 |
| 基于多列多尺度图卷积神经网络的3D人脸生成方法 | 2020-05-16 | 685 |
| 一种基于核磁共振数据的三维形变模型生成方法、系统及电子设备 | 2020-05-08 | 124 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈