双验证人脸防伪方法及装置
阅读：105发布：2024-02-10
专利汇可以提供双验证人脸防伪方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种双验证人脸防伪方法及装置，该方法包括：步骤1，对采集的目标人脸进行 活体检测 ，判断目标人脸是否具有 生物 活性，如果目标人脸被认定具有活体特性，则转入步骤2；步骤2，如果是在 人脸识别 应用中，则计算采集到的目标人脸与识别结果对应的人脸之间的相似度，若大于某一 阈值 ，则认为该目标人脸是真实有效的人脸；如果是在人脸验证应用中，则计算采集到的目标人脸与目标人脸所声称的身份对应的人脸之间的相似度，若大于某一阈值，则认为该目标人脸是真实有效的人脸。利用本发明的方法，通过活体检测与身份验证的结合，提供准确、可靠的人脸防伪检测结果。，下面是双验证人脸防伪方法及装置专利的具体信息内容。
1.一种双验证人脸防伪方法，其特征是，所述方法包括：
步骤1，对采集的目标人脸进行活体检测，判断目标人脸是否具有生物活性，如果目标人脸被认定具有活体特性，则转入步骤2；
步骤2，如果是在人脸识别应用中，则计算采集到的目标人脸与识别结果对应的人脸之间的相似度，若大于某一阈值，则认为该目标人脸是真实有效的人脸；
如果是在人脸验证应用中，则计算采集到的目标人脸与目标人脸所声称的身份对应的人脸之间的相似度，若大于某一阈值，则认为该目标人脸是真实有效的人脸，其中步骤1与指定人无关，步骤2与指定人有关，当目标人脸同时通过步骤1和步骤2的验证之后，才能被认定为是真实有效的人脸，否则被认定为是虚假人脸；
如果所述双验证人脸防伪方法是基于多模态，则步骤1进一步包括：
步骤101，粗略判断目标人脸的生物活性，其中按照下面的方式中的一种或多种进行判断：通过热红外判断目标人脸的温度，判断是否接近37度；通过3D图像判断人脸的深度信息，判断面部是否为3D物体；通过超声波反射分析目标人脸的超声波反射率，判断皮肤的超声波反射率是否与真实人脸相似；通过多光谱成像分析目标人脸在不同光谱下的反射率，判断皮肤的多光谱反射率是否与真实人脸相似，如果通过上述一种或多种方式判断目标人脸的信息指标与真实人脸相似，则进入步骤102；
步骤102，精确判断目标人脸的生物活性，将采集到的多光谱人脸图像，利用互商图像算法进行准确的活体判断；
只有目标人脸同时通过步骤101和102，才被认为通过步骤1的活体检测。
2.根据权利要求1所述的双验证人脸防伪方法，其特征是，如果所述双验证人脸防伪方法是基于可见光，则步骤1进一步包括：
步骤101，对目标人脸进行活体检测，首先采集大量真实、虚假人脸样本，对目标人脸提取各种纹理特征，训练活体检测纹理分类器，若目标人脸被活体检测纹理分类器认定为真实人脸，则进入步骤2，否则认定为虚假人脸；
步骤102，通过人机交互确定目标人脸的有效性，其中系统发出指令，要求用户做出一定的动作，然后系统不断检测目标人脸是否做出相应动作，若在一定时间内检测到上述动作的发生，则判断目标人脸为真实人脸，否则为虚假人脸；
只有目标人脸同时通过步骤101和102，才被认为通过步骤1的活体检测。
3.根据权利要求2所述的双验证人脸防伪方法，其特征是，步骤2进一步包括：
步骤201，首先采集大量真实人脸图像，对每张人脸图像提取其纹理特征；
步骤202，然后将采集的所有人脸图像的特征向量两两相减，根据两图像是否属于同一个人，将相减后的特征向量分为类内、类间两类，利用机器学习算法训练一个两类分类器，由此训练得到的分类器可以判断输入的两个特征向量是否属于同一个人；
步骤203，如果是在人脸识别应用中，若目标人脸图像与识别结果对应的人脸图像，被步骤202中的分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸；
如果是在人脸验证应用中，则目标人脸图像与所声称的指定人身份对应的人脸图像，被步骤202中的分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸。
4.根据权利要求1所述的双验证人脸防伪方法，其特征是，互商图像算法包括如下步骤：
步骤1021，采集大量真人人脸和虚假人脸在不同距离下的多光谱成像构成训练数据集，对于同一个人的任意两张不同光谱下的图像进行像素级的相除，组成互商图像组，假设任意选定两个光谱λ1,λ2，同一个人脸在两个光谱下的图像为 和 其互商图像定义如下：
其中，ρ表示人脸的反射率，κ代表光源在人脸表面处的强度，z代表人脸距离光源的距离，（x，y）代表人脸图像上的坐标；
步骤1022，对于所有的互商图像，在多个尺度上划分为多个重叠或不重叠的小块，提取每个小块的特征向量，将所有小块的特征向量进行组合，作为全局的特征向量；
步骤1023，基于统计学习方法，在训练数据集上训练分类器，用于区分真实、虚假人脸。
5.根据权利要求1所述的双验证人脸防伪方法，其特征是，步骤2进一步包括：
步骤201，采集大量真实人脸的多模态图像，对每张图像提取其纹理特征；
步骤202，将图像的特征向量两两相减，根据两图像是否属于同一个人，将相减后的特征向量分为类内、类间两类，利用机器学习算法训练一个两类分类器，训练得到的分类器能够判断输入的两个特征向量是否属于同一个人；
步骤203，如果是在人脸识别应用中，若目标人脸图像与识别结果对应的人脸图像，被步骤202中的分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸；
如果是在人脸验证应用中，若目标人脸图像与所声称的指定人身份对应的人脸图像，被步骤202中的分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸。
6.根据权利要求1所述的双验证人脸防伪方法，其特征是，每种不同的成像类型被称为一个模态，成像类型包括可见光成像，近红外成像，近紫外成像，热红外成像或超声波成像。
7.一种双验证人脸防伪装置，该装置包括：
感应单元，用于使用近红外、超声波、射频方式或可见光摄像头中的一种或多种，通过实时监控的方式，感应人脸的存在；
多模态发生源，包含多个光谱下的主动光源、用于3D成像所需的3D结构光或者超声波发生器中的一种或多种；
多模态数据采集设备，用于采集人脸的多光谱成像，人体本身所发出的热红外光成像，人脸的3D图像或超声波成像中的一种或多种；
多模态人脸检测单元，用于检测多模态图像中的人脸位置，并将检测到的人脸图像发送到多模态双验证人脸防伪单元；
多模态双验证人脸防伪单元，用于验证目标人脸是否为真实有效的人脸；
显示单元，用于显示人脸防伪结果，
其中，多模态双验证人脸防伪单元进一步包括：多模态人脸活体检测单元，用于对目标人脸进行活体检测；多模态人脸验证单元，用于对目标人脸进行身份验证；
其特征是，所述多模态人脸活体检测单元对目标人脸进行活体检测时，首先，粗略判断目标人脸的生物活性，其中按照下面的方式中的一种或多种进行判断：通过热红外判断目标人脸的温度，判断是否接近37度；通过3D图像判断人脸的深度信息，判断面部是否为3D物体；通过超声波反射分析目标人脸的超声波反射率，判断皮肤的超声波反射率是否与真实人脸相似；通过多光谱成像分析目标人脸在不同光谱下的反射率，判断皮肤的多光谱反射率是否与真实人脸相似，如果通过上述一种或多种方式判断目标人脸的信息指标与真实人脸相似，则继续精确判断目标人脸的生物活性，将采集到的多光谱人脸图像，利用互商图像算法进行准确的活体判断。
8.根据权利要求7所述的双验证人脸防伪装置，其特征是，互商图像算法包括如下步骤：
采集大量真人人脸和虚假人脸在不同距离下的多光谱成像构成训练数据集，对于同一个人的任意两张不同光谱下的图像进行像素级的相除，组成互商图像组，假设任意选定两个光谱λ1,λ2，同一个人脸在两个光谱下的图像为 和 其互商图像定义如下：
其中，ρ表示人脸的反射率，κ代表光源在人脸表面处的强度，z代表人脸距离光源的距离，（x，y）代表人脸图像上的坐标；
对于所有的互商图像，在多个尺度上划分为多个重叠或不重叠的小块，提取每个小块的特征向量，将所有小块的特征向量进行组合，作为全局的特征向量；
基于统计学习方法，在训练数据集上训练分类器，用于区分真实、虚假人脸。
9.根据权利要求7所述的双验证人脸防伪装置，其特征是，多模态人脸验证单元对目标人脸进行身份验证时，首先采集大量真实人脸的多模态图像，对每张图像提取其纹理特征；其次，将图像的特征向量两两相减，根据两图像是否属于同一个人，将相减后的特征向量分为类内、类间两类，利用机器学习算法训练一个两类分类器，训练得到的分类器能够判断输入的两个特征向量是否属于同一个人；如果是在人脸识别应用中，若目标人脸图像与识别结果对应的人脸图像，被上述两类分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸；如果是在人脸验证应用中，若目标人脸图像与所声称的指定人身份对应的人脸图像，被上述两类分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸。
10.根据权利要求7-9任一项所述的双验证人脸防伪装置，其特征是：每种不同的成像类型被称为一个模态，成像类型包括可见光成像，近红外成像，近紫外成像，热红外成像或超声波成像。
双验证人脸防伪方法及装置
技术领域
背景技术
[0002] 人脸防伪技术关系到人脸识别认证授权系统的安全性，如果没有人脸防伪功能，人脸识别认证授权系统易受到虚假人脸的攻击，进而可能引发严重的安全问题。例如，攻击者可以通过某种手段获取某一特定目标(即指定人)的人脸图像并制成照片、视频、或面具等，呈现在系统面前，以期获得非法权限。因此，人脸防伪技术受到越来越多的关注。目前国际上现有的人脸防伪技术，主要基于人机交互策略：系统发出特定指令，要求用户作出眨眼、发音等特定行为，进而判断输入人脸的活性。根据常见的动作可以划分为以下三种方式：第一种是基于眨眼的活体检测，公开该技术的文献有：1)Gang Pan，Lin Sun，Zhaohui Wu and Shilong Lao.Eyeblink-based Anti-Spoofing in Face Recognition from a Generic Webcamera，International Conference on Computer Vision，2007，2)K.Kollreider，H.Fronthaler and J.Bigun.Verifying Liveness by Multiple Experts in Face Biometrics，IEEE Conference on Computer Vision and Pattern Recognition Workshop，2008，3)专利号为ZL200710178088.6，发明名称为“一种基于人脸生理性运动的活体检测方法及系统”的专利文献。第二种是基于摇头的活体检测，公开该技术的相关文献包括：1)K.Kollreider，H.Fronthaler and J.Bigun.Evaluating Liveness by Face Images and the Structure Tensor，IEEE Workshop on Automatic Identification Advanced Technologies，2005，2)Wei Bao，Hong Li，Nan Li and Wei Jiang.A Liveness Detection Method for Face Recognition Based on Optical Flow Field，International Conference on Image Analysis and Signal Processing，2009。第三种是基于语音及嘴部动作的活体检测，公开该技术的相关文献有：G.Chetty and M.Wagner.Liveness Verification in Audio-Video Speaker Authentication.In 10th Australian Int.Conference on Speech Science and Technology，2004。
[0003] 这种基于人机交互的方法由于要求使用者表现特定行为，因此用户负担较重、用户体验不佳、所需时间较长。
[0004] 另外，有的研究者从多光谱的角度入手，通过分析皮肤在不同光谱下的反射率进行活体检测，相关文献有：1)Ioannis Pavlidis，Peter Symosek，The Imaging Issue in an Automatic Face/Disguise Detection System，IEEE workshop on Computer Vision Beyond the Visible Spectrum：Methods and Applications，2000。2)Youngshin Kim，Jaekeun Na，Seongbeak Yoon，and Juneho Yi.Masked fake face detection using radiance measurements，J.Opt.Soc.Am，vol.26，no.4，April 2009。但该种方法目前还很粗糙，精度上也并不理想，还有很大的改进空间。
[0005] 以上所述的人脸防伪方法，亦可以成为活体检测技术，因为他们都只判断目标人脸是否具有生物活性。然而，实际应用中，有可能出现真实人员去仿冒攻击指定人的情况，此时目标人脸确实为真实人脸，但是仍然属于攻击人脸识别系统的行为。因此人脸防伪技术不应仅仅包含活体检测。并且上述方法普遍存在用户负担重、人机交互时间长、准确度不高等缺点，因此开发准确、快速、适用范围广的人脸防伪方法势在必行。
发明内容
[0006] 本发明的目的是克服现有技术中存在的不足，提供一种双验证人脸防伪方法及装置，其提高识别精确度，方便，安全可靠。
[0007] 按照本发明提供的技术方案，一种双验证人脸防伪方法，所述方法包括：
[0008] 步骤1，对采集的目标人脸进行活体检测，判断目标人脸是否具有生物活性，如果目标人脸被认定具有活体特性，则转入步骤2；
[0009] 步骤2，如果是在人脸识别应用中，则计算采集到的目标人脸与识别结果对应的人脸之间的相似度，若大于某一阈值，则认为该目标人脸是真实有效的人脸；
[0010] 如果是在人脸验证应用中，则计算采集到的目标人脸与目标人脸所声称的身份对应的人脸之间的相似度，若大于某一阈值，则认为该目标人脸是真实有效的人脸，[0011] 其中步骤1与指定人无关，步骤2与指定人有关，当目标人脸同时通过步骤1和步骤2的验证之后，才能被认定为是真实有效的人脸，否则被认定为是虚假人脸。
[0012] 如果所述双验证人脸防伪方法是基于可见光，则步骤1进一步包括：
[0013] 步骤101，对目标人脸进行活体检测，首先采集大量真实、虚假人脸样本，对目标人脸提取各种纹理特征，训练活体检测纹理分类器，若目标人脸被活体检测纹理分类器认定为真实人脸，则进入步骤2，否则认定为虚假人脸；
[0014] 步骤102，通过人机交互确定目标人脸的有效性，其中系统发出指令，要求用户做出一定的动作，然后系统不断检测目标人脸是否做出相应动作，若在一定时间内检测到上述动作的发生，则判断目标人脸为真实人脸，否则为虚假人脸；
[0015] 只有目标人脸同时通过步骤101和102，才被认为通过步骤1的活体检测。
[0016] 步骤2进一步包括：
[0017] 步骤201，首先采集大量真实人脸图像，对每张人脸图像提取其纹理特征；
[0018] 步骤202，然后将采集的所有人脸图像的特征向量两两相减，根据两图像是否属于同一个人，将相减后的特征向量分为类内、类间两类，利用机器学习算法训练一个两类分类器，由此训练得到的分类器可以判断输入的两个特征向量是否属于同一个人；
[0019] 步骤203，如果是在人脸识别应用中，若目标人脸图像与识别结果对应的人脸图像，被步骤202中的分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸；
[0020] 如果是在人脸验证应用中，则目标人脸图像与所声称的指定人身份对应的人脸图像，被步骤202中的分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸。
[0021] 如果所述双验证人脸防伪方法是基于多模态，则步骤1进一步包括：
[0022] 步骤101，粗略判断目标人脸的生物活性，其中按照下面的方式中的一种或多种进行判断：通过热红外判断目标人脸的温度，判断是否接近37度；通过3D图像判断人脸的深度信息，判断面部是否为3D物体；通过超声波反射分析目标人脸的超声波反射率，判断皮肤的超声波反射率是否与真实人脸相似；通过多光谱成像分析目标人脸在不同光谱下的反射率，判断皮肤的多光谱反射率是否与真实人脸相似，如果通过上述一种或多种方式判断目标人脸的信息指标与真实人脸相似，则进入步骤102；
[0023] 步骤102，精确判断目标人脸的生物活性，将采集到的多光谱人脸图像，利用互商图像算法进行准确的活体判断，
[0024] 只有目标人脸同时通过步骤101和102，才被认为通过步骤1的活体检测。
[0025] 互商图像算法包括如下步骤：
[0026] 步骤1021，采集大量真人人脸和虚假人脸在不同距离下的多光谱成像构成训练数据集，对于同一个人的任意两张不同光谱下的图像进行像素级的相除，组成互商图像组，假设任意选定两个光谱λ1，λ2，同一个人脸在两个光谱下的图像为 和 其互商图像定义如下：
[0027]
[0029] 步骤1022，对于所有的互商图像，在多个尺度上划分为多个重叠或不重叠的小块，提取每个小块的特征向量，将所有小块的特征向量进行组合，作为全局的特征向量；
[0030] 步骤1023，基于统计学习方法，在训练数据集上训练分类器，用于区分真实、虚假人脸。
[0031] 步骤2进一步包括：
[0032] 步骤201，采集大量真实人脸的多模态图像，对每张图像提取其纹理特征；
[0033] 步骤202，将图像的特征向量两两相减，根据两图像是否属于同一个人，将相减后的特征向量分为类内、类间两类，利用机器学习算法训练一个两类分类器，训练得到的分类器能够判断输入的两个特征向量是否属于同一个人；
[0034] 步骤203，如果是在人脸识别应用中，若目标人脸图像与识别结果对应的人脸图像，被步骤202中的分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸；
[0035] 如果是在人脸验证应用中，若目标人脸图像与所声称的指定人身份对应的人脸图像，被步骤202中的分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸。
[0036] 每种不同的成像类型被称为一个模态，成像类型包括可见光成像，近红外成像，近紫外成像，热红外成像或超声波成像。
[0037] 一种双验证人脸防伪装置，该装置包括：
[0038] 感应单元，用于使用近红外、超声波、射频方式或可见光摄像头中的一种或多种，通过实时监控的方式，感应人脸的存在；
[0039] 多模态发生源，包含多个光谱下的主动光源、用于3D成像所需的3D结构光或者超声波发生器中的一种或多种；
[0040] 多模态数据采集设备，用于采集人脸的多光谱成像，人体本身所发出的热红外光成像，人脸的3D图像或超声波成像中的一种或多种；
[0042] 多模态双验证人脸防伪单元，用于验证目标人脸是否为真实有效的人脸；
[0043] 显示单元，用于显示人脸防伪结果，
[0044] 其中，多模态双验证人脸防伪单元进一步包括：多模态人脸活体检测单元，用于对目标人脸进行活体检测；多模态人脸验证单元，用于对目标人脸进行身份验证。
[0045] 所述多模态人脸活体检测单元对目标人脸进行活体检测时，首先，粗略判断目标人脸的生物活性，其中按照下面的方式中的一种或多种进行判断：通过热红外判断目标人脸的温度，判断是否接近37度；通过3D图像判断人脸的深度信息，判断面部是否为3D物体；通过超声波反射分析目标人脸的超声波反射率，判断皮肤的超声波反射率是否与真实人脸相似；通过多光谱成像分析目标人脸在不同光谱下的反射率，判断皮肤的多光谱反射率是否与真实人脸相似，如果通过上述一种或多种方式判断目标人脸的信息指标与真实人脸相似，则继续精确判断目标人脸的生物活性，将采集到的多光谱人脸图像，利用互商图像算法进行准确的活体判断。
[0046] 互商图像算法包括如下步骤：
[0047] 采集大量真人人脸和虚假人脸在不同距离下的多光谱成像构成训练数据集，对于同一个人的任意两张不同光谱下的图像进行像素级的相除，组成互商图像组，假设任意选定两个光谱λ1，λ2，同一个人脸在两个光谱下的图像为 和 其互商图像定义如下：
[0048]
[0049] 其中，ρ表示人脸的反射率，κ代表光源在人脸表面处的强度，z代表人脸距离光源的距离，(x，y)代表人脸图像上的坐标；
[0050] 对于所有的互商图像，在多个尺度上划分为多个重叠或不重叠的小块，提取每个小块的特征向量，将所有小块的特征向量进行组合，作为全局的特征向量；
[0051] 基于统计学习方法，在训练数据集上训练分类器，用于区分真实、虚假人脸。
[0052] 多模态人脸验证单元对目标人脸进行身份验证时，首先采集大量真实人脸的多模态图像，对每张图像提取其纹理特征；其次，将图像的特征向量两两相减，根据两图像是否属于同一个人，将相减后的特征向量分为类内、类间两类，利用机器学习算法训练一个两类分类器，训练得到的分类器能够判断输入的两个特征向量是否属于同一个人；如果是在人脸识别应用中，若目标人脸图像与识别结果对应的人脸图像，被上述两类分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸；如果是在人脸验证应用中，若目标人脸图像与所声称的指定人身份对应的人脸图像，被上述两类分类器认定为属于同一人，则认为目标人脸真实有效，否则为虚假人脸。
[0053] 每种不同的成像类型被称为一个模态，成像类型包括可见光成像，近红外成像，近紫外成像，热红外成像或超声波成像。
[0055] 图1为本发明提出的在可见光下的双验证人脸防伪方法流程图；
[0056] 图2为本发明提出的在多模态下的双验证人脸放伪方法流程图；
[0057] 图3为本发明提出的在多模态下的双验证人脸防伪装置结构框图；
[0058] 图4为本发明提出的在多模态下的双验证人脸防伪装置的工作流程图；
[0059] 图5为本发明提出的在多模态下的双验证人脸防伪装置的光源覆盖范围示意图；
[0060] 图6为本发明提出的双验证人脸防伪装置一实例中人脸区域图像灰度均值与人脸距采集装置距离之间的关系示意图；
[0061] 图7为在一定光谱范围内黑人和白人的人脸反射率曲线示意图；
[0062] 图8为在一定光谱范围内几种常见造假人脸的反射率曲线示意图；
[0063] 图9为本发明提出的双验证人脸防伪装置一实例中多模态采集装置的面板示意图；
[0064] 图10为三种不同光谱的人脸成像示意图，从左到右依次为：可见光、850nm近红外光和400nm紫光；
[0065] 图11为人脸热红外成像示意图；
[0066] 图12为人脸3D成像示意图；
[0067] 图13为超声波在人脸上的反射波示意图。
具体实施方式
[0068] 下面结合具体附图和实施例对本发明作进一步说明。
[0069] 本发明提出的人脸防伪方法的基本原理是基于双验证的思想。所谓双验证人脸防伪，包括如下两个步骤：步骤1，对输入人脸进行活体、非活体的判断，此步骤与人的身份无关，即指定人无关；步骤2，对输入人脸图像进行人脸身份验证，只有当输入人脸图像与所对应的身份相匹配时，才认定为真实有效的人脸，该步骤与指定人相关。只有同时通过以上两步判断的输入人脸才被认为是有效、真实的人脸。
[0070] 步骤1中使用的是人脸活体检测技术，即对人脸进行活体、非活体判断，鉴别是否为真人活体人脸；步骤2实际上是对人脸进行指定人、非指定人的验证。其中在步骤2中，如果是做人脸识别应用，则识别结果即为目标人脸所对应的身份，只有两者的相似度大于一定阈值，才通过该步验证，阈值可由管理人员根据实际需求自行设定；如果是做人脸验证应用，则目标人脸所对应的身份为目标人脸所声称的身份，输入人脸图像与对应身份人脸图像之间的相似度须大于一定阈值，才认为通过人脸身份认证。步骤2是对指定人与非指定人图像的分类。通过融合步骤1和步骤2的信息，达到可靠的防伪的目的。
[0071] 本发明的方法之所以同时采用上述步骤1和步骤2，是因为在实际应用中，潜在的虚假人脸类型无法预估，单纯的活体检测无法一直保持高准确率。而在另一方面，即使虚假人脸通过了活体检测，也有理由相信该虚假人脸与所仿冒的指定人人脸之间存在一定的差异，因此可以通过提取、鉴别该差异，进一步增强人脸防伪的精度。因此提出输入的人脸图像需要同时通过人脸活体检测和人脸身份验证，才能认定为真实有效的人脸。
[0072] 传统的人脸防伪研究还停留在人脸活体检测上，而忽略了对输入人脸的验证。事实上，步骤1的人脸活体检测，与指定人无关；而步骤2的人脸身份验证则是针对指定人的身份验证。本发明的人脸防伪技术，结合人脸身份验证与活体检测，可以有效提高人脸防伪的可靠性。
[0073] 在本发明的双验证人脸防伪方法中，进一步提出了在可见光下的具体应用形式和在多模态下的具体应用形式。
[0074] 可见光下的双验证人脸防伪方法适用于传统的可见光人脸识别、人脸验证系统，无需额外硬件即可完成人脸防伪任务。虚假人脸图像可以看作是真实人脸图像在经过某种后处理之后得到的图像，因此相比真实图像其图像质量将有一定损失。通过对捕捉到的目标人脸提取多种类型的纹理信息，可以充分挖掘目标人脸在皮肤纹理细节上的表观特征，进而根据预先设定好的评估标准进行进一步的分类。此外，也可以通过引入传统的人机交互过程，进一步增强其准确度。
[0075] 对于本发明提出的多模态下的双验证人脸防伪方法，则进一步采用多种模态充分挖掘人脸本质特征。现有的人脸识别、人脸验证技术还仅停留在利用一种模态(例如可见光或近红外)获取人脸图像。我们认为这种数据采集方式并不能充分挖掘人脸的皮肤特性，也不能达到较高的防伪精度，因此提出并设计了多模态下的双验证人脸防伪装置。该装置包括不同光谱下的多光谱成像装置、热红外成像装置、超声波成像装置等等，从不同的层面充分挖掘人脸皮肤的本质物理特性。通过仔细分析真人人脸与典型虚假人脸在不同模态下的特性，选取合适的模态组合，为后续的人脸防伪算法提供最具鉴别力的特征。
[0076] 本发明提出的可见光下的双验证人脸防伪方法，可以在不依赖额外硬件的基础上，通过对皮肤纹理细节的分析和/或人脸的运动，对目标人脸的真伪进行准确判断。而本发明提出的基于多模态的双验证人脸防伪方法，相对于现有的人脸活体检测算法，不仅可以防御更多的攻击类型，而且具有用时少、用户体验良好、准确率高等特点。通过多模态获取的人脸信息可以提供更丰富的人脸信息，充分挖掘人脸的本质特征，增大真人人脸与虚假人脸的区分度，可以有效解决人脸的防伪难题。
[0077] 图1为本发明提出的双验证人脸防伪方法在可见光下的具体应用流程图。参照图1，在活体检测步骤101中，使用皮肤纹理与面部运动相结合的人脸活体检测策略。在身份验证步骤102中，对目标人脸所对应的身份(人脸验证应用中为所声称的身份，人脸识别应用中为识别结果对应的身份)进行验证，若匹配相似度大于一定阈值，则认为是真实人脸，否则为虚假人脸。只有目标人脸同时通过了101和102两步才认定目标人脸为真实人脸。
[0078] 活体检测步骤101进一步包括步骤1011和步骤1012：步骤1011，首先对目标人脸提取各种纹理特征，例如LBP(Local Binary Pattern)、HOG(Histograms of Oriented Gradients)特征等，然后通过采集真实虚假人脸样本通过机器学习算法(如支持向量机SVM)训练得到基于皮肤纹理的活体检测器。如果判断是真实人脸，进入步骤1012。
[0079] 步骤1011的一个实例是，利用不同尺度的LBP描述子，例如 对目标人脸图像进行滤波，然后对图像进行多尺度的划分，例如划分成1×1，3×3，5×5的小块，在每一块里面统计三种LBP描述子的直方图，把所有的直方图链接在一起作为目标人脸的纹理特征。
[0080] 然后采集大量真实、虚假人脸的图像，例如，采集50人的真实人脸图像，然后利用其人脸图像制作成不同大小的照片，然后再次采集照片图像。取出人脸区域，按照上一步的操作抽取特征。然后利用SVM算法训练得到一个分类器。
[0081] 在步骤1012，利用人机交互进一步检测目标人脸的生物活性。例如，可以通过人脸识别系统给出让用户眨眼、或摇头的指令。通过检测目标人脸是否做出了相应动作，从而判断目标人脸是否为真实人脸。在该步骤中，可以利用运动估计或模板匹配算法进行面部运动估计。例如，若采用眨眼的形式，可以利用光流法计算目标人脸眼睛区域的运动矢量，进而判断是否发生了眨眼动作。或者模板匹配算法，预先训练好一个睁眼、闭眼的分类器，然后进行运动检测。
[0082] 一个人机交互的实例是，人脸识别系统给出指令要求用户在一定时间内，例如5秒，进行眨眼。通过训练好的人眼状态分类器，检测在该段时间内是否出现了睁眼-闭眼-睁眼的过程。若出现，则认为是真实人脸，否则则认为是虚假人脸，进入步骤1021。其中上面提到的人眼状态分类器，可以预先收集大量睁眼、闭眼图像，然后利用SVM分类器训练得到眼睛状态的分类器，用于上述的眨眼检测。
[0083] 在身份验证步骤102中，对数据库中的人脸图像抽取特征(例如，LBP和Gabor特征)，然后将采集的所有人脸图像的特征向量两两相减，根据两图像是否属于同一个人，将相减后的特征向量分为类内、类间两类，利用机器学习算法训练一个两类分类器，由此训练得到的分类器可以判断输入的两个特征向量是否属于同一个人；
[0084] 经过以上步骤，属于同一人的人脸特征之间的相似度应该大于不同人的人脸特征之间的相似度。通过设定一个合理的阈值，可以用于身份验证：若在步骤102中目标人脸与其所声称的身份之间的相似度大于阈值，则认为通过了身份验证；否则失败。
[0085] 图2为双验证人脸防伪方法在多模态的形式下的应用流程图。该方法采用多模态作为载体，采集多模态人脸图像，利用多模态图像所提供的丰富信息和利用不同生物特征具有不同物理特性的特点，通过多模态信息融合，设计了合理、可靠的双验证人脸防伪算法。
[0086] 在多模态形式下的双验证人脸防伪方法包括活体验证步骤201与身份验证步骤202两步。
[0087] 在活体信息验证201中，采用由粗到精的两步策略。
[0088] 首先在第一步2011，利用所获取的多模态人脸信息，对输入人脸的活体特性进行粗略判断。一个实例是：首先通过热红外图像进行温度检测，如果符合真实人体的温度范围(例如是否为37度)，则通过3D人脸图像进行人脸深度信息的判断，如果判断输入人脸是一个三维物体，则继续利用超声波反射波测量输入人脸的超声波反射率，若反射率与真人人脸相似，则验查其多光谱的平均图像亮度是否在合理范围内，若合理，则判断为真人人脸，否则为虚假人脸。在该步骤中，可以根据特定的人脸模态动态选取作为粗略判断的人脸活体特性。
[0089] 当第一步2011认定为真人人脸之后，在第二步2012中，针对人脸的多模态成像，本发明提出基于互商图像的人脸活体检测算法，给出更为准确、精细的检测结果；若互商图像算法判断此人脸为真人人脸，则说明输入人脸具有生物活性。如果在第二步2012判断为真人人脸，则为真人人脸，否则为虚假人脸。
[0090] 在步骤2012中，利用互商图像算法进行精确的人脸活体检测。互商图像是指任意两个光谱下的图像进行相应位置像素值做除法所得到的图像(Mutual Quotient Image，MQI)。互商图像能反映拍摄人脸在两个波段反射率之间的关系，而且与人脸的形状无关。根据互商图像的定义，假设任意选定两个光谱λ1，λ2，同一个人脸在两个光谱下的图像为和 其互商图像定义如下：
[0091]
[0092] 其中，ρ表示人脸的反射率，κ代表光源在人脸表面处的强度，z代表人脸离光源之间的距离，(x，y)代表人脸图像上的坐标。
[0093] 如果保证λ1，λ2两个光谱的光源发光功率一致，则在合适的距离范围内，λ1，λ2两种光源的强度之比约等为1，因此(4)式可以约等于
[0094]
[0095] 可以看出，此时互商图像反映了人脸在λ1，λ2两种光谱下的反射率之比，因此是一个可以反映人脸本质特性的特征，可以用来设计活体检测算法。
[0096] 在公式(5)的推导中，假设在合适的距离范围内，λ1，λ2两种光源的强度之比约等为1。通过合理设计光源，可以在实际中满足这一假设。例如，本发明采集了480nm和850nm两种光源在发光功率一致的情况下，在距离光源40cm到90cm之间，同一个人的人脸图像灰度均值的变化情况，如图6所示，可以看出，两种光源的强度之比约等为1的假设是合理的。
[0097] 基于多模态的人脸活体检测算法中，在获取了任意两个光谱的互商图像之后，可以设计合理特征，以便进行活体检测。特征向量提取可以采用多种方法，如：强度直方图、Gabor滤波器等、似然比(Likelihood Ratio)等。在选定特征类型之后，可以对互商图像进行分块，并做多尺度的处理，得到不同尺度上、不同位置的人脸互商图像特征向量，然后大量采集真、假人脸样本，利用Boosting算法进行活体检测分类器的训练。
[0098] 基于多模态的人脸活体检测算法中，应充分考虑真实、造假人脸的反射率差异，进行光源选择。图7例示了多光谱下黑人和白人的人脸反射率曲线。图8例示了多光谱下几种常见造假人脸的反射率曲线，包括两种不同的硅胶和照片。依据这两幅曲线，可以为多模态人脸活体检测中的光谱选择提供依据。
[0099] 基于互商图像的人脸活体检测算法的具体流程如下：
[0100] (1)、采集大量真人人脸和造假人脸在不同距离下的反射强度数据构成训练数据集，对于同一个人的任意两张不同光谱下的图像进行MQI计算。
[0101] (2)、在所有的MQI图像上，在多个尺度上划分为多个小块(重叠或不重叠)，提取每个小块的特征向量，将所有小块的特征向量进行组合，作为全局的特征向量。
[0102] (3)、基于统计学习方法，在训练数据集上训练分类器，如：SVM(支持向量机)、LDA(线性判别分析)、Boosting等。
[0103] 下面通过举例来进一步说明活体检测步骤2012的互商图像算法。
[0104] 例如，采用480nm和940nm的两种光源进行成像，获得的人脸图像分别为I480，I940。然后规定I480为参考图像，计算这两个波段下的互商图像为MQI940，480(x，y)＝I940(x，y)/I480(x，y)。本发明在此仅以举例的方式给出了两种波段的情况，也可根据实际情况选择任意多种波段的光源。
[0105] 128×128的MQI图像经过预处理后进行多尺度处理，分为5个尺度，其大小分别是128×128像素、64×64像素、32×32像素、16×16像素、8×8像素。基于在训练集上通过统计学习得到的概率模型，对于互商图像上的每一点，可以计算其属于活体和非活体的似然 其中G代表图像来自活体，代表图像来自非活体，(x，y)为图像坐标。将这两个量相除，可以得到互商图像的局部似然比：
[0106]
[0107] 对于上述多分辨率的互商图像，所有的局部似然比可以构成一个活体特征向量，其维度为21824。
[0108] 为了使特征更具有区分度和具有更高的运算效率，活体特征提取算法利用Boosting进行特征选择，从原始的高维度特征中挑选最具鉴别力的3000维特征。
[0109] 然后采集大量真、假人脸样本，组建训练数据库，按照上述Boosting挑选后的特征标号进行特征抽取，并利用支持向量机器(Support Vector Machine，SVM)方法学习得到一个两类分类器，用于对输入的特征向量进行活体、非活体的判断。
[0110] 在身份验证步骤202中，需要对输入人脸与所其所对应的身份进行相似度验证。具体的验证算法与可见光下的验证方法102类似，不同之处在于输入的特征为多模态图像上所有特征的总和。
[0111] 只有当活体信息验证和身份验证两步都认定输入人脸为真人人脸，输入人脸才算通过人脸防伪判断。
[0112] 下面通过举例来进一步说明身份验证步骤202中的人脸验证算法，其中以人脸验证应用为例。
[0113] 假设每个人都有N张不同模态的图像，首先对每张人脸图像进行LBP特征和Gabor特征抽取，组成该张图像的特征向量fk，k＝1:N。
[0114] 然后将属于同一个多模态图像组合内的每张图像的特征向量串接成组成统一的特征向量F＝[f1；...；fN]，则F为每一个人的多模态特征向量。
[0115] 在人脸验证分类器的训练过程中，正样本为属于同一个人的多光谱特征向量F之差，负样本为不属于同一个人的多光谱特征向量F之差。利用Boosting算法进行特征挑选，得到一个特征子集。
[0116] 对训练数据集中的每个人的多模态图像，按照Boosting选择出的样本进行特征抽取，并利用LDA算法进行判别分析。
[0117] 经过以上步骤，属于同一人的人脸特征之间的相似度应该大于不同人之间的人脸特征相似度。若在步骤202中目标人脸与其所声称的身份之间的相似度大于阈值，则认为通过了身份验证；否则失败。
[0118] 本发明还提出了一种双验证人脸防伪装置。图3为本发明基于多模态的双验证人脸防伪装置的结构框图。图4为本发明的基于多模态的双验证人脸防伪装置的工作流程图。
[0119] 在本发明的基于多模态的双验证人脸防伪装置中，其中的多模态包括多光谱、3D、超声波等模态中的一种或多种。由于人脸皮肤在不同的光谱下具有不同的反射率，因此本发明引入多光谱人脸成像系统，用于采集、分析人脸在不同光谱下的成像，充分挖掘人脸的本质特性，从而为后续的人脸防伪提供丰富的人脸特征。光谱的选取可包括近红外光、中红外光、远红外(热红外)、近紫外光等等，以尽量反映人脸的不同反射特性。特别的，热红外图像指人体自身热量所散发出的红外光成像，与个人的体质、生物组织特性有关，具显著个体差异性，适合用作人脸防伪的依据。以上光源除热红外线外，都需要多光谱采集系统提供主动光源。
[0120] 本发明同时引入3D人脸图像，以及超声波成像，与多光谱图像一起，共同构成了多模态的人脸图像获取系统。通过3D图像获取的人脸部位的深度信息，是人脸防伪的重要依据，可以抵御常见虚假人脸的攻击，例如照片、视频等。超声波成像的方法，通过测量人脸皮肤对于超声波的反射率，可以提供另外一种人脸皮肤的物理特性度量手段，进一步辅助人脸活体检测的需求。
[0121] 结合图3和图4，本发明的基于多模态的双验证人脸防伪装置包括感应单元301，多模态发生源302、多模态数据采集设备303，多模态人脸检测单元304、多模态双验证人脸防伪单元305(包括多模态人脸活体检测单元3051，多模态人脸身份验证单元3052)，控制单元306以及显示单元307。
[0122] 感应单元301，用于使用近红外、超声波、或射频方式进行生物特征感应，或者使用可见光摄像头进行实时监控。该单元用以在特定感应区域内感应人脸的存在，若感应到有人脸，则向控制单元306发出物体存在的信号。事实上，感应单元301并不能判断感应到的是人脸，只要有物体出现在感应区内，就认为是感应到了人脸。感应单元301可以使用近红外、超声波、或射频等方式进行人脸感应，也可以简单的使用可见光摄像头进行实时监控。特定感应区域的大小和位置优选地设定为可以捕获整个人脸。
[0123] 感应单元301感应到人脸的存在，具体执行以下操作：步骤1.如果当前未检测到人脸存在，则继续循环检测；如果检测到人脸的存在，则转入步骤2；步骤2，等待一定时间，然后再次检测人脸，如果人脸依旧存在，则认为是有效人脸，并发送信号给控制单元306；如果人脸不再存在，则认为是无效人脸，转入步骤1重新开始检测。
[0124] 在一实例中，感应单元301为可见光摄像头，其以监控的方式进行人脸感应。可见光摄像头循环采集图像并检测是否存在人脸。如果不存在人脸，则继续采集可见光图像进行人脸检测；如果存在人脸，则等待0.5秒钟再次采集图像并检测人脸。如果此时人脸还存在，则说明有稳定、有效的人脸出现，然后发送信号给控制单元306，开始相应的图像采集工作；如果等待之后人脸消失，说明此人脸很有可能不是进行多模态图像采集的人脸，认为是噪声而不予理会。继续采集可见光图像并检测是否存在人脸。
[0125] 多模态发生源302可以包括(但不限于)如下一种或多种设备：多个光谱下的主动光源(提供多光谱成像所需的光照)，用于3D成像所需的3D结构光，超声波发生器(用以发射超声波)。在多光谱光源中，光谱组合可以包括可见光(此时不需要提供可见光光源)，但必须包含一个或一个以上的非可见光光源的组合，光源光谱范围可以为近红外波段(740nm-4000nm)，或近紫外波段(360-400nm)。也可以包括热红外成像，此时热红外线由人体发出，不必再架设额外光源。但光谱组合不应该包括对人体有害的光线，例如中紫外光(290-320nm波长)或近紫外光(200nm-290nm波长)。3D结构光可以根据实际需求配置，例如线激光或3DNIR结构光。超声波发生器的频率根据实际需求进行设定，例如，可以设为50kHz。
[0126] 对于其中的多光谱光源，光源发出的光应符合两个原则：1、在合适距离范围内，在多模态发生源302正前方平面中，一定面积内应保持光强大致均匀。如图5所示，在采集设备正前方一定距离(d)处，一定面积内(图中所示圆形)光强应保持均匀。2、发光强度应保持在合理范围内，使得成像装置既能清晰的采集到人脸图像，又不至于光强太大而引起用户的不舒适。
[0127] 多模态数据采集设备303，用于采集主动光源照射在人脸上然后反射的多光谱光线，另外也用于采集人体本身所发出的热红外光，人脸的3D图像，以及人脸的超声波成像。该采集设备包括但不局限于如下一个或多个设备单元：响应各个光源光线的摄像头、响应各个光谱光线的接收管或光敏二极管、热红外感应摄像头或感应器、3D图像采集设备、超声波成像设备或接收器。
[0128] 多模态数据采集单元303首先包括对应于302中各个光谱的成像设备用以采集人脸反射的多光谱光线，包括成像设备以及相应滤片，此外还包括热红外、3D、超声波成像设备或感应器。多光谱成像设备优选良好响应多光谱光源光线的摄像头，此时返回数据类型为图像。如果条件有限，也可以使用其他的接收设备，例如响应多光谱光线的接收管、光敏二极管等，此时返回数据类型为反射强度标量。多光谱光源中的一种光源可以对应一个摄像头，也可以利用单一摄像头响应多个波段的多光谱光源。摄像头应在所响应的光谱处有较高的灵敏度。对于超声波成像设备，应与302中的超声波发生器保持频率一致；若条件不允许，也可以选用超声波接收器。对于热红外，优选热红外摄像头，也可以选用可以感应温度的感应器。对于3D摄像头而言，则采集到的是反映人脸深度信息的图像。
[0129] 在多模态数据采集单元303的多光谱成像设备中，需要配备对应波段的滤片，用以消除环境光以及其他波段光线对本波段的干扰。滤片应放置在相应波段的成像设备前面，并紧贴摄像头镜头或接收设备，以防止杂光进入。
[0130] 感应单元多模态人脸检测单元304，用于对多模态图像成像设备采集的人脸图像进行预处理，然后对经过预处理的人脸图像进行检测，当所有人脸图像都被检测到人脸和眼睛的情况下认为检测到的是人脸。
[0131] 多模态的双验证人脸防伪单元305，包括多模态人脸活体检测3051与多模态人脸验证3052两个子单元。其中在多模态人脸活体检测3051中，采用上文中提到的由粗到精的两步策略设计合适的多模态人脸活体分类器；多模态人脸身份验证单元3052，从多模态人脸图像中提取能确定目标身份的信息进行人脸身份验证。其中，多模态人脸活体检测单元3051和多模态人脸身份验证单元3052，共同组成了本发明的基于多模态的双验证人脸防伪算法的实现单元305。
[0132] 控制单元306，用于控制各个单元的工作状态、单元之间的信息通信等工作；显示单元307，用于在输出介质上显示中间结果，方便用户查询。
[0133] 控制单元306用以实现多模态发生源302的工作状态以及多模态数据采集单元303的控制。可以用单片机控制，也可以采用PC机连接控制。
[0134] 参照图3和图4，控制单元306的控制方式为：在接收到感应单元301发送的人脸存在信号之后，首先给出控制信号，打开光谱1的光源，然后等待一定的时间给予摄像头曝光，然后采集对应于光谱1的摄像头的图像信号，然后关闭光谱1的光源。然后给出信号，打开光谱2的光源，等待一定的曝光时间，容纳和采集对应于光谱2的摄像头的图像信号，然后关闭光谱2的光源，依次类推，直到所有光谱的图像数据采集完毕。如果某一个光谱下没有使用摄像头，而是使用了其他的接收设备，如接收管、光敏二极管等，则读取相应的接收强度数值。然后控制热红外摄像头进行图像采集。在热红外之后，控制3D摄像机进行3D人脸图像采集。然后控制超声波发射超声波，并用超声波成像设备进行成像。
[0135] 一个实例为：控制单元306由上位机PC端软件组成。控制单元306在接收到感应单元301发送的信号之后，首先给出光源1的开启命令，等待50ms然后给出对应光源1的摄像头(或接收管)的采集命令，由摄像头(或接收管)采集数据。然后令光源1熄灭，给出光源2的开启命令，等待50ms，令光源2的摄像头(或接收管)进行数据采集。依次类推，直至所有光源的摄像头都采集到数据为止。然后采集热红外以及3D图像时，此时不需要等待可以直接进行采集。然后开启超声波发射器，并通过超声波成像设备对回波进行接收和成像。然后控制单元306会将各摄像头采集到的图像数据送入多模态人脸检测单元304。
[0136] 显示单元307用以显示由多模态数据采集单元303采集的人脸图像，并给出各种中间结果或反馈信息，方便人机交互。
[0137] 值得注意的是，若上述的某种模态，没有相应的图像数据采集设备，也可以用其他的非图像式感应仪器代替。
[0138] 图9以举例的方式给出了多模态发生源和多模态数据采集单元的示意图。其中，多模态图像采集装置面板804起到装置框架的作用。面板分为上下两个部分，上半部分为多模态发生源901和多模态数据采集单元902，下半部分为显示单元905，由一块LCD屏幕组成，在两部分之间为一个可见光摄像头903，作为感应单元使用。在上半部分中，三个多模态发射源分别为800nm多光谱光源、3D结构光源和超声波发射源。三种发射源交叉排列，并组成矩形，这样可以保证每个发射源在装置前方一定范围内都可以形成均匀分布。在发射源源中央为四个成像设备(或接收设备)，包括多光谱成像设备(摄像头前方都覆盖相应波段的滤片，以防止可见光或其他光谱光线的干扰)、热红外摄像头(用于采集热红外图像)、3D以及超声波成像设备。进行测试时，人脸应正面面对该采集装置。控制单元并不包含在多光谱采集装置的面版上，而是独立成一个部分(可以是单片机，也可以是上位机软件)，与多光谱采集装置面板通过控制信号线相连接。
[0139] 多模态人脸检测单元、多模态双验证人脸防伪单元均为上位机的应用程序，在接收到采集到的多模态人脸图像后，分别送至以上两个单元，并给出相应的结果。
[0140] 上述基于多模态的双验证人脸防伪装置的工作流程如图4所示。参照图4，首先由感应单元401感应人脸的存在；如果不存在人脸，则继续循环检测，而事实上，感应单元401并不能判断检测到的是人脸，只是在感应到有物体存在的时候，即认为是感应到人脸；
如果存在人脸，则发出命令给控制单元402，由控制单元402发出控制命令，指导多模态发生源403开启、关闭，以及多模态数据采集单元404采集数据；然后进入多模态人脸检测单元405进行人脸检测，如果有的图像中没检测到人脸，则发信号给显示单元407。输出检测失败的信息，并返回感应单元401，重新进行图像采集；如果所有模态图像都检测到人脸，则进入多模态双验证人脸防伪单元406，并发信号给显示单元407，以便输出人脸检测信息或显示捕获的某张人脸图像；进入多模态双验证人脸防伪单元406之后进行人脸活体检测判断4061以及人脸身份验证4062，如果为造假人脸则通过显示单元407给出相应活体检测失败的信息，并返回感应单元401，进行新一轮的图像采集；如果为真人人脸也由显示单元
407给出，然后等待一段时间，返回感应单元401，开始新一轮的人脸检测。
如果存在人脸，则发出命令给控制单元402，由控制单元402发出控制命令，指导多模态发生源403开启、关闭，以及多模态数据采集单元404采集数据；然后进入多模态人脸检测单元405进行人脸检测，如果有的图像中没检测到人脸，则发信号给显示单元407。输出检测失败的信息，并返回感应单元401，重新进行图像采集；如果所有模态图像都检测到人脸，则进入多模态双验证人脸防伪单元406，并发信号给显示单元407，以便输出人脸检测信息或显示捕获的某张人脸图像；进入多模态双验证人脸防伪单元406之后进行人脸活体检测判断4061以及人脸身份验证4062，如果为造假人脸则通过显示单元407给出相应活体检测失败的信息，并返回感应单元401，进行新一轮的图像采集；如果为真人人脸也由显示单元
407给出，然后等待一段时间，返回感应单元401，开始新一轮的人脸检测。
[0141] 在一实例中，多模态人脸检测单元405为上位机PC端的应用程序，用于对多模态数据采集装置403采集到的每张图像调用相应的人脸检测分类器进行人脸检测。如果全部图像都检测到人脸，输送某张人脸图像给显示单元407用于显示(例如，选用可见光下的人脸图像)，并将检测到的所有光谱下的人脸图像输入至多模态双验证人脸防伪单元406。若没有全部检测到人脸，则输送检测失败的结果给显示单元407显示，并返回感应单元401，重新开始图像感应。
[0142] 最后，本发明须指出，利用本发明提出的双验证人脸防伪方法及其装置，用户可以根据自己的需要来适用于不同的生物模态，例如人脸、虹膜等。并且可以根据实际情况自由选择模态组合，例如，可以单独选用不同的光谱组合，也可以结合热红外光、3D图像或超声波成像联合使用。
[0143] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种环网柜智能精准测量就地切除保护的系统及其实现方法 | 2020-05-14 | 0 |
| 一种基于RFID的汽车智能防盗系统 | 2021-03-12 | 2 |
| 一种车载无线收发终端 | 2021-10-14 | 1 |
| 一种掌上彩超图像处理方法 | 2021-11-08 | 1 |
| 射频连接器组件及其插座 | 2023-10-06 | 2 |
| 一种一体化双螺旋天线 | 2021-01-23 | 2 |
| 可编程的眼科镜片消毒基座单元 | 2024-01-11 | 2 |
| 毫欧量级电阻的阻值测量装置及电阻阻值测量设备 | 2020-05-28 | 0 |
| 一种高速多通道测试连接器 | 2020-09-03 | 1 |
| 一种基于物联网的电梯监控系统 | 2020-06-05 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈