技术领域
[0001] 本
发明涉及光场成像技术、数字
图像处理技术以及
机器学习技术，特别涉及一种基于 光场成像技术的人脸识别及攻击检测方法及其装置。
背景技术
[0002] 人脸识别(Face Recognition)是通过摄像头等图像
采样设备采集含有人脸信息的图像 或
视频流，提取相关特征后通过与
数据库的比对结果进行身份识别的技术。人脸识别技术 发展经历了基于人脸几何结构特征的
模式识别方法，基于三维人脸建模的识别方法以及目 前可适用于真实环境条件的基于
深度神经网络的识别方式等阶段。最近几年，
深度学习算 法尤其是深度
卷积神经网络的发展大大提高了人脸识别的准确性，在国际权威人脸识别公 开测试集LFW(labeled face in the wild)中，无限制条件下人脸验证测试(unrestricted labeled outside data)中提交的最新识别率为99.80％，该识别率甚至已经超过人类自身的人脸识别 能
力。
[0003] 然而必须说明的是，获得上述高识别率的实验是在理想条件，即没有恶意识别攻击的 条件下进行的，并且使用人为噪音较小的数据集进行测试。现有的人脸识别系统在面对各 类识别攻击时仍然十分脆弱，主要的
缺陷包括并不局限于：单纯的人脸识别系统无法有效 区分真实人脸与二维图像/视频或者三维面具；而现有的识别攻击检测方法(Presentation Attack Detection,PAD)，如要求用户配合系统指令完成眨眼等动作序列，大大增加了系统冗 余度并降低了其
稳定性，经试验测试，现有检测方法的部分漏洞由于用户体貌特征不明显 等缘故，甚至导致无法准确识别出用户本人的系统故障。因此当前人脸识别系统的痛点在 于，在保证用户使用便捷性以及系统稳定性的同时解决识别过程中的攻击检测问题。
[0004] 基于以上难点，本
专利提出一种基于光场成像技术的人脸识别及攻击检测装置。该装 置能够通过单次成像得到摄像头前方空间包含人脸信息的四维光场数据，通过光场数据中 耦合的深度信息辨别二维图像/视频攻击，并通过LBP(局部二值化)
算法用以高效检测三 维面具攻击，在攻击检测后对用户身份进行认证。该装置仅通过单次采样，无需用户配合 进行复杂的面部动作，提高了用户使用的便捷程度；与此同时，使用光场成像及相关图像 处理算法进行识别攻击检测，有效提高了攻击检测效率。
发明内容
[0005] 本发明的目的在于解决传统人脸识别过程中存在无法识别二维图像攻击和三维面具攻 击以及人脸识别需要复杂的配合动作的缺陷，提供一种基于光场成像技术的人脸识别及攻 击检测方法及其装置。
[0006] 本发明采用的技术方案如下：
[0007] 一种基于光场成像技术的人脸识别及攻击检测方法，包括以下几个步骤：
[0008] 步骤1：打开光场相机，进行相机校准，光场相机采集RAW图像并在图像计算单元计 算RAW图像中的每个子影像坐标；
[0009] 步骤2：用光场相机拍摄得到原始光场图像，利用子影像坐标求解得到
深度图，并对图 像进行RGB
深度图像渲染，得到光场图像；
[0010] 步骤3：对光场图像进行二维
图像识别攻击，根据线性
支持向量机(SVM)分类器确 定光场图像的维度数，若维度数为3，则进入下一步，否则自动将该图像标记为恶意攻击；
[0011] 步骤4：对光场图像进行局部特征提取，再进行全局特征提取，再使用支持向量机判别 面具攻击；
[0012] 步骤5：根据光场相机的四维信息，选取一系列光场图像中人脸清晰度高的几张图像进 行特征提取，再进行特征认证，完成人脸识别。
[0013] 进一步，所述步骤1中的相机校准包括以下几个步骤：
[0014] 步骤1.1：将光场相机进行多次曝光，并采集RAW图像，每一次曝光采集，均通过伽
马校正调整照片的光强；
[0015] 步骤1.2：将多次采集的RAW图像求取平均值，得到处理后的白色图像；
[0016] 步骤1.3：处理后的白色图像RGB值相等，再使用Demosaic算法得到可观测的RGB 图像；将RGB图像转化为灰度图；
[0017] 步骤1.4：从灰度图中找到频域系数最大值，并反求出偏转
角，旋转校正，得到旋转校 正后的图像；
[0018] 步骤1.5：对旋转校正后的图像做侵蚀处理，根据抛物线原理找出每个子影像中的光强 最大值以确定中心坐标，最后利用Delaunay三角剖分算法适应图像，平移得到校正后的图 像。
[0019] 进一步，所述步骤2中的RGB深度图像渲染包括以下几个步骤：
[0020] 步骤2.1：根据光场表示方式L(x,y,u,v)，分别固定u和x，y和v数值，即u和x的数 值固定y和v变化以及y和v的数值固定u和x变化，在RAW图像中遍历其他两项得到纵 向与横向的EPI；
[0021] 步骤2.2：通过权重函数定义平行四边形的尺寸，权重函数如下：
[0022]
[0023] 其中，dθ(i,j)＝i-(xr+(j-ur)·tanθ)，c为常数，a为主镜焦距与关注点对应像距的 比值，xr和ur为关注点坐标，权重用以决定范围内
像素对于求解距离的贡献度，为遍历像 素到关注点的距离，距离关注点越近的像素权重越高；
[0024] 步骤2.3：关注点对应特定物点，随坐标的改变而改变，该点到
传感器平面的光线角度 有变化量θ，定义的SPO随坐标的改变而旋转，中心线斜率即为θ；通过对比中心线两侧 的图像差异可得到直方图距离，找到轮廓
位置与非轮廓位置的θ角；
[0025] 步骤2.4：根据相似三角形关系式，得
[0026]
[0027] 即可由θ推出关注点深度信息，其中，f为uv，xy面的距离，再耦合两方向的EPI的 遍历深度信息，得到完整深度图；
[0028] 步骤2.5：建立以微透镜阵列平面和传感器平面分别为uv和xy平面的光场
坐标系，根 据相似三角形原理，将完整深度图中每个深度的信息进行坐标代换，得到各个深度对应的 光场表达式；
[0029] 步骤2.6：根据傅里叶中心切片定理，在频域对光场表达式做成像平面的积分得到再聚 焦的光场图像。
[0030] 进一步，所述二维图像识别攻击包括以下几个步骤：
[0031] 步骤3.1：给定一个光场，进行一次曝光后获得一个深度图像，在进行RGB渲染后得 到：
[0032] ID＝{ID1,ID2,ID3,...,IDk}，
[0033] 其中，ID代表深度图像进行RGB渲染后得到的一组二维图像的集合，k代表经过渲染 得到的图像的数量；对于每一张经过渲染得到的图像，采取Viola-Jones face detector进行人 脸寻找，得到局部人脸图像；
[0034] 步骤3.2：对局部人脸图像进行高斯滤波去除高频，再将被滤波处理的图像的大小进行 调整，并记为Ip＝{IpD1,IpD2,IpD3,...,IpDk}，其中，Ip指光场图像集；
[0035] 步骤3.3：定量地测量Ip中每一个图像的焦点，对焦点的测量表示为FMC，[0036]
[0037] 其中， 表示第k个深度图像所计算出来的关于焦点的参数；
[0038] 步骤3.3：进一步计算反映光场相机所渲染的多个图像之间的焦点变化的定量值，所述 公式如下：
[0039] VFA＝max(FMC)-min(FMC)
[0040]
[0041] VFFu＝VFA||VFR
[0042] 其中，VFFu表示将VFA与VFR两个参数相结合的一种线性运算；
[0043] 步骤3.4：采用线性支持向量机(SVM)分类器确定所获得的图像样本的维度数，其中 SVM分类器事先用两组样本进行训练，一组样本为二维的图片，一组为三维的真事人像； 焦点的参数FMC作为横坐标，参数VFFu作为纵坐标，则在坐标系中SVN分类器会根据之前 训练的结果对图像进行二维三维的判断。
[0044] 进一步，所述步骤4的三维面具识别攻击包括以下几个步骤：
[0045] 步骤4.1：基于三维面具与真实人脸在眼部和鼻子处有显著差异的认识，则选择眼部和 鼻子作为局部特征，即光场图像中的眼部区域和鼻子区域作为局部特征；
[0046] 步骤4.2：使用Haar级联检测器提取眼部区域，依次使用短时傅里叶变换(STFT)、功 率谱
密度计算(PSD)、归一化操作算法将眼部区域进行空间域频域转换，得到眼部归一化
功率谱，分析眼部归一化功率谱中的功率响应，真实人脸的功率响应远高于三维面具的功 率响应；
[0047] 步骤4.3：使用Haar级联检测器提取鼻子区域，对鼻子周围区域进行参数化，得到鼻 子区域的尺寸并对尺寸进行分析，真实人脸的鼻子尺寸与三维面具有明显差别；
[0048] 步骤4.4：基于面具细微纹理以及表面光滑度与真实人脸有显著差异，采用细微纹理分 析(micro-texture analysis)作为全局特征进行判别。
[0049] 进一步，所述步骤5包括以下几个步骤：
[0050] 步骤5.1：将步骤2中再聚焦的光场图像采用局部二元模式(LBP)算法取2*2邻域内 的差值得到直方图，再将直方图均衡化处理后，得到图像特征；
[0051] 步骤5.2：采用Log-Gabor(LG)
滤波器，通过高斯变换方程将步骤2中再聚焦的光场 图像转换到频域，得到频域图像特征；
[0052] 步骤5.3：结合步骤5.1的图像特征和步骤5.2的频域图像特征，采用多项式核函数将 图像特征在
降维空间表示，再计算投影空间的欧几里得距离进行特征认证，完成人脸识别。
[0053] 一种基于光场成像技术的人脸识别及攻击检测装置，包括以下几个单元：
[0054] 中央控制单元，负责统一调控本装置中其它单元的工作；
[0055] 光场相机，接收控制单元指令，完成光场信息的采样工作，并将采样数据传输到存储 单元；
[0056] 图像计算单元，从存储单元中提取所需数据，并依次完成光场信息向二维图像信息以 及深度信息的转换，攻击检测以及最后的人脸识别工作，然后将当前工作状态及及所处流 程阶段反馈至控制单元；
[0057] 存储单元，保存图像计算单元中产生的中间信息如二维RGB图像等以备后续使用；
[0058] 所述中央控制单元分别连接光场相机、存储单元、图像计算单元，所述存储单元连接 光场相机和图像计算单元。
[0059] 进一步，所述存储系统存储有待识别的人的信息，包括真实人脸的功率效应、真实人 脸的尺寸特征等。
[0060] 综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0061] 1.本发明首次采用光场成像技术来实施人脸识别，相较于需要用户配合作出眨眼等动作 序列的传统攻击判别方式来说，具有实时性强，检测速度快等明显优势；
[0062] 2.本发明使用的数字对焦算法有效避免了传统对焦所带来的不稳定性，另一方面利用光 场相片内部耦合的深度信息避免了动作序列检测的复杂算法的使用，有效规避了后者的一 些固有漏洞；
[0063] 3.本方法利用了光场成像技术中较为成熟的超分辨重构技术获取高
精度的人脸图像，对 人脸识别的准确程度有了大幅度的提高；
[0064] 4.本发明仅通过单次采样，无需用户配合进行复杂的面部动作，提高了用户使用的便捷 程度；与此同时，使用光场成像及相关图像处理算法进行识别攻击检测，有效提高了攻击 检测效率。
附图说明
[0065] 本发明将通过例子并参照附图的方式说明，其中：
[0068] 图3是本发明的光场相机的校正步骤图；
[0069] 图4是本发明的深度求解流程图；
[0070] 图5是本发明的图像渲染流程图；
[0071] 图6是本发明的二维图像攻击识别流程图；
[0072] 图7是本发明的三维面具攻击识别流程图。
具体实施方式
[0073] 本
说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征 和/或步骤以外，均可以以任何方式组合。
[0074] 下面结合附图对本发明作详细说明。
[0075] 图2描述了本发明的具体实施流程。先对光场相机进行校正，并求出光场相机RAW图 像中每个子影像的中心坐标。用光场相机拍摄得到原始光场图像，利用子影像坐标求解得 到深度图，并对图像进行RGB渲染。基于深度图的算法能够对所拍摄物体是二维图片还是 三维人脸进行识别，判断出三维人脸后，通过提取局部和全局面部特征后使用支持向量机 判别面具攻击。当最后判断摄像头拍摄到的是真实人脸后，在根据现有的成熟算法进行人 脸识别。
[0076] 光场相机照出的是原始的RAW图像，微透镜阵列与传感器平面间会有以主镜光轴为轴 向的平移和旋转偏移量，我们需要对RAW图像进行校正。校正的主要目标是求出每个微透 镜对应子影像的中心点坐标，对偏移量进行校正并记录最终中心坐标值，以便于后期应用 于深度求解和数字对焦算法。此校正过程适用于之后的所有拍照过程。校正过程如图3所 示。
[0077] 所述光场相机校正步骤包括以下几个：
[0078] 1.曝光采集RAW白图像：多次采集并求平均值以减少传感器噪声影响；
[0079] 2.进行伽马校正：对于每次独立的采集过程，通过伽马校正调整照片的光强(γ值从 RAW图像文件中得到)；
[0080] 3.可视RGB图像转化：处理后得到的白色图像RGB值相等，据此使用Demosaic算法 得到可观测的RGB图像；将RGB图转化为灰度图，以便于下面图像增强步骤；
[0081] 4.偏移量校正：
[0082] A.旋转偏移量求解：找到频域系数最大值，并反求出偏转角，旋转校正；
[0083] B.中心像素坐标求解：对旋转校正后的图像做侵蚀处理，根据抛物线原理找出每个子影 像中的光强最大值以确定中心坐标。最后利用Delaunay三角剖分算法适应图像，平移得到 校正后的图像。
[0084] 应用基于旋转平行四边形算子(SPO)的对极平面图像(EPI)深度估计算法进行深度图求 解。主要求解流程如图4所示。
[0085] A.根据光场表示方式L(x,y,u,v)，分别固定ux，yv数值，在RAW图像中遍历其他两 项可得到纵向与横向的EPI。
[0086] B.通过权重函数：
[0087] 定义平行四边形的尺寸。权重用以决定范围内像素对于求解距离的贡献度，其中 dθ(i,j)＝i-(xr+(j-ur)·tanθ)，为遍历像素到关注点的距离，距离关注点越近的像素权重 越高。
[0088] C.以vy固定，遍历x为例：关注点对应特定物点，随ux坐标改变，该点到传感器平 面的光线角度有变化量θ；定义的SPO随ux改变而旋转，中心线斜率即为θ。通过对比中 心线两侧的图像差异可得到直方图距离，从而找到轮廓位置与非轮廓位置的θ角。
[0089] D.根据相似三角形关系，由公式：
[0090] 即可由θ推出关注点深度信息(f为uv，xy面距离)；耦合两方向EPI的遍历深度信息 即可得到完整深度图。
[0091] 通过几何关系换算与积分得出基于光强的特定范围景深的二维图像。所需过程如图5所 示：
[0092] A.建立以微透镜阵列平面和传感器平面分别为uv和xy平面的光场坐标系；
[0093] B.根据相似三角形原理，代换得到所需成像平面的光场表达式；
[0094] C.根据傅立叶中心切片定理，在频域计算得到再聚焦的光场图像。
[0095] (1)二维图像攻击识别
[0096] 目前，对人脸识别系统的攻击最直接有效的就是使用二维照片和提前拍摄的影像资料等。 所以第一步着手的问题就是判断呈现在人脸识别系统前的图像的维度，如图6所示。
[0097] 1.前期处理
[0098] (1)给定一个光场，进行一次曝光后获得一个深度图像。在进行RGB渲染后得到 ID＝{ID1,ID2,ID3,...,IDk}，ID代表深度图像进行RGB渲染后得到的一组二维图像的集合， k代表经过渲染得到的图像的数量。
[0099] (2)对于每一张经过渲染得到的图像，采取Viola-Jones face detector进行人脸寻找，得 到局部人脸图像。
[0100] (3)获得一系列局部人脸图像之后，执行以下步骤：
[0101] a.对局部人脸图像进行高斯滤波去除高频，方便后续进行的焦点测量。
[0102] b.将被滤波处理的图像的大小进行重新定义与调整，来减少计算成本。将处理后的图像 记为Ip＝{IpD1,IpD2,IpD3,...,IpDk}，其中，Ip指光场图像集；
[0103] 2.焦点测量
[0104] 这一步中，定量地测量Ip中每一个图像的焦点。进行焦点测量的方法大致分为四类：
[0105] a.梯度法。这类方法基于分析梯度或者图像的第一阶导数来进行焦点的测量。
[0106] b.数据法，这个方法将以纹理的形式来探索图像描述焦点。
[0107] c.变化法：这个方法包括拉帕西变化和小波定量测量焦点。
[0108] d.图像特征法：这个方法通过分析图像特征，例如
对比度和锐度来测量焦点。
[0109] 对于预处理后的光场图像集Ip，对焦点的测量可以表示为FMC。
[0110]
[0111] 其中， 代表第k个深度图像所计算出来的关于焦点的参数。
[0112] 3.计算并比较焦点量化值的参数
[0113] 在计算完焦点FMc的量化值后，将进一步计算可以反映光场相机所渲染的多个图像之 间的焦点变化的定量值。这里采用最权威最准确的一种方法，这个方法需要利用FMc计算 两个不同的数据参数VFA，VFR来得到参数VFFu。
[0114] VFA＝max(FMC)-min(FMC)
[0115]
[0116] VFFu＝VFA||VFR
[0117] 4.判定
[0118] 采用线性支持向量机(SVM)分类器来确定所获得的图像样本的维度数。
[0119] 在
活体检测过程中，通过光场深度信息检测图像样本的维度数排除目标为二维照片或者 视频攻击的可能性之后，将光场照片在人脸处进行数字再对焦(digital refocusing)，并使用超
分辨率重构获得人脸处的高像素图像，传输到三维面具攻击识别部分。该部分分别提取人 脸局部特征以及全局特征，再综合两种特征使用支持向量机(SVM)进行判别，最后输出目标 是否为三维面具攻击的判断结果。具体流程如下：
[0120] 1.局部特征提取：
[0121] 基于三维面具与真实人脸在眼部周围以及鼻子处有显著差异的认识，因此将其作为局部 特征提取选择的部位。具体过程如下：
[0122] 1)眼部周围：
[0123] A.提取眼部区域：该部分使用Haar级联检测器。
[0124] B.空间域频域转换：该步骤使用算法包括短时傅里叶变换(STFT)、功率谱密度计算(PSD)、归一化操作。
[0125] 通过比较眼部归一化功率谱来区分真实人脸与三维面具，真实人脸眼部周围的眼睑与睫 毛会造成远高于三维面具的功率响应。
[0126] 2)鼻子周围：
[0127] A.提取鼻子周围区域：该部分使用Haar级联检测器。
[0128] B.尺寸检测：对检测目标鼻子部分尺寸进行参数化。
[0129] 通过比较鼻子部分尺寸来区分真实人脸与三维面具，参数化后真实人脸鼻子尺寸会与三 维面具有明显差别。
[0130] 2.全局特征提取：
[0131] 基于面具细微纹理以及表面光滑度与真实人脸有显著差异的认识，使用细微纹理分析 (micro-texture analysis)作为全局特征进行判别。主要使用以下几种分析算法：
[0132] A.局部二值模式(local binary pattern,LBP)：
[0133] LBP算子定义在3*3的检测窗口内，并将中心点像素值与相邻8个像素值作比较，通过 二进制串记录比较结果，并将该数值串作为中心点的LBP值，并使用该值作为反映纹理信 息，可以将相邻像素拓展到多于8个以得到不同模式的LBP算子；
[0134] 公式描述如下：
[0135]
[0136] 其中，(xc,yc)是中心像素，ic是灰度值，ip是相邻像素的灰度值，s是一个符号函数， 该函数为：
[0137]
[0138] B.局部
相位量化算法(local phase quantization,LPQ)；
[0139] C.二值化统计图像特征提取(binarized statistical image feature,BSIF)。
[0140] 在通过光场相机四维信息完成活体识别后，选取一系列光场再聚焦图片中能够清晰显示 使用者人脸的几张来进行人脸识别。对于二维的人脸识别模
块，我们选择采用现有的成熟 识别系统来进行识别；
[0141] 为了不失一般性与准确性，我们采用两种方法来进行特征提取并对其认证。
[0142] (1)特征提取
[0143] A.局部二元模式(LBP)算法。在本系统中取2*2邻域内的差值做直方图均衡化处理 后得到图像特征；
[0144] B.Log-Gabor(LG)滤波器。采用LG滤波器，通过高斯变换方程转换到频域进行处 理。
[0145] (2)特征认证
[0146] 核判别分析(KDA)。采用二次核多项式表示通过LBP和LG两种方法取得的图像特征 并在降维空间中表示。为了学习亚空间，我们随机
抽取相机采样的大量学习数据。最终通 过计算投影空间的欧几里德距离来得到可比拟的判断。
[0147] 所有过程中的分析判断过程或对比过程
[0149] 中央控制单元负责统一调控本装置中其它单元的工作，首先光场相机接收控制单元指令， 完成光场信息的采样工作，并将采样数据传输到存储单元。然后控制单元命令图像计算单 元从存储单元中提取所需数据，并依次完成光场信息向二维图像信息以及深度信息的转换， 攻击检测以及最后的人脸识别工作。图像计算单元中产生的中间信息如二维RGB图像等将 保存至存储单元以备后续使用，并将当前工作状态及所处流程阶段反馈至控制单元。
[0150] 在图像计算单元的工作流程中，
[0151] 首先进行相机校准，即偏移量离线获取工作。
[0152] 中央控制单元命令光场相机多次曝光并将所得的RAW图像经存储单元传送至图像计算 单元，通过伽马校正等程序对相机的偏移量进行求解并应用到后续流程。
[0153] 然后图像计算单元提取存储单元中采样对象的光场信息，在求解物体到镜头深度信息之 后在适当位置进行RGB成像并将其保存在存储单元中。
[0154] 在活体识别部分图像计算单元会进行包括对二维照片/视频翻拍攻击的识别以及对三维 人脸面具攻击的识别，前者通过之前保存在存储单元中不同深度的RGB图像来估算采样场 景的景深并以此排除不具备景深范围的二维照片/视频翻拍攻击；后者基于面具与真实人脸 在局部与全局特征上的差异性，使用在人脸位置准确对焦(Digital Refocusing)的RGB图像对 三维面具攻击进行判别。
[0155] 经攻击检测筛选出来的真实人脸图像将由图像计算单元进行人脸识别程序，对用户信息 进行最终确认。
