三维人脸识别方法、装置、终端设备及计算机可读介质
阅读：444发布：2020-05-14
专利汇可以提供三维人脸识别方法、装置、终端设备及计算机可读介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 提供了一种三维 人脸识别 方法、装置、终端设备及计算机可读介质，所述方法包括：获取实际场景的 近红外 图像和 深度图 像 ；对近红外图像和深度图像进行归一化处理，并提取实际场景中的人脸的第一多维度 特征向量 ；根据近红外图像中的人脸的关键点，计算人脸的偏转 角 度，将预先录入的人脸三维模型按照所述偏转角度进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；归一化处理，并提取第二多维度特征向量；计算第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别，从而可有效识别不同偏转角度的人脸，并提升三维识别效率，且降低背景对人脸识别 精度 的影响。，下面是三维人脸识别方法、装置、终端设备及计算机可读介质专利的具体信息内容。
1.一种三维人脸识别方法，其特征在于，包括：
获取实际场景的近红外图像和深度图像；
对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；
根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度 ；其中， 表示所述人脸的俯仰角度， 表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度， 表示所述人脸的左右偏转角度；
将预先录入的人脸三维模型按照所述人脸的偏转角度 进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；
对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；
计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
2.根据权利要求1所述的三维人脸识别方法，其特征在于，所述获取实际场景的近红外图像和深度图像之前，还包括：
录入人脸三维模型。
3.根据权利要求2所述的三维人脸识别方法，其特征在于，所述录入人脸三维模型，包括：
录入待录入人员的人脸的不同角度的近红外图像和深度图像；所述近红外图像中的每个像素点与深度信息中的每个点一一对应的；
基于所述不同角度的近红外图像和深度图像，通过三维人脸重建算法，得到录入的人脸三维模型。
4.根据权利要求1所述的三维人脸识别方法，其特征在于，所述对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量，包括：
对所述实际场景的近红外图像中的人脸中的关键点进行定位；
根据所述关键点对所述近红外图像和深度图像进行预处理，得到归一化后的近红外图像和深度图像；
将归一化后的近红外图像和归一化后的深度图像按照通道合并，送入训练好的卷积神经网络中，由所述卷积神经网络的输出所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量。
5.根据权利要求4所述的三维人脸识别方法，其特征在于，所述根据所述关键点对所述近红外图像和深度图像进行预处理，得到归一化后的近红外图像和深度图像，包括：
对所述实际场景的深度图像中缺失的深度信息使用插值方法填充完整，获得完整的深度图像；
使用所述关键点的位置坐标，获取所述完整的深度图像上对应关键点的深度值，并计算这些深度值的最大值 和最小值 ；
将仅包含人脸区域的深度图像中所有深度值小于 或者深度值大于 的点赋值为
0，将仅包含人脸区域的深度图像中所有点的深度值归一化至[0,1]之间，得到归一化后的深度图像；
将所述近红外图像中所有深度值为0的像素点颜色设置为白色，并将设置后的近红外图像中所有像素值归一化到范围在[0,1]之间，得到归一化后的近红外图像。
6.一种三维人脸识别装置，其特征在于，包括：
获取模块，用于获取实际场景的近红外图像和深度图像；
第一特征提取模块，用于对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；
偏转计算模块，用于根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度 ；其中， 表示所述人脸的俯仰角度， 表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，表示所述人脸的左右偏转角度；
旋转投影模块，用于将预先录入的人脸三维模型按照所述人脸的偏转角度进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；
第二特征提取模块，用于对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；
识别模块，用于计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
7.根据权利要求6所述的三维人脸识别装置，其特征在于，所述第一特征提取模块包括：
定位单元，用于对所述实际场景的近红外图像中的人脸中的关键点进行定位；
预处理单元，用于根据所述关键点对所述近红外图像和深度图像进行预处理，得到归一化后的近红外图像和深度图像；
特征提取单元，用于将归一化后的近红外图像和归一化后的深度图像按照通道合并，送入训练好的卷积神经网络中，由所述卷积神经网络的输出所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量。
8.根据权利要求7所述的三维人脸识别装置，其特征在于，所述预处理单元包括：
填充子单元，用于对所述实际场景的深度图像中缺失的深度信息使用插值方法填充完整，获得完整的深度图像；
深度范围计算子单元，用于使用所述关键点的位置坐标，获取所述完整的深度图象上对应关键点的深度值，并计算这些深度值的最大值 和最小值 ；
深度归一子单元，用于将仅包含人脸区域的深度图像中所有深度值小于 或者深度值大于 的点赋值为0，将仅包含人脸区域的深度图像中所有点的深度值归一化至[0,1]之间，得到归一化后的深度图像；
近红外归一子单元，用于将所述近红外图像中所有深度值为0的像素点颜色设置为白色，并将设置后的近红外图像中所有像素值归一化到范围在[0,1]之间，得到归一化后的近红外图像。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5中任一项所述方法的步骤。
10.一种计算机可读介质，所述计算机可读介质存储有计算机程序，其特征在于，所述计算机程序被处理执行时实现如权利要求1-5中任一项所述方法的步骤。
三维人脸识别方法、装置、终端设备及计算机可读介质
技术领域
背景技术
[0002] 人脸识别是指通过对人脸部特征的比较而识别出身份的过程，目前通用的技术是二维人脸识别，即通过彩色（RGB）或者灰度人脸图像进行二维平面的特征提取并进行身份识别。三维人脸识别指在三维空间中进行人脸特征提取和认证的过程，与二维相比，增加了人脸的深度信息，能够有效提取人脸的三维空间信息，具备天然的防伪能力，能够防止照片和视频的攻击，具有更强的实用价值。已有的基于深度学习的三维人脸识别方法中，一类方法是直接使用彩色图像和深度信息直接作为输入，通过卷积神经网络提取特征，进行比较；另一类方法则是通过彩色和深度图进行重构，得到三维人脸模型后，通过三维卷积神经网络提取特征进行比较。第一类方法识别速度快，精度与二维方法相当，且能够防伪，但受光线影响较大，且人脸偏转时无法识别；第二类方法消耗时间较长，往往需要多帧RGB和深度（depth）图像才能重构出三维人脸模型，而且三维卷积神经网络抽取特征时间较长，这导致这类方法在实际中应用受限。
发明内容
[0004] 本发明实施例的第一方面提供了一种三维人脸识别方法，包括：获取实际场景的近红外图像和深度图像；
对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；
根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度α，β，γ；其中，α表示所述人脸的俯仰角度，β表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示所述人脸的左右偏转角度；
将预先录入的人脸三维模型按照所述人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；
对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；
计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；
根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度α，β，γ；其中，α表示所述人脸的俯仰角度，β表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示所述人脸的左右偏转角度；
将预先录入的人脸三维模型按照所述人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；
对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；
计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
[0005] 本发明实施例的第二方面提供了一种三维人脸识别装置，包括：获取模块，用于获取实际场景的近红外图像和深度图像；
第一特征提取模块，用于对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；
偏转计算模块，用于根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度α，β，γ；其中，α表示所述人脸的俯仰角度，β表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示所述人脸的左右偏转角度；
旋转投影模块，用于将预先录入的人脸三维模型按照所述人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；
第二特征提取模块，用于对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；
识别模块，用于计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
第一特征提取模块，用于对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量；
偏转计算模块，用于根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度α，β，γ；其中，α表示所述人脸的俯仰角度，β表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示所述人脸的左右偏转角度；
旋转投影模块，用于将预先录入的人脸三维模型按照所述人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像；
第二特征提取模块，用于对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量；
识别模块，用于计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
[0007] 本发明实施例的第四方面提供了一种计算机可读介质，所述计算机可读介质存储有计算机程序，所述计算机程序被处理执行时实现上述三维人脸识别方法的步骤。
[0008] 本发明实施例提供的三维人脸识别方法，获取实际场景的近红外图像和深度图像，对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量，将预先录入的人脸三维模型按照实际场景获取的人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像，对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量，计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别，从而可有效识别不同偏转角度的人脸，同时可提升三维识别效率，并降低背景对人脸识别精度的影响。附图说明
[0009] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0010] 图1是本发明实施例提供的一种三维人脸识别方法的流程图；图2是本发明实施例提供的另一种三维人脸识别方法的流程图；
图3本发明实施例提供的一种三维人脸识别装置的结构示意图；
图4是图3中的第一特征提取模块的细化结构示意图；
图5是图4中的预处理单元的细化结构示意图；
图6是本发明实施例提供的终端设备的示意图。
图3本发明实施例提供的一种三维人脸识别装置的结构示意图；
图4是图3中的第一特征提取模块的细化结构示意图；
图5是图4中的预处理单元的细化结构示意图；
图6是本发明实施例提供的终端设备的示意图。
具体实施方式
[0011] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0012] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0013] 请参阅图1，图1是本发明实施例提供的一种三维人脸识别方法。如图1所示，本实施例的三维人脸识别方法包括以下步骤：S101：获取实际场景的近红外图像和深度图像。
[0014] 在本发明实施例中，在实际场景下，可通过深度摄像头设备获取待识别的对齐的近红外（ir）图像和深度（depth）图像。深度图像中的每个像素点的值表示该像素点上的物体距离深度摄像头的距离值。近红外图像中的每个像素点与深度信息中的每个点是一一对应的，即二者是对齐的。此外，在获取实际场景的近红外图像和深度图像之前，还可录入人脸三维模型。具体地，待录入人员可位于摄像头正前方50-80厘米处，保持人脸正对深度摄像头，并按照提示向上、下、左、右偏转头部，此时可获得待录入人员的人脸的不同角度的近红外图像和深度图像，所述近红外图像中的每个像素点与深度信息中的每个点一一对应的；再可基于所述不同角度的近红外图像和深度图像，通过三维人脸重建算法，得到录入的人脸三维模型。需要指出的是，这里的三维人脸重建算法，同现有技术，故在此不再赘述。
[0015] S102：对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量。
[0016] 在本发明实施例中，可对所述实际场景的近红外图像中的人脸中的关键点进行定位，得到至少包括嘴角、鼻尖、眼睛中心、人脸轮廓等多个关键点的位置坐标，这里的定位的算法同现有技术，故在此不再赘述；再可根据所述关键点对所述近红外图像和深度图像进行预处理，得到归一化后的近红外图像和深度图像；最后可将归一化后的近红外图像和归一化后的深度图像按照通道合并，送入训练好的卷积神经网络中，由所述卷积神经网络的输出与所述实际场景的近红外图像和深度图像中的人脸对应的第一多维度特征向量。进一步地，关于对所述近红外图像和深度图像进行预处理，具体步骤可以为：1）对所述实际场景的深度图像中缺失的深度信息使用插值方法填充完整，获得完整的深度图像；2）使用所述关键点的位置坐标，获取所述完整的深度图象上对应关键点的深度值，并计算这些深度值的最大值 和最小值 ；3）将仅包含人脸区域的深度图像中所有深度值小于 或者深度值大于 的点赋值为0，将仅包含人脸区域的深度图像中所有点的深度值归一化至[0,1]之间，得到归一化后的深度图像；4）将所述近红外图像中所有深度值为0的像素点颜色设置为白色，并将设置后的近红外图像中所有像素值归一化到范围在[0,1]之间，得到归一化后的近红外图像。
[0017] S103：根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度。
[0018] 在本发明实施例中，可根据所述近红外图像中的人脸的关键点的位置坐标以及对应坐标的深度值，计算所述人脸的偏转角度α，β，γ，其中，α表示俯仰角度，即头部向上向下偏离中心的角度，β表示人脸左右摆动角度，即人双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示人脸左右偏转角度。
[0019] S104：将预先录入的人脸三维模型按照所述人脸的偏转角度进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像。
[0020] 在本发明实施例中，可将预先录入的人脸三维模型按照所述人脸的偏转角度α，β，γ进行旋转，并将得到的旋转后的三维人脸模型进行平面投影，得到录入的人脸的ir图像，同时得到图像中每个点的深度信息，即录入的人脸的深度图像。
[0021] S105：对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量。
[0022] 在本发明实施例中，类似与S102，可对所述录入的人脸的近红外图像中的关键点进行定位，得到至少包括嘴角、鼻尖、眼睛中心、人脸轮廓等多个关键点的位置坐标，这里的定位的算法同现有技术，故在此不再赘述；再可根据所述录入的人脸的近红外图像中的关键点对所述录入的人脸的近红外图像和深度图像进行预处理，得到归一化后的近红外图像和深度图像；最后可将归一化后的近红外图像和归一化后的深度图像按照通道合并，送入训练好的卷积神经网络中，由卷积神经网络的输出录入的人脸的第二多维度特征向量。进一步地，关于对所述录入的人脸的近红外图像和深度图像进行预处理，具体步骤可以为：1）对录入的人脸的深度图像中缺失的深度信息使用插值方法填充完整，获得完整的深度图像；2）使用所述录入的人脸的近红外图像中的关键点的位置坐标，获取所述完整的深度图象上对应关键点的深度值，并计算这些深度值的最大值 和最小值 ；3）将录入的人脸的仅包含人脸区域的深度图像中所有深度值小于 或者深度值大于 的点赋值为0，将仅录入的人脸的包含人脸区域的深度图像中所有点的深度值归一化至[0,1]之间，得到归一化后的深度图像；4）将录入的人脸的所述近红外图像中所有深度值为0的像素点颜色设置为白色，并将设置后的近红外图像中所有像素值归一化到范围在[0,1]之间，得到归一化后的近红外图像。需要指出的是，S102和S105中的卷积神经网络可以是同一卷积神经网络，或者是不同的卷积神经网络，只要能完成相应的多维特征向量提取即可。通过卷积神经网络进行特征向量的提取同现有技术，故在此不再赘述。
[0023] S106：计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
[0024] 在本发明实施例中，可计算所述第一多维度特征向量与第二多维度特征向量的相似度，若相似度大于设定的阈值，则可判断为同一人，即识别出了所述实际场景的待识别人脸，否则判断为不同人，进而可从人脸三维模型数据库中获取其它人脸三维模型，并重复执行S104—S106的步骤。
[0025] 请参阅图2，图2是本发明实施例提供的另一种三维人脸识别方法。如图2所示，本实施例的三维人脸识别方法包括以下步骤：S201：人脸三维模型录入。
[0026] 在本发明实施例中，待录入人员可位于摄像头正前方50-80厘米处，保持人脸正对深度摄像头，并按照提示向上、下、左、右偏转头部，此时可获得待录入人员的人脸的不同角度的近红外图像和深度图像，所述近红外图像中的每个像素点与深度信息中的每个点一一对应的；再可基于所述不同角度的近红外图像和深度图像，通过三维人脸重建算法，得到录入的人脸三维模型。需要指出的是，这里的三维人脸重建算法，同现有技术，故在此不再赘述。人脸三维模型可录入，例如，人脸三维模型数据库中。相似度的计算方法同现有技术，故在此不再赘述。
[0027] S202：获取实际场景中的近红外图像和深度图像。
[0028] 在本发明实施例中，在实际场景下，可通过深度摄像头设备获取待识别的对齐的ir图像和深度图像。深度图像中的每个像素点的值表示该像素点上的物体距离深度摄像头的距离值。近红外图像中的每个像素点与深度信息中的每个点是一一对应的，即二者是对齐的。
[0029] S203：人脸检测。
[0030] 在本发明实施例中，使用S202获取的ir图像，采用人脸检测算法检测ir图像中是否有人脸。若没有人脸，则跳转到S202，若有人脸，则本流程转至S204。需要指出的是，所述人脸检测算法同现有技术，故在此不再赘述。
[0031] S204：人脸质量判断。
[0032] 在本发明实施例中，在S203中检测到ir图像中含有人脸之后，则可判断ir图像和depth图像的照片质量，若照片质量较差，则返回S202，若图片质量满足要求，则可将人脸区域截取出来，得到仅包含人脸区域的ir图像和depth图像。
[0033] S205：人脸关键点定位。
[0034] 在本发明实施例中，可对所述实际场景的近红外图像中的人脸中的关键点进行定位，得到至少包括嘴角、鼻尖、眼睛中心、人脸轮廓等多个关键点的位置坐标，这里的定位的算法同现有技术，故在此不再赘述。
[0035] S206：计算人脸偏转角度。
[0036] 在本发明实施例中，可根据所述近红外图像中的人脸的关键点的位置坐标以及对应坐标的深度值，计算所述人脸的偏转角度α，β，γ，其中，α表示俯仰角度，即头部向上向下偏离中心的角度，β表示人脸左右摆动角度，即人双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示人脸左右偏转角度。
[0037] S207：对近红外图像和深度图像进行预处理。
[0038] 在本发明实施例中，预处理的具体步骤可以为：1）对所述实际场景的深度图像中缺失的深度信息使用插值方法填充完整，获得完整的深度图像；2）使用所述关键点的位置坐标，获取所述完整的深度图象上对应关键点的深度值，并计算这些深度值的最大值和最小值 ；3）将仅包含人脸区域的深度图像中所有深度值小于 或者深度值大于的点赋值为0，将仅包含人脸区域的深度图像中所有点的深度值归一化至[0,1]之间，得到归一化后的深度图像；4）将所述近红外图像中所有深度值为0的像素点颜色设置为白色，并将设置后的近红外图像中所有像素值归一化到范围在[0,1]之间，得到归一化后的近红外图像。
[0039] S208：待识别人脸特征提取。
[0040] 在本发明实施例中，可将归一化后的近红外图像和归一化后的深度图像按照通道合并，送入训练好的卷积神经网络中，由所述卷积神经网络进行人脸特征提取，输出所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量，即输出待识别人脸的第一多维度特征向量。
[0041] S209：对三维模型按照偏转角度旋转。
[0042] 在本发明实施例中，可将预先录入的人脸三维模型按照S206中计算得出的所述人脸的偏转角度进行旋转，得到的旋转后的三维人脸模型。
[0043] S210：投影到二维空间，得到近红外图像和深度图像。
[0044] 具体地，可将得到的旋转后的三维人脸模型进行平面投影，得到录入的人脸的ir图像，同时得到图像中每个点的深度信息，即录入的人脸的深度图像。
[0045] S211：录入模型的人脸关键点定位。
[0046] 具体地，可对所述录入的人脸的近红外图像中的关键点进行定位，得到至少包括嘴角、鼻尖、眼睛中心、人脸轮廓等多个关键点的位置坐标，这里的定位的算法同现有技术，故在此不再赘述。
[0047] S212：对由录入模型得到的近红外图像和深度图像进行预处理。
[0048] 在本发明实施例中，可对由录入的人脸三维模型得到的对应的人脸的近红外图像和深度图像进行预处理，这里的预处理的方法同S105中的预处理步骤，故在此不再赘述。
[0049] S213：录入人脸特征提取。
[0050] 在本发明实施例中，可将经过预处理后（即归一化后）的所述录入的人脸的近红外图像和归一化后的深度图像按照通道合并，送入训练好的卷积神经网络中，由卷积神经网络的输出录入的人脸的第二多维度特征向量。
[0051] S214：计算相似度。
[0052] 在本发明实施例中，可计算所述第一多维度特征向量与第二多维度特征向量的相似度，若相似度大于设定的阈值，则可判断为同一人，即识别出了所述实际场景的待识别人脸，否则判断为不同人，进而可从人脸三维模型数据库中获取其它人脸三维模型，并重复执行S209—S214的步骤。相似度的计算方法同现有技术，故在此不再赘述。
[0053] 在图1或图2提供的三维人脸识别方法中，三维录入、二维识别的方案（即录入过程采用三维方式，识别时将三维模型投影成二维图像），可避免通过三维卷积神经网络抽取特征，进而提升三维识别效率，同时能够有效识别不同偏转角度的人脸，且具备防范照片、视频等非活体人脸的能力。再者，本发明实施例提出的近红外和深度图像预处理的方式，能够剔除背景，从而减少背景对人脸识别精度的影响。此外，本发明实施例在识别过程中使用了近红外图像和深度信息，这两类信息对光照均不敏感，因此本发明受光线影响很小。
[0054] 请参阅图3，图3是本发明实施例提供的一种三维人脸识别装置的结构框图。如图3所示，本实施例的三维人脸识别装置3包括获取模块31、第一特征提取模块32、偏转计算单元33、旋转投影模块34、第二特征提取模块35和识别模块36。获取模块31、第一特征提取模块32、偏转计算单元33、旋转投影模块34、第二特征提取模块35和识别模块36分别用于执行图1中的S101、S102、S103、S104、S105和S106中的具体方法，详情可参见图1的相关介绍，在此仅作简单描述：获取模块31，用于获取实际场景的近红外图像和深度图像。
[0055] 第一特征提取模块32，用于对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量。
[0056] 偏转计算模块33，用于根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度α，β，γ；其中，α表示所述人脸的俯仰角度，β表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示所述人脸的左右偏转角度。
[0057] 旋转投影模块34，用于将预先录入的人脸三维模型按照所述人脸的偏转角度α，β，γ进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像。
[0058] 第二特征提取模块35，用于对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量。
[0059] 识别模块36，用于计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
[0060] 进一步地，可参见图4，第一特征提取模块32可具体包括定位单元321、预处理单元322和特征提取单元323：
定位单元321，用于对所述实际场景的近红外图像中的人脸中的关键点进行定位。
定位单元321，用于对所述实际场景的近红外图像中的人脸中的关键点进行定位。
[0061] 预处理单元322，用于根据所述关键点对所述近红外图像和深度图像进行预处理，得到归一化后的近红外图像和深度图像。
[0062] 特征提取单元323，用于将归一化后的近红外图像和归一化后的深度图像按照通道合并，送入训练好的卷积神经网络中，由所述卷积神经网络的输出所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量。
[0063] 进一步地，可参见图5，预处理单元322可具体包括填充子单元3221、深度范围计算子单元3222、深度归一子单元3223和近红外归一子单元3224：填充子单元3221，用于对所述实际场景的深度图像中缺失的深度信息使用插值方法填充完整，获得完整的深度图像。
[0064] 深度范围计算子单元3222，用于使用所述关键点的位置坐标，获取所述完整的深度图象上对应关键点的深度值，并计算这些深度值的最大值 和最小值 。
[0065] 深度归一子单元3223，用于将仅包含人脸区域的深度图像中所有深度值小于或者深度值大于 的点赋值为0，将仅包含人脸区域的深度图像中所有点的深度值归一化至[0,1]之间，得到归一化后的深度图像。
[0066] 近红外归一子单元3224，用于将所述近红外图像中所有深度值为0的像素点颜色设置为白色，并将设置后的近红外图像中所有像素值归一化到范围在[0,1]之间，得到归一化后的近红外图像。
[0067] 图3提供的三维人脸识别装置，可通过三维录入、二维识别的方案（即录入过程采用三维方式，识别时将三维模型投影成二维图像），有效识别不同偏转角度的人脸，同时可提升三维识别效率，且具备防范照片、视频等非活体人脸的能力。再者，该三维人脸识别装置提出的近红外和深度图像预处理的方式，能够剔除背景，从而减少背景对人脸识别精度的影响。此外，该三维人脸识别装置在识别过程中使用了近红外图像和深度信息，这两类信息对光照均不敏感，因此本发明受光线及应用场景的影响很小。
[0068] 图6是本发明一实施例提供的终端设备的示意图。如图6所示，该实施例的终端设备6包括：处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62，例如进行三维人脸识别方法的程序。所述处理器60执行所述计算机程序62时实现上述方法实施例中的步骤，例如，图1所示的S101至S106。或者，所述处理器60执行所述计算机程序62时实现上述各系统实施例中各模块/单元的功能，例如图3所示模块31至36的功能。
[0069] 示例性的，所述计算机程序62可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器61中，并由所述处理器60执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序62在终端设备6中的执行过程。例如，所述计算机程序62可以被分割成获取模块31、第一特征提取模块32、偏转计算单元33、旋转投影模块34、第二特征提取模块35和识别模块36。（虚拟系统中的模块），各模块具体功能如下：
获取模块31，用于获取实际场景的近红外图像和深度图像。
获取模块31，用于获取实际场景的近红外图像和深度图像。
[0070] 第一特征提取模块32，用于对所述近红外图像和深度图像进行归一化处理，并将归一化后的近红外图像和归一化后的深度图像送入训练好的卷积神经网络中，得到所述实际场景的近红外图像和深度图像中的人脸的第一多维度特征向量。
[0071] 偏转计算模块33，用于根据所述近红外图像中的人脸的关键点的位置坐标及深度值，计算所述人脸的偏转角度α，β，γ；其中，α表示所述人脸的俯仰角度，β表示人脸左右摆动角度，即所述人脸的双眼中心点与鼻尖点连线偏离竖直方向的角度，γ表示所述人脸的左右偏转角度。
[0072] 旋转投影模块34，用于将预先录入的人脸三维模型按照所述人脸的偏转角度进行旋转，并将旋转后的人脸三维模型进行平面投影，得到录入的人脸的近红外图像以及深度图像。
[0073] 第二特征提取模块35，用于对录入的人脸的深度图像和近红外图像进行归一化处理，并将归一化后的录入的人脸的深度图像和近红外图像合并送入训练好的卷积神经网络中，得到录入的人脸的第二多维度特征向量。
[0074] 识别模块36，用于计算所述第一多维度特征向量与第二多维度特征向量的相似度，并根据相似度进行人脸识别。
[0075] 所述终端设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。终端设备6可包括，但不仅限于，处理器60、存储器61。本领域技术人员可以理解，图6仅仅是终端设备6的示例，并不构成对终端设备6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
[0076] 所述处理器60可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0077] 所述存储器61可以是终端设备6的内部存储单元，例如终端设备6的硬盘或内存。所述存储器61也可以是终端设备6的外部存储设备，例如所述终端设备6上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器61还可以既包括终端设备6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及终端设备6所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
[0078] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、子单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、子单元、模块完成，即将所述系统的内部结构划分成不同的功能单元、子单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、子单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元或子单元等既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、子单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、子单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0079] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0080] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0081] 在本发明所提供的实施例中，应该理解到，所揭露的系统/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统/终端设备实施例仅仅是示意性的，例如，所述模块、单元或子单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0082] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0083] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0084] 所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0085] 以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于人脸三维重建的改进PCA算法 | 2020-05-11 | 146 |
| 一种基于3D打印技术精准修复遗体面部残缺的方法 | 2020-05-14 | 586 |
| 定制人脸混合表情模型自动生成方法及装置 | 2020-05-18 | 483 |
| 一种高压氧舱人脸识别交互方法及系统 | 2020-05-15 | 388 |
| 一种基于面部运动单元的三维非真实感表情生成方法 | 2020-05-11 | 951 |
| 一种实时人脸表情重建方法 | 2020-05-15 | 723 |
| 基于切片数据对称性分析的三维缺损颜面模型重建方法 | 2020-05-16 | 975 |
| 一种基于神经网络的端到端的三维人脸重建方法 | 2020-05-20 | 441 |
| 基于多列多尺度图卷积神经网络的3D人脸生成方法 | 2020-05-16 | 685 |
| 一种基于核磁共振数据的三维形变模型生成方法、系统及电子设备 | 2020-05-08 | 124 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈