[0001] 技术邻域
[0002] 本
发明属于虹膜检测邻域，特别地涉及一种人眼虹膜检测方法和装置。
背景技术
[0003] 在
人脸识别任务中，人脸关键点检测任务是十分重要的一项分支。人脸关键点检测任务是指对于给定的人脸图像，
定位出人脸面部的关键区域
位置，通常指眼睛，鼻子，嘴巴，脸部轮廓等，人脸关键点检测是人脸识别任务中的一项重要环节，获取精准的人脸关键点位置，是人脸
姿态识别，表情识别，人脸美颜，疲劳识别等任务的前提。
[0004] 传统的虹膜检测
算法以Daugman算法为代表，该算法由Daugman博士于1993年在文献中提出的，算法在定位虹膜时使用了从粗到精的策略最后达到单
像素的
精度，并估计出虹膜和虹膜的中心以及半径。
[0005] Daugman算法虽然有较好的结果，但它对
迭代起点的依赖很高，如迭代起点选取不合适，迭代的过程就会难以收敛，输出结果也会随之变差；传统的Daugman算法一般会以基于传统
图像处理的方法来确定迭代的起点，但这些方法鲁棒性普遍较差，对低
质量图像，如姿态变换大的人脸，有阴影的人脸等，难以保证精确的结果。
发明内容
[0006] 鉴于此，本发明
实施例提供了一种人眼虹膜检测方法和装置，以解决
现有技术中存在的对迭代起点过度依赖的问题。
[0007] 本发明实施例的一个方面，提供了一种人眼虹膜检测方法，包括，接收人脸数据集，训练关键点定位神经网络；使用关键点定位神经网络进行人脸关键点的粗定位，获取相应的人脸关键点，根据得到的人脸关键点，选取人眼区域关键点；根据人眼区域关键点计算虹膜未被眼皮遮挡的
角度大小以及人眼虹膜外边界半径大小上界；根据虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，对所述人眼区域关键点进行迭代优化，实现关键点的精定位以及虹膜外边界的精定位。
[0008] 本发明实施例的另一个方面，提供了一种人眼虹膜检测装置，包括训练神经网络模
块，用于接收人脸数据集，训练关键点定位神经网络；关键点检测模块，用于使用关键点定位神经网络进行人脸关键点的粗定位，获取相应的人脸关键点，根据得到的人脸关键点，选取人眼区域关键点；参数估计模块，用于根据人眼区域关键点计算虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上；虹膜精确定位模块，用于根据虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，对所述人眼区域关键点进行迭代优化，实现关键点的精定位以及虹膜外边界的精定位。
[0009] 采用上述任一技术方案，本发明实施例的有益效果是：
[0010] 以关键点定位神经网络为检测第一步，提高了虹膜中心点的检测精度。
[0011] Daugman算法的
缺陷在于需要一个事先确定好的
置信度较高的圆心位置，作为初始迭代的起点，而关键点定位神经网络能够提供高精度的人眼中心位置，Daugman的缺陷得到有效解决。
[0012] 本发明能够高效定位人眼虹膜的中心位置和虹膜半径，精确性和鲁棒性较高，并且能达到实时处理的效率。
附图说明
[0013] 此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0014] 图1是根据本发明实施例的一种人眼虹膜检测方法的
流程图；
[0015] 图2为根据本发明的一种可选的68点关键点示例；
[0016] 图3为根据本发明的一种可选的左眼关键点分布图；
[0017] 图4为根据本发明的一种可选的待检测人脸图像；
[0018] 图5为根据本发明的对应图4的关键点定位神经网络检测的人眼区域结果；
[0019] 图6为根据本发明的对应图5的通过改进Daugman算法迭代后的结果；
[0020] 图7为根据本发明实施例的一种人眼虹膜检测装置的结构示意图。
具体实施方式
[0021] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应该理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0022] 相反，本发明涵盖任何由
权利要求定义的在本发明的精髓和范围上做的替代、
修改、等效方法以及方案。进一步，为了使公众对本发明有更好的了解，在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。
[0023] 实施例1
[0024] 图1是根据本发明实施例1的一种人眼虹膜检测方法的流程图，如图1所示，该方法包括以下步骤：
[0025] 步骤S101，接收人脸数据集，训练关键点定位神经网络。
[0026] 具体的，在上述步骤中，可以采用包含人脸图像、人脸关键点坐标、人脸类别标签、人脸姿态角的四元组数据来训练网络，关键点定位神经网络可以采用以Hourglass为Backbone的
卷积神经网络。
[0027] 步骤S102，使用关键点定位神经网络进行人脸关键点的粗定位，获取相应的人脸关键点，根据得到的人脸关键点，选取人眼区域关键点。
[0028] 具体的，在使用关键点定位神经网络进行人脸关键点的粗定位前，应对输入的人脸图像进行归一化处理，归一化处理应使用训练时归一化使用的均值和方差。
[0029] 步骤S103，根据人眼区域关键点计算虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界。
[0030] 具体的，实际的虹膜会被上下眼睑
覆盖，并不能以一个完整的圆的形式呈现，因此对其进行检测时候应考虑未被遮挡的虹膜的角度范围，可由人眼区域的上下眼检关键点以及虹膜中心关键点，由反三角函数计算虹膜未被眼皮遮挡的角度大小；此外，由人眼区域的左右眼角关键点，计算人眼虹膜外边界半径大小上界，该值取左右眼角间距的一半，该值将被利用在后续的迭代中。
[0031] 步骤S104，根据虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，对所述人眼区域关键点进行迭代优化，实现关键点的精定位以及虹膜外边界的精定位。
[0032] 具体的，执行此步骤时，应对待检测的人脸图像进行灰度化处理；再进一步，根据人眼区域关键点截取人眼区域灰度图像进行处理；虹膜的初始圆心参数由关键点定位神经网络得到，虹膜外边界的半径范围不会超过人眼虹膜半径大小的上界，在候选区域，利用改进后的Daugman算法寻找最佳的虹膜圆心位置和外边界半径大小作为最终的结果。
[0033] 本
申请上述步骤通过接收人脸数据集，训练关键点定位神经网络；使用关键点定位神经网络进行人脸关键点的粗定位，获取相应的人脸关键点，根据得到的人脸关键点，选取人眼区域关键点；根据人眼区域关键点计算虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界；根据虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，对所述人眼区域关键点进行迭代优化，实现关键点的精定位以及虹膜外边界的精定位。
[0034] 上述方案首先建立以关键点和人脸图像为核心的数据集，基于神经网络技术建立关键点定位神经网络，构建以人脸关键点真实坐标与预测坐标之间相似性距离度量为核心的损失函数；搭建关键点定位神经网络，采用迁移学习的方法，将主干网络的权重设置为公开数据集上训练的结果，非主干网络权重采用随机初始化的方法来定义，训练时使用反向传播算法；使用时，对输入的人脸图像进行归一化处理，将处理完的人脸图像送入训练好的关键点定位神经网络中，得到人脸关键点，对得到的一组关键点位置，进行筛选，选取人眼区域关键点；由人眼区域关键点计算虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界；根据人眼区域关键点位置截取人眼区域灰度图像，对所述人眼区域关键点进行改进后的Daugman迭代，实现关键点的精定位和虹膜外边界的精定位。本方法以关键点定位神经网络为检测第一步，提高了虹膜中心点的检测精度，并且解决了Daugman算法对初始迭代起点质量的依赖，能够有效地对人脸图像中的虹膜进行检测。
[0035] 可选的，根据本申请上述实施例，基于人脸数据集训练关键点定位神经网络，包括：
[0036] 步骤S1011，建立以关键点和人脸图像为核心的数据集。
[0037] 具体的，建立起包含人脸图像、人脸关键点坐标、人脸类别标签、人脸姿态角的四元组数据，这样的数据集对训练网络更有效。
[0038] 步骤S1012，基于神经网络技术建立关键点定位神经网络。
[0039] 具体的，作为一个实施例，可选以Hourglass网络为Backbone的卷积神经网络。
[0040] 步骤S1013，采用以人脸关键点真实坐标与预测坐标之间相似性距离度量为核心的损失函数训练人脸关键点检测模型。
[0041] 具体的，可参考Focus Loss的形式，使得人脸姿态角度大，类别标签稀少的数据，在训练中对损失函数的影响更大。
[0042] 可选的，根据本申请上述实施例，建立以关键点和人脸图像为核心的数据集，包括：
[0043] 步骤S10111，采集人脸图像。
[0044] 具体的，一个可选的实施例，采集
分辨率在128*128-512*512的彩色人脸图像，这批人脸图像应针对具体的使用环境，并尽可能多地采集到丰富的人脸：包含但不局限于不同的肤色，不同的人脸姿态，不同的人脸表情，不同的人脸脸型等。
[0045] 步骤S10112，进行人脸关键点的标注，标注格式为关键点的横向、纵向坐标值。
[0046] 具体的，一个可选的实施例，可按68点人脸关键点图示标注人脸，如图2根据本发明的一种可选的68点关键点示例所示，标注人脸中的68点关键点，并且增加两关键点：左右眼虹膜中心，标注完后，人眼区域关键点如图3根据本发明的一种可选的左眼关键点分布图所示(以左眼为例，右眼也相同)，Q1为虹膜中心点，Q2，Q3为两眼角，Q4，Q5为描述上睑轮廓的两点，位于虹膜两侧，Q6，Q7为描述下睑轮廓的两点，位于虹膜两侧。Q2～Q7的关键点标注以68点关键点标注为准，Q1的标注点为虹膜的圆心。
[0047] 步骤S10113，进行人脸类别标签的标注，标注格式为不同人脸类别的名称。
[0048] 具体的，一个可选的实施例，标注不同人脸类别的名称，如不同的肤色，不同的人脸姿态，不同的人脸表情，不同的人脸脸型，标注完成后，统计不同标签数据的比例，给不同标签的数据附以训练时候的权重，权重值为(0-1)，其中数据量少的类别，被赋予的权重应更大，数据量多的类别，被赋予的权重应更小，一个可选的实施例中，按某类别数据量占总数据量的比例来分配权重。
[0049] 步骤S10114，进行人脸姿态欧拉角的标注，标注格式为三个方向上的人脸姿态欧拉角。
[0050] 具体的，一个可选的实施例，对每一张人脸图像标注人脸姿态欧拉角(α，β，γ)，可使用姿态估计网络进行标注，也可在采集时完成标注。
[0051] 可选的，根据本申请上述实施例，基于神经网络技术建立关键点定位神经网络，包括：
[0052] 步骤S10121，搭建人脸关键点定位神经网络。
[0053] 具体的，作为一个实施例，可选用Hourglass网络为Backbone的卷积神经网络，采用输出关键点热图，选取其中最大值作为关键点位置的方式来确定关键点的位置。
[0054] 步骤S10122，采用迁移学习的方法，将主干网络的权重设置为公开数据集上训练的结果。
[0055] 具体的，作为一个实施例，可采用在WFLW公开数据集上训练的Backbone网络作为模型主干网络的权重初始值。
[0056] 步骤S10123，非主干网络权重采用随机初始化的方法来定义。
[0057] 具体的，作为一个实施例，非主干网络权重的初始化可以采用高斯随机初始化的方法来定义。
[0058] 可选的，根据本申请上述实施例，采用以人脸关键点真实坐标与预测坐标之间相似性距离度量为核心的损失函数训练关键点定位神经网络，包括：
[0059] 步骤S10131，设计以人脸关键点真实坐标与预测坐标之间相似性距离度量为核心的损失函数，并且损失函数的设计能够使不同标签、姿态的人脸对网络训练有不同的贡献。
[0060] 具体的，作为一个实施例，损失函数L可采用以下形式：
[0061]
[0062] 上述式(1)中，N表示
训练数据的总量， 表示Ci标签人脸对应的权重，参数θj，j＝1，2，3，表示人脸姿态欧拉角(αi，βi，γi)，||d||2表示某一个人脸关键点真实坐标与预测坐标之间差值的2-范数。
[0063] 步骤S10132，基于损失函数，采用反向传播算法训练关键点定位神经网络。
[0064] 具体的，作为一个实施例，实际训练时，批处理BatchSize设置为256，采用Adam优化方法进行反向传播的参数更新，权值衰减系数为1e-6，动量设置为0.9，迭代次数可选20k，学习率可选1e-5。
[0065] 可选的，根据本申请上述实施例，使用关键点定位神经网络进行人脸关键点的粗定位，获取相应的人脸关键点，根据得到的人脸关键点，选取人眼区域关键点，包括：
[0066] 步骤S1021，对输入的人脸图像进行归一化处理。
[0067] 具体的，作为一个实施例，图4为根据本发明的一种可选的待检测人脸图像，在训练网络时，会将人脸图像进行归一化处理，测试时，也应按相同的均值和方差来进行归一化，可选的基于ImgaeNet的均值和方差为：均值＝[0.485，0.456，0.406]，方差＝[0.229，0.224，0.225]
[0068] 步骤S1022，将处理完的人脸图像送入训练好的关键点定位神经网络中，得到人脸关键点。
[0069] 步骤S1023，对得到的一组关键点位置，进行筛选，选取人眼区域关键点。
[0070] 具体的，作为一个实施例，可以这样筛选人眼区域关键点，左眼部分：左眼虹膜中心坐标Q1(x1，y1)，左眼左右眼角坐标Q2(x2，y2)，Q3(x3，y3)，左眼上下眼皮坐标Q4(x4，y4)，Q5(x5，y5)，Q6(x6，y6)，Q7(x7，y7)，右眼部分：右眼虹膜中心坐标Q8(x8，y8)，右眼左右眼角坐标Q9(x9，y9)，Q10(x10，y10)，右眼上下眼皮坐标Q11(x11，y11)，Q12(x12，y12)，Q13(x13，y13)，Q14(x14，y14)。如图2根据本发明的一种可选的左眼关键点分布图所示(右眼也相同)，Q1为虹膜中心点，Q2，Q3为两眼角，Q4，Q5为描述上睑轮廓的两点，位于虹膜两侧，Q6，Q7为描述下睑轮廓的两点，位于虹膜两侧，图5为根据本发明的对应图4的关键点定位神经网络检测的人眼区域关键点。
[0071] 可选的，根据本申请上述实施例，由人眼区域关键点计算虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，包括：
[0072] 步骤S1031，由人眼区域的上下眼检关键点以及虹膜中心关键点，由反三角函数计算虹膜未被眼皮遮挡的角度大小。
[0073] 具体的，作为一个实施例，定义左右眼角开合度数分别为A1和A2，该度数表示虹膜未被眼皮遮挡的角度大小，由关键点Q1～Q7，结合简单几何关系可以估算出人眼左右眼角开合度数A1，A2(以A1为例，A2也相同)，如下式(2)所示：
[0074]
[0075] 步骤S1032，由人眼区域的左右眼角关键点，计算人眼虹膜外边界半径大小上界，该值取左右眼角间距的一半。
[0076] 具体的，作为一个实施例，定义人眼虹膜外边界半径大小上界S，即虹膜半径不可能超过S值。由关键点Q1～Q7，由简单几何关系可以估算出人眼虹膜外边界半径大小上界S(虹膜大小小于眼角宽度)，如式(3)所示：
[0077]
[0078] 可选的，根据本申请上述实施例，根据虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，对所述人眼区域关键点进行迭代优化，实现关键点的精定位以及虹膜外边界的精定位，包括：
[0079] 步骤S1041，步骤对待检测的人脸图像进行灰度化处理。
[0080] 具体的，作为一个实施例，可采用RGB三通道按0.299，0.587，0.114的比例相加来进行图像的灰度化。
[0081] 步骤S1042，根据人眼区域关键点截取人眼区域灰度图像。
[0082] 步骤S1043，对所述人眼区域关键点进行改进后的Daugman迭代。
[0083] 步骤S1044，实现关键点的精定位和虹膜外边界的精定位。
[0084] 可选的，根据本申请上述实施例，对所述人眼区域关键点进行改进后的Daugman迭代，包括：
[0085] 步骤S10431，以左眼为例(右眼也相同)，设Q1(n)为第n次迭代求得的人眼虹膜的圆心点，以关键点检测模型得到的人眼虹膜中心关键点为迭代的初始虹膜圆心点Q1(1)；设定第n次迭代步长为Tn，T1为初始步长；选取当前虹膜圆心点Q1(n)以及周围与Q1(n)相隔Tn个像素的8个位置。
[0086] 具体的，作为一个实施例，初始步长T1＝S′，S′为初始步长，由虹膜半径大小上界S向下取整决定。
[0087] 步骤S10432，分别以步骤S10431选取的9个点为圆心，计算它们不同半径下对应的像素值的灰度梯度值，记录下其中最大的灰度梯度值以及它对应的半径和圆心点。
[0088] 具体的，作为一个实施例，计算9个圆心点在不同半径下对应的像素值的灰度梯度值时，可采用下式(4)
[0089] max(r，x，y)|gθ，r| (4)
[0090] 上述式(4)中的θ角度被限制为 以及 |gθ，r|表示半径为r时，θ角度的扇形灰度梯度算子上的像素梯度和。
[0091] 步骤S10433，假设最大的灰度梯度值是由点P计算得到的，判断点P和当前圆心点Q1(n)是否为一个点，如果是同一个点，则将Q1(n)置为下一轮迭代的初始虹膜圆心点Q1(n+1)，记录下所对应的半径，并进行步骤步骤S10434；否则将当前虹膜圆心Q1(n)点替换为点P，重复步骤S10431-S10432。
[0092] 步骤S10434，缩短步长，缩短方式为：Tn+1＝p·Tn，0＜p＜1；在当前步长Tn变为小于0.5个像素时，停止迭代，当前求得的虹膜圆心点Q1(n)和所对应的虹膜外边界半径为最终虹膜圆心的位置及虹膜外边界半径；否则，重复步骤S10431-S10432。
[0093] 具体的，作为一个实施例，缩短步长的比率p可取0.5，图6为根据本发明的对应图5的通过改进Daugman算法迭代后的结果。
[0094] 实施例2
[0095] 本申请还提供了一种人眼虹膜检测装置，用于执行实施例1中的人眼虹膜检测方法，图7为根据本发明实施例的一种人眼虹膜检测装置的结构示意图，该装置包括：
[0096] 训练神经网络模块10，用于接收人脸数据集，训练关键点定位神经网络。
[0097] 关键点检测模块11，用于使用关键点定位神经网络进行人脸关键点的粗定位，获取相应的人脸关键点，根据得到的人脸关键点，选取人眼区域关键点。
[0098] 参数估计模块12，用于由人眼区域关键点计算虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界。
[0099] 虹膜精确定位模块13，用于根据虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，对所述人眼区域关键点进行迭代优化，实现关键点的精定位以及虹膜外边界的精定位。
[0100] 本申请上述装置通过接收人脸数据集，训练关键点定位神经网络，使用关键点定位神经网络进行人脸关键点的粗定位，获取相应的人脸关键点，根据得到的人脸关键点，选取人眼区域关键点，根据人眼区域关键点计算虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，根据虹膜未被眼皮遮挡的角度大小以及人眼虹膜外边界半径大小上界，对所述人眼区域关键点进行迭代优化，实现关键点的精定位以及虹膜外边界的精定位。
[0101] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0102] 在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0103] 在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些
接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0104] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0105] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用
硬件的形式实现，也可以采用
软件功能单元的形式实现。
[0106] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、
服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读
存储器(ROM，Read-Only Memory)、
随机存取存储器(RAM，Random Access Memory)、移动
硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0107] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
