技术领域
[0001] 本
发明提供了一种基于角膜反射和光学编码的
人脸活体检测方法及系统，属于抵抗
人脸识别攻击的安全技术领域，具体涉及到角膜图像的处理和分析。
背景技术
[0002] 随着
人工智能技术的发展，人脸识别技术也越来越先进。这种技术已经发展的非常成熟和实用，已经广泛的被应用于各个领域。比如公共安全领域，公安系统通过分析
银行大厅、会场等公共场所的监控摄像的人脸图像，快速识别人脸，甄别和确定犯罪嫌疑人。在海关、港口、博物馆和机要部
门等入口处通过人脸识别查验持证人身份是否吻合。比如在金融安全领域，通过人脸识别的方式验证用户身份，避免单纯的密码丢失或者被盗而引起财产的损失。比如在企业应用领域，通过人脸识别的方式方便快捷的考勤，杜绝代考勤的问题。比如在医疗教育方面，通过人脸识别技术进行在线挂号，通过人脸识别验证考生身份，杜绝代考现象等。在人脸识别领域也已经诞生出了像商汤科技、旷世这些大公司。然而，针对人脸识别的攻击也越来越多，并且有些还成功的欺骗了现有的人脸识别系统。比如2017年底一家叫Bkav的越南安全公司，他们用3D打印出的人脸面具，轻松骗过了苹果的人脸识别系统Face ID，成功解
锁了iPhone X。又比如三星公司生产的Galaxy S8，用户只需一张高清的照片即可成功欺骗其人脸识别系统，完成解锁。目前针对人脸识别的攻击方式主要由以下三种类型：
[0003] (一)图片攻击。现如今，社交媒体非常流行，很多人都会在上面分享个人的生活照片，其中不乏很多高清的个人照。这些照片有可能会被攻击者下载下来，然后打印出高清照片或者用显示器显示的方式，对人脸识别系统进行攻击，假冒被攻击者的身份进入系统获取某些权限利益或者做一些恶意行为。
[0004] (二)视频重播攻击。有些人脸识别系统为了对抗图片攻击，要求用户在进行身份认证时，进行摇头、张嘴、眨眼等动作，以确定认证系统前面的用户是一个真人，而不是照片。视频重播攻击，会根据人脸识别系统的要求，用真实用户的头像伪造一段符合要求动作的视频。在攻击时，将该视频在人脸识别系统前进行重播，以实现欺骗系统的目的。
[0005] (三)3D头套攻击。有些人脸识别系统，会对用户的脸部进行3D扫描，以获得关于人脸的3D信息，从而对抗照片攻击和视频重播攻击。3D头套攻击中，攻击者从真实用户的社交媒体上获得到高清的个人照片，并根据照片打印出真实用户的高清3D头套，对人脸识别系统进行欺骗，以使验证通过。
[0006] 为了对抗这些攻击，目前有一种流行的有效手段，就是活体检测。活体检测，就是检测人脸识别系统前的验证物体，是否为活体。如果不为活体，则认为是一种攻击。通过这种甄别方式，就能有效的抵抗这些伪装攻击，提高人脸识别系统的安全性。目前流行的活体检测方法一般通过要求用户摇头、眨眼以及动嘴唇的方式，来确认人脸识别系统前的验证物体是活物。但是，这种方法不能对抗视频重播攻击，验证时间长，且对用户不友好。
[0007] 角膜是人眼中
覆盖在瞳孔和虹膜上方的一层透明的物质，具有很强的折光能
力，这是活体真人区别于照片、视频的一个重要特征。通过分析角膜能否反射眼前的图像，就能判断人脸识别系统前的物体是否为活体。目前角膜反射被广泛应用在
图像识别、计算机图形图像、
人机交互、医学诊断等领域，特别是在视线
跟踪这个方面。但是，由于角膜反射图像的尺寸是很小的，对于提取图像信息有很大的难度。
现有技术难以解决角膜反射信息的有效提取，基于角膜反射进行人脸活体检测难以实现、效果不佳。
发明内容
[0008] 为了克服上述现有技术的不足，本发明提供一种基于角膜反射和光学编码的人脸活体检测方法，提出光学编码的方式，通过将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化情况。由于角膜亮和暗的状态相比角膜中具体细微的图像信息内容而言更容易提取得到，从而解决角膜反射信息难以提取的问题。该方法只需要提取角膜图像的亮暗信息，对于摄像机
像素以及后期的
图像处理和分析的要求都非常低，容易实现，且经济有效。
[0009] 本发明通过手机显示屏或者指示灯等之类的显示设备，以光的亮暗变化的方式发射出某些特定的随机密码信息(比如亮代表信息1，暗代表信息0)，呈现在人脸面前，同时摄像头以视频的形式拍摄录制人脸视频。摄像头将录制到的人脸视频，提交后台程序处理。后台程序对视频按时间戳的顺序，将视频分解为
帧，并对每帧照片中的角膜部分图像进行提取和分析，得到角膜亮暗变化的规律，从而得到随机密码信息。将该密码信息与显示屏或指示灯发射的密码信息进行比对，如果一致则认为验活成功。如图1所示。
[0010] 本发明提供的技术方案是：
[0011] 一种基于角膜反射和光学编码的人脸活体检测方法，光学编码的方式通过将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化；通过提取角膜图像的亮暗信息得到角膜反射信息，再通过信息比对实现人脸活体检测；进行人脸识别包括如下步骤：
[0012] 1)视频录制及随机密码生成：获取人脸视频，生成随机密码，记录密码信息显示开始时间、密码信息显示结束时间：
[0013] 11)摄像头正对着脸并保持一个适当的距离，眼睛保持睁开状态。同时将显示器或者指示灯之类的密码显示设备，放置在与摄像头的一侧方向，并能被眼睛所轻易看到；
[0014] 12)在密码显示设备发送密码信息之前，摄像头开启，并以视频录像的形式录制人脸视频。
[0015] 13)本发明中，密码信息为二进制，每一位二进制的密码信息通过光学编码的方式采用光的亮或暗来表示；密码显示设备随机生成一串二进制密码，并根据亮代表1，暗代表0，对显示器屏幕或指示灯按照密码信息进行亮暗变化，并记录密码显示设备进行密码信息显示的开始时间Ts。
[0016] 14)在密码信息变化结束、密码信息显示完成后，密码显示设备记录结束时间Te，然后摄像头关闭录像。并把视频内容和开始时间、结束时间传输到后台进行处理。
[0017] 后台处理包括视频取帧、人眼图像提取、角膜图像提取和随机密码分析；
[0018] 2)视频取帧：将视频从开始时间到结束时间之间的内容截取出来，并将视频分解提取出图像帧(
视频帧)；
[0019] 具体实施时，为了让提取出来的视频帧能反应出真实的密码信息，要求摄像头的视频帧率必须固定，且为密码信息变化
频率的1倍以上。比如随机密码信息1秒变化10次(比如0101010101)，那么视频帧率必须在10帧每秒以上。
[0020] 3)然后进行人眼图像提取：通过
深度学习算法定位到人脸的眼睛部位，对其进行图像提取，并进行闭眼检测。如果发现有闭眼情况，则返回步骤1)重新开始获取人脸视频；否则继续往下执行。
[0021] 人眼图像提取是对得到的视频帧再做进一步的处理，具体实施时，使用基于Python的开源人脸识别库——face_recognition的
接口对眼睛部分图像进行定位和提取，然后使用闭眼特征图像模板对提取出的人眼图像进行闭眼检测判断；
[0022] 4)角膜图像提取：对步骤3)中的人眼图像进行图形定位到角膜部分，并将每个图像帧/视频帧中的角膜部分用图像处理算法抠出来，得到角膜图像。
[0023] 具体通过深度学习算法定位到视频帧的角膜部分，并通过图像处理的算法将角膜部分图像单独抠出来，以便进一步进行密码分析。
[0024] 具体地，使用python的图像处理库pillow，对人眼图像进行裁剪。因为角膜图像处于人眼图像的中央
位置，只需根据图像中心的坐标位置以及选取一个适当小的半径，再调用pillow图像处理库的接口，对人眼图像进行裁剪，即可得到人眼中央部分的角膜图像。
[0025] 5)随机密码分析：对角膜图像进行二值化处理，将所有角膜图像都变成只有0和1的二维数组。二值化之后的图像，其数组如果全为0，则表示角膜是暗的，代表了密码信息0；如果其数组存在1的数值，则表示角膜是亮的，代表摩玛信息1。根据这样的处理方式，最后得到所有角膜图像代表的密码信息，将其与步骤1)生成的随机密码进行比对，如果一致，则表示验活成功。具体地，随机密码分析包括如下操作：
[0026] 51)对步骤4)抠出来得到的角膜图像进行二值化处理，每帧角膜图像都得到一个二维数组。通过分析二维数组，得到角膜图像代表的密码信息。
[0027] 每一帧图像代表一位密码信息，分析出每一帧图像表示的密码信息，组合起来即得到整个密码序列；
[0028] 52)将所有图像帧所代表的密码信息位按照时间顺序排列，得到最终的二进制密码信息，代表所有角膜图像的密码信息。
[0029] 53)将最终的二进制密码信息与步骤13)中密码显示设备存的随机密码信息进行比对，如果一致则认为验活成功，否则认为验活失败。最后，返回验活结果。
[0030] 通过上述方法，可以在摄像机像素较低的情况下，以一种非常经济而且有效的方式完成人脸识别的验活任务，其显示的密码信息空间可以非常大(比如10位二进制密码信息，其空间大小为1024)，具有很高的安全性，可以较好的对抗人脸识别的一般攻击。
[0031] 本发明还提供一种基于角膜反射和光学编码的人脸验活系统，主要包括以下五大模
块：随机密码生成及视频录
制模块、视频取帧模块、人眼图像提取模块、角膜图像提取模块、随机密码信息分析模块。
[0032] 一、视频录制及随机密码生成模块：该模块会提前将摄像头打开，并对人脸进行视频录制。然后随机生成一串二进制数字作为密码信息，比如10位的二进制数字0101010101。再根据亮代表1，暗代表0的规律，在显示器或者指示灯之类的设备上按照密码信息进行亮暗变化，并记录开始时间Ts。在密码信息变化结束后，把摄像头关闭，并记录结束时间Te。该模块会把录制视频以及开始时间Ts、结束时间Te一起传递给视频取帧模块。
[0033] 二、视频取帧模块：该模块从录制视频中截取出开始时间Ts到结束时间Te之间的视频内容，并将视频内容按视频帧的方式提取出来。为了让提取出来的视频帧能反映出真实的密码信息，要求摄像头的视频帧率必须固定，且为密码信息变化频率的1倍以上。比如随机密码信息1秒变化10次(比如0101010101)，那么视频帧率必须在10帧每秒以上。
[0034] 三、人眼图像提取模块：该模块对视频取帧模块处理得到的视频帧再做进一步的处理，首先从每一帧的图像中通过深度学习算法定位到眼睛部分，如果发现有闭眼的情况，则返回到随机密码生成和视频录制模块，重新开始；否则就继续执行。
[0035] 四、角膜图像提取模块：该模块通过深度学习算法定位到视频帧的角膜部分，并通过图像处理的算法将角膜部分图像单独抠出来，以便随机密码分析模块进一步分析。
[0036] 五、随机密码分析模块：该模块对角膜图像进行二值化处理，将所有角膜图像都变成只有0和1的二维数组。二值化之后的图像，其数组如果全为0，则表示角膜是暗的，代表了密码信息0；如果其数组存在1的数值，则表示角膜是亮的，代表摩玛信息1。如图2所示。根据这样的处理方式，最后得到所有角膜图像代表的密码信息，将其与随机密码生成及视频录制模块生成的随机密码进行比对，如果一致，则表示验活成功。
[0037] 与现有技术相比，本发明的有益效果是：
[0038] 本发明提供一种基于角膜反射和光学编码的人脸活体检测方法，提出光学编码的方式，通过将每一位二进制的密码信息用光的亮或暗来表示，并使角膜反射该亮暗变化情况。由于角膜亮和暗的状态相比角膜中具体细微的图像信息内容而言更容易提取得到，从而解决角膜反射信息难以提取的问题。该方法只需要提取角膜图像的亮暗信息，对于摄像机像素以及后期的图像处理和分析的要求都非常低，容易实现，且经济有效。
[0039] 本发明可以在摄像机像素较低的情况下，以一种非常经济而且有效的方式完成人脸识别的验活任务，其显示的密码信息空间可以非常大(比如10位二进制密码信息，其空间大小为1024)，具有很高的安全性，可以有效地对抗人脸识别的一般攻击。
附图说明
[0040] 图1是本发明
实施例采用手机拍摄人眼的过程示意图；
[0041] 其中，1表示摄像头，2表示显示器，3表示人眼，4表示摄像头拍摄到的人眼中显示器的信息。
[0042] 图2是本发明具体实施中角膜图像二维数组在二值化处理后的示例；
[0043] 其中，左边是密码信息为0时的二维数组；右边是密码信息1时的其中一种二维数组形式。
具体实施方式
[0045] 下面结合附图，通过实施例进一步描述本发明，但不以任何方式限制本发明的范围。
[0046] 本发明提供一种基于角膜反射和光学编码的人脸活体检测方法。
[0047] 图1是本发明实施例采用手机拍摄人眼的过程示意图；其中，1表示摄像头；2表示显示器；3表示人眼；4表示摄像头拍摄到的人眼中显示器的信息，当摄像内容显示人眼中的手机屏幕显示为亮状态时代表密码信息为1，显示为暗状态时代表密码信息为0。
[0048] 图3所示是本发明提供方法的流程。本发明的具体实施方式如下：
[0049] 1)使用者使用人脸识别设备进行人脸识别，摄像头正对着脸并保持一个适当的距离，眼睛保持睁开状态。同时将显示器或者指示灯之类的密码显示设备，放置在与摄像头的一侧方向，并能被眼睛所轻易看到；
[0050] 人脸识别设备可以包括手机、平板、笔记本以及人脸识别
打卡机等。
[0051] 2)在密码显示设备发送密码信息之前，摄像头开启，并以视频录像的形式录制人脸视频。
[0052] 3)密码显示设备随机生成一串二进制密码，并根据亮代表1，暗代表0的规律，对屏幕或指示灯进行亮暗变化，并记录开始时间Ts。
[0053] 4)在密码信息显示完成后，密码显示设备记录结束时间，然后摄像头关闭录像。并把视频内容和开始时间、结束时间传输到后台处理程序。
[0054] 5)后台处理程序将视频从开始时间到结束时间之间的内容截取出来，并将视频分解提取出图像帧，然后定位到眼睛部分并进行检测。如果发现有闭眼情况，则返回第1步重新开始。否则就继续往下执行。
[0055] 6)后台程序对图形定位到角膜部分，并将每个图像帧中的角膜部分用图像处理算法抠出来。
[0056] 7)后台程序对角膜图像进行二值化处理，每帧角膜图像都得到一个二维数组。通过分析二维数组的情况，得到角膜图像代表的密码信息。最后将所有图像帧所代表的密码信息位按照时间顺序排列，就得到最终的二进制密码信息。将其与密码显示设备生存的随机密码信息进行比对，如果一致则认为验活成功，否则认为验活失败。最后，返回验活结果。
[0057] 具体地，每一帧角膜图像代表一位密码信息。分析代表的密码信息时，对角膜图像的二维数组进行二值化。其中，二值化过程是将原二维数组中元素数值大于90(90为经验值)的元素置为1，元素数值小于90的置为0。二值化后，数组里的元素只有0和1。如果其数组里的元素如果全为0，则表示角膜是暗的，代表了密码信息0；如果其数组的元素存在1的数值，则表示角膜是亮的，代表密码信息1。
[0058] 密码信息为0时，二维数组为：
[0059] [[0 0 0 0 0 0 0 0 0 0 0 0]
[0060] [0 0 0 0 0 0 0 0 0 0 0 0]
[0061] [0 0 0 0 0 0 0 0 0 0 0 0]
[0062] [0 0 0 0 0 0 0 0 0 0 0 0]
[0063] [0 0 0 0 0 0 0 0 0 0 0 0]
[0064] [0 0 0 0 0 0 0 0 0 0 0 0]
[0065] [0 0 0 0 0 0 0 0 0 0 0 0]
[0066] [0 0 0 0 0 0 0 0 0 0 0 0]
[0067] [0 0 0 0 0 0 0 0 0 0 0 0]
[0068] [0 0 0 0 0 0 0 0 0 0 0 0]
[0069] [0 0 0 0 0 0 0 0 0 0 0 0]
[0070] [0 0 0 0 0 0 0 0 0 0 0 0]
[0071] [0 0 0 0 0 0 0 0 0 0 0 0]
[0072] [0 0 0 0 0 0 0 0 0 0 0 0]
[0073] [0 0 0 0 0 0 0 0 0 0 0 0]
[0074] [0 0 0 0 0 0 0 0 0 0 0 0]
[0075] [0 0 0 0 0 0 0 0 0 0 0 0]
[0076] [0 0 0 0 0 0 0 0 0 0 0 0]
[0077] [0 0 0 0 0 0 0 0 0 0 0 0]]
[0078] 密码信息为1时，二维数组有多种情况，例如，可以是下面所示的数组：
[0079] [[0 0 0 0 0 0 0 0 0 0 0 0]
[0080] [0 0 0 0 0 0 0 0 0 0 0 0]
[0081] [0 0 0 0 0 0 0 0 0 0 0 0]
[0082] [0 0 0 0 0 0 0 0 0 0 0 0]
[0083] [0 0 0 0 0 0 0 0 0 0 0 0]
[0084] [0 0 0 0 0 0 0 0 0 0 0 0]
[0085] [0 0 0 0 0 1 1 1 0 0 0 0]
[0086] [0 0 0 0 0 1 1 1 0 0 0 0]
[0087] [0 0 0 0 0 1 1 1 0 0 0 0]
[0088] [0 0 0 0 0 0 0 0 0 0 0 0]
[0089] [0 0 0 0 0 0 0 0 0 0 0 0]
[0090] [0 0 0 0 0 0 0 0 0 0 0 0]
[0091] [0 0 0 0 0 0 0 0 0 0 0 0]
[0092] [0 0 0 0 0 0 0 0 0 0 0 0]
[0093] [0 0 0 0 0 0 0 0 0 0 0 0]
[0094] [0 0 0 0 0 0 0 0 0 0 0 0]
[0095] [0 0 0 0 0 0 0 0 0 0 0 0]
[0096] [0 0 0 0 0 0 0 0 0 0 0 0]
[0097] [0 0 0 0 0 0 0 0 0 0 0 0]]
[0098] 通过上述方法，可以在摄像机像素较低的情况下，以一种非常经济而且有效的方式完成人脸识别的验活任务，其显示的密码信息空间可以非常大(比如10位二进制密码信息，其空间大小为1024)，具有很高的安全性，可以较好的对抗人脸识别的一般攻击。
[0099] 本发明具体实施时，基于上述基于角膜反射和光学编码的人脸验活方法实现了基于角膜反射和光学编码的人脸验活方法系统，主要包括以下五大模块：随机密码生成及视频录制模块、视频取帧模块、人眼图像提取模块、角膜图像提取模块、随机密码信息分析模块。
[0100] 一、视频录制及随机密码生成模块：该模块会提前将摄像头打开，并对人脸进行视频录制。然后随机生成一串二进制数字作为密码信息，比如10位的二进制数字0101010101。再根据亮代表1，暗代表0的规律，在显示器或者指示灯之类的设备上按照密码信息进行亮暗变化，并记录开始时间Ts。在密码信息变化结束后，把摄像头关闭，并记录结束时间Te。该模块会把录制视频以及开始时间Ts、结束时间Te一起传递给视频取帧模块。
[0101] 二、视频取帧模块：该模块从录制视频中截取出开始时间Ts到结束时间Te之间的视频内容，并将视频内容按视频帧的方式提取出来。为了让提取出来的视频帧能反应出真实的密码信息，要求摄像头的视频帧率必须固定，且为密码信息变化频率的1倍以上。比如随机密码信息1秒变化10次(比如0101010101)，那么视频帧率必须在10帧每秒以上。
[0102] 三、人眼图像提取模块：该模块对视频取帧模块处理得到的视频帧再做进一步的处理，首先从每一帧的图像中通过深度学习算法定位到眼睛部分，如果发现有闭眼的情况，则返回到随机密码生成和视频录制模块，重新开始；否则就继续执行。
[0103] 四、角膜图像提取模块：该模块通过深度学习算法定位到视频帧的角膜部分，并通过图像处理的算法将角膜部分图像单独抠出来，以便随机密码分析模块进一步分析。
[0104] 五、随机密码分析模块：该模块对角膜图像进行二值化处理，将所有角膜图像都变成只有0和1的二维数组。二值化之后的图像，其数组如果全为0，则表示角膜是暗的，代表了密码信息0；如果其数组存在1的数值，则表示角膜是亮的，代表摩玛信息1，如图2所示，左边是密码信息为0时的二维数组；右边是密码信息1时的其中一种二维数组形式。。根据这样的处理方式，最后得到所有角膜图像代表的密码信息，将其与随机密码生成及视频录制模块生成的随机密码进行比对，如果一致，则表示验活成功。
[0105] 需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附
权利要求的精神和范围内，各种替换和
修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。
