技术领域
[0001] 本
发明涉及
生物识别技术领域，涉及针对生物识别中的对人体活体的判别问题的方法，尤其是一种基于皮下血流探测的人体生物活体检测方法。
背景技术
[0002] 随着科技的发展和近几年生物识别技术领域内一些技术的逐渐成熟，生物识别（认证）技术逐渐被广泛应用。该技术是指基于人体的一些生物特征，包括生理特征和行为特征来识别、判别个体身份的一种技术。目前该技术在应用方面主要依靠识别生理特征，通常包括
人脸识别、指（掌）纹识别、
虹膜识别等。生物特征的独特性早在唐代就已经被中国学者发现，近代西方学者对此也早有大量的研究。而真正将生物特征用于身份识别的系统出现于上世纪70年代早期。近年来，随着生物特征采集设备价格的下降和各种识别方法的日益成熟，生物识别（认证）技术逐渐融入了我们的日常生活中，在诸多领域，如系统登录、海关安检等领域有大量应用，例如我国已经启动了将公民指纹采集存储在二代身份证中的工作。
[0003] 生物识别有着有效性及便利性的优势，然而假冒攻击一直是生物识别系统的一个重大威胁。例如，对于人脸识别系统，攻击者可以使用人脸照片来进行身份仿冒；而指纹、掌纹识别系统也可能使用
硅胶或类似材质制作的胶模骗过系统。对此类的仿冒攻击，国外有很多学者进行过研究，也发表过一些文献资料，证明使用这些仿冒手段的确可以在一定程度上实现对系统的攻击。
[0004] 随着生物识别技术的应用愈加广泛，系统安全性问题日益凸显出来，越来越被研究人员广泛关注。其中，一种解决此问题的思路是，在获取人体生物样本的时候，同时要对生物样本进行活体检测。活体检测可以保证生物信息的获取对象是生物活体，从而可以抵御各种复制生物样本，例如照片、塑胶指模等对认证系统的攻击。对于活体检测技术的研究已经成为了生物识别领域中的一个重要方向，近年来，国内外在此领域有大量的研究工作和一些重要的学术会议，并且在一些相关领域的权威会议上都有相关的工作和论文发表。目前一些常用的技术包括基于活体的生理行为（例如识别人脸的眨眼动作）、活体的环境特征以及活体的生理
信号（诸如
皮肤汗液，EEG电平，热红外特性等）。然而这些方法又各有
缺陷，有些需要通过大量复杂的运算，有些需要特殊设备支持，还有些方法用户体验不好，难以满足各种复杂场合的实际应用要求，易用性和可靠性方面有待提高。
[0005] 通过检索，尚未发现与本发明
专利申请相关的专利公开文献。
发明内容
[0006] 本发明的目的在于为解决生物识别系统中防止仿冒攻击问题，提出了一种对人体生物样本进行活体检测的方法，利用
图像处理技术和
深度学习神经网络对生物样本进行活体检测，该方法成本低廉、操作简单、可靠性高，能够满足不同场合的实际要求。
[0007] 为了实现上述目的，本发明所采用的的技术方案如下：
[0008] 一种基于皮下血流的生物识别活体检测方法，以普通视频采集设备采集的正常光照条件下皮肤区域的彩色视频为原始信号，以原始信号中含有的血液流动信号为活体依据，并使用由RBM构成的深度学习神经网络对
输入信号加以分类识别。
[0009] 而且，所述的基于皮下血流的生物识别活体检测方法，具体步骤如下：
[0010] ⑴从彩色
视频信号中获取可分类信号，获取步骤依次如下：
[0011] a.使用可见光频段的彩色视频采集设备采集皮肤区域的彩色视频或连贯图像画面，
采样频率高于8fps以上；
[0012] b.从视频或连贯图像中截取出一定时长的序列；
[0013] c.以图像中包含皮肤的区域作为ROI，以ROI区域，提取ROI区域的红、绿、蓝三通道
像素灰度平均值，组成3×N的向量作为原始数据；其中，N为视频的
帧数，大于50；
[0014] d.对原始数据进行消除趋势
波动处理，得到可分类信号；
[0015] ⑵对步骤中⑴所述的可分类信号使用深度学习神经网络进行分类判别，类别步骤依次如下：
[0016] a.深度学习神经网络的训练：
[0017] ①使用步骤中⑴所述的可分类信号的获取方法，从人体活体上采集信号作为网络训练的正样本；
[0018] ②使用步骤中⑴所述的可分类信号的获取方法，从非人体活体或
假体上采集信号作为网络训练的负样本；
[0019] ③对网络的每一层RBM进行无监督的预训练；
[0020] ④使用梯度下降
算法，对网络输入加标签的正样本、负样本进行训练；；
[0021] b.使用深度学习神经网络进行活体检测：
[0022] ①使用步骤中⑴所述的可分类信号的获取方法，在检测样本上采集可分类信号；
[0023] ②使用步骤中⑵中a深度学习神经网络的训练对可分类信号进行判别分类，从而实现对样本是否为活体的判别，如果深度学习神经网络最终输出为正样本，即最终输出为一个大于0的正数，则认为可分类信号是从人体活体样本上采集的；如果深度学习神经网络最终输出为负样本，即最终输出为一个小于0的负数，则认为可分类信号样本为非人体活体。
[0024] 而且，所述步骤⑴a中彩色视频采集设备为普通摄像机、摄像头或工业摄像机。
[0025] 而且，所述步骤⑴b中序列的时长为3-5秒。
[0026] 而且，所述步骤⑴d中对原始数据进行消除趋势波动处理使用SPA方法进行去趋势波动处理，步骤如下：
[0027] 设原始数据为X，去趋势化后数据为Y，使用公式：
[0028]
[0029] 其中，I为N阶单位矩阵，D2为N-2×N阶矩阵，具体形式如下：
[0030]
[0031] N为信号长度，其取值范围为大于50；λ可以控制去趋势化的截断频率，λ的取值范围为10～20；
[0032] 而且，所述步骤⑵a③中对网络的每一层RBM进行无监督的预训练的训练的具体步骤如下：
[0033] RBM共设两个层，一个为
输入层，另一个为
输出层，该层可以看作是对输入的特征提取层，每个RBM为输入-输出的级联形式；
[0034] 在训练前，首先将由正样本、负样本至少各选择不少于500个样本组成的训练集重新随机排列，然后将所有样本平均分组即可；
[0035] 在训练中，每次输入RBM一组数据而不是一个数据；
[0036] 设RBM网络的输入层有i个
节点，输出层有j个节点，则输入层偏置为a={ai}，输出层偏置为b={bi}，层间节点权值为w={wij}；令RBM的输入为v，输出为h，激励函数为sigmoid型；
[0037] 单个RBM预训练过程如下：
[0038] ①用随机数初始化权重，即对a，b，w用随机数初始化；
[0039] ②在当前网络参数下，计算一组输入数据v的输出，令其为h(0)；
[0040] ③反向计算RBM，使用h(0)重构输入，令其为v(1)；
[0041] ④以v(1)为输入，在当前网络参数下计算输出，令其为h(1)；
[0042] ⑤计算输出期望和重构输出期望。输出期望为v'*h(0)，重构输出期望为v(1)'*h(1)；
[0043] ⑥按如下公式更新网络参数a，b，w：
[0044]
[0045]
[0046]
[0047] 其中，m和∈为训练系数，一般取m=0.8～0.9，∈=0.00005～0.00015；
[0048] ⑦对所有的200组数据重复②-⑥；
[0049] ⑧
迭代执行②-⑦50次，RBM预训练结束；
[0050] 在依照上面的步骤训练好第一层RBM后，将所有
训练数据输入第一层RBM，将其输出作为第二层RBM的输入，训练下一层RBM，以此类推，各个层依次训练，直至最后一层RBM。
[0051] 而且，所述RBM的层数为1～8层。
[0052] 而且，所述步骤⑵a③中对网络的每一层RBM进行无监督的预训练的具体步骤如下：所述深度学习神经网络由4个RBM组成，该4个RBM分别命名为RBM_in，RBM_h1，RBM_h2，RBM_out，4个RBM为输入-输出的级联形式；
[0053] RBM_in为网络的输入层，其输入为600维的可分类信号，
输出节点为5000个；RBM_h1为网络的第一个隐含层，其输入为RBM_in的输出，共5000个节点，输出为1000个节点；RBM_h2为网络的第二个输出层，其输入为RBM_h1的输出，共1000个节点，输出为100个节点；RBM_out为网络的输出层，其输入为RBM_h2的输出，共100个节点，输出为1个节点；
[0054] 所有节点的激励函数都选用sigmoid型；在训练过程中，首先使用不加标签的训练集对4个RBM逐个进行预训练，预训练的目的是让RBM可以更好地拟合并重构数据；
[0055] 先对RBM_in进行预训练，在其达到训练目标后，以其输出作为训练样本，训练RBM_h1，以此类推训练所有的4个RBM。
[0056] 而且，所述步骤⑵a④中对网络使用加标签的正负样本进行训练的具体步骤如下：
[0057] ①所述RBM的数量为4个，使用训练好的RBM组成网络，组成的深度学习神经网络共有5层，每层节点分别为200、5000、1000、100、1，各层的权值和偏置使用预训练阶段的训练结果；
[0058] ②对训练样本加标签并进行重新分组，将每1000个数据分为一组，共20组数据；
[0059] ③使用训练样本对上述5层网络进行训练，训练方法使用基本的梯度下降算法即可。
[0060] 如上所述的基于皮下血流的生物识别活体检测方法在生物识别技术领域方面的应用。
[0061] 本发明的优点和积极效果是：
[0062] 本发明方法通过对彩色视频/
图像序列中ROI区域（感兴趣的区域，RegionofInterest）红绿蓝通道像素均值序列进行去趋势波动处理，从中提取可分类信号，该信号由于包含了活体的
脉搏信息；利用由多个RBM（RestrictedBoltzmannMachines，受限
玻尔兹曼机）构成的网络对信号进行分类，从而判别信号是否采自活体。该方法基于活体的生物学特点对样本进行活体检测，可靠性高；方法仅使用普通的视频采集设备，而且这些设备是生物识别系统中的必需设备，不用对系统额外加入
硬件设备，成本低廉，且算法简单易于实现，能够满足不同场合的实际要求。
附图说明
[0063] 图1为本发明的结构原理图；
[0064] 图2为本发明中ROI区域的选取样本图；其中，a为活体样本图，b为假体（图片）样本图；
[0065] 图3为本发明的深度学习神经网络结构图；
[0066] 图4为本发明的原始ROI区域红绿蓝通道均值图；其中，上方图为从活体（图2a）中提取的原始信号，下方图为从假体（图2b）中提取的原始信号；
[0067] 图5本发明的去趋势化后的信号图；其中，上方曲线为从活体（图2a）上取得的信号，下方曲线为从假体（图2b）上取得的信号。
具体实施方式
[0068] 下面结合
实施例，对本发明进一步说明；下述实施例是说明性的，不是限定性的，不能以下述实施例来限定本发明的保护范围。
[0069] 本发明基于血流的生物识别活体检测方法，其基本思路是：彩色视频信号中活体皮肤区域的R、G、B三个通道的灰度值包含了活体的脉搏信息，而假体是不含这个信息的。随着人脉搏的跳动（心跳），人体皮肤的肤色的RGB通道灰度会随着血流产生轻微的变化，虽然这个变化人眼很难捕捉，但是通过普通彩色视频采集设备可以采集到这个变化的信号，对原始信号的红、绿、蓝通道分别做消除趋势波动处理；处理后的数据里包含了人体血液流动的信号（心跳），使用一个由4级RBM（RestrictedBoltzmannMachines，
受限玻尔兹曼机）组成的深度学习神经网络对此数据进行训练，得到一个可区分活体与非活体的网络结构，利用该网络结构可以判断输入数据是否为生物活体。通过对比分别采自活体与非活体的视频信号，可以区分出活体与非活体。含有脉搏信息的视频即被认为是采自活体的，也就是说可以判断当前的检测样本为活体。
[0070] 本发明基于皮下血流探测的人体生物活体检测方法，其具体思路如下：
[0071] 如图1所示，通过获取待测样本中皮肤区域的彩色视频图像，提取有效的可分类信号，使用由多层RBM组成的深度学习神经网络对样本进行分类，从而对其是否为活体进行判断。
[0072] 所述的获取待测样本中皮肤区域的彩色视频图像，提取有效的可分类信号的具体步骤如下：
[0073] a.从不低于8fps的彩色视频或图像序列中截取一定时长的信号，一般取5-8秒。由于活体人类心率的范围大致在0.7～4Hz（每分钟40次～240次）之间，根据奈奎斯特采样定理，发现视频或图像序列的最低采样率为8fps。实际上，大多数视频采集设备，如普通摄像头等，采样率一般要高于15fps。在后面的描述中，一致以截取30fps的彩色视频200帧图像为例。
[0074] b.从视频或图像序列中，选择包含皮肤的区域为ROI（感兴趣的区域，RegionofInterest）。例如人脸识别中，划定被检测到的人脸区域为ROI，掌纹、指纹识别中，以相应的手掌、
手指部分的皮肤区域为ROI。
[0075] c.取ROI区域每一帧图像中的红、绿、蓝三通道的灰度均值，形成一个向量X，即：
[0076] X=[X1，XgXb] (1）
[0077] 其中，xr、xg、xb分别为200帧ROI区域红绿蓝三通道灰度均值的序列，也就是长度为200的一维向量。
[0078] d.分别对xr、xg、xb使用SPA方法（SmoothnessPriorsApproach）进行去趋势波动处理，去掉信号中的趋势化干扰，得到：
[0079] Y=[y1，ygyb] (2）
[0080] 在（2）中，可以观测到，绿、蓝两通道的信号频率与脉搏频率的相关度很大。
[0081] 最终得到的向量Y即为有效的可分类信号。
[0082] 所述的使用由多层RBM（RestrictedBoltzmannMachines，受限玻尔兹曼机）组成的深度学习神经网络对样本进行分类，从而对其是否为活体进行判断具体步骤如下：
[0083] a.所述的网络由4层组成，每层由一个RBM构成，分别命名为RBM_in，RBM_h1，RBM_h2，RBM_out。其中，RBM_in的输入为前面得到的可分类信号，其输入为红绿蓝三通道的原始200帧数据，共600个输入，RBM_out的输出节点为1。其余各层的输入均为上层的输出。各RBM的输入-输出节点数分别为：600-5000（RBM_in），5000-1000（RBM_h1），1000-100（RBM_h2），100-1（RBM_out）。
[0084] b.使用前面介绍的方法分别在真正的活体和假体（照片，塑胶模型等）上提取可分类信号，作为正负样本依次对4个RBM进行预训练。所谓预训练是一种
无监督学习，其目的是让各个RBM对其输入信号有更好的拟合和重构能
力，以解决神经网络训练中存在的局部极值问题。在预训练阶段，正负样本混合在一起形成训练样本，并不用加样本标签。在这里，正负样本各选用10000个。
[0085] c.在预训练的
基础上，使用加标签的正负样本对整个深度网络进行有监督学习条件下的微调。微调后网络的输出节点即可对分类信号进行活体/假体的分类判别。
[0086] 现在结合附图对本发明做进一步详细地说明，附图以示意方式说明本发明的基本结构，因此仅显示与本发明有关的构成。在下面的案例中，以人脸识别系统中活体检测为例，帧频为30fps，选择连续200帧图像组成原始样本视频。
[0087] 实施例1
[0088] 一种基于血流的生物识别活体检测方法，步骤如下：
[0089] （一）可分类信号的提取
[0090] 首先由原始视频中使用相应方法确定样本在视频中的
位置，例如复杂背景中的
人脸检测等技术。从已经
定位了样本位置的视频中，选取与样本相对应的皮肤区域作为ROI，如图2所示。在每一帧图像中，取图像红绿蓝通道的灰度值，将视频转换为相应的浮点型数字序列。提取固定长度的数字序列（200帧）形成原始信号，如公式①所述。将原始信号进行去趋势波动处理，得到可分类信号。最终的可分类信号共600维。
[0091] 上述提取可分类信号的具体步骤如下：
[0092] 1、视频中识别对象初定位，如人脸识别中首先要进行复杂背景中人脸检测。
[0093] 2、在定位的识别对象中选择ROI区域。选择的原则是尽量让ROI区域仅包含皮肤，或尽量最大化皮肤区域在ROI中的比例。例如在人脸识别中，人脸检测的结果往往包含了头发，脸部两侧的背景，所以在划定ROI的时候应在人脸区域基础上适当向内收缩。在图2中，活体a和假体b样本中，外侧绿框为识别的人脸区域，内侧绿框为按比例收缩后的ROI区域。
[0094] 3、在每一帧图像中，将ROI区域内的红绿蓝通道灰度平均值计算出来，在连续的200帧中形成序列，原始信号如图4所示。在图4中，上图为从活体（图2a）中提取的原始信号，下图为从假体（图2b）中提取的原始信号。
[0095] 4、将原始信号进行去趋势波动处理，去掉各种复杂的内外因素影响带来的低频波动。在这里使用的是SPA（SmoothnessPriorsApproach，先验平滑方法）方法，分别对红绿蓝三个通道的灰度均值序列进行处理。
[0096] 设原始信号为X，去趋势化后信号为Y，使用公式：
[0097]
[0098] 其中，I为N阶单位矩阵，D2为N-2×N阶矩阵，具体形式如下：
[0099]
[0100] N为信号长度，在这里为N=200。λ可以控制去趋势化的截断频率，在这里选择λ=20，相应的截断频率为0.6Hz。去趋势化处理后的信号Y如图5所示。在图5中，上方曲线为从活体（图2a）上取得的信号，下方曲线为从假体（图2b）上取得的信号，可以看出活体信号，尤其是信号的绿蓝两通道具有很明显的随脉搏波动的特征。
[0101] （二）可分类信号使用深度学习神经网络进行分类判别：
[0102] 深度学习神经网络的训练及使用深度学习神经网络进行活体检测：
[0103] 分别采集正负样本各10000个，组成训练集，用此训练集训练深度学习神经网络。
[0104] 本发明所选取的网络结构为：由4个RBM组成的网络，分别命名为RBM_in，RBM_h1，RBM_h2，RBM_out，如图3所示。RBM_in为网络的输入层，其输入为600维的可分类信号，输出节点为5000个；RBM_h1为网络的第一个隐含层，其输入为RBM_in的输出，共5000个节点，输出为1000个节点；RBM_h2为网络的第二个隐含层，其输入为RBM_h1的输出，共1000个节点，输出为100个节点；RBM_out为网络的输出层，其输入为RBM_h2的输出，共100个节点，输出为1个节点。所有节点的激励函数都选用sigmoid型。在训练过程中，首先使用不加标签的训练集对4个RBM逐个进行预训练，预训练的目的是让RBM可以更好的拟合并重构数据。由于4个RBM为输入-输出的级联形式，故先对RBM_in进行预训练，在其达到训练目标后，以其输出作为训练样本，训练RBM_h1，以此类推训练所有的4个RBM，预训练结束后，训练好的深度学习神经网络应该可以很好地反映原始信号中的有用特征。在此基础上，对训练数据加上正负样本的标签，继续对网络进行微调，微调后的网络可以很好的对可分类信号进行分类，从而识别活体。
[0105] 上述训练深度学习神经网络，并用该网络识别可分类信号进而进行活体检测的深度网络结构如图3所示，训练及识别具体步骤如下：
[0106] 1、各层RBM的预训练：
[0107] 本发明使用4个RBM组成深度网络。RBM（RestrictedBoltzmannMachines）是一种无向图模型，共有两个层，一个为输入层（或称可视层），另一个为隐含层（RBM的输出层），该层可以看作是对输入的特征提取层。在训练前，首先将由正样本（活体）、负样本（假体）各10000个组成的训练集重新随机排列，然后分为100个样本一组共200组。在训练中，每次输入RBM一组数据而不是一个数据，对于
大数据样本的情况，这样分组可以得到更好的训练效果。设RBM网络的输入层有i个节点，输出层有j个节点，则输入层偏置为a={ai}，输出层偏置为b={bi}，层间节点权值为w={wij}。令RBM的输入为v，输出为h，激励函数为sigmoid型（S型）。单个RBM预训练过程如下：
[0108] ①用随机数初始化权重，即对a，b，w用随机数初始化。
[0109] ②在当前网络参数下，计算一组输入数据v的输出，令其为h(0)。
[0110] ③反向计算RBM，使用h(0)重构输入，令其为v(1)。
[0111] ④以v(1)为输入，在当前网络参数下计算输出，令其为h(1)。
[0112] ⑤计算输出期望和重构输出期望。输出期望为v'*h(0)，重构输出期望为v(1)'*h(1)。
[0113] ⑥按如下公式更新网络参数a，b，w：
[0114]
[0115]
[0116]
[0117] 其中，m和∈为训练系数，一般取m=0.8，∈=0.0001。
[0118] ⑦对所有的200组数据重复②-⑥。
[0119] ⑧迭代执行②-⑦50次，RBM预训练结束。
[0120] 在依照上面的步骤训练好RBM_in后，将所有训练数据输入RBM_in，将其输出作为RBM_h1的输入，训练RBM_h1，使用类似的方法训练RBM_h2，RBM_out。
[0121] 3、使用加标签的训练样本，对神经网络进行微调训练，具体步骤如下：
[0122] ①使用前面训练好的4个RBM组成网络，组成的深度网络共有5层，每层节点分别为200、5000、1000、100、1，各层的权值和偏置使用预训练阶段的训练结果。
[0123] ②对训练样本加正、负样本标签（正样本标签为1，负样本标签为-1）并进行重新分组，将每1000个数据分为一组，共20组数据。
[0124] ③使用训练样本对上述5层网络进行训练，训练方法使用基本的梯度下降算法即可。
[0125] 4、使用深度网络对识别样本进行活体检测，具体步骤如下：
[0126] ①在视频中对识别样本进行初定位。
[0127] ②依照前面介绍的方法，选择识别样本中包含皮肤的ROI区域。
[0128] ③提取连续200帧画面中ROI区域的红绿蓝通道灰度均值，形成原始信号。
[0129] ④使用公式（3），从原始信号中提取可分类信号。
[0130] ⑤将可分类信号输入以训练好的深度学习神经网络，深度学习神经网络的输出即为活体检测结果，如深度学习神经网络的输出判定为正样本（最终输出为一个大于0的正数），则认为该样本为人体活体样本，否则（最终输出为一个小于0的负数）即为假体样本。
[0131] 在本实施例中，将图2a中的样本作为输入，网络最终输出值为0.982，将图2b中的样本作为输入，网络最终输出值为-1.011，因此本发明可以精确判别样本是否为生物活体。
[0132] 实施例2
[0133] 一种基于皮下血流探测的人体生物活体检测方法，步骤如下：
[0134] 更改实施例1里面视频
采样频率为15fps（15帧/秒），将样本帧数改为100，将实施例1中第一层RBM的输入节点更改为100，其他使用与实施例1相同的网络结构及方法，可实现同样的识别效果。
[0135] 实施例3
[0136] 一种基于皮下血流探测的人体生物活体检测方法，步骤如下：
[0137] 使用与实施例相同的视频采样频率及检测方法，更改实施例1里面的网络结构为6层，各层输入输出节点分别为：第一层RBM，200输入节点，5000输出节点；第二层RBM，5000输入节点，2000输出节点；第三层RBM，2000输入节点，200输出节点；第四层RBM，200输入节点，50输出节点；第五层RBM，50输入节点，10输出节点；第六层RBM，10输入节点，1输出节点。同样可实现与实施例1相同的识别效果。
[0138] 以上述依据本发明的理想实施案例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及
修改。本想发明的技术性范围并不局限于
说明书上的内容，必须要根据
权利要求范围来确定其技术性范围。
