室内外通用人脸识别新算法安防系统
阅读：798发布：2020-05-12
专利汇可以提供室内外通用人脸识别新算法安防系统专利检索，专利查询，专利分析的服务。并且本 发明 设计了室内外通用 人脸识别 新 算法 安防系统，包括：人身份数据检查/输入模 块 ，训练 人工智能 模型模块，验证、保存人工智能模型模块，人工智能模型测试模块，模型计算模块，通信模块，中央系统权限发放模块；对人脸照片进行 深度学习 训练，训练完毕的模型进行测试、评估与保存，中央系统设置权限，下发到智能 门 锁 终端。，下面是室内外通用人脸识别新算法安防系统专利的具体信息内容。
1.室内外通用人脸识别新算法安防系统，其特征在于，包括：人身份数据检查/输入模块，训练人工智能模型模块，验证、保存人工智能模型模块，人工智能模型测试模块，模型计算模块，通信模块，中央系统权限发放模块。
2.根据权利要求1所述的系统，其特征在于，所述的个人身份数据检查/输入模块，数据输入前（包括迁移学习数据和测试数据），检查数据的文件夹是否按train validation test三个文件夹分类，检查三个文件夹里的数据命名是否按训练规则，三个文件夹数据比例，以及文件格式。
3.根据权利要求1所述的系统，其特征在于，所述的训练人工智能模型模块，数据输入前（包括迁移学习数据和测试数据），检查数据的文件夹是否按train validation test三个文件夹分类，检查三个文件夹里的数据命名是否按训练规则，三个文件夹数据比例，以及文件格式；
所述的验证、保存人工智能模型模块，将训练完的模型用验证数据集合验证，验证精度是否达到标准，标准为自己设定，没达到要求，重新进行模型训练；达到要求，可选择保存模型。
4.根据权利要求1所述的系统，其特征在于，所述的人工智能模型测试模块，精度评估在整个过程中都存在，包括训练数据集，验证数据集和测试数据集的评估，在精度评估中计算精度、召回率和绘制精度-召回率曲线来对模型精度进行评估。
5.根据权利要求1所述的系统，其特征在于，所述的模型计算模块，模型测试精度达到要求时，对目标数据进行计算和分类，最终计算的结果保留、存储，同时可保留计算和分类的精度报告。
6.根据权利要求1所述的系统，其特征在于，所述的中央系统权限发放模块，中央系统权限发放功能包括将训练完毕的模型通过网络传输到门禁终端，这些终端包括社区的门禁系统和社区各用户安装的门禁系统。
7.权限发放功能也包括将个人信息传输到门禁终端，控制是否允许特定的个人开锁。
8.系统权限也包括控制终端将终端存储的部分人身份信息传递到总系统。
9.系统可以下发对终端固件升级的命令。
室内外通用人脸识别新算法安防系统
[0002] 背景技术：近年来，随着城镇化的推进和居民生活水平的提高，越来越多的居民住进了社区，社区的规模越来越大，社区安防成为公众和政府治安部门关注的重点问题之一。现有的社区安防仍然以人力安防为主，自动化程度低，需要昼夜值班，消耗人力大，对于社区居民，经常忘记带钥匙和钥匙被他人挪用而进入社区也是一个要考虑的问题。计算机自动化的程度不断提高，特别是人工智能技术的到来，为解决问题提供新的思路。
[0003] 发明内容：本发明的目的是，提出室内外通用人脸识别新算法安防系统，该系统与传统社区安防系统相比，更加智能化，有全面地身份识别数据库。
[0004] 为达到以上目的，本发明采用如下技术方案：总体结构设计包括以下，输入第三方人脸数据库，应用于深度学习或者迁移学习，在此过程中进行精度评估。将从迁移学习数据库中训练的模型进行迁移，利用测试数据对模型进行评估，如果测试通过，保存模型，该模型用于人脸识别的身份验证。在管理端可以对模型进行下发，管理各个门锁的准入权限。
[0005] 个人身份数据检查/输入。数据输入前（包括迁移学习数据和测试数据），检查数据的文件夹是否按train validation test三个文件夹分类，检查三个文件夹里的数据命名是否按训练规则，三个文件夹数据比例，以及文件格式。
[0006] 训练人工智能模型。先应用标准数据库中的数据训练模型，然后可以将该模型进行保存和迁移（迁移，即将模型学习到的能力应用到另一个模型中）。应用上一步检查完毕的数据，进行新的模型训练（应用是训练数据集train）。训练人工智能模型数据来源于两个大规模的人脸库(FERET and FRGC v2.0)。
[0007] 验证训练人工智能模型。将训练完的模型用验证数据集合（3.1步骤里的validation数据集）验证，验证精度是否达到标准，标准为自己设定，一般为88%左右。没达到要求，重新进行模型训练；达到要求，可选择保存模型。验证人工智能模型数据来源于两个大规模的人脸库(FERET and FRGC v2.0)的随机采样部分。
[0008] 模型精度评估。精度评估在整个过程中都存在，包括训练数据集，验证数据集和测试数据集的评估，在精度评估中计算精度、召回率和绘制精度-召回率曲线来对模型精度进行评估模型测试/计算数据功能。测试过程包括用目标数据的一部分作为测试数据集，对训练完毕的模型进行精度测试与评估，没有达到设定的阈值，则判断模型不满足要求，对模型重新进行训练；如果测试精度达到要求，满足精度要求，则将其应用于目标数据。模型测试精度达到要求时，对目标数据进行计算和分类，最终计算的结果保留、存储，同时可保留计算和分类的精度报告。
[0009] 中央系统权限发放。中央系统权限发放功能包括将训练完毕的模型通过网络传输到门禁终端，这些终端包括社区的门禁系统和社区各用户安装的门禁系统。权限发放功能也包括将个人信息传输到门禁终端，控制是否允许特定的个人开锁。系统权限也包括控制终端将终端存储的部分人身份信息传递到总系统。系统可以下发对终端固件升级的命令。
[0010] 附图说明：图 1个人身份数据检查/输入功能流程图
图 2训练人工智能模型功能流程图
图 3验证训练人工智能模型功能流程图
图 4模型精度评估功能流程图
图 5模型测试/计算数据功能流程图
图 6中央系统权限发放功能流程图
具体实施方式：
个人身份数据检查/输入。数据输入前（包括迁移学习数据和测试数据），检查数据的文件夹是否按train validation test三个文件夹分类，检查三个文件夹里的数据命名是否按训练规则进行命名，三个文件夹数据比例，如3：1：1，以及文件格式。
图 2训练人工智能模型功能流程图
图 3验证训练人工智能模型功能流程图
图 4模型精度评估功能流程图
图 5模型测试/计算数据功能流程图
图 6中央系统权限发放功能流程图
具体实施方式：
个人身份数据检查/输入。数据输入前（包括迁移学习数据和测试数据），检查数据的文件夹是否按train validation test三个文件夹分类，检查三个文件夹里的数据命名是否按训练规则进行命名，三个文件夹数据比例，如3：1：1，以及文件格式。
[0011] 训练人工智能模型。先应用标准数据库中的数据训练模型，然后可以将该模型进行保存和迁移（迁移，即将模型学习到的能力应用到另一个模型中）。应用上一步检查完毕的数据，进行新的模型训练（应用是训练数据集train）。
[0012] 训练人工智能模型数据来源于两个大规模的人脸库(FERET and FRGC v2.0)。
[0013] 验证训练人工智能模型。将训练完的模型用验证数据集合（3.1步骤里的validation数据集）验证，验证精度是否达到标准，标准为自己设定，一般为88%左右。没达到要求，重新进行模型训练；达到要求，可选择保存模型。
[0014] 模型精度评估。精度评估在整个过程中都存在，包括训练数据集，验证数据集和测试数据集的评估，在精度评估中计算精度、召回率和绘制精度-召回率曲线来对模型精度进行评估模型测试/计算数据功能。测试过程包括用目标数据的一部分作为测试数据集，对训练完毕的模型进行精度测试与评估，没有达到设定的阈值，则判断模型不满足要求，对模型重新进行训练；如果测试精度达到要求，满足精度要求，则将其应用于目标数据。模型测试精度达到要求时，对目标数据进行计算和分类，最终计算的结果保留、存储，同时可保留计算和分类的精度报告。
[0015] 模型测试/计算数据功能中，利用一种串、并行结合的方式将全局和局部面部特征进行集成:首先利用全局特征进行粗略的匹配,然后再将全局和局部特征集成起来进行精细的确认.在该方法中,全局和局部特征分别采用傅里叶变换和Gabor小波变换进行提取。
[0016] 全局和局部特征在人脸感知过程中所起的作用不同.因此,为了利用更多的判别信息,我们需要把这两种特征有效地集成到一起.从频谱分析的角度来说,全局特征对应低频,而局部特征对应高频.因此,本文采用傅里叶变换系数的低频部分作为全局特征,而采用Gabor 小波变换系数作为局部特征.Gabor 小波变换可以增强图像上的边缘,因此从某种意义上来说,Gabor 小波变换提取的是高频信息.全局傅里叶特征提取。傅里叶变换是一种常用的频谱分析方法.本文采用二维离散傅里叶变换(discrete Fourier transform,简称DFT)系数的低频部分作为全局特征.对一幅图像做二维离散傅里叶变换可以用如下公式表示:
其中,f(x,y)表示M×N 大小的二维图像,u 和v 是频域变量.图像f(x,y)是一个实值函数,因此傅里叶变换的输出是复数形式,即
其中,R(u,v)和I(u,v)分别表示F(u,v)的实部和虚部.经过傅里叶变换后,图像可以表示为所有频段的实部和虚部变换系数.尽管所有频段的变换系数都包含图像中的信息,但是图像的全局信息大都包含在低频的系数中.因此，只保留低频系数作为全局特征.对于一幅人脸图像,傅里叶变换得到的低频系数(包括实部和虚部)被串接起来形成一个特征向量,称其为全局傅里叶特征向量(global Fourier feature vector,简称GFFV).局部Gabor特征提取。二维Gabor 小波变换(2D Gabor wavelet transform,简称GWT)最早由Daugman 提出[11],用于模拟初级视觉皮层简单细胞的空间感受野,近年来被认为是最成功的人脸描述方法之一.二维Gabor 小波的核函数定义为一个用高斯包络函数约束的平面波:
其中, kuv,kv表示核函数的频率(尺度),ϕu=uπ/8,ϕu∈[0,π)表示核函数的方向.通过设置不同的尺度和方向,我们可以得到一组Gabor 小波核函数.对图像的特征提取是通过多个Gabor 小波核函数分别与图像进行卷积操作来完成的。
其中,f(x,y)表示M×N 大小的二维图像,u 和v 是频域变量.图像f(x,y)是一个实值函数,因此傅里叶变换的输出是复数形式,即
其中,R(u,v)和I(u,v)分别表示F(u,v)的实部和虚部.经过傅里叶变换后,图像可以表示为所有频段的实部和虚部变换系数.尽管所有频段的变换系数都包含图像中的信息,但是图像的全局信息大都包含在低频的系数中.因此，只保留低频系数作为全局特征.对于一幅人脸图像,傅里叶变换得到的低频系数(包括实部和虚部)被串接起来形成一个特征向量,称其为全局傅里叶特征向量(global Fourier feature vector,简称GFFV).局部Gabor特征提取。二维Gabor 小波变换(2D Gabor wavelet transform,简称GWT)最早由Daugman 提出[11],用于模拟初级视觉皮层简单细胞的空间感受野,近年来被认为是最成功的人脸描述方法之一.二维Gabor 小波的核函数定义为一个用高斯包络函数约束的平面波:
其中, kuv,kv表示核函数的频率(尺度),ϕu=uπ/8,ϕu∈[0,π)表示核函数的方向.通过设置不同的尺度和方向,我们可以得到一组Gabor 小波核函数.对图像的特征提取是通过多个Gabor 小波核函数分别与图像进行卷积操作来完成的。
[0017] 全局和局部分类器的构建及其串、并行集成。全局特征主要描述人脸整体的属性,用来进行粗略的匹配;而局部特征主要描述人脸细节的变化,用来进行精细的确认.因此,为了提高识别的精度和速度,我们提出构造一个两层的分类器:第1 层中用全局分类器进行粗略的匹配,第2 层中把全局和局部分类器集成起来(也就是整体分类器)进行精细的确认.从上一节的分类器构建过程中可以看出,全局分类器利用的特征较少,因此速度较快,但精度较低;而整体分类器由N+1个分量分类器组成,利用的特征较多,因此速度较慢,但精度较高.因此,第1 层中采用全局分类器可以提高识别的速度,而第2 层中加入局部分类器可以提高识别的精度.经过全局和局部特征提取之后,我们可以得到N+1 个特征向量:1 个全局特征向量和N 个局部特征向量.由于这些特征向量的维数较高,为了避免维数灾难的影响和降低后续步骤的计算量,我们提出利用线性判别分析(LDA)对这N+1 个特征向量作进一步的降维.对于两幅人脸图像,通过对比对应的特征向量,可以得到N+1 个相似度.在本文中,我们采用常用的归一化互相关(normalized cross-correlation,简称NCC)方法来计算对应特征向量的相似度.在模式识别的任务中,一旦计算出样本(或特征向量)之间的相似度,分类器的任务就变得非常简单了(比如可以用最近邻分类器进行分类).因此,为了叙述方便,我们将LDA 降维后的全局和局部特征向量分别称为全局分类器(global classifier,简称GC)和局部分量分类器(local component classifier,简称LCC).由于这些分类器所E利用的面部特征不同,所以它们之间存在较大的差异(diversity).根据集成学习(ensemble learning) 理论,将这些分类器进行某种形式的集成可以有效地降低分类错误率.因此,我们提出采用加权求和的方式来将全局分类器和局部分量分类器进行并行集成,在多种分类器集成方式中,加权求和的方式效果最好).
在本文中,我们在相似度的层面上(score level)进行分类器集成,也就是将多个分类器输出的相似度进行加权求和,以得到最终的相似度.
首先,我们将N 个局部分量分类器进行加权求和,得到局部分类器(local classifier,简称LC):
其中, wLi 表示第i个局部分量分类器的权值.然后,全局分类器和局部分类器也通过加权求和的方式进行并行集成,得到整体分类器(unified classifier,简称UC):
其中,wG 表示全局分类器的权值.
考虑到全局和局部特征的不同特性,在提取这两种特征时,人脸图像的分辨率也有所不同(如图4 所示).全局特征主要反映人脸的整体属性,因此,较低分辨率的人脸图像就可以满足要求.但是,人脸图像包含的区域要足够大,特别是要包含人脸的轮廓.相反,局部特征反映人脸的细节变化,因此需要较高分辨率的人脸图像.而且,由于Gabor 小波特征提取对背景图像中的噪声比较敏感,人脸图像只包括人脸的内部区域(除了耳朵以外的面部五官区域).
自动人脸识别包括两个不同的问题:人脸识别和人脸确认.在人脸识别问题中,输入人脸图像与数据库中所有的人脸图像计算相似度,并通过对相似度进行排序来给出输入人脸的身份信息,因此是一个“一对多”的过程.在人脸确认问题中,系统在输入人脸图像的同时输入一个用户宣称的身份信息,系统要对该输入人脸图像的身份与宣称的身份是否相符作出判断,因此是一个“一对一”的过程.针对这两种不同的问题,我们也提出了两种不同的串行集成策略.
对于人脸识别问题,我们首先在第1 层中利用全局分类器求出输入人脸图像与数据库中所有候选人脸图像的相似度,并进行相似度排序,排除与输入人脸图像差异较大的候选.然后,在第2层中利用整体分类器在剩余的与输入图像比较相似的候选中作进一步的识别.这样,速度较慢的整体分类器只需处理原始人脸数据库的一个规模较小的子集,因此可以显著提高识别的速度.在这个过程中,有一个问题需要注意:为了保持整个识别系统的精度,我们需要保证与输入人脸图像身份相同的候选人脸图像基本不会被全局分类器排除.这就需要调节第1 层分类中保留的候选数量(假设为M).显然,M 值越大,被保留的候选数量越多,与输入人脸图像身份相同的候选也就越不可能被排除.但是,由于保留的候选数量增多,第2 层分类的速度也会相应地降低.因此,我们需要调节M,以达到速度和精度之间的平衡.FD0 表示原始的人脸数据库,而FD1 表示经过全局分类器排除候选之后的人脸数据库.
对于人脸确认问题,我们首先在第1 层中利用全局分类器得到输入人脸图像和与用户宣称身份相符的数据库中人脸图像的相似度.这个相似度比较粗略,但是也包含一定的判别信息:如果这个相似度低于某个很小的阈值(T1),那么说明这两张人脸图像极有可能不属于同一个人,因此系统可以直接判断两张图像身份不同;反之,如果这个相似度大于某个很大的阈值(T2),那么说明这两张人脸图像极有可能属于同一个人,因此系统可以直接判断两张图像身份相同.除了以上两种情况,也就是当全局分类器给出的相似度介于T1和T2之间时,依据此相似度就很难作出正确的决策,因此需要利用整体分类器给出更为精确的相似度.基于以上策略我们可以看出,如果多数情况下系统可以依据全局分类器给出的相似度来进行决策,而不必采用速度较慢的整体分类器,那么系统的速度就会显著提高.但是,如果总是依靠全局分类器,那么系统的精度又会相应地降低.因此,我们也同样需要调节阈值T1 和T2,以达到速度和精度之间的平衡.
人脸图像通过手工标定的眼睛位置进行对齐.在傅里叶特征提取中,人脸图像的大小为64×80,两眼之间的距离为28.为了采用快速傅里叶变换(fast Fourier transform,简称FFT),图像被扩展成128×128.因此,考虑到对称性,傅里叶频谱的宽度为64. 全局信息大都包含在低频段的傅里叶变换系数中.因此在本文的实验中,我们只保留频谱宽度为16 的低频系数(能量大约占总体的50%).全局特征的维数是16×16×4=1024.
中央系统权限发放。中央系统权限发放功能包括将训练完毕的模型通过网络传输到门禁终端，这些终端包括社区的门禁系统和社区各用户安装的门禁系统。权限发放功能也包括将个人信息传输到门禁终端，控制是否允许特定的个人开锁。系统权限也包括控制终端将终端存储的部分人身份信息传递到总系统。系统可以下发对终端固件升级的命令。
在本文中,我们在相似度的层面上(score level)进行分类器集成,也就是将多个分类器输出的相似度进行加权求和,以得到最终的相似度.
首先,我们将N 个局部分量分类器进行加权求和,得到局部分类器(local classifier,简称LC):
其中, wLi 表示第i个局部分量分类器的权值.然后,全局分类器和局部分类器也通过加权求和的方式进行并行集成,得到整体分类器(unified classifier,简称UC):
其中,wG 表示全局分类器的权值.
考虑到全局和局部特征的不同特性,在提取这两种特征时,人脸图像的分辨率也有所不同(如图4 所示).全局特征主要反映人脸的整体属性,因此,较低分辨率的人脸图像就可以满足要求.但是,人脸图像包含的区域要足够大,特别是要包含人脸的轮廓.相反,局部特征反映人脸的细节变化,因此需要较高分辨率的人脸图像.而且,由于Gabor 小波特征提取对背景图像中的噪声比较敏感,人脸图像只包括人脸的内部区域(除了耳朵以外的面部五官区域).
自动人脸识别包括两个不同的问题:人脸识别和人脸确认.在人脸识别问题中,输入人脸图像与数据库中所有的人脸图像计算相似度,并通过对相似度进行排序来给出输入人脸的身份信息,因此是一个“一对多”的过程.在人脸确认问题中,系统在输入人脸图像的同时输入一个用户宣称的身份信息,系统要对该输入人脸图像的身份与宣称的身份是否相符作出判断,因此是一个“一对一”的过程.针对这两种不同的问题,我们也提出了两种不同的串行集成策略.
对于人脸识别问题,我们首先在第1 层中利用全局分类器求出输入人脸图像与数据库中所有候选人脸图像的相似度,并进行相似度排序,排除与输入人脸图像差异较大的候选.然后,在第2层中利用整体分类器在剩余的与输入图像比较相似的候选中作进一步的识别.这样,速度较慢的整体分类器只需处理原始人脸数据库的一个规模较小的子集,因此可以显著提高识别的速度.在这个过程中,有一个问题需要注意:为了保持整个识别系统的精度,我们需要保证与输入人脸图像身份相同的候选人脸图像基本不会被全局分类器排除.这就需要调节第1 层分类中保留的候选数量(假设为M).显然,M 值越大,被保留的候选数量越多,与输入人脸图像身份相同的候选也就越不可能被排除.但是,由于保留的候选数量增多,第2 层分类的速度也会相应地降低.因此,我们需要调节M,以达到速度和精度之间的平衡.FD0 表示原始的人脸数据库,而FD1 表示经过全局分类器排除候选之后的人脸数据库.
对于人脸确认问题,我们首先在第1 层中利用全局分类器得到输入人脸图像和与用户宣称身份相符的数据库中人脸图像的相似度.这个相似度比较粗略,但是也包含一定的判别信息:如果这个相似度低于某个很小的阈值(T1),那么说明这两张人脸图像极有可能不属于同一个人,因此系统可以直接判断两张图像身份不同;反之,如果这个相似度大于某个很大的阈值(T2),那么说明这两张人脸图像极有可能属于同一个人,因此系统可以直接判断两张图像身份相同.除了以上两种情况,也就是当全局分类器给出的相似度介于T1和T2之间时,依据此相似度就很难作出正确的决策,因此需要利用整体分类器给出更为精确的相似度.基于以上策略我们可以看出,如果多数情况下系统可以依据全局分类器给出的相似度来进行决策,而不必采用速度较慢的整体分类器,那么系统的速度就会显著提高.但是,如果总是依靠全局分类器,那么系统的精度又会相应地降低.因此,我们也同样需要调节阈值T1 和T2,以达到速度和精度之间的平衡.
人脸图像通过手工标定的眼睛位置进行对齐.在傅里叶特征提取中,人脸图像的大小为64×80,两眼之间的距离为28.为了采用快速傅里叶变换(fast Fourier transform,简称FFT),图像被扩展成128×128.因此,考虑到对称性,傅里叶频谱的宽度为64. 全局信息大都包含在低频段的傅里叶变换系数中.因此在本文的实验中,我们只保留频谱宽度为16 的低频系数(能量大约占总体的50%).全局特征的维数是16×16×4=1024.
中央系统权限发放。中央系统权限发放功能包括将训练完毕的模型通过网络传输到门禁终端，这些终端包括社区的门禁系统和社区各用户安装的门禁系统。权限发放功能也包括将个人信息传输到门禁终端，控制是否允许特定的个人开锁。系统权限也包括控制终端将终端存储的部分人身份信息传递到总系统。系统可以下发对终端固件升级的命令。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于强化学习的复杂薄壁结构物体3D打印路径规划方法 | 2020-05-08 | 688 |
| 一种基于航班风险前置的运行控制系统及方法 | 2020-05-12 | 993 |
| 一种人工智能处理器的学习任务编译方法及相关产品 | 2020-05-20 | 329 |
| 一种基于多模态融合深度学习的物体材质分类方法 | 2020-05-13 | 386 |
| 语料生成方法、语料生成装置、和存储介质 | 2020-05-16 | 30 |
| 数据处理方法、装置、电子设备和可读存储介质 | 2020-05-15 | 802 |
| 一种AI物联区块链商务系统 | 2020-05-16 | 214 |
| 智能感应式多媒体导购设备及应用系统 | 2020-05-17 | 727 |
| 一种人工智能处理器处理二维复数矩阵的方法和设备 | 2020-05-08 | 844 |
| 一种基于蓝牙的外置声卡控制系统 | 2020-05-22 | 356 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈