首页 / 专利库 / 数学与统计 / 超平面 / 一种基于三维数据的人脸分类系统

一种基于三维数据的人脸分类系统

阅读:1023发布:2020-06-09

专利汇可以提供一种基于三维数据的人脸分类系统专利检索,专利查询,专利分析的服务。并且本 发明 涉及三维人脸分类系统,涵盖特征点 定位 、三维数据配准、数据去噪、数据 质量 评估、特征提取以及分类器设计等三维人脸分类系统的多个模 块 。利用视觉词典纹理特征,准确的描述了三维深度人脸图像的特性,然后利用SVM分类器在深度人脸图像视觉词典直方图特征空间上实现了准确分类。种族分类的难点在于人的种族复杂多样,如何准确的定义种族类别。本 专利 引入模糊分类的概念,通过构建东方视觉词典和西方视觉词典,利用隶属度函数来判断深度人脸图像的种族分类。准确的分类结果不仅可以有效地获取人脸数据中的人脸特性,获取更多的人脸语义理解信息,同时还可以作为三维 人脸识别 的一个粗分类步骤,提升识别系统的 精度 。,下面是一种基于三维数据的人脸分类系统专利的具体信息内容。

1.一种基于三维数据的人脸分类系统,其特征在于,主要包括:
(一)三维人脸点数据的输入部分;
(二)三维人脸点云数据中人脸特定区域检测部分;
(三)对检测到的人脸特定区域进行数据配准部分;
(四)对配准后的三维人脸点云数据进行深度人脸数据映射部分,具体包括:对三维点云数据进行深度人脸数据映射,具体包括:预设深度分辨率以及检测获取人脸特定区域位置进行数据映射;其步骤如下:
将检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息,计算过程如下:
设鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
width为深度图像的宽度,height为深度图像的高度;
预设深度分辨率,根据三维点云数据的深度精度预先设定深度分辨率Zref,将空间坐标系的z轴作为映射为人脸深度图像的深度值参考基准:
通过上述步骤完成将三维点云数据映射为深度人脸数据的映射;
(五)对深度人脸数据进行人脸深度数据质量评估部分;
(六)对深度人脸数据进行深度人脸纹理修复部分;
(七)对深度人脸数据进行三维人脸分类部分。
2.基于权利要求1所述的基于三维数据的人脸分类系统,其特征在于,所述(二)三维人脸点云数据中人脸特定区域检测部分,具体包括:检测获取人脸特定区域位置,首先输入各类三维点云采集设备所采集的数据,然后根据三维点云数据特征提取信息进行人脸特定区域检测,人脸特定区域检测主要步骤如下:
步骤一:确定区域平均负有效能量密度阈值,定义为thr;
步骤二:利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据;
步骤三:计算由深度信息选取出的人脸数据的法向量信息;
步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域,根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配准。
3.基于权利要求1所述的基于三维数据的人脸分类系统,其特征在于,所述(三)对检测到的人脸特定区域进行数据配准部分,具体包括:根据检测到的人脸特定区域与模板库中该特定区域的标准数据进行数据配准的模;首先在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据,然后对于不同姿态的三维数据,得到配准的参考区域后,按照ICP算法进行数据的配准,该算法主要步骤如下:
假设得到匹配数据集合对P和Q,计算3×3的矩阵:
其中,N 是数据集合的容量;做H矩阵的奇异值(SVD)分解,则H=U∧VT,X=VUT,QT表示Q的转置;计算旋转矩阵R和平移矩阵t,当行列式为1时,R=X,t=P-R*Q;
通过上述步骤,获得两个三维数据点集之间的三维空间变换矩阵,实现两个点集的配准。
4.基于权利要求1所述的基于三维数据的人脸分类系统,其特征在于,所述(五)对深度人脸数据进行人脸深度数据质量评估部分,具体包括:利用典型深度人脸数据产生深度特征脸,利用深度特征脸进行人脸深度数据质量评估。
5.基于权利要求4所述的基于三维数据的人脸分类系统,其特征在于,所述利用典型深度人脸数据产生深度特征脸,包括如下步骤:
步骤一:选择训练集的深度人脸图像数据,将其从二维矩阵拉伸为一维列向量;组合列向量成新的样本矩阵,表示为A矩阵;假设每张深度人脸图像分辨率为M*M,则拉伸后的人脸列向量维度为D=M*M;若训练集中有N张深度人脸图像,则样本矩阵A的维度为D*N;
步骤二:将N张深度人脸图像在对应维度上相加,并求平均值,得到深度人脸图像的平均脸,将N张深度人脸图像与平均脸相减,得到差值图像数据矩阵φ,φT为φ的转置;
步骤三:对协方差C=φ*φT进行特征值分解,根据所有特征值能量所占比率,选择较大的特征值,其对应的特征向量则为深度特征脸;
深度人脸图像可以投影到深度特征脸张成的空间中进行近似计算。
6.基于权利要求4所述的基于三维数据的人脸分类系统,其特征在于,所述利用深度特征脸进行人脸深度数据质量评估,具体包括如下步骤:
人脸深度数据质量评估分为训练和评估两个阶段,在训练阶段训练出深度人脸图像的深度特征脸,以此为基础张成深度特征人脸图像空间;在评估阶段,将输入的深度人脸图像映射为深度特征人脸图像空间的一点,得到利用深度特征脸表征的近似深度人脸图像:
然后将近似深度人脸图像与原始图像进行对比,若差值大于某个阈值,这说明该深度人脸图像不符合深度特征人脸代表的类型,评估不通过;否则认为该图像符合深度特征人脸代表的类型,评估通过:
对比公式如上所示。
7.基于权利要求1所述的基于三维数据的人脸分类系统,其特征在于,所述(六)对深度人脸数据进行深度人脸纹理修复部分,具体包括:噪点的类型主要包括数据空洞以及数据的凸起,在深度图像中表现为人脸深度数据中的零值以及局部纹理深度凸起值;主要步骤如下:
步骤一:进行深度数据去噪,采用邻域深度有效值滤波,对深度人脸图像中的噪音进行过滤,该滤波表达式为:
当I(x-m,y-n)为深度图像有效点时, 反之w(x-
m,y-n)值为0;
步骤二:在对奇异点进行初步低通滤波后,利用边缘保持滤波对深度图像进行进一步纹理修复,采用双边滤波器,双边滤波器由两个函数构成,一个函数是通过几何空间决定滤波器系数,另一个函数是通过像素差值决定滤波器系数;在双边滤波器中,输出像素的值依赖于相邻像素的值的加权组合:
权重系数为空间域系数以及域值系数的乘积,公式如下:
w(i,j,k,l)=r(i,j,k,l)*d(i,j,k,l)    (8)
其中, 表示由像素差值决定的滤波器系数;
表示由几何空间距离决定的滤波器系数;r表示像素,d表
示距离,(i,j)表示深度图像中的奇异点坐标,(k,l)是与(i,j)对应的坐标,f(i,j)和f(k,l)表示像素值,w(i,j,k,l)为权重系数;
通过这种结合方式,在图像滤波中同时考虑了空间域与值域的差别,在滤除数据噪音的过程中也可以保留数据中的特定边缘信息,有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
8.基于权利要求1所述的基于三维数据的人脸分类系统,其特征在于,所述(七)对深度人脸数据进行三维人脸分类部分,具体包括:根据深度数据提取深度人脸特征以及分类器进行人脸识别,其步骤如下:
分类器的原理在于,设线性可分样本集合为(xi,yi),其中i=1,2…n,x∈Rd,y∈{+1,-
1}是类别标号,则x*w+b=0是分类面方程,分类时为使分类面对所有样本正确分类且间隔最大,需满足 及yi(w*xi+b)-1≥0,通过此约束优化问题得到最优分类面,在两类样本中离分类面最近的点、且平行于最优分类面的超平面上的训练样本,即作为使yi(w*xi+b)-1≥0中等号成立的特殊样本,是支撑最优分类面的支撑向量;对纹理优化后的三维人脸图像进行视觉直方图特征提取,特征提取之后输入到SVM性别分类器之中,获得最终的性别分类结果;
对纹理优化后的三维人脸图像进行Gabor滤波,获取该深度图像的Gabor滤波器响应向量集合,然后对该集合的每个响应向量,将其向东方视觉词典库或西方视觉词典库进行映射;若与东方视觉词典库中的某个词汇距离小于所设置的阈值,则该响应向量属于东方人脸,其对应的向量数目eastnum进行+1处理;若与西方视觉词典库中的某个词汇距离小于所设置的阈值,则该响应向量属于西方人脸,其对应的向量数目westnum进行+1处理;
membership(I)=eastnum/westnum为最终的模糊隶属度函数;
对典型的东方深度人脸图像和西方深度人脸图像,进行视觉词汇计算,对计算所得的视觉词汇,将距离较近的视觉词汇区域视为种族深度视觉词汇的临界区域,代表了人的属性,对于距离较远的视觉词汇区域,则视为代表种族的特性信息,即东方或西方深度人脸图像,以此为基础分别构建东方视觉词典库和西方视觉词典库。
9.基于权利要求8所述的基于三维数据的人脸分类系统,其特征在于,所述根据深度数据提取深度人脸特征,具体包括:该过程可以分为视觉词汇训练阶段和视觉字典直方图特征提取阶段:
在视觉词汇训练阶段,对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波,通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将这些向量按照其所在图像的空间位置进行分组,并对每组向量集合进行K均值聚类,得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇,即视觉分词典;将每组的视觉向量连接起来,就构成了深度人脸图像的视觉词典;
在视觉词典直方图特征提取阶段,当测试人脸图像输入后,经过Gabor滤波后,将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较,通过距离匹配的方式,把它映射到与之距离最为接近的基元上,通过这种方式,就可以提取出原始深度图像的视觉词典直方图特征。

说明书全文

一种基于三维数据的人脸分类系统

技术领域

[0001] 本发明涉及三维人脸分类系统,涵盖特征点定位、三维数据配准、数据去噪、数据质量评估、特征提取以及分类器设计等三维人脸分类系统的多个模

背景技术

[0002] 三维人脸识别相对于二维人脸识别,有着其对光照、受姿态以及表情等因素影响较小等优点,因此在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后,很多学者都将他们的研究投入到该领域中。
[0003] 曾有人提出了三维弯曲不变量的相关特征用来进行人脸特性描述(专利号:201010256907)。该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征,提取弯曲不变量相关特征;对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维,获得主成分,并运用K最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量,因此在效率上限制了该方法的进一步应用;
[0004] 三维人脸分类是三维人脸领域的一个基础工作。为了提高提取变量的效率,准确分类的对人脸分类尤为重要。准确的分类结果不仅可以有效地获取人脸数据中的人脸特性,获取更多的人脸语义理解信息,同时还可以作为三维人脸识别的一个粗分类步骤,提升识别系统的精度。本发明设计性别分类和种族分类两种分类方式。性别分类的难点在于如何准确的描述人脸数据的性别特性以及如何在特征空间的基础上实现准确的分类。本专利利用视觉词典纹理特征,准确的描述了三维深度人脸图像的特性,然后利用SVM分类器在深度人脸图像视觉词典直方图特征空间上实现了准确分类。种族分类的难点在于人的种族复杂多样,如何准确的定义种族类别。本专利引入模糊分类的概念,通过构建东方视觉词典和西方视觉词典,利用隶属度函数来判断深度人脸图像的种族分类。

发明内容

[0005] 针对现有三维人脸识别计算量大,效率低的问题,本发明目的在于提供一种基于三维数据的人脸分类系统,对三维人脸数据进行分类。
[0006] 为解决上述问题,本发明提供一种基于三维数据的人脸分类系统,其主要内容包括:
[0007] (一)对三维点数据进行深度人脸数据映射;
[0008] (二)根据典型深度人脸数据产生深度特征脸
[0009] (三)进行人脸深度数据质量评估;
[0010] (四)对深度人脸数据进行深度人脸纹理修复;
[0011] (五)引入模糊分类概念对深度人脸进行分类;
[0012] 其中,所述对三维点云数据进行深度人脸数据映射,具体包括:预设深度分辨率以及检测获取人脸特定区域位置进行数据映射;将检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息,计算过程如下:
[0013] 设鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
[0014]
[0015] width为深度图像的宽度,height为深度图像的高度;同时预设深度分辨率,根据三维点云数据的深度精度预先设定深度分辨率Zref,将空间坐标系的z轴作为映射为人脸深度图像的深度值参考基准:
[0016]
[0017] 通过上述步骤完成将三维点云数据映射为深度人脸图像数据的映射。
[0018] 进一步的,所述检测获取人脸特定区域位置,首先输入各类三维点云采集设备所采集的数据,然后根据三维点云数据特征提取信息进行人脸特定区域检测,人脸特征区域检测模块主要步骤如下:
[0019] 步骤一:确定区域平均负有效能量密度阈值,定义为thr;
[0020] 步骤二:利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据;
[0021] 步骤三:计算由深度信息选取出的人脸数据的法向量信息;
[0022] 步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
[0023] 步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域,根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配准。
[0024] 进一步的,所述数据配准,主要步骤如下:
[0025] 步骤一:首先在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据;
[0026] 步骤二:对于不同姿态的三维数据,得到配准的参考区域后,按照ICP算法进行数据的配准,该算法主要步骤如下:
[0027] 假设得到匹配数据集合对P和Q,计算3×3的矩阵:
[0028]
[0029] 其中,N是数据集合的容量;做H矩阵的奇异值(SVD)分解,则H=U∧VT,X=VUT,QT表示Q的转置向量;
[0030] 步骤三:计算旋转矩阵R和平移矩阵t,当行列式为1时,R=X,t=P-R*Q;
[0031] 通过上述步骤,获得两个三维数据点集之间的三维空间变换矩阵,实现两个点集的配准。
[0032] 其中,所述根据典型深度人脸数据产生深度特征脸,包括如下步骤:
[0033] 步骤一:选择训练集的深度人脸图像数据,将其从二维矩阵拉伸为一维列向量;组合列向量成新的矩阵,表示为A矩阵;假设每张深度人脸图像分辨率为M*M,则拉伸后的人脸列向量维度为D=M*M;若训练集中有N张深度人脸图像,则样本矩阵A的维度为D*N;
[0034] 步骤二:将N张深度人脸图像在对应维度上相加,并求平均值,得到深度图像的平均脸,将N张深度人脸图像与平均脸相减,得到差值图像数据矩阵φ,φT为φ的转置;
[0035] 步骤三:对协方差C=φ*φT进行特征值分解,根据所有特征值能量所占比率,选择较大的特征值,其对应的特征向量则为深度特征人脸;
[0036] 深度人脸图像可以投影到深度特征人脸张成的空间中进行近似计算。
[0037] 其中,所述进行人脸深度数据质量评估,利用深度特征人脸进行人脸深度数据质量评估,该模块分为训练和评估两个阶段,在训练阶段训练出深度人脸图像的特征脸,以此为基础张成深度人脸图像空间;在评估阶段,将输入的深度人脸图像映射为深度特征脸空间的一点,得到利用深度特征脸表征的近似深度人脸图像:
[0038]
[0039] 其中,Iapr表示为近似深度人脸图像,Wi表示特征值i的能量所占比率;Ieigen表示深度特征脸;将近似图像与原始图像进行对比,若差值大于某个阈值,这说明该深度图像不符合深度特征脸代表的类型,评估不通过;否则认为该图像符合深度特征脸代表的类型,评估通过,公式如下:
[0040]
[0041] 其中,Iori表示原始图像,E表示评估结果,E=1时评估通过,否则不通过。
[0042] 其中,所述对深度人脸数据进行深度人脸纹理修复,噪点的类型主要包括数据空洞以及数据的凸起,在深度图像中表现为人脸深度数据中的零值以及局部纹理深度凸起值;主要步骤如下:
[0043] 步骤一:进行深度数据去噪,采用邻域深度有效值滤波,对深度人脸图像中的噪音进行过滤,该滤波表达式为:
[0044]
[0045] 其中,win表示邻域的范围,(x,y)和(m,n)表示深度图像中的点,当I(x-m,y-n)为深度图像有效点时, 反之w(x-m,y-n)值为0;
[0046] 步骤二:在对奇异点进行初步低通滤波后,利用边缘保持滤波对深度图像进行进一步纹理修复,采用双边滤波器,双边滤波器由两个函数构成,一个函数是通过几何空间决定滤波器系数,另一个函数是通过像素差值决定滤波器系数;在双边滤波器中,输出像素的值依赖于相邻像素的值的加权组合:
[0047]
[0048] 权重系数为空间域系数以及域值系数的乘积,公式如下:
[0049] w(i,j,k,l)=r(i,j,k,l)*d(i,j,k,l)   (8)
[0050] 其中, 表示由像素差值决定的滤波器系数;表示由几何空间距离决定的滤波器系数;r表示像素,d表
示距离,(i,j)表示深度图像中的奇异点,(k,l)与(i,j)对应,f(i,j)和f(k,l)表示像素值,w(i,j,k,l)为权重系数;
[0051] 通过这种结合方式,在图像滤波中同时考虑了空间域与值域的差别,在滤除数据噪音的过程中也可以保留数据中的特定边缘信息,有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
[0052] 其中,所述通过引入模糊分类概念对深度人脸进行分类,主要包括根据深度数据提取深度人脸特征,构建东方视觉词典和西方视觉词典,通过引入模糊分类概念进行种族分类,以及利用SVM分类器进行性别分类。
[0053] 进一步的,所述根据深度数据提取深度人脸特征,该过程分为视觉词汇训练阶段和视觉字典直方图特征提取阶段;训练视觉词汇步骤如下:对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波,通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将这些向量按照其所在图像的空间位置进行分组,并对每组向量集合进行K均值聚类,得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇,即视觉分词典;将每组的视觉向量连接起来,构成深度人脸图像的视觉词典;
[0054] 在视觉词典直方图特征提取阶段,当测试人脸图像输入后,经过Gabor滤波后,将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较,通过距离匹配的方式,把它映射到与之距离最为接近的基元上,通过这种方式,提取出原始深度图像的视觉词典直方图特征。
[0055] 进一步的,所述通过引入模糊分类概念进行种族分类,将种族分类视为模糊分类问题,利用隶属度函数判断深度人脸图像的种族分类;将纹理优化后的三维人脸图像首先进行Gabor滤波,获取该深度图像的Gabor滤波器响应向量集合;然后对该集合的每个响应向量,将其向东方视觉词典或西方视觉词典进行映射,若与东方或西方视觉词典库中的某个词汇距离小于所设置的阈值,则该响应向量属于东方或西方人脸,其对应的向量数目eastnum or westnum进行+1处理,membership(I)=eastnum/westnum为最终的模糊隶属度函数。
[0056] 进一步的,所述视觉词典,分为典型的东方深度人脸图像和西方深度人脸图像,分别对此进行视觉词汇计算;对计算所得的视觉词汇,将距离较近的视觉词汇区域视为种族深度视觉词汇的临界区域,代表了人的属性,对于距离较远的视觉词汇区域,则视为代表种族的特性信息,即东方或西方深度人脸图像,以此为基础分别构建东方视觉词典库和西方视觉词典库。
[0057] 进一步的,所述利用SVM分类器进行性别分类,分类器的原理在于,设线性可分样本集合为(xi,yi),其中i=1,2…n,x∈Rd,y∈{+1,-1}是类别标号,则x*w+b=0是分类面方程,在分类时,为了使分类面对所有样本正确分类且间隔最大,需满足 以及yi(w*xi+b)-1≥0;通过此约束优化问题得到最优分类面;在两类样本中离分类面最近的点、且平行于最优分类面的超平面上的训练样本,即为使上述公式等号成立的特殊样本,是支撑最优分类面的支撑向量,纹理优化后的三维人脸图像首先进行东方视觉词典库和西方视觉词典库提取,特征提取之后输入到SVM性别分类器之中,获得最终的性别分类结果。
[0058] 其中,基于三维数据的人脸分类系统,主要包括根据三维点云数据提取特征信息以及利用训练好的分类器进行人脸特定区域检测的模块;根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配准的模块;根据预定的深度分辨率以及检测获取的人脸特定区域位置进行数据映射的模块;根据典型性深度人脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块;根据图像邻域数据点进行噪点数据过滤以及利用边缘保留过滤器进行深度图像纹理修复的模块;根据深度数据提取深度人脸特征以及分类器进行人脸识别的模块。附图说明
[0059] 图1是本发明一种基于三维数据的人脸分类系统的系统流程图
[0060] 图2是本发明一种基于三维数据的人脸分类系统的鼻尖检测模块示意图。
[0061] 图3是本发明一种基于三维数据的人脸分类系统的数据配准模块示意图。
[0062] 图4是本发明一种基于三维数据的人脸分类系统的数据空间映射示意图。
[0063] 图5是本发明一种基于三维数据的人脸分类系统的人脸深度图像质量评估流程示意图。
[0064] 图6是本发明一种基于三维数据的人脸分类系统的深度纹理修复示意图。
[0065] 图7是本发明一种基于三维数据的人脸性别分类系统的特征提取示意图。
[0066] 图8是本发明一种基于三维数据的人脸性别分类系统的分类流程图。
[0067] 图9是本发明一种基于三维数据的人脸种族分类系统的种族视觉词典构建示意图。
[0068] 图10是本发明一种基于三维数据的人脸种族分类系统的分类流程图。
[0069] 图11是本发明一种基于三维数据的人脸分类系统的系统框图

具体实施方式

[0070] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互结合,下面结合附图和具体实施例对本发明作进一步详细说明。
[0071] 图1是本发明一种基于三维数据的人脸分类系统的系统流程图。如图1所示,本发明提出的一种基于三维数据的人脸分类系统,其主要内容包括:
[0072] (一)视频人脸数据的输入部分,对各类视频采集设备的数据驶入。
[0073] (二)对于视频数据中人脸检测部分,包括将通过人脸检测算法进行视频当前中的人脸检测的模块以及将检测到的人脸图像进行质量评估的模块;
[0074] (三)对于检测到的人脸数据中特征点定位部分,包括根据人脸图像进行预订的特征点定位的模块以及将定位到的特征点进行质量评估的模块;
[0075] (四)对于人脸特征点进行人脸特定区域提取部分,包括根据人脸图像以及定位到的特征点,按照特定区域规则提取出人脸特定局部纹理。
[0076] (五)对于深度人脸数据进行人脸深度数据质量评估部分,包括根据典型性深度人脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块。;
[0077] (六)对于深度人脸数据进行深度人脸纹理修复部分,包括根据图像邻域数据点进行噪点数据过滤以及利用边缘保留过滤器进行深度图像纹理修复的模块。;
[0078] (七)对于深度人脸数据进行三维人脸识别部分,包括根据深度数据提取深度人脸特征以及分类器进行人脸识别的模块。
[0079] 图2是本发明一种基于三维数据的人脸分类系统的鼻尖检测模块示意图。如图2所示为本发明的人脸特征区域检测模块,图2(a)中,由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置,因此本发明中人脸特征区域采用的是鼻尖区域;图2(b)是鼻尖区域定位的流程图,其主要步骤如下:
[0080] 步骤一:确定区域平均负有效能量密度的阈值,定义为thr;
[0081] 步骤二:利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据;
[0082] 步骤三:计算由深度信息选取出的人脸数据的法向量信息;
[0083] 步骤四:按照区域平均负有效能量密度的定义,求出待处理数据中各连通域的平均负有效能量密度,选择其中密度值最大的连通域;
[0084] 步骤五:当该区域的阈值大于预定义的thr时,该区域即为鼻尖区域[0085] 图3是本发明一种基于三维数据的人脸分类系统的数据配准模块示意图,显示了基于检测到的人脸鼻尖区域为基础的数据配准模块。首先在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据;对于不同姿态的三维数据,得到配准的参考区域后,按照ICP算法进行数据的配准,该算法主要步骤如下:
[0086] 假设得到匹配数据集合对P和Q,计算3×3的矩阵:
[0087]
[0088] 其中,N是数据集合的容量;做H矩阵的奇异值(SVD)分解,则H=U∧VT,X=VUT,QT表示Q的转置向量;
[0089] 步骤三:计算旋转矩阵R和平移矩阵t,当行列式为1时,R=X,t=P-R*Q;
[0090] 通过上述步骤,获得两个三维数据点集之间的三维空间变换矩阵,实现两个点集的配准
[0091] 图4是本发明一种基于三维数据的人脸分类系统的数据空间映射示意图。如图4所示为本发明中的将三维点云数据映射为深度人脸图像的数据映射模块。其中,将检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准,其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息,计算过程如下:
[0092] 设鼻尖点为N(x,y,z),则空间点P(x1,y1,z1)的图像坐标为:
[0093]
[0094] width为深度图像的宽度,height为深度图像的高度;同时预设深度分辨率,根据三维点云数据的深度精度预先设定深度分辨率Zref,将空间坐标系的z轴作为映射为人脸深度图像的深度值参考基准:
[0095]
[0096] 通过上述步骤完成将三维点云数据映射为深度人脸图像数据的映射。
[0097] 图5是本发明一种基于三维数据的人脸分类系统的人脸深度图像质量评估流程示意图,如图5(a)所示为深度人脸图像的特征脸示意图。深度特征脸的计算过程为:
[0098] 步骤一:选择训练集的深度人脸图像数据,将其从二维矩阵拉伸为一维列向量;组合列向量成新的矩阵,表示为A矩阵;假设每张深度人脸图像分辨率为M*M,则拉伸后的人脸列向量维度为D=M*M;若训练集中有N张深度人脸图像,则样本矩阵A的维度为D*N;
[0099] 步骤二:将N张深度人脸图像在对应维度上相加,并求平均值,得到深度图像的平均脸,将N张深度人脸图像与平均脸相减,得到差值图像数据矩阵φ,φT为φ的转置;
[0100] 步骤三:对协方差C=φ*φT进行特征值分解,根据所有特征值能量所占比率,选择较大的特征值,其对应的特征向量则为深度特征人脸;
[0101] 深度人脸图像可以投影到深度特征人脸张成的空间中进行近似计算。
[0102] 如图5(b)所示为本发明中的深度图像数据质量评估模块的算法流程。该模块分为训练和评估两个阶段:在训练阶段,如图5(a)所示,训练出深度人脸图像的特征脸,以此为基础张成深度人脸图像空间;在评估阶段,将输入的深度人脸图像映射为深度特征脸空间的一点,得到利用深度特征脸表征的近似深度人脸图像:
[0103]
[0104] 其中,Iapr表示为近似深度人脸图像,Wi表示特征值i的能量所占比率;Ieigen表示深度特征脸;将近似图像与原始图像进行对比,若差值大于某个阈值,这说明该深度图像不符合深度特征脸代表的类型,评估不通过;否则认为该图像符合深度特征脸代表的类型,评估通过,公式如下:
[0105]
[0106] 其中,Iori表示原始图像,E表示评估结果,E=1时评估通过,否则不通过。
[0107] 图6是本发明一种基于三维数据的人脸分类系统的深度纹理修复示意图。如图6所示,首先对于深度图像中的噪点进行检测,噪点类型主要包括数据空洞以及数据的凸起,在深度图像中则表现为人脸深度数据中的零值以及局部纹理的深度凸起值。
[0108] 进行深度数据去噪,采用邻域深度有效值滤波,对深度人脸图像中的噪音进行过滤,该滤波表达式为:
[0109]
[0110] 其中,win表示邻域的范围,(x,y)和(m,n)表示深度图像中的点,当I(x-m,y-n)为深度图像有效点时, 反之w(x-m,y-n)值为0;
[0111] 在对奇异点进行初步低通滤波后,利用边缘保持滤波对深度图像进行进一步纹理修复,采用双边滤波器,双边滤波器由两个函数构成,一个函数是通过几何空间决定滤波器系数,另一个函数是通过像素差值决定滤波器系数;在双边滤波器中,输出像素的值依赖于相邻像素的值的加权组合:
[0112]
[0113] 权重系数为空间域系数以及域值系数的乘积,公式如下:
[0114] w(i,j,k,l)=r(i,j,k,l)*d(i,j,k,l)   (8)
[0115] 其中, 表示由像素差值决定的滤波器系数;表示由几何空间距离决定的滤波器系数;r表示像素,d表
示距离,(i,j)表示深度图像中的奇异点,(k,l)与(i,j)对应,f(i,j)和f(k,l)表示像素值,w(i,j,k,l)为权重系数;
[0116] 通过这种结合方式,在图像滤波中同时考虑了空间域与值域的差别,在滤除数据噪音的过程中也可以保留数据中的特定边缘信息,有效的进行了深度人脸图像数据噪音的修复以及人脸深度特性信息的增强。
[0117] 图7是本发明一种基于三维数据的人脸性别分类系统的特征提取示意图。如图7所示,该过程分为视觉词汇训练阶段和视觉字典直方图特征提取阶段。
[0118] 训练视觉词汇步骤如下:对训练集中的P幅分辨率为M*N的深度图像首先进行Gabor滤波器滤波,通过这种方式将原始的深度图像转换为P*M*N个多维Gabor滤波响应向量;将这些向量按照其所在图像的空间位置进行分组,并对每组向量集合进行K均值聚类,得到的聚类中心为该图像空间位置所对应的Gabor滤波响应向量集合的视觉词汇,即视觉分词典;将每组的视觉向量连接起来,构成深度人脸图像的视觉词典;
[0119] 在视觉词典直方图特征提取阶段,当测试人脸图像输入后,经过Gabor滤波后,将任一滤波向量都与其所在位置相对应的视觉分词典中的所有基元词汇比较,通过距离匹配的方式,把它映射到与之距离最为接近的基元上,通过这种方式,提取出原始深度图像的视觉词典直方图特征。
[0120] 如图8(a)所示为SVM分类器的原理图。分类器的原理在于,设线性可分样本集合为(xi,yi),其中i=1,2…n,x∈Rd,y∈{+1,-1}是类别标号,则x*w+b=0是分类面方程,在分类时,为了使分类面对所有样本正确分类且间隔最大,需满足 以及yi(w*xi+b)-1≥0;通过解此约束优化问题得到最优分类面,如图8(a)所示。在两类样本中离分类面最近的点、且平行于最优分类面的超平面上的训练样本,即为使上述公式等号成立的特殊样本,是支撑最优分类面的支撑向量;如图8(b)所示为本发明中的人脸性别分类流程图。,纹理优化后的三维人脸图像首先进行东方视觉词典库和西方视觉词典库提取,特征提取之后输入到SVM性别分类器之中,获得最终的性别分类结果。
[0121] 图9是本发明一种基于三维数据的人脸种族分类系统的种族视觉词典构建示意图,分别对典型的东方深度人脸图像和西方深度人脸图像进行视觉词汇计算,对计算所得的视觉词汇,将距离较近的视觉词汇区域视为种族深度视觉词汇的临界区域,代表了人的属性,对于距离较远的视觉词汇区域,则视为代表种族的特性信息,即东方或西方深度人脸图像,以此为基础分别构建东方视觉词典库和西方视觉词典库。
[0122] 图10是本发明一种基于三维数据的人脸种族分类系统的分类流程图。如图10所示,不同于性别分类的二分类设计,将种族分类视为模糊分类问题,利用隶属度函数判断深度人脸图像的种族分类;将纹理优化后的三维人脸图像首先进行Gabor滤波,获取该深度图像的Gabor滤波器响应向量集合;然后对该集合的每个响应向量,将其向东方视觉词典或西方视觉词典进行映射,若与东方或西方视觉词典库中的某个词汇距离小于所设置的阈值,则该响应向量属于东方或西方人脸,其对应的向量数目eastnum or westnum进行+1处理,membership(I)=eastnum/westnum为最终的模糊隶属度函数。
[0123] 图11是本发明一种基于三维数据的人脸分类系统的系统框图,如图11所示,包括各个模块在系统中的位置以及其主要功能。主要包括根据三维点云数据提取特征信息以及利用训练好的分类器进行人脸特定区域检测的模块;根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配准的模块;根据预定的深度分辨率以及检测获取的人脸特定区域位置进行数据映射的模块;根据典型性深度人脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块;根据图像邻域数据点进行噪点数据过滤以及利用边缘保留过滤器进行深度图像纹理修复的模块;根据深度数据提取深度人脸特征以及分类器进行人脸识别的模块。
[0124] 对于本领域技术人员,本发明不限制于上述实施例的细节,在不背离本发明的精神和范围的情况下,能够以其他具体形式实现本发明。此外,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围,这些改进和变型也应视为本发明的保护范围。因此,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈