首页 / 专利库 / 人工智能 / 三维形变模型 / 多模态信息结合的多姿态三维人脸面部五官标志点定位方法

多模态信息结合的多姿态三维人脸面部五官标志点定位方法

阅读:509发布:2021-01-01

专利汇可以提供多模态信息结合的多姿态三维人脸面部五官标志点定位方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种多模态信息结合的多 姿态 三维人脸面部五官标志点 定位 方法,用于解决现有的多姿态三维人脸面部五官标志点定位方法对姿态鲁棒性差的技术问题。技术方案是采用多模态信息结合进行三维人脸面部五官标志点定位,借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势,能够不用预先对人脸模型的姿态进行估计和补偿,从而对姿态有着较强的鲁棒性,对 正面 三维人脸模型的五官标志点平均定位准确率达到98.5%,对姿态变化较小人脸模型,定位准确率由背景技术的88.3%提高到91.6%;对于姿态变化较大的人脸模型,本发明具有显著的优越性,定位准确率由背景技术的57.5%提高到73.5%。,下面是多模态信息结合的多姿态三维人脸面部五官标志点定位方法专利的具体信息内容。

1.一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法,其特征在于包括下述步骤:
(a)对人脸二维纹理图像进行特征点检测,将每幅人脸二维纹理图像对由前视位置绕相机光轴方向变化产生的图像形变失真进行精确仿真,倾斜转换度由定向的t子采样,仿真图像依照 进行φ旋转,在x方向采用标准偏差 的高斯函数对图像进行卷
积操作,c=0.8;式中,φ是相机经度,θ是相机纬度角;
对形变变量通过相机经度角φ和相机纬度角θ调节;
采用相似度不变匹配方法对所有仿真图像进行比较,提取出的特征点中抽取最具有代表性的五官特征描述点;
(b)将人脸二维纹理图像中检测出的五官特征点数据U={ui∈R2:i=1,2,…,N},R2表示二维数据空间,根据相应关系映射到三维人脸模型中;二维图像中非人脸区域内检测出的特征点在三维人脸数据中对应点的特征值为0,即非人脸区域,将非人脸区域点从三维人脸数据中剔除;对三维人脸模型数据集P{pi,i=1,2,...,N}中的每一个顶点pi,计算由最大曲率 和最小曲率 表示的三维人脸五官区域凹凸变化的结构描述信息脊线lridge和谷线lvalley:
作为人脸五官的局部突变点集;式中,kthresh1、kthresh2分别为局部区域的限曲率,由遗传算法计算得出,得到人脸五官区域位置的脊线lridge和谷线lvalley;
(c)Step1:分别对不同姿态三维人脸数据集Mf和Mnf的突变点集合PF|markf和PF|marknf中的每一个标志点piF|markf,pj,F|marknf,建立形状编码,并比较Mf和Mnf特征点对间的约束关系Step2:对R建立的点对约束,计算PF|markf和PF|marknf各点的匹配误差D(pi,F|markf,pj,F|marknf),统计出偏差阈值τ;
Step3:去除PF|markf和PF|marknf中误差值大于偏差阈值τ的点,建立新的集合PF|markf′和PF|marknf’,转Step2,若相邻两次阈值差小于给定误差值,迭代结束;
Step4:PF|markf′和PF|marknf′即是相应人脸数据模型中的五官标志点。

说明书全文

多模态信息结合的多姿态三维人脸面部五官标志点定位

技术领域

[0001] 本发明涉及一种多姿态三维人脸面部五官标志点定位方法,特别是一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法

背景技术

[0002] 多姿态人脸五官标志点提取是人脸建模、表情分析及人脸识别中的关键技术,准确高效的面部五官特征提取能够为上述应用奠定良好的基础
[0003] 文 献“Guangpeng Zhang,Yunhong Wang.A 3D facial feature point localization method based on statistical shape model.in Proceeding of ICASSP2007,pp.249-252.”公开了一种多姿态三维人脸面部五官标志点定位方法。该方法通过检测面部曲面形状变化,并建立五官分布统计模型对人脸五官标志点进行定位。首先,采用曲面形状索引特征对人脸表面区域进行粗分割,分割出五官区域;其次采用面部五官统计形状模型对分割后的区域进行特征点定位,五官区域中满足统计形状模型分割规律且距离区域中心点最近的点即为最终定位的五官特征点,从而实现姿态不变特征点的提取。但是,该方法存在以下问题:首先,该方法中的曲面形状索引受曲面噪声点的影响较大,定位准确率只有88.3%;其次,采用五官统计形状模型对姿态有着较大的依赖性,虽然能够克服部分姿态影响,但是对于姿态变化较大的人脸模型,定位准确率仅仅达到57.5%。

发明内容

[0004] 为了克服现有的多姿态三维人脸面部五官标志点定位方法对姿态鲁棒性差的不足,本发明提供一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法。该方法采用多模态信息结合进行三维人脸面部五官标志点定位,借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势,能够不用预先对人脸模型的姿态进行估计和补偿,从而对姿态有着较强的鲁棒性。
[0005] 本发明解决其技术问题所采用的技术方案:一种多模态信息结合的多姿态三维人脸面部五官标志点定位方法,其特点是包括下述步骤:
[0006] (a)对人脸二维纹理图像进行特征点检测,将每幅人脸二维纹理图像对由前视位置绕相机光轴方向变化产生的图像形变失真进行精确仿真,倾斜转换度由定向的t子采样,仿真图像依照 进行φ旋转,在x方向采用标准偏差 的高斯函数对图像进行卷积操作,c=0.8;式中,φ是相机经度,θ是相机纬度角;
[0007] 对形变变量通过相机经度角φ和相机纬度角θ调节;
[0008] 采用相似度不变匹配方法对所有仿真图像进行比较,提取出的特征点中抽取最具有代表性的五官特征描述点;
[0009] (b)将人脸二维纹理图像中检测出的五官特征点数据U={ui∈R2:i=1,2,…,2
N},R 表示二维数据空间,根据相应关系映射到三维人脸模型中;二维图像中非人脸区域内检测出的特征点在三维人脸数据中对应点的特征值为0,即非人脸区域,将非人脸区域点从三维人脸数据中剔除;对三维人脸模型数据集P{pi,i=1,2,...,N}中的每一个顶点pi,计算由最大曲率 和最小曲率 表示的三维人脸五官区域凹凸变化的结构描述信息脊线lridge和谷线lvalley:
[0010]
[0011]
[0012] 作为人脸五官的局部突变点集;式中,kthresh1、kthresh2分别为局部区域的限曲率,由遗传算法计算得出,得到人脸五官区域位置的脊线lridge和谷线lvalley;f
[0013] (c)Step1:分别对不同姿态三维人脸数据集Mf和Mnf的突变点集合PF|mark| 和nf f fPG|mark 中的每一个标志点pi,F|mark,pj,F|markn,建立形状编码,并比较Mf和Mnf特征点对间的约束关系
f nf f
[0014] Step2:对R建立的点对约束,计算PF|mark 和PF|mark 各点的匹配误差D(pi,F|mark,pj,nfF|mark ),统计出偏差阈值τ;
f nf
[0015] Step3:去除PF|mark 和PF|mark 中误差值大于偏差阈值τ的点,建立新的集合f nfPF|mark′和PF|mark ′,转Step2,若相邻两次阈值差小于给定误差值,迭代结束;
f nf
[0016] Step4:PF|mark′和PF|mark ′即是相应人脸数据模型中的五官标志点。
[0017] 本发明的有益效果是:由于采用多模态信息结合进行三维人脸面部五官标志点定位,借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域凹凸分明的优势,能够不用预先对人脸模型的姿态进行估计和补偿,从而对姿态有着较强的鲁棒性,对正面三维人脸模型的五官标志点平均定位准确率达到98.5%,对姿态变化较小人脸模型,定位准确率由背景技术的88.3%提高到91.6%;对于姿态变化较大的人脸模型,本发明具有显著的优越性,定位准确率由背景技术的57.5%提高到73.5%,远远高于背景技术的定位准确率。
[0018] 下面结合具体实施方式对本发明作详细说明。

具体实施方式

[0019] 本发明多模态信息结合的多姿态三维人脸面部五官标志点定位方法,首先对二维人脸纹理图像采用仿射不变的Affine-SIFT方法进行特征点检测;然后,利用映射关系将二维空间中检测出的特征点投影到三维空间,对三维人脸模型数据集中的每一个顶点,计算由最大、最小曲率表示的三维人脸五官区域凹凸变化的结构描述信息脊线和谷线,作为人脸五官的局部突变点集;最后,建立不同姿态人脸特征点对间的约束关系,用最小二乘法进行匹配优化,对匹配结果进行统计分析,得出某一偏差值,使绝大多数点均在该偏差值以内,以此偏差值作为阈值滤除偏差大的点,建立新的集合,认为被滤出的点是非五官标志点,直到相邻两次阈值之差小于给定的误差值,将此时集合中的点确定为人脸五官标志点。由于本发明采用多模态信息结合的思路进行三维人脸面部五官标志点定位,借助二维图像中五官结构轮廓清晰和三维人脸模型中五官标志区域较易凹凸分明的优势,能够不用预先对人脸模型的姿态进行估计和补偿,从而对姿态有着较强的鲁棒性,实现了对多姿态三维人脸面部五官标志点的定位。
[0020] 1、基于二维纹理图像的特征点检测。
[0021] 人脸可以在三维空间中进行6自由度的运动,同时实际应用中不同相机获取到的人脸图像由于相机光轴方向的变化而产生图像失真,从而使得人脸特征点的检测面临着更大的困难。ASIFT(Affine Scale Invariant Feature Transform)在保留SIFT方法优良性能,如对旋转、尺度缩放、平移、亮度变化保持不变性,对视角变化、噪声也保持一定程度的稳定性的基础上,对仿射变化具有更强的不敏感性。ASIFT方法首先对由相机光轴方向变化产生的图像失真进行精确仿真,然后,采用与SIFT相同的步骤进行特征点检测。ASIFT能够对三个参数进行仿真,即尺度、相机经度角和相机纬度角,同时对旋转和平移参数进行归一化,因此对仿射变换具有不变性。
[0022] ASIFT方法具体实现步骤如下:
[0023] Step1:将每幅图对由前视位置绕相机光轴方向可能引起的仿射形变进行仿真,该形变由两个参数决定:相机经度角φ和纬度角θ。图像经由依照倾斜转换度相关参数进行φ旋转。对于数字图像而言,倾斜转换度由一个定向的t子采样来完成,该过程需要首先在x方向上使用一个有着标准偏差 的高斯函数来对图像进行卷积操作,选取c=0.8。
[0024] Step2:这些旋转和倾斜转换度变量通过一系列有限的纬度和经度角来调节,这些参数的采样步骤保证仿真图像与其他由相机经度角φ和纬度角θ产生的视图相似性较强。
[0025] Step3:所有仿真图像用相似度不变匹配方法SIFT来进行比较。
[0026] ASIFT对仿射变换具有不变性,同时由于其保留了SIFT本身对尺度、旋转、平移的不变特性,因此ASIFT能够较为鲁棒地检测同一个体的不同姿态人脸图像对间相匹配的特征点对。但是由ASIFT提取的大多数特征点在人脸五官描述方面并没有实际意义,对于人脸识别所需要的最为重要的五官描述标志点,绝大多数特征点为冗余特征。为了有效地进行人脸分析,必须从提取出的特征点中抽取最具有代表性的五官特征描述点。
[0027] 2、五官局部突变描述。
[0028] 人脸库中的二维图像数据U={ui∈R2:i=1,2,…,N}与三维网格数据V={vj3 2
=(xj,yj,zj)∈R :j=1,2,…,M}存在映射关系,记为Ψ:ui→vj, R,
3
R 分别表示二维、三维数据空间。将二维图像的特征点向三维空间进行映射,二维图像中非人脸区域内检测出的特征点在三维人脸数据中对应点的特征值为0,即非人脸区域,由此可以将非面部区域点从三维人脸数据中自动剔除。
[0029] 以P{pi,i=1,2,...,N}表示三维人脸数据集合,对该数据集中的每一个顶点pi,其最大和最小曲率分别表示为 和 能够描述曲面结构的重要信息,而由最大最小曲率计算出的三维曲面上的脊线和谷线能够较好地描述人脸五官区域的凹凸变化,分别以lridge和lvalley表示,其计算原则为:
[0030]
[0031]
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈