一种通用三维人脸模型的调整方法
专利汇可以提供一种通用三维人脸模型的调整方法专利检索，专利查询，专利分析的服务。并且一种通用三维人脸模型的调整方法，属于计算机 图像处理 技术领域，主要涉及到 生物 特征识别中个的三维 人脸识别 技术中的 三维人脸重建 技术。本 发明 基于通用三维人脸模型，利用两张 正交 的二维人脸图像，通过估算两张正交人脸图像中人脸特征点的三维坐标来调整三维人脸模型，最终得到三维特定人脸模型。本发明将主动形状模型、Procrustes分析和人脸的对称性结构特征应用到通用三维人脸模型的调整过程中。用主动形状模型估计脸部特征点，然后通过Procrustes分析和人脸的对称性结构特征来调整三维人脸模型。与一般的基于图像的方法相比较而言，本发明中的方法不仅提高了模型调整的准确性，并且速度也在一定程度上有所提高，在基于图像的三维人脸重建中具有很强的通用性。，下面是一种通用三维人脸模型的调整方法专利的具体信息内容。
1、一种通用三维人脸模型的人脸模型调整方法，包括下述步骤：
步骤1：对采集的两张正交人脸图像分别进行基于肤色模型的人脸检测；
首先利用肤色像素的连通性分割区域，然后使用椭圆拟合各个区域，根据椭圆长短轴的 比例判断其是否为人脸区域；。
步骤2：人脸关键特征点定位；
对步骤1中检测到的两张正交人脸图像的人脸区域，采用主动形状模型进行人脸关键特 征点的定位，具体包括以下分步骤：
步骤2-1：对人脸图像库中的每张人脸图像进行特征点手工标定，得到每张人脸图像的 特征点向量，即一个形状样本；所有人脸图像的特征点向量组成一个特征点矩阵，即形状样 本集；
步骤2-2：形状样本集的对齐；用Procrustes方法来对齐形状样本集中的所有形状样本；
步骤2-3：形状模型的建立；对所有对齐后的形状样本做主成分分析，得到形状的变化 从而建立形状模型；
步骤2-4：局部灰度模型的建立；为形状模型上的每个点建立局部灰度导数模型；
步骤2-5：基于步骤2-3所得的形状模型和步骤2-4所得的局部灰度模型组成的主动形 状模型，对步骤1所得的人脸区域进行人脸特征点定位；
步骤3：人脸特征点三维坐标的获取；
由步骤2-5所得的正面人脸图像的人脸特征点坐标为Xf＝[xf，yf]T，侧面人脸图像的相 应人脸特征点坐标为Xp＝[yp，zp]T；因为正面输入图像和侧面输入图像是正交图像，有 yf＝yp，所以得到该人脸特征点的三维坐标为Pi＝[xf，yf，zp]T；
步骤4：对通用三维人脸模型进行全局调整；
首先针对正面人脸图像进行全局调整；通过旋转、平移、缩放三种变换，使通用三维人 脸模型上与人脸特征点相对应的顶点在x-y平面上的投影与输入人脸图像中估计到的人脸 特征点相吻合；N个人脸特征点的三维坐标数据组成一个N×3的矩阵PI，通用三维人脸模型 上与人脸特征点相对应的N个顶点的三维坐标数据组成一个N×3的矩阵PM；具体包括以下 分步骤：
步骤4-1：中心化PI和PM；对PI和PM矩阵的每一列求平均值，然后将PI和PM中的每一 个元素减去该元素所在列的平均值，得到中心化矩阵P′I和P′M；
步骤4-2：归一化P′I和P′M，得到归一化矩阵P″I和P″M；
步骤4-3：令A＝P″ITP″M，对矩阵A进行奇异值分解，得到A＝USVT的形式，其中U为n 阶正交阵，V为n阶正交阵，S是由A的奇异值所组成的对角阵；
步骤4-4：计算旋转矩阵R＝VUT；
步骤4-5：计算缩放因子S＝∑S×||P″I||/||P″M||，其中||·||表示矩阵求模运算；
步骤4-6：计算平移向量T＝E(P″I)-S·E(P″M)·R；
步骤4-7：采用缩放因子S、旋转矩阵R和平移向量T来调整通用三维人脸模型上的所有 顶点，得到全局调整后的通用三维人脸模型顶点矩阵P，具体全局调整公式为 P＝S·PM·R+T；
然后针对侧面人脸图像进行全局调整。通过旋转、平移、缩放三种变换，使通用三维人 脸模型上与人脸特征点相对应的顶点在y-z平面上的投影与输入人脸图像中估计到的人脸 特征点相吻合，具体方法如步骤4-1至步骤4-7；
步骤5：对通用三维人脸模型进行局部调整；
为了使通用三维人脸模型更加接近三维特定人脸模型，需要对全局调整过后的模型进行 局部调整；模型的局部调整是对人脸中关键器官的调整，包括正面人脸图像中关键器官的调 整和侧面人脸图像中关键器官的调整；
首先对正面人脸图像中关键器官进行调整，具体包括以下分步骤：
步骤5-1：眼睛的局部调整；将全局调整过的通用三维人脸模型旋转到标准正面，然后将 模型投影到x-y平面上；设通用三维人脸模型上左眼睛的左眼角顶点p1在x-y平面上的投 影坐标为(x1，y1)，模型上右眼睛的右眼角的顶点p2在x-y平面上的投影坐标为(x2，y2)；由 人脸眼睛的构造特征，左眼睛的左眼角的y坐标应该和右眼睛的右眼角的顶点的y坐标相等， 因此可以将p1，p2点的坐标调整为(x1，(y1+y2)/2)和(x2，(y1+y2)/2)；按照上述方法，调整模 型上其它眼睛顶点的坐标；
步骤5-2：嘴巴和鼻子的调整；由人脸的对称性可知，在通用三维人脸模型中，与嘴巴和 鼻子特征点相对应的模型顶点在x-y平面上的投影以x＝(x1+x2)/2为对称轴，其中x1，x2分 别为三维人脸模型上左眼睛的左眼角的顶点的横坐标，模型上右眼睛的右眼角的顶点的横坐 标；设模型上任意一个嘴巴顶点m1在x-y平面上的投影坐标为(x3，y3)，在模型上与之相对称 的顶点m2在x-y平面上的投影坐标为(x4，y4)，因为m1和m2以x＝(x1+x2)/2为对称，所以顶 点m1和m2的坐标应调整为(x1+x2-x4，(y3+y4)/2)和(x4，(y3+y4)/2)；根据投影顶点和投影点 之间的几何关系，我们可以调整与m1和m2相对应的模型顶点的坐标；按照上述方法，调整模 型上其他嘴巴和鼻子顶点的坐标。
技术领域
本发明属于计算机图像处理技术领域，主要涉及到生物特征识别中个的三维人脸识别技 术中的三维人脸重建技术。
背景技术
现在通常使用的三维人脸模型的调整方法有：
(1)基于三维散乱点数据的三维模型调整方法。此方法先用三维扫描仪获取脸部三维散 乱点数据，然后处理脸部三维散乱点数据以获取脸部关键特征点的三维数据，然后再用获取 的脸部关键特征点三维数据来调整通用三维人脸模型。这种方法虽然精度高，但是需要昂贵 的三维扫描设备，且计算量非常大，不适合实际应用场合。详见文献：A-Nasser Ansari，“3D Face Mesh Modeling from Range Images for 3D Face Recognition”Proceeding of IEEE ICIP，pp.509-512，2007。
(2)基于图像的三维模型调整方法。按照算法中用到的二维图像的数目的不同，可以基 于图像的模型调整方法分为基于单幅、多幅和序列图像的三维模型调整。这类方法的主要思 想是通过处理二维人脸图像来获取人脸图像的三维数据，然后通过获取的三维数据来调整通 用三维模型。此方法具有运算量小的优点，并且兼顾了成本和精度，只要一般的照相机便可 满足应用的需要。详见文献：R.Lengagne，P.Fua，and O.Monga，“3D Face Modeling from Stereo and differential Constraints”，Proc.ICAFGR，April 1998，pp.148-153.
发明内容
为了方便地描述本发明内容，首先对一些术语进行定义。
定义1：通用三维人脸模型。为了计算简便，在本发明中使用的通用三维人脸模型是 Candide_3模型。Candide_3模型是一种参数化的模型，它由113个顶点和168个三角面片组 成。每个顶点Pi由其对应的三个坐标值xi，yi，zi表示，即Pi＝(xi，yi，zi)T，1≤i≤113，所有 113个顶点的三维数据串接而成矩阵Q来表示整个模型，即Q＝(P1，P2，...Pi，...P113)。
定义2：人脸轮廓。人脸轮廓包括人脸脸型的轮廓，描述眼睛、鼻子、嘴巴等形状的轮 廓。一个人的人脸在人的一生中面容会苍老，但是大致的轮廓几乎不会发生改变，不同人的 轮廓是不一样的。
定义3：人脸特征点。人脸特征点是指能够表征人脸形状和五官形状的外围轮廓上的一 些离散点。
定义4：模型点。模型点指的是组成Candide_3模型的113个顶点。
定义5：奇异值分解。m×n阶矩阵A可以写成A＝USV′的形式，U为m阶正交阵，V为 n阶正交阵，S＝diag(σ1，σ2，...，σr)，σi＞0(i＝1，...，r)，r＝rank(A)，U和V中分别是A的奇异 向量，而S是由A的奇异值所组成的对角阵。奇异值分解和特征值问题是紧密联系的，AA′的 正交单位特征向量组成U，特征值组成S′S，AA′的正交单位特征向量组成V，特征值(与AA′ 相同)组成S′S，奇异值分解提供了一些关于A的信息，例如非零奇异值的数目(S的阶数) 和A的秩相同，一旦秩r确定，那么U的前r列构成了A的列向量空间的正交基。
定义6：主动形状模型。主动形状模型是一个统计的可变形模型，能够精确的定位人脸 特征点。
本发明技术方案如下：
一种通用三维人脸模型的人脸模型调整方法，如图1所示，包括下述步骤：
步骤1：对采集的两张正交人脸图像分别进行基于肤色模型的人脸检测。
首先利用肤色像素的连通性分割区域，然后使用椭圆拟合各个区域，根据椭圆长短轴的 比例判断其是否为人脸区域，如图2所示。
步骤2：人脸关键特征点定位。
对步骤1中检测到的两张正交人脸图像的人脸区域，采用主动形状模型进行人脸关键特 征点的定位，如图3所示，具体包括以下分步骤：
步骤2-1：对人脸图像库中的每张人脸图像进行特征点手工标定，得到每张人脸图像的 特征点向量(即一个形状样本)，所有人脸图像的特征点向量组成一个特征点矩阵(即形状样 本集)。
步骤2-2：形状样本集的对齐。用Procrustes方法来对齐形状样本集中的所有形状样本。
步骤2-3：形状模型的建立。对所有对齐后的形状样本做主成分分析，得到形状的变化 从而建立形状模型。
步骤2-4：局部灰度模型的建立。为形状模型上的每个点建立局部灰度导数模型。
步骤2-5：基于步骤2-3所得的形状模型和步骤2-4所得的局部灰度模型组成的主动形 状模型，对步骤1所得的人脸区域进行人脸特征点定位。
步骤3：人脸特征点三维坐标的获取。
由步骤2-5所得的正面人脸图像的人脸特征点坐标为Xf＝[xf，yf]T，侧面人脸图像的相 应人脸特征点坐标为Xp＝[yp，zp]T；因为正面输入图像和侧面输入图像是正交图像，有 yf＝yp，所以得到该人脸特征点的三维坐标为Pi＝[xf，yf，zp]T。
步骤4：对通用三维人脸模型进行全局调整，如图4所示。
首先针对正面人脸图像进行全局调整。通过旋转、平移、缩放三种变换，使通用三维人 脸模型上与人脸特征点相对应的顶点在x-y平面上的投影与输入人脸图像中估计到的人脸 特征点相吻合。N个人脸特征点的三维坐标数据组成一个N×3的矩阵PI，通用三维人脸模型 上与人脸特征点相对应的N个顶点的三维坐标数据组成一个N×3的矩阵PM。具体包括以下 分步骤：
步骤4-1：中心化PI和PM。对PI和PM矩阵的每一列求平均值，然后将PI和PM中的每一 个元素减去该元素所在列的平均值，得到中心化矩阵P′I和P′M。
步骤4-2：归一化P′I和P′M，得到归一化矩阵P″I和P″M。
步骤4-3：令 对矩阵A进行奇异值分解，得到A＝USVT的形式，其中U为n 阶正交阵，V为n阶正交阵，S是由A的奇异值所组成的对角阵。
步骤4-4：计算旋转矩阵R＝VUT。
步骤4-5：计算缩放因子S＝∑S×‖P″I‖/‖P″M‖，其中‖·‖表示矩阵求模运算。
步骤4-6：计算平移向量T＝E(P″I)-S·E(P″M)·R。
步骤4-7：采用缩放因子S、旋转矩阵R和平移向量T来调整通用三维人脸模型上的所有 顶点，得到全局调整后的通用三维人脸模型顶点矩阵P，具体全局调整公式为 P＝S·PM·R+T。
然后针对侧面人脸图像进行全局调整。通过旋转、平移、缩放三种变换，使通用三维人 脸模型上与人脸特征点相对应的顶点在y-z平面上的投影与输入人脸图像中估计到的人脸 特征点相吻合，具体方法如步骤4-1至步骤4-7。
步骤5：对通用三维人脸模型进行局部调整。
为了使通用三维人脸模型更加接近三维特定人脸模型，需要对全局调整过后的模型进行 局部调整。模型的局部调整是对人脸中关键器官的调整，包括正面人脸图像中关键器官的调 整和侧面人脸图像中关键器官的调整。
首先对正面人脸图像中关键器官进行调整，具体包括以下分步骤：
步骤5-1：眼睛的局部调整。将全局调整过的通用三维人脸模型旋转到标准正面，然后将 模型投影到x-y平面上。设通用三维人脸模型上左眼睛的左眼角顶点p1在x-y平面上的投 影坐标为(x1，y1)，模型上右眼睛的右眼角的顶点p2在x-y平面上的投影坐标为(x2，y2)。由 人脸眼睛的构造特征，左眼睛的左眼角的y坐标应该和右眼睛的右眼角的顶点的y坐标相等， 因此可以将p1，p2点的坐标调整为(x1，(y1+y2)/2)和(x2，(y1+y2)/2)。按照上述方法，调整模 型上其它眼睛顶点的坐标。
步骤5-2：嘴巴和鼻子的调整。由人脸的对称性可知，在通用三维人脸模型中，与嘴巴和 鼻子特征点相对应的模型顶点在x-y平面上的投影以x＝(x1+x2)/2为对称轴，其中x1，x2分 别为三维人脸模型上左眼睛的左眼角的顶点的横坐标，模型上右眼睛的右眼角的顶点的横坐 标。设模型上任意一个嘴巴顶点m1在x-y平面上的投影坐标为(x3，y3)，在模型上与之相对称 的顶点m2在x-y平面上的投影坐标为(x4，y4)，因为m1和m2以x＝(x1+x2)/2为对称，所以顶 点m1和m2的坐标应调整为(x1+x2-x4，(y3+y4)/2)和(x4，(y3+y4)/2)。根据投影顶点和投影点 之间的几何关系，我们可以调整与m1和m2相对应的模型顶点的坐标。按照上述方法，调整模 型上其他嘴巴和鼻子顶点的坐标。
需要说明的是：
1、本专利中公式中的黑体大写字母均表示是矩阵或向量，其它的为标量。
2、步骤2参考经典的主动形状模型算法。
3、步骤2-1中的Procrustes分析方法可参考Amy Ross的论文Procrustes Analysis。
本发明的创新之处在于：
本发明将主动形状模型、Procrustes分析和人脸的对称性结构特征应用到通用三维人脸模 型的调整过程中。用主动形状模型估计脸部特征点，然后通过Procrustes分析和人脸的对称 性结构特征来调整三维人脸模型。与一般的基于图像的方法相比较而言，本发明中的方法不 仅提高了模型调整的准确性，并且速度也在一定程度上有所提高，在基于图像的三维人脸重 建中具有很强的通用性。
附图说明
图1是本发明的通用三维人脸线框模型调整方法的流程示意图。
图2是人脸检测流程示意图。
图3是人脸特征点定位流程示意图。
图4是通用三维人脸线框模型的全局调整流程示意图。
具体实施方式
综上所述，用本发明中的方法，能够快速准确的对三维人脸模型进行自动调整，从而获 取三维特定人脸模型。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种高压氧舱人脸识别交互方法及系统 | 2020-05-15 | 388 |
| 一种人脸图像的融合方法、装置及计算设备 | 2020-05-18 | 750 |
| 一种基于单目视觉的智能球场运动信息采集系统与方法 | 2020-05-13 | 100 |
| 一种基于核磁共振数据的三维形变模型生成方法、系统及电子设备 | 2020-05-08 | 124 |
| 用于生成信息的方法和装置 | 2020-05-13 | 815 |
| 三维人脸与眼球运动的建模与捕获方法及系统 | 2020-05-15 | 973 |
| 一种图像处理方法、装置、电子设备和存储介质 | 2020-05-19 | 309 |
| 三维人脸重建方法及装置、电子设备和存储介质 | 2020-05-17 | 338 |
| 一种基于红外结构光的三维人脸重建装置以及系统 | 2020-05-13 | 504 |
| 三维人脸图像重建方法、装置和计算机可读存储介质 | 2020-05-14 | 1020 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
