一种弱化表情形变影响的三维人脸识别方法专利检索-三维形变模型人工智能专利检索查询-专利查询网

一种弱化表情形变影响的三维人脸识别方法

阅读：65发布：2021-01-26

专利汇可以提供一种弱化表情形变影响的三维人脸识别方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种弱化表情形变影响的三维人脸识别方法，步骤如下：(1)三维人脸模型姿态定位；(2)刚性约束的计算；(3)基于向导的约束变形；(4)匹配变形后的中间模型和gallery库中的已知模型完成三维人脸识别。本发明可弱化表情变化的影响、提高三维人脸识别的性能。，下面是一种弱化表情形变影响的三维人脸识别方法专利的具体信息内容。

权利要求

1、一种弱化表情形变影响的三维人脸识别方法，步骤如下：
(1)三维人脸模型姿态定位：
通过检测三维模型的对称面和鼻尖点、鼻基点两个特征点确定人脸姿态，将三维模型置于统一的坐标框架中，方便步骤(3)中导向变形时三角形对应关系的建立；
(2)刚性约束的计算：
选取包含不同表情的同类模型样本若干组，每组同类模型至少包括一个中性模型，在参数域计算同类差异，同类差异基于中性模型计算，将同类差异二值化为刚性约束模板，用于描述人脸曲面不同区域的不同变形能力；
(3)基于向导的约束变形：
每次匹配测试模型和gallery库中的中性模型时，将中性模型作为向导模型，以向导模型的梯度场为目标对测试模型的所有三角面片进行变换，然后建立变换后的梯度场及其散度场，结合步骤(2)得到的二值刚性约束模板，利用泊松方程求解变形结果，得到弱化表情变形的中间模型；
(4)匹配：
匹配变形后的中间模型和向导模型，计算两个模型间最近点对的平均距离作为两者的相似度；
(5)识别：
对gallery库中的每一个模型实施步骤(3)、步骤(4)两步的计算，选取其中平均距离最小的一个作为识别结果。
2、根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(1)的对称面检测采用的是基于ICP对齐原始模型和其镜像模型，然后求对应点的中轴面的方法。
3、根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(1)鼻尖点和鼻基点的检测采用下述方法：
pnt＝argmaxp∈C(dist(p，le))          ①
pnb＝argminp∈L(yp)                   ②
$L = {p | p \in C, y_{p} > y_{p_{nt}}, {dist}^{'} (p {, l}_{e}) = 0}$ ③
其中，pnt为鼻尖点，pnb为鼻基点，C为侧影线，连接侧影线C头尾两点的线段为表示点到直线段的距离，yp表示点p的y轴坐标，表示点到直线段距离的一阶微分。
4、根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(2)采用的刚性约束的计算是基于多组同类模型，每组一个中性模型，其余为带表情模型；步骤(2)刚性约束计算采用的模型间对应关系在参数域建立；采用的二值刚性约束的约束率为50％。
5、根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(3)中采用变形技术是基于泊松方程的变形技术，其线性系统如下式：
AU＝b                ④

其中i，j是网格顶点的索引，N(i)是网格顶点i的邻接顶点索引，Aij是距阵A的(i，j)位置的分量，U是变形后网格中任一顶点的坐标分量，b是修改后梯度向量场的散度，矩阵A是拉普拉斯算子在网格M上构建的一个稀疏矩阵，αij是网格中索引为i和j+1的顶点相连的边与网格中索引为j和 j+1的顶点相连的的夹角，βij是网格中索引为i和j-1的顶点相连的边与网格中索引为j-1和j的顶点相连的边的夹角。
6、根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(3)中基于向导模型的梯度场计算是对每个三角面片建立局部坐标系，然后用下式进行变换：
X′ij＝Hi·Xij，j＝0，1，2    ⑥
其中Xij是三角面片Tip中某顶点vj的坐标，Hi保证下式成立：
$< \vec{n_{T_{i}^{p}}}, \vec{n_{T_{i}^{g}}} > = 0$ ⑦
其中表示两个向量的点乘，是三角面片T的法向量，Tip是测试模型的第i个三角面片，Tig是向导模型的第i个三角面片。
7、根据权利要求5所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(3)刚性约束与泊松方程的融合采用的是分块矩阵计算法，如下：
$[\begin{matrix} A_{1} & A_{2} \\ A_{3} & A_{4} \end{matrix}] [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] = [\begin{matrix} b_{1} \\ b_{2} \end{matrix}]$ ⑧
其中k是测试模型落入二值刚性约束模板中刚性区域的顶点元素个数，由公式⑤获得的稀疏矩阵A的前k行的方程系数对应这k个顶点，A1， A2，A3，A4分别为k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的块矩阵，U1是对应于刚性区域中顶点的x，y，z分量之一，U2是待变形顶点的坐标分量， b1，b2是对应的散度。保持U1不变，泊松方程简化为求解如下线性系统：
A4U2＝b2-A3U1                   ⑨
8、根据权利要求7所述的弱化表情形变影响的三维人脸识别方法，其特征是：所述的线性系统的计算方法是矩阵分解和回代。
9、根据权利要求1所述的弱化表情形变影响的三维人脸识别方法，其特征是：步骤(4)采用的匹配相似度量如下式：
$Dis (M_{p}, M_{g}) = RMS (D_{c}^{g} (M_{p}), M_{g})$ ⑩
其中Dcg(·)表示基于向导模型的一次约束变形过程，RMS(·，·)表示最近点平均距离，Mp是测试模型，Mg是gallery库中的向导模型。

说明书全文

技术领域

本发明涉及一种三维人脸识别方法，尤其涉及一种以导向变形和变形刚性约束为基础的弱化表情形变影响、提高识别性能的三维人脸识别方法。

背景技术

自动人脸识别技术在国家安全、军事安全、公共安全和家庭娱乐等领域具有广泛的应用前景，过去几十年中，人脸识别得到深入广泛的研究。然而，基于图像的二维人脸识别技术仍然面临巨大的挑战，在光线、姿态和表情变化的情况下，二维人脸识别的准确性还远远不能让人满意。
三维人脸识别技术有望从根本上解决基于图像的人脸识别方法所面临的“受姿态、光线和表情影响”的难题。基于三维数据已经获取的前提，三维人脸识别受光线的影响很小。由于三维数据具有显式的几何形状，三维人脸识别更具克服姿态变化的潜力。然而，表情变化改变了三维人脸模型的形状，造成人脸局部区域的塑性变形，从而极大地降低三维人脸识别的性能，因此，如何克服或降低表情的影响是三维人脸识别中一个关键的问题和挑战。现有的技术尚无法做到在各种表情变化情况下达到较好的识别性能。

发明内容

本发明提供一种基于导向变形和变形刚性约束的弱化表情变化影响、提高识别性能的三维人脸识别方法。
一种弱化表情形变影响的三维人脸识别方法，其步骤如下：
(1)三维人脸模型姿态定位：通过检测三维模型的对称面和两个特征点(鼻尖点和鼻基点)确定人脸姿态，将三维模型置于统一的坐标框架中，方便导向变形时三角形对应关系的建立；
步骤(1)采用的定位人脸模型的6个自由度的元素是对称面和两个特征点(鼻尖点和鼻基点)。
对称面检测采用的是基于ICP对齐原始模型和其镜像模型，再求对应点的中轴面的方法。
鼻尖点和鼻基点的检测采周下述方法：
pnt＝argmaxp∈C(dist(p，le))①
pnb＝argminp∈L(yp)②

L = {p | p \in C, y_{p} > y_{p_{nt}}, {dist}^{'} (p, l_{e}) = 0}

③
其中，pnt为鼻尖点和pnb为鼻基点，C为侧影线，连接侧影线C头尾两点的线段为表示点到直线段的距离，yp表示点p的y轴坐标，表示点到直线段距离的一阶微分。
(2)、刚性约束的计算：选取包含不同表情的同类模型样本和异类模型样本各若干组，在参数域分别计算同类差异和异类差异，将同类差异二值化为刚性约束模板，用于描述人脸曲面不同区域的不同变形能力；
步骤(2)采用的刚性约束的计算是基于多组同类模型，每组中一个是中性模型，其余为带表情模型。
采用的模型间对应关系的计算在参数域建立。
采用的二值刚性约束的约束率为50％。
(3)基于向导的约束变形：给定待变形模型和中性表情的向导模型，以向导模型的梯度场为目标对待变形模型的所有三角面片进行变换，然后建立变换后的梯度场及其散度场，结合二值刚性约束模板，利用泊松方程求解变形结果，得到弱化表情变形的中间模型；
步骤(3)中采用变形技术是基于泊松方程的变形技术，其线性系统的建立如下式：
AU＝b ④

其中U是变形后网格中任一待求解顶点的坐标分量，b是修改后的梯度向量场的散度，矩阵A是拉普拉斯算子在网格M上构建的一个稀疏矩阵，相应角度见附图7。
采用的变形技术是用gallery库中的模型作为变形向导。
对应三角面片的建立采用的是平均最近距离。
基于向导的梯度场计算是对每个三角面片建立局部坐标系，然后用下式进行变换：
X′ij＝Hi·Xij，j＝0，1，2⑥
其中Hi保证下式成立：

< \vec{n_{T_{i}^{p,}}}, \vec{n_{T_{i}^{g}}} > = 0

⑦
其中是三角面片T的法向量。
刚性约束与变形技术的融合采用的是分块矩阵计算法，如下：

[\begin{matrix} A_{1} & A_{2} \\ A_{3} & A_{4} \end{matrix}] [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] = [\begin{matrix} b_{1} \\ b_{2} \end{matrix}]

⑧
其中落入二值约束模板中刚性区域的顶点元素个数为k，稀疏矩阵A 的前k行的方程系数对应这k个顶点，A1，A2，A3，A4分别为 k×k，k ×(n-k)，(n-k)×k，(n-k)×(n-k)的块矩阵，U1对应于刚性区域中顶点的x，y，z分量之一，U2是待变形顶点的坐标分量，b1，b2是对应的散度。保持U1不变，泊松方程简化为求解如下线性系统：
A4U2＝b2-A3U1⑨
采用的线性系统的计算方法是矩阵分解和回代。
(4)匹配：匹配变形后的中间模型和当前从gallery库中取得的向导模型，计算相似度。
步骤(4)采用的匹配相似度量如下式：

Dis (M_{p}, M_{g}) = RMS (D_{c}^{g} (M_{p}), M_{g})

⑩
其中Dcg(·)表示基于向导模型的一次约束变形过程，RMS(·，·)表示最近点平均距离。
(5)识别：对gallery库中的每一个模型施加(3)、(4)两步的计算，选取其中平均距离最小的一个作为识别结果，以完成系统功能。
表情变化下的三维人脸识别问题可以简单定义为：已知库(gallery)中登记了多个身份人每人一个的中性表情模型，对输入的一个带表情的模型 (probe)，如何实现正确的分类。
假设带表情的模型为Mp，其对应未知的中性表情模型为Mpn，则存在一个变形函数F，使得Mp＝F(Mpn)，如果可以求出F的逆函数F-1，则可以对Mp施以变换F-1，得到中性的模型Mpn，然后用Mpn与gallery库中模型匹配则可以实现弱化表情的影响的目的。
由于Mpn未知，F和F-1无法求解，但可以用已有的条件求近似解，首先，F-1函数与模型本身的属性有关系，例如：人脸模型有些区域变形能力强，有些区域则更刚性一些。其次，尽管Mpn未知，但gallery库中有大量的中性表情模型，可以借用这些模型的信息。
首先计算模型Mp的表情变形属性λ，为模型的每个区域赋以一定的变形能力，然后以gallery库中的每一个中性模型为假想Mpn′，计算F-1，再用模型的变形属性λ约束F-1，改进F-1为Fλ-1，采用Fλ-1对Mp进行变换，再与gallery库中当前模型匹配。此时，当且仅当Mpn′与Mpn是同一个中性表情模型时，Fλ-1才可以将Mp变为Mpn，否则表情变形属性约束Mp，确保Mp 不会变成Mpn′。这样的变换Fλ-1可以提高类内相似度，而保持类间的差别度，以弱化表情变化的影响。按以上的思路，提出了一个带约束的导向变形模型(GCD模型)。其中表情变形属性对应模型中的刚性约束，导向变形对应于F-1。
本发明方法在三维人脸识别中可以弱化表情变化的影响、提高三维人脸识别的性能。

附图说明

图1是本发明的带约束的导向变形模型用于三维人脸识别的流程图；
图2是本发明的人脸模型对称面检测和侧影线提取示意图；
图3是本发明的侧影线上鼻尖点和鼻基点检测示意图；
图4是本发明的三维人脸模型的类内差异(第一行)和类间差异(第二行) 示意图；
图5是本发明的三维人脸模型匹配差异度量亮度图；
图6是本发明的刚性约束模板建立过程示意图；
图7是本发明的简单一环网格示意图；
图8是本发明的三维人脸网格之间的三角面片局部坐标系的生成和变换示意图；
图9是本发明的基于向导模型的梯度场导引和基于泊松方程的变形结果重建示意图；
图10是本发明的约束前后的变形结果对比示意图；
图11是本发明的基于GCD模型的三维人脸识别与PCA、ICP识别率的比较图；

具体实施方式

三维人脸模型姿态定位
姿态定位通过三步完成，首先检测对称面并提取侧影线，然后确定鼻尖点和鼻基点，最后应用一个刚性变换将三维人脸模型置于统一的坐标框架中以完成姿态定位。
(1)对称面检测和侧影线提取
我们首先提出一个鲁棒的三维人脸对称面检测的方法。给定人脸网格 M的顶点集合VM＝{pi∈R3|1≤i≤N}，对任意一个平面，可以找到VM关于该平面的镜像顶点集

V_{M}^{m} = {p_{i}^{m} \in R^{3} | 1 \leq i \leq N},

VM中任意一点pi的对应镜像点是 VMm中的pim，原人脸网格的拓扑结构与镜像网格一致，严格意义上说，如果考虑曲面片的方向，镜像网格的三角面片的顶点序应该与原网格M相反，此时可以取得统一的曲面方向，由于这里我们主要对点集进行分析，因此可以忽略拓扑结构变化的影响。
将镜像点集VMm向原网格点集VM配准，使两者最终对齐，假设得到的点集为

V_{M}^{m^{'}} = {p_{i}^{m^{'}} \in R^{3} | 1 \leq i \leq N},

其中点的对应次序依然不变。此时，VM和VMm′ 组成一个新的顶点集合V：

\overline{V} = V_{M} + V_{M}^{m^{'}}

①
由于三维人脸本身大致对称，V是一个自对称的集合，人脸网格的对称面必过VM和VMm′中对应点的平分线，因此人脸的对称面A内蕴的点集可以用下式表示：

A = {x | < x - (p_{i} + p_{i}^{m^{'}}) / 2, p_{i} - p_{i}^{m^{'}} > = 0,1 \leq i \leq N}

②
其中<·，·>表示两向量的点积。
我们采用ICP方法对齐VM和VMm，ICP能有效地对齐三维模型，但保证其收敛要求两个待对齐的模型具有粗略对齐的初始位置。因此，计算原人脸网格M的镜像网格时，需小心地选择对称平面。如果初始选择的对称平面本身就在人脸网格的对称面附近，则用该平面镜像得到的镜像点集VMm和 VM就会有较好的初始对齐位置。
观察人脸网格的基本形状，我们发现人脸网格是一张上下方向较长，左右跨度居中，前后厚度较小的曲面，近似于半椭球的形状。因此，我们对人脸网格的点集VM分布做主元分析(PCA)，可以得到一个平均点p和三个主方向(特征向量)v1，v2和v3，这三个特征向量分别对应从大到小排序的三个特征值，按PCA的特征值与特征向量的关系，v1方向是点集散度最大的方向，v2其次，v3最小，其方差即为三个对应特征值。由此，我们可以选择初始对称平面如下：
Mirror＝{x|＝0}③
这个初始镜像对称平面满足在原始人脸的对称面附近的要求。
由于VM和VMm′有N对对称点，每一对都可以确定一个人脸网格的对称平面，我们用最小二乘法拟合各个平面，最后得到优化的对称平面A，侧影线的求取只需计算对称平面A与原始网格M的交，如图2。
(2)鼻尖点和鼻基点的确定
鼻尖点pnt和鼻基点pnb都在侧影线C上，假设连接侧影线C头尾两点的线段为le，如图3所示，对大量人脸特征的观察可以得出下面两条假设：
a)鼻尖点pnt是位于侧影线C上，距离线段le最远的点；
b)鼻基点pnb是位于侧影线C上，沿pnt向上的侧影线上所有点中与线段le的第一个距离极小值点。
基于上面的两条假设，可以列出如下的鼻尖与鼻基检测方法：
pnt＝argmaxp∈C(dist(p，le))④
pnb＝argminp∈L(yp)⑤

L = {p | p \in C, y_{p} > y_{p_{nt}}, {dist}^{'} (p, l_{e}) = 0}

⑥
其中，表示点到直线段的距离，yp表示点p的y轴坐标，表示点到直线段距离的一阶微分。
(3)统一坐标框架
我们已得到人脸网格的对称面方向ds和两个特征点pnt和pnb，通过这三个特征可以把人脸网格放置到一个统一的坐标系中以完成姿态确定。令：
vx＝ds⑦

v_{y} = \frac{p_{nb} - p_{nt}}{| | p_{nb} - p_{nt} | |}

⑧
vz＝vx×vy ⑨
以pnt为原点，vx，vy，vz分别为x，y，z三个坐标轴，可以确定一个新的坐标框架，所有的三维人脸模型可以变换到这个坐标框架中。把坐标框架沿 x轴逆时针转20度，得到最终的统一坐标框架。
刚性约束的计算
三维人脸模型因表情产生的塑性变形在人脸各个部分是不同的，表明人脸各部分的变形能力是不同的，我们要将塑性变形恢复回来，其实是一种逆向的变形，也应该考虑人脸各部分的变形能力。刚性约束正是表达人脸模型各部分不同变形能力的一种度量。
经过大量的观察和实验，我们发现三维模型匹配时类间差异和类内差异分布情况有较大差别。如图4，类内的差异(第1行)多发生于嘴巴区域、双眉和两颊的下侧，而类间的差异非常不稳定(第2行)，在人脸的任何区域都可能出现差异。图5是类间差异(第1列)和类内差异(第2列)的一个统计分析亮度图。类内差异的亮度较大的区域恰恰是表情影响较小的区域，我们称之为近似刚性区域，当我们对带表情模型施以逆向变形的时候，近似刚性区域应该具有更大的弹性系数。相反，其它区域的弹性系数小一些。
随机选择一个模型集合St，其中每个个体包含至少一个中性模型和尽可能多的带表情模型，统一的刚性约束模板可以通过训练的方法得到，如图6。
首先建立中性模型与同类模型之间的顶点对应关系，我们在模型的参数域求解对应关系。将所有模型姿态确定后固定于统一坐标系中，然后以一个单位圆盘作为参数域对每个模型进行参数化，在参数域内按最近点原则建立顶点的对应关系；对参数域圆盘建立极坐标系，对极坐标r和θ进行均匀分割，建立多个cell，模型参数化后落于同一个cell的人脸区域认为是同一个区域。
采用ICP算法对St中任意一个非中性模型Mi与其同类的中性模型MiN 进行匹配，并计算每个顶点在中性模型上的最近点的距离，设Vi是Mi中所有落入第i个cell的顶点集，Vi中第j个顶点到MiN的最近的顶点距离为dij，那么第i个cell对应区域的平均类内差异DTi为：

{DT}_{i} = \frac{1}{| V_{i} |} \underset{1 \leq j \leq | V_{i} |}{Σ} d_{ij}

⑩
其中|·|表示集合中元素的个数，在圆盘参数域对所有的cell计算类内平均差异，采样后的亮度图像如图6。
我们的约束条件是要确定参数域某个区域内保持固定的顶点，对参数域平均差异图设定一个比例后，可以得到一个二值的刚性模板(binary mask)。这个二值刚性模板即是GCD模型的约束条件，白色区域内的顶点保持不变，黑色区域内的顶点用GCD模型进行变形。为参数域平均差异图设定的比例，即不变区域在整个参数域中的比例，我们称之为约束比率，图6的约束比率为50％。
基于向导的约束变形
带约束的导向变形模型就是要将带表情的模型Mp，在约束条件下向向导中性表情模型Mq变形以弱化表情的影响，主要内容包括基于泊松方程的梯度域变形技术、基于向导的梯度的计算和刚性约束的融合。
(1)基于泊松方程的梯度域网格变形技术
给定的网格Mp，其所有顶点的坐标分量x，y，z分别表示三个标量场，采用梯度算子，可以得到相应的梯度场，梯度域变形技术的关键是通过改变梯度场，得到修改后的网格微分属性，然后对其重建标量场，重建结果对应原来的x，y，z分量，从而得到变形后的模型。重建过程通过 Poisson方程完成，而梯度场的改变通过向导模型完成。
1)离散网格上的微分操作算子
(a)离散标量场和离散矢量场
网格M上定义的离散标量场u，可以表示为：

u (v) = \underset{i}{Σ} φ_{i} (v) u_{i}

其中φi是一个分段线性基函数，在M上的vi点值为1，其它顶点位置值为0，因此，标量场u在vi处的值为ui。网格M上点的坐标的x，y，z三个分量都满足标量场的定义，可以看作是定义在网格上的三个标量场。
M上离散矢量场ξ的定义类似于标量场，如下：

ξ (v) = \underset{T_{k} \in NT (v)}{Σ} ψ_{k} (v) ξ_{k}

其中ψk是分段常基函数，在三角形片Tk内部为1，Tk外部为0；NT(v)表示与顶点v邻接的所有三角面片集。标量场的梯度场是网格上的一个矢量场。
(b)离散梯度算子
网格上离散标量场u的梯度运算子定义如下：

▿ u (v) = \underset{i \in T_{v}}{Σ} u_{i} ▿ φ_{i} (v)

其中Tv是顶点v依附的三角形，它的三个顶点为v0，v1，v2，按逆时针排序。

{▿ φ}_{i} = \frac{1}{2 A_{T}} {(v_{(i + 2) % 3} - v_{(i + 1) % 3})}^{⊥}

其中AT表示三角形Tv的面积，％是求模运算符，(·)⊥表示将向量沿Tv的法向逆时针旋转90度。标量场经梯度运算，可以得到一个梯度向量场，在Tv内部，梯度是一个常量。
(c)离散散度算子
给定网格M上的向量场ξ，散度运算子定义为：

Div (ξ) (v_{i}) = \underset{T_{k} \in N_{T} (i)}{Σ} < ▿ φ_{i}, ξ_{k} > A_{k}

其中<·，·>表示向量点乘运算。
(d)离散拉普拉斯算子
标量场u上的拉普拉斯算子在1环网格上可以表示为下式，参考图7 中角度的符号。

Δu (v_{i}) = \underset{j \in N (i)}{Σ} \frac{1}{2} (\cot α_{j} + \cot β_{j}) (u_{i} - u_{j})

其中N(i)表示顶点vi的邻接顶点。
2)基于泊松方程的曲面重建
连续曲面上的Poisson方程描述如下：

▿^{2} f = Div (ξ), f | \partial Ω = f^{*} | \partial Ω

其中，f是未知标量函数，Div(·)是向量场ξ的散度，f*是Dirichlet 边界条件，

▿^{2} = \frac{\partial^{2}}{\partial x^{2}} + \frac{\partial^{2}}{\partial y^{2}} + \frac{\partial^{2}}{\partial z^{2}}

表示连续条件下的拉普拉斯算子。
考虑离散标量场u，可以是网格M的x，y，z分量中的任意一个，其梯度场是一个向量场ξ，此时离散条件下的Poisson方程可以写为：

Δ (u) \equiv Div (▿ (u)) = Div (ξ)

其中离散梯度算子、散度算子和拉普拉斯算子的计算如(13)(15)(16)式，可以得到如下的一个稀疏线性系统：
AU＝b
其中U是变形后网格中任一待求解的坐标分量，b是修改后的梯度向量场的散度，矩阵A是拉普拉斯算子在网格M上构建的一个稀疏矩阵：

待变形网格Mp，可以看作是拓扑结构已知，而几何信息未知的数据集，变形就是通过未知几何信息(x，y，z)的梯度场ξ，结合Mp的拓扑信息，求解其散度，然后用公式(19)求解几何信息(x，y，z)坐标，即得到变形结果。梯度场ξ要求运算前给定，如何给定ξ我们将在下一节描述。
3)基于向导的梯度场计算
变形过程中，如何计算Mp修改后的梯度场是一个核心的问题。假设 Mg是Mp的变形方向(即向导)，先把Mp和Mg的三角面片建立对应关系，将Mp的每一个三角面片在欧氏空间直接向Mg中的对应三角面片作变换。由于每个三角面片的对应面片一般不是同一个，三角面片之间的变换并不相同，因此，变换会把分段光滑的Mp的三角面片分离破碎，然后我们基于破碎的面片集合用梯度算子计算改变后的梯度场，作为目标梯度场，整个过程Mp的拓扑连接关系始终保持不变。
首先，我们将Mp和Mg置于一个统一的坐标系中。此时，两个模型之间的三角面片有近似的对应关系。
然后，通过变换Mp的三角面片方向变换其面上的梯度值，我们对一个三角面片的三个坐标x，y，z(对应三个标量场)施以相同的变换，这样变形后的结果比较一致。设Tip是Mp上的任意一个三角面片，Tig是Mg上距Tip 平均距离最近的三角面片，引入局部变换Hi，将Tip变换为Tip′，设Tip中某顶点vj的坐标为Xij，Tip′中对应顶点坐标为Xij′：
X′ij＝Hi·Xij，j＝0，1，2
其中Hi保证下式成立：

< \vec{n_{T_{i}^{p,}}}, \vec{n_{T_{i}^{g}}} > = 0

其中是三角面片T的法向量。
对每一对Tip和Tig，按最近点原则建立顶点的对应关系后，可以在各自三角面片内建立两个局部的坐标框架Fig和Fip，如图8。由于梯度向量与平移变换无关，我们只考虑旋转变换，Hi可以通过下式计算：

H_{i} = F_{i}^{g} \cdot {(F_{i}^{p})}^{- 1}

变换完成后，采用梯度算子即可计算出改变后的梯度场，至此，我们实现了以Mg作为向导变换Mp的微分梯度场的任务。代入Poisson方程完成破碎三角形的粘合和变形模型的重建。如图9，结果与Mg非常相似。
4)刚性约束与泊松方程的融合
采用二值刚性约束，可以确定GCD变形技术处理Mp时保持不变的顶点，只需将Mp参数化到同样的单位圆盘参数域中即可参照模板约束确定固定的顶点。现在我们将约束模板融合到泊松方程中，使得求解过程更为连贯。
设Vc是Mp中落入二值约束模板中刚性区域的顶点集合，其元素个数为k，回忆泊松方程，假设稀疏矩阵A的前k行的方程系数对应这k个顶点，否则，我们总可以通交换矩阵的行和列，使得A满足这个假设，将A 分割成分块矩阵，泊松方程可以改写为：

[\begin{matrix} A_{1} & A_{2} \\ A_{3} & A_{4} \end{matrix}] [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] = [\begin{matrix} b_{1} \\ b_{2} \end{matrix}]

其中A1，A2，A3，A4分别为k×k，k×(n-k)，(n-k)×k，(n-k)×(n-k)的块矩阵，U1是对应于Vc中顶点的x，y，z分量之一，U2是待变形顶点的坐标分量，b1，b2是对应的散度。保持U1不变，泊松方程简化为求解如下线性系统：
A4U2＝b2-A3U1
在GCD变形中，由于二值刚性模板固定，输入网格的约束顶点是固定的，因此，我们可以分解矩阵A4，然后用回代的方法解这个线性方程组，因此，可以实现非常快的计算速度。图10是约束前后的变形结果比较。
三维模型匹配
给定三维模型的Mp和Mg，两者的相似度计算如下：

Dis (M_{p}, M_{g}) = RMS (D_{c}^{g} (M_{p}), M_{g})

其中Dcg(·)表明GCD模型变换，RMS(·，·)表示最近点平均距离。
实验结果
我们在FRGC v2.0库上测试了带约束的导向变形模型(GCD)用于三维人脸识别的性能。由于gallery库中应存放中性表情脸，因此选择FRGC ver2.0中有对应中性模型的带表情模型作为测试模型，这样的模型共有 1538个，对应353个人。选择353人最早采集的中性表情模型组成gallery 库。1538个非中性模型对应不同的表情(smile，flowning，surprise，disgust， sadness，pufy cheeks)，由于采集时间与表情有良好的对应关系，我们按采集时间将非中性表情模型分成9个测试库，Probe1至Probe9，如表1。
表1  FRGC ver2.0带表情模型的测试集分割
    采集时间     表情   模型数量     Probe 10/07/2003-10/09/2003 Smiling(笑)     224     1 10/14/2003-10/16/2003 Frowning(皱眉)     161     2 10/28/2003-10/30/2003 Surprise(惊讶)     171     3 11/04/2003-11/06/2003 Disgust(厌恶)     188     4 11/11/2003-11/13/2003 Sadness(悲伤)     165     5 02/10/2004-02/12/2004 Smiling(笑)     115     6 02/17/2004-02/19/2004 Surprise(惊讶)     156     7 02/24/2004-02/26/2004 Puffycheeks(鼓腮帮)     190     8 03/02/2004-03/04/2004 Frowning(皱眉)     168     9
人脸认证模式下，GCD模型与PCA、ICP的等错误率比较如表2，人脸识别的Rank-1图如图10。
表2等错误率：  GCD vs ICP，PCA

GCD模型与PCA技术和ICP技术进行比较的实验表明，GCD模型在处理表情变化的库上有很大的优势，这主要归功于GCD模型实现了变形与约束之间的一个平衡，对应于类内相似度与类间差别之间的一个平衡，因此，GCD模型能弱化表情变化的影响、显著地提高表情变化下的三维人脸识别的性能。

标题	发布/更新时间	阅读量
一种基于Hololens的远程手术指导装置及操作方法	2020-05-15	35
图像篡改取证方法及装置	2020-05-17	583
一种基于光外同轴送粉的变宽度薄壁件激光熔覆成形方法	2020-05-18	631
一种基于运动感知图像约束的4D-CBCT重建方法	2020-05-12	604
一种滑坡位移组合预测方法及系统	2020-05-13	899
一种基于面部运动单元的三维非真实感表情生成方法	2020-05-11	349
一种可燃冰开采环境安全虚拟仿真评估系统及方法	2020-05-14	61
一种长焦双目相机的立体标定算法	2020-05-13	43
人脸旋转模型的生成方法、装置、计算机设备及存储介质	2020-05-18	388
一种增材制造过程中并行控制零件变形和精度的方法	2020-05-19	596