技术领域
[0001] 本
发明涉及人脸数据计算机处理方法，尤其涉及一种以几何关系约束和对应关系约束对三维人脸进行变形和稀疏编码为核心技术、建立三维人脸之间点对点稠密对应关系的全自动的稀疏变形模型的方法。
背景技术
[0002] 近年来，随着三维数据获取技术的飞速发展，精确且实时地获取三维数据已趋于实用。由于三维数据的表示形式通常是离散的、稀疏的，三维数据很难方便地利用通常的方法进行处理。造成这一状况的原因是因为三维人脸扫描获得的数据是不规整的，不同的人脸通常含有不同数量的
顶点和不一致的边界情况。就两个三维人脸而言，即使顶点数量和边界情况一样，它们各自的顶点也是散乱无章的，经过三
角化
算法获得的三维人脸曲面其拓扑结构完全不同。
[0003] 经过近些年的发展,现有的能够自动的建立三维人脸间顶点与顶点间对应关系的方法主要可总结、归纳为以下几类:
[0004] 1)基于最近点的方法。对于给定的两个三维数据,基于最近点的方法通过对齐的思想寻找对应点将其对齐,顶点间的对应关系由二者间的空间距离来决定。此类方法建立的对应关系相当粗糙,尤其当涉及的模型个体之间偏差比较大的时候,其对应点间的基本无法保持稠密的具有生理意义上的对齐。
[0005] 2)基于等距映射的方法。基于等距映射的方法假设一个模型上两点的测地线距离应该近似或者相等于另外一个模型上对应点的测地距离。基于这个假设,对应关系可以通过流形学习来计算。对于三维人脸数据而言,人脸嘴部区域的空洞往往让这类方法的假设不成立,并由此产生错误的对应结果。
[0006] 3)弹性变形模型。这些方法通常情况下将待变形的通用模型变形到一个目标三角
网格模型,经过这一变形后,通用模型和目标三角网格模型间的对应关系是能够自然而然的建立,同时具有相同的拓扑结构。该类方法的
缺陷是需要人为地去手工标定一些特征点，因此无法全自动地去建立三维人脸模型稠密的对应关系，而且过该方法变形后的人脸模型依旧不太过光滑以至于还是不能很好地表示目标人脸模型的细节。
发明内容
[0007] 本发明提供一种建立一致性三维人脸网格的稀疏变形模型的方法，该方法基于稀疏人脸变形模型，能全自动地建立三维人脸间稠密的顶点间对应关系。
[0008] 一种建立一致性三维人脸网格的稀疏变形模型的方法，其步骤如下：
[0009] (1)、训练人脸数据预处理：包括训练人脸数据特征点标定、通用人脸模板数据分
块和训练人脸数据非刚性对齐三部分：
[0010] (2)、稀疏字典学习：基于步骤(1)的预处理结果，利用几何形状约束和对应关系约束对训练人脸数据学习一个稀疏字典；
[0011] (3)、测试人脸变形：基于步骤(2)得到字典，对给定的一张输入测试人脸，利用几何形状约束和对应关系约束，将通用人脸模板向输入的测试人脸变形；
[0012] (4)、一致性对齐：基于步骤(3)得到变形后的人脸替代输入的测试人脸，即完成一致性对齐任务。
[0013] 通过本发明方法，得到的效果是全自动地建立三维人脸之间顶点稠密的、具有人体测量学意义上的一一对应关系的，它通过将通用人脸模型向目标人脸模型形变得到的。
[0014] 所述的训练人脸特征点标定方法，其特点是对所有的训练人脸数据及通用人脸模板进行手工标定，并且
覆盖了人脸的关键区域。
[0015] 所述的通用人脸模板数据，是基于步骤(1)标注的特征点对每一个特征点，把一个球的中心固定在点上，球内部的人脸区域构成一个块；随机选取没被覆盖到的点用同样的办法提取出新的一个块，直到所有人脸上的点至少处于一个块中。
[0016] 所述的训练人脸数据非刚性对齐的方法，是将通用人脸模板向训练人脸模板形变，用形变结果替代原始人脸数据进行后续字典学习，形变过程基于光滑误差项、数据误差项和特征点误差项。这个形变过程即通过最小化
能量函数E1来进行人脸的非刚性对齐变形：
[0017] E1＝λ1Ec+λ2Ee+λ3Eq (3)其中，Ec是特征点误差项，Ee是光滑误差，Eq是数据误差项，λ1,λ2,λ3是经验给定的参数，一般通过对
训练数据进行交叉验证的方法得到。
[0018] 几何形状约束的方法通过最小化通用人脸模型和目标人脸模型之间的光滑误差函数和数据误差函数得到，数据误差函数中采用的是最近点法则和法向射线法则相结合的混合原则，几何对应关系φ(S(M′),S(M))定义为
[0019] φ(S(M′),D(M))＝λ1Ee+λ2Eq (4)
[0020] 其中Ee是光滑误差，Eq是数据误差项，λ1和λ2是系数，是经验给定的参数，一般通过对训练数据进行交叉验证的方法得到。
[0021] 由于通用人脸模型是分块好的，而训练数据的人脸是由通用人脸模板进行形变得到，所以训练数据中的人脸是自然分好块的。对于人脸上的每一块，对应关系约束通过求解以下稀疏编码的过程进行形式化：
[0022]k k k
[0023] 其中C 是分块矩阵，由分块结果确定，是已知的，y是已知的人脸数据，D 和x 是第k块的待求的字典和对应编码。
[0024] 优选地，字典学习过程中采用自适应稀疏度
阈值的方法来提高重建
精度，具体原则是：在前几步
迭代过程中，我们采用较小的稀疏度阈值，允许较大的重建误差；在后面的迭代过程中，设置较大的稀疏度阈值，去重建一些局部的形状。
[0025] 所述的对测试人脸进行变形，是指输入一张测试人脸，对它的变形基于几何形状约束和对应关系约束，通过求解以下优化问题：
[0026] min||S(M ′ )-Dx||2+μ||x||0+φ(S(M ′ )，S(M)). (6) 其 中min||S(M′)-Dx||2+μ||x||0表示对应关系约束，φ(S(M′),S(M))表示几何形状约束，M′是待求的变形后的人脸，x是其对应的编码，M是输入的测试人脸。
[0027] 基于稀疏人脸变形模型自动地建立三维人脸间稠密的顶点间对应关系的问题可以定义如下，输入一张三维人脸，基本的思路是拟合一张全新的三维人脸，这个新的人脸曲面必须满足三个条件：1)和通用的三维人脸模型具有相同的拓扑结构；2)并且其几何形状和输入的人脸的几何形状高度相似；3)在以上两点的
基础上，这张全新的人脸和通用的三维人脸具有稠密的并且具有生理意义上的顶点对顶点的对应关系。
[0028] 本发明所提出的稀疏人脸变形模型使用两个约束：几何形状约束和对应关系约束来满足以上的三个条件：
[0029] 1)几何形状束通过三维人脸变形的方法实现，本发明在人脸变形的过程中设计、使用混血模式，将基于法向射线的方法和最近点的方法相融合，扬长避短，在快速收敛的同时尽量减少曲面变形过程中高
曲率部分的失真。
[0030] 2)对应关系约束的建立则是基于一个假设，即“假设两个人脸上的某两个顶点是相互对应的、具有相同的生理学意义，那么这两个顶点及其邻域所包含的几何形状信息的
信号是分布在同一个流形空间的。”我们可以使用某个训练好的字典中的几个稀疏项来表示，而这个字典可以通过学习获得的，并且能够包含这些对应顶点周围局部曲面的分布信息，使用稀疏编码以及该稀疏字典则可以生成位于同一流形空间的相应的三维人脸。
[0031] 本发明提出一种基于分块的稀疏表征算法来解决对应关系约束问题。通过不断的迭代，逐步变形人脸上各个顶点的
位置的，直至最后收敛。在起始的迭代步骤中，我们选择较小的稀疏度阈值，尽管较小的稀疏阈值这可能会对变形人脸带来更大的表征误差，但是却能建立更好的全局间的顶点间的对应关系。经过逐步的迭代后，采用相对较大的稀疏度阈值来更好地描述人脸的局部形状。通过以上的步骤，新建的三维人脸中的顶点会渐渐地往正确的位置移动直到收敛，达到全局对应关系建立。
[0032] 本发明所提出稀疏人脸变形模型能够自动地建立三维人脸顶点间的对应关系，需要人工参与的部分仅有训练部分。我们在一个公开的三维人脸数据集上进行了相应的实验，实验结果表明，通过本发明的建立一致性三维人脸网格的稀疏人脸变形模型的方法获得的三维人脸数据上稠密的顶点间对应关系非常好。
附图说明
[0033] 图1为本发明方法的处理过程示意图。
[0034] 图2为本发明方法中整体人脸曲面分块示意图。
[0035] 图3为本发明方法中人脸曲面分块中嘴巴周边的点的分块示意图。具体实施方式：
[0036] 图1描述了本发明方法的处理过程
框架，包括了训练部分的人脸非刚性对齐，字典学习和测试部分的人脸变形部分，具体为：
[0037] 训练部分
[0038] 1、特征点标定和通用人脸模型分块
[0039] 人脸数据预处理包括特征点标定和通用人脸模型分块两部分。
[0040] 我们首先对所有的训练人脸数据及通用人脸模板进行手工的特征点标定，每两张人脸间的特征点是具有人体测量学意义上的一一对应的，这些点覆盖了人脸的关键区域。
[0041] 人脸曲面分块的分块方法如图2所示，我们先放一个半径为r的球，对每一个通用人脸模板Mr上的特征点，我们把球的中心固定在点上，球内部的人脸区域构成一个块。随机选取图中人脸上的黑色的点用同样的办法提取出新的一个块，直到所有人脸上的点至少处于一个块中。除此以外，我们把嘴巴周边的点，即嘴巴附近的点单独考虑，如图3所示，嘴巴附近的点构成一个独立的块。注意到邻接的块和块之间存在点的重叠。在我们的实验里，r的值被经验性地设为9，我们最终得到206个块。
[0042] 2、非刚性对齐
[0043] 为了学习出一个可以用稀疏表征来建立人脸间对应关系的字典，我们需要一系列人体测量学意义上对应的人脸网格来作为训练。我们通过将一个通用人脸模板向训练数据变形，得到的新的三维人脸代替原始的三维人脸进行后续训练。完成这个非刚性对齐的过程之后，所有训练数据的三维人脸就自动完成了对齐。此外，由于上步中我们对通用人脸模板进行人脸分块，而在后续的人脸数据预处理中，我们是用通用人脸模板变形后的人脸来替代训练数据的人脸，这意味着对于训练数据中的所有人脸都是分好块的。
[0044] 我们首先定义一系列符号，这些符号贯穿本发明始终，下文不再赘述。定义Mr/TM′为通用人脸模板/初始人脸模板，M为训练
数据库中的目标人脸，vi＝(xi,yi,zi),i＝
1,2,3,…,n表示Mr/M′上的点，vc(i),i＝1,2,3,…,l表示它的特征点。pi,i＝1,2,3,…,m表示M上的点，ui,i＝1,2,3,…,l是M上的特征点，并且vc(i)和ui是一一对应的，oi,i＝
1,2,3,…,n是待求的偏移量。我们通过最小化下面的式子来进行人脸的预处理变形[0045] E1＝λ1Ec+λ2Ee+λ3Eq (7)
[0046] λ1,λ2,λ3是经验给定的参数，一般通过对训练数据进行交叉验证的方法得到。其中，特征点误差项Ec定义为
[0047]
[0048] 光滑误差项Ee定义为
[0049]
[0050] 其中Ni表示点vi的邻居的索引集。数据误差项Eq采用最近点法则和法线射线法则相结合的混合法则，定义为
[0051]
[0052] pvi表示在M上距离Mr/M′上的vi最近点，gvi表示通过法线射线方法找到的点，η1和η2是权重，并且有η1+η2＝1。
[0053] 3、字典学习
[0054] 通过上述的非刚性对齐的过程，训练数据集中的三维人脸之间的对应关系就建立好了。基于这个对应关系，字典学习就可以进行了。
[0055] Y是一个矩阵，它的i列yi表示一个训练集中的三维人脸信号，对于每个块Pk，它k对应的字典D 通过解决以下问题进行学习
[0056]
[0057] 其中Ck矩阵用来从人脸网格向量yi中提取块Pk的信号来构成一个向量，是一个k跟分块结果有关的常量矩阵，X 矩阵的第i列 是第i张脸在块Pk上的码，这个优化问题k k
可以通过KSVD方法求解D 和X。
[0058] 测试部分
[0059] 1、稀疏度阈值
[0060] 我们首先定义稀疏度阈值。由于稀疏人脸形变模型采用迭代的办法，通过解人脸特征的稀疏表征，利用人脸形变模型一步获得精确的最终的对应关系结果。在前几步迭代过程中，我们采用较小的稀疏度阈值T；在后面的迭代过程中，T设为较大的值，去重建一些局部的形状。给定稀疏度阈值的上界Te和迭代次数S，我们用两个函数来决定T的值，即线性函数
[0061]
[0062] 和指数函数
[0063]
[0064] 其中s表示当前迭代次数， 表示下取整操作, 由于Te表示的稀疏度，它通常被设定为不大于字典列数的1％。
[0065] 2、人脸测试
[0066] 输入一张测试人脸，对它的变形的方法基于几何形状约束和对应关系约束，通过求解以下优化问题：
[0067] min||S(M′)-Dx||2+μ||x||0+φ(S(M′)，S(M)). (14)k k
注意到我们其实是对每一块人脸块对应的字典D 进行求解x，即对每一块人脸区域块进行计算，为方便表述起见，我们这里用D和x来表示对所有的人脸块进行求解，下文亦是如此。其中min||S(M′)-Dx||2+μ||x||0表示对应关系约束，φ(S(M′),S(M))表示几何形状约束(在后面给出定义)，M′是待求的变形后的人脸，x是其对应的编码，M是输入的测试人脸。
[0068] 公式(14)就是本文求解稀疏人脸变形模型的核心。字典D通过训练得到，式子(14)中只有x和M未知。我们通过交替地求解几何形状约束和对应关系约束而不是一起来求解它们，即使用迭代的思想去解决对应关系约束。该迭代过程如下所示：
[0069] 初始的人脸为通用人脸模板Mr，在每次迭代t中，M′t-1由上一次迭代计算得到[0070] 步骤1:我们用上一步获得的人脸作为输入，使用前面提到的人脸形变模型方法，*求解几何形状约束φ(S(M′),S(M))，可以获得一个临时的人脸M′ 。
[0071] 步 骤 2:然 后 用 这 个 临 时 人 脸 作 为 输 入 去 解 对 应 关 系 约 束min||S(M′)-Dx||2+μ||x||0，利用公式(12)或者公式(13)，选取一个合适的稀疏度阈值，tx通过OMP算法计算，M′ 则通过Dx来计算，并作为进入下一个迭代循环的输入人脸。
[0072] 这里几何形状约束φ(S(M′),S(M))定义为
[0073] φ(S(M′),S(M))＝λ1Ee+λ2Eq (15)
[0074] λ1,λ2是经验给定的参数，一般通过对训练数据进行交叉验证的方法得到。其中Ee和Eq在前面公式(9)和公式(10)进行了定义。
[0075] 本发明使用3DBU-FED数据库中的数据进行测试。我们定义了三种RMSE的距离来评估我们的对应关系精度：
[0076]
[0077]
[0078]
[0079] ui,i＝1,2,3,…,k表示标定的特征点，k表示特征点的个数。Mlf表示测试人脸数据中的一张真实人脸，以标定的特征点为导向的形变方法从M变形得到。vi,vi如前面所定义。
[0080] Rn计算M′上所有点和M上所对应最近点的距离的平均距离，这一项反映了重建精度。Rlf计算M′与M之间对应点的平均距离，这一项反映了对应关系的精度。Rl计算M′和M之间对应特征点之间的平均距离，这反映了特征点对应关系的精度。除此之外,我们用每两个特征点之间的距离的和的平均Dl作为另外一个距离来描述变形后的模型的精度，即
[0081]
[0082] ui,i＝1,2,3,…,k表示标定的特征点，k表示特征点的个数。
[0083] 表1基于不同策略的稀疏人脸变形模型实验结果，展示了在不同参数下，Rn,Rlf,Rl,Dl的平均值和他们的标准差(SD)，“Linear”对应公式(12)的稀疏度阈值的方法，“Exp”对应公式(13)的稀疏度阈值的方法。
[0084]
