技术领域
[0001] 本
发明涉及一种基于特征点的人脸表情合成方法，属于
图像处理技术领域。
背景技术
[0002] 传统的
人机交互方式是基于
鼠标和
键盘，随着
计算机图形学及计算机
硬件技术的发展，真实感人脸动画技术为人机交互提供了更为方便的
接口。在娱乐领域中，真实感的虚拟人已经越来越多地被应用到各种影视作品中。在教育领域，由于虚拟人脸可以产生各种逼真的人脸表情，更容易集中学生的注意
力。虚拟人脸同样可以在客户关系管理中发挥作用。此外，人脸动画技术还可以应用到医疗、新闻广播、广告以及
心理学等领域。在计算机动画研究领域中，人脸表情动画一直是一个极具挑战性的问题，越来越多的学者和研究人员也不断的提出各种人脸建模方案和表情动画方法。因此，人脸动画技术的提高，对于推动计算机动画领域的发展及其相关应用领域的技术革新具有重要意义。
[0003] 1972年，Parke提出了一个人脸动画的解决方案，此后出现了各种人脸动画技术。形状融合方法是一种常见的人脸表情动画技术，它通过对精心挑选的人脸形状进行插值获得各种面部表情。一些商业上使用的三维动画
软件也为形状融合动画方法提供了特定的工具箱。形状融合方法有两个关键点，一个是融合形状的构建，另一个是相应权重的计算，后者对于最终的动画效果有着直接的影响。融合形状的构建主要是从一系列的表情形状中挑选一些关键表情，需要解决两个方面的工作，一个是关键表情的选取问题，挑选的关键表情必须能够
覆盖整个表情空间，另一个问题是选取方式，也就是在选取这些关键表情时尽可能的自动化，而不需要过多的手工干预。然而，当前很多的动画解决方案中，关键表情的选取依然费时、费力，甚至对于专业的动画人员也需要花费时间去熟悉不同系统的操作。对于融合权重的计算，一些处理办法是将原模型的融合权重直接应用到了目标模型。这样，势必要求原始模型和目标模型的形态之间不能有太大的差异，否则目标模型产生的表情可能会失真。形状融合方法的最主要问题在于用线性融合形状方法合成高度非线性的人脸表情。
[0004] 此外，几何
变形方法在人脸表情动画中使用的也比较多，根据所建立的模型差异，主要有两类方法。一类是基于人脸物理结构的方法，是通过预先设计的面部肌肉或者
皮肤组织模仿人脸产生表情时相应组织的动作。其中，模拟肌肉运动的方法关键在于肌肉参数的求解。然而由于人脸的生理结构极其复杂，精确的肌肉参数求解并不是一件容易的事情。也有研究人员建立了弹性人脸皮肤模型，通过皮肤点的受力分析研究其位移的变化，但是也存在弹性皮肤参数的求解难度。另一类是基于特征点的方法，是根据人脸网格中特征点和周围
顶点的关系，通过特征点的
运动估计所有顶点的运动情况。线性壳模型是一种常见的基于特征点的动画方法，它是通过偏微分方程的离散化求解顶点的位移。但是，由于线性壳模型的计算量较大，在实时动画的效率方面并不占优势。
[0005] 在形状融合插值方法中，为了得到关键形状，常用主成分分析法将人脸分割成不同的区域。然而，这种区域分割的方法在人脸动画中会破坏不同区域之间运动的关联性。因此，本发明提出了一种混合人脸变形方法，可以自适应地将人脸划分成不同的区域，根据不同的捕捉序列，人脸区域的划分也会有差异。首先，通过一个邻近加权策略对整个面部进行区域划分，并且求解人脸模型上顶点的局部变形。假定人脸网格上顶点的局部运动情况主要受到其邻近特征点运动的影响，这样，只要获得了每个邻近特征点对顶点运动的影响权重，顶点的运动情况即可求出。在求解特征点对顶点的影响权重时，需要计算顶点和特征点之间的距离信息。由于人脸是一个具有开放区域的曲面结构，很多涉及求解人脸面部上两点间距离的问题都近似成求解连接两个顶点的边的长度，这种近似方法没有充分考虑人脸网格的特殊结构。本发明采用精确的测地距求解人脸面部上两个顶点之间的距离。而且，求解特征点权重时，使用了更加符合肌肉运动机理的余弦函数。然后，为了使动画过程中人脸网格更加光顺，使用基于径向基函数的插值方法来实现全局变形。最终的表情动画是通过将全局变形和局部变形融合在一起得到的。
发明内容
[0006] 本发明针对以上问题的提出，而研制基于混合变形策略的人脸动画合成方法，该方法通过基于邻近特征点加权的局部变形方法，解决人脸动画过程中的区域分割问题，通过全局变形策略解决人脸网格的光顺问题，从而有效避免了动画过程中的失真情况，并且该方法相对简单，计算量较小，可以有效地保证动画的效率。
[0007] 本发明采取的技术方案是：本发明包括如下几步骤，
[0008] 第一步：表情空间的转换。
[0009] 第二步：基于邻近特征点加权的局部变形策略，其有以下几个步骤。
[0010] 步骤1：确定顶点的邻近区域。
[0011] 步骤2：基于邻近特征点的加权方法。
[0012] 步骤3：局部变形的计算。
[0013] 第三步：基于径向基函数的全局变形策略。
[0014] 第四步：局部变形与全局变形的混合。
[0015] 第五步：重复第二步到第四步，即可求出所有
帧中目标人脸模型上每个顶点的
位置，实时更新每个顶点的空间坐标位置，这样就可产生人脸表情动画。
[0016] 本发明原理：对于人脸表情空间转换过程，使用基于测地距的RBFs方法，建立首帧运动捕捉数据标记点和目标人脸模型标记点之间的运动关联，并将这种运动关联运用到其他帧的捕捉数据，从而得到目标人脸模型所有帧的标记点运动情况。对于人脸表情合成过程，使用一个混合人脸变形策略，根据邻近特征点加权求出顶点的局部位移，使用径向基函数插值求出顶点的全局位移，将全局位移和局部位移进行融合即形成顶点的位移，实时更新每一帧中顶点的位置可实现对整个人脸网格的变形。
[0018] 1.基于邻近特征点加权的方法求解顶点的局部位移，使用测地距充分考虑了人脸的生理结构，求解人脸网格上两个顶点之间的距离更加精确。使用余弦函数计算特征点权重的方式，更加符合人脸表情运动的机理。
[0019] 2.采用将局部变形和全局变形结合起来的混合变形策略，既充分利用了局部特征点蕴藏的丰富运动信息，考虑到了人脸表情运动的区域性问题，又从全局
角度对网格进行平滑，防止不同运动区域之间的出现运动不连续的情况。
[0020] 由于采用了上述技术方案，本发明提供的基于混合变形策略的人脸表情动画方法，通过同时考虑局部变形和全局变形，可快速的生成真实感的人脸表情动画，计算量相对较小，可满足实时动画的需求，利用运动捕捉数据也节约了动画制作的成本。
附图说明
[0022] 图2标记点的设定方式示意图。
[0023] 图3基于邻近特征点的加权方法示意图。
[0024] 图4本发明实现结果示意图。
具体实施方式
[0025] 图1所示为本发明的算法流程图，其具体包括以下步骤：
[0026] 第一步：表情空间的转换
[0027] 建立首帧运动捕捉数据与目标人脸模型标记点之间的映射关系，映射关系可以表示如下：
[0028]
[0029] 所述 是首帧运动捕捉序列中的标记点的空间坐标(xi，yi，zi)；所述 xi，yi和zi的单位均为毫米； 是首帧序列中第i个标记点和第j个标记点之间的测地距，所述测地距单位是毫米；wj是待求的权值系数；n是标记点的个数，所述n是一个整数，根据初始设置的标记点个数其值为60；是目标人脸模型上第i个标记点的空间坐标(xi，yi，zi)；所述xi，yi和zi的单位均为毫米，1≤i,j≤n； 是一个多项式，其是一个仿射变换，在求解公式 组成的线性系统时，同时计算该多项式项：
[0030]
[0031] 若将上述线性系统写成如下矩阵形式：
[0032] M＝Φ·W，
[0033] 所述
[0034] 所述M∈Rn+3，3是目标人脸模型上标记点的空间位置矩阵，Φ是基于首帧序列的标记点间测地距的径向基函数 组成的矩阵，所述权值矩阵W通过公式下式求出，
[0035] W＝Φ-1M，
[0036] 对于第k帧捕捉序列，将公式M＝Φ·W中的Φ换成关于当前帧标记点位置的所述k是表情运动序列的长度，即帧长度；从而可以求得当前帧目标人脸模型上标记点的位置矩阵M。
[0037] 第二步：基于邻近特征点加权的局部变形策略，其有以下几个步骤：
[0038] 步骤1：确定顶点的邻近区域：
[0039] 首先，导入运动捕捉数据，对首帧数据中特征点进行三角剖分，生成人脸面部网格。在人脸网格中，去除嘴部区域和眼部区域的伪关联，对修正后的人脸网格进行保存，便得到每个特征点的邻近特征点集合。
[0040] 其次，在目标人脸模型上计算每个顶点到所有特征点的测地距离。对于每个顶点来说，在所有的测地距中找到最小的距离值，并且将该特征点作为影响该顶点运动的主要特征点，该特征点的邻近特征点集合就作为这个顶点的邻近特征点区域。
[0041] 步骤2：基于邻近特征点的加权方法：
[0042] P是人脸网格上的一点，F1、F2和F3均为特征点。根据第二步的步骤1得到影响顶点P的主要特征点是F1，F2和F3是F1的邻近特征点集合中的两个特征点。
[0043] 首先，线段F1P连接特征点F1与顶点P，依次连接F1的每个邻近特征点Fi（i是特征点的邻近特征点的个数与1的差值）和主要特征点F1形成线段F1Fi，计算F1P和每个F1Fi之间的角度值θi。在所有的角度值θi中，选择两个最小的角度θα和θβ，当θα和θβ同时满足 且 然后，按照如下公式计算加权距离：
[0044] 且
[0045] 其中，dαβ是特征点Fα和特征点Fβ之间的测地距，单位毫米；θα是F1P和F1Fα之间的夹角，θβ是F1P和F1Fβ之间的夹角；
[0046] 最后，特征点F1的权重计算：
[0047]
[0048] 特征点F1的邻近特征点权重计算：
[0049]
[0050] 其中，dip是顶点P与特征点Fi之间的测地距，单位是毫米，d是前述计算的加权距离，单位是毫米。
[0051] 如附图3中所示，图3中P是人脸模型上的一个顶点，特征点F1、F2和F3是影响P的特征点。这两个最小的角度是θ2（θ2是F1P和F1F2之间的夹角）和θ3（θ3是F1P和F1F3之间的夹角），且满足下面的条件：
[0052]
[0053] 如果仅有一个角度满足上述条件，那么只选取这一个角度值。
[0054] 然后，按照如下公式计算加权距离：
[0055]
[0056] 其中，dij是特征点Fi和特征点Fj之间的测地距，单位毫米，θi是F1P和F1Fi之间的夹角，即满足上述要求的最小角度。
[0057] 最后，特征点F1的权重计算：
[0058]
[0059] 特征点F1的邻近特征点权重计算：
[0060]
[0061] 其中，dip是顶点P与特征点Fi之间的测地距，单位是毫米，d是前述计算的加权距离，单位也是毫米。
[0062] 步骤3：局部变形的计算。针对于一个运动序列中的每一帧，顶点P的局部位移sp_local可以按照如下公式计算：
[0063]
[0064] 其中，si是当前帧中，顶点P的邻近特征点Fi的位移(xi,yi,zi)，所述 xi，yi和zi的单位均为毫米，wip是步骤2中计算出来的顶点P的邻近特征点Fi的权重，dip是当前帧中顶点P与特征点Fi之间的欧式距，单位毫米。
[0065] 第三步：基于径向基函数的全局变形策略，包括以下几个步骤：
[0066] 步骤1：针对每一帧的运动数据，在目标人脸模型特征点和当前帧特征点的位移-1之间构建一个径向基函数训练模型，求解出每一帧的径向基权值矩阵W＝Φ M，Φ是标记点之间的径向基函数 组成的矩
阵，M为每一帧目标人脸模型上特征点的位移矩阵，这里的位移是第一步求解出的当前帧特征点的空间位置与目标人脸模型特征点的空间位置的差值；
[0067] 步骤2：利用下面的公式建立一个变形模型
[0068]
[0069] 所述 是第k帧运动序列中第i个顶点Pi的位移，该位移用一个三维坐标表示，其中 和 的单位都是毫米， 是目标人脸模型特征点和顶点之间的径向函数信息， 是根据第三步中步骤1求得的第k帧运动序列的径向基权值矩阵W中提取的权值系数；
[0070] 第四步：局部变形与全局变形的混合：
[0071] sp＝αsp_local+(1-α)sp_gobal，
[0072] 对于一个运动捕捉序列中其中一帧，目标人脸模型上的顶点P的位移sp由第二步求出的局部位移sp_local和第三步求出的全局位移sp_global组成，α是融合系数，0＜α＜1，所有位移都用三维坐标 表示，其中 和 的单位都是毫米。
[0073] 第五步：重复第二步到第四步，即可求出所有帧中目标人脸模型上每个顶点的位置，实时更新每个顶点的空间坐标位置，这样就可产生人脸表情动画。
[0074] 本发明的
实施例是在以本发明技术方案为前提下进行实施的，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述实施例。实例选取一个表情序列进行验证，人脸标记点的设定方式如图2所示，图2中圆点即位初始设置的60个标记点，
采样频率60fps。
[0075] 具体实施步骤为：
[0076] 步骤1：采集原始数据并对数据进行简单的去噪处理。数据存储格式如下：
[0077] FRAME1
[0078] MARKER1 -116.271363 -114.849685 162.238128
[0079] MARKER1 -109.013663 -94.769323 93.733788
[0080] MARKER2 -110.722049 -72.050351 87.020620
[0081] MARKER3 -129.460634 -133.891047 81.189525 ……
[0082] FRAME2 …… ……
[0083] 其中FRAMEn表示为第n帧数据MARKERm表示第m个特征标记点，随后的三个数分别表示其x，y，z坐标，单位毫米。
[0084] 步骤2：载入目标人脸模型。该模型是利用两张人脸照片从FaceGen软件中导出的一个中性表情的人脸模型，经过适当剪裁，保留面部主要区域。裁剪后的3D模型保存为*.head格式的文件，文件格式为：
[0085] mtllib ll.mtl
[0086] o ll
[0087] g eyeL_hi
[0088] s 1
[0089] v 30.190384 50.882282 37.276485
[0090] v 32.686779 46.679939 33.907310
[0091] v 33.702854 46.260872 31.455612
[0092] v 33.856911 47.092724 30.076042 ……
[0093] vt 0.294320 0.382841
[0094] vt 0.140006 0.281843
[0095] vt 0.121641 0.190688 ……
[0096] usemtl Texture0
[0097] f 47 44 45
[0098] f 47 45 1
[0099] f 52 48 49 ……
[0100] g eyeR_hi
[0101] s 2 ……
[0102] 其中，“o”代表该文件内所有的几何对象的名称，“g”是各个具体对象的名称，“s”是具体对象的索引，“v”代表顶点的三维坐标，“vt”是纹理坐标，“usemtlTexture0”代表所使用的纹理图片的名称，“f”是面片的顶点索引。
[0103] 步骤3：载入一个运动捕捉序列。
[0104] 步骤4：对首帧运动捕捉序列进行三角剖分，并去除伪关联。对去除伪关联后的人脸拓扑结构文件进行保存，方便以后的调用，该文件的格式是*.drlt。
[0105] DataRelation
[0106] 0 1 3 4 8end
[0107] 1 0 2 4 5end
[0108] 2 1 5 6 11end ……
[0109] End
[0110] Faces
[0111] 59 36 52
[0112] 59 52 58
[0113] 58 52 57 ……
[0114] End
[0115] 该文件主要有两部分，前一部分是每个标记点的一阶相邻标记点索引，每一行的第一个数字是标记点索引，后面为该标记点的一阶相邻标记点。后一部分是Faces，每一行表示一个三角面片的标记点索引。
[0116] 步骤5：载入目标人脸模型的标记点配置文件。目标人脸模型上的标记点配置方式是参照原始人脸模型上标记点的配置方式设置的，可以通过交互方法进行
修改和保存，文件存储的格式是*.map格式：
[0117] MK0 56.623833 -24.880999 77.266708
[0118] MK1 33.429722 6.810266 86.113258
[0119] MK2 7.501893 29.730408 83.989113 ……
[0120] 其中，“MKn”表示第n个标记点，随后的三个数分别表示其x，y，z坐标，单位毫米。
[0121] 图2给出了标记点的配置方式示意图。
[0122] 步骤6：载入人脸拓扑结构文件。
[0123] 步骤7：从原始运动捕捉空间到目标模型运动空间的转换，具体的转换算法在本发明
专利的技术环节第一步中已经给出。
[0124] 步骤8：对每一帧捕捉数据，调用基于局部变形和全局变形的混合表情合成算法实现人脸表情动画，该算法在本发明专利的技术环节第二步至第四步已经详细叙述过了。
[0125] 附图4给出了使用本文所提出的算法针对一个运动捕捉序列驱动一个个性目标人脸模型产生的表情动画结果。利用基于局部变形和全局变形的混合人脸表情合成方法，可以将同一个捕捉序列应用到不同的目标模型产生真实、自然的人脸表情变化。
[0126] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉
本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
