技术领域
[0001] 本
发明涉及人脸动画
三维重建技术领域，特别涉及一种定制人脸混合表情模型自动生成方法及装置。
背景技术
[0002] 高
精度定制混合人脸表情模型，包含人做一些特定表情时人脸的形状，不同的形状构成了混合模型中的不同的表情基。在电影、动画以及游戏等领域，能够通过一组表情系数组，快速生成人脸的三维动画。
[0003] 定制人脸混合表情模型是电影以及动画中经常需要使用的用于制作人脸动画的人脸三维表情模型，同样也可以用于人脸
跟踪任务。一般使用的用于制作高精度人脸混合模型的方法，往往需要昂贵的设备。简单的自动化方法在很难达到精度上的要求，无法还原人脸上如痣、皱纹等细节。
发明内容
[0004] 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005] 为此，本发明的一个目的在于提出一种定制人脸混合表情模型自动生成方法，该方法从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型。
[0006] 本发明的另一个目的在于提出一种定制人脸混合表情模型自动生成装置。
[0007] 为达到上述目的，本发明一方面
实施例提出了一种定制人脸混合表情模型自动生成方法，包括：
[0008] S1，获取包含用户中性表情的RGB-D
图像序列，利用所述RGB-D图像序列的每一
帧图像对应的
深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个
顶点输入到每一帧图像对应的深度图中生成
变形数据组，根据所述变形数据组对所述人脸三维模板模型进行变形；
[0009] S2，在所述RGB-D图像序列的最后一帧，通过Shape from Shading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；
[0010] S3，通过Deformation Transfer技术对所述中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；
[0011] S4，通过所述定制人脸混合模型、Warping Field技术和Shape from Shading技术依次对所述中性人脸三维模型进行变形，以对所述RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果；
[0012] S5，根据所述人脸跟踪结果更新所述定制人脸混合模型。
[0013] 本发明实施例的定制人脸混合表情模型自动生成方法，通过利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型；通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型，实现了高精度定制人脸混合表情模型的自动生成，能够实时地生成逼真的人脸表情模型。
[0014] 另外，根据本发明上述实施例的定制人脸混合表情模型自动生成方法还可以具有以下附加的技术特征：
[0015] 进一步地，在本发明的一个实施例中，所述获取包含用户中性表情的RGB-D图像序列，包括：
[0016] 用户保持中性表情，向上下左右各个方向依次旋转头部，采集每一帧用户表情图像组成所述RGB-D图像序列。
[0017] 进一步地，在本发明的一个实施例中，所述将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，包括：
[0018] 将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成深度数据，对所述深度数据进行筛选生成有效深度数据，将所述有效深度数据融合在与所述人脸三维模板模型大小相同的数组中生成所述变形数据组。
[0019] 进一步地，在本发明的一个实施例中，所述S4具体包括：
[0020] S41，通过所述定制人脸混合模型对所述中性人脸三维模型进行变形生成所述定制人脸混合模型的表情系数；
[0021] S42，通过Warping Field技术对所述S41中变形后的中性人脸三维模型进行变形；
[0022] S43，通过Shape from Shading技术对所述S42中变形后的中性人脸三维模型进行变形生成当前中性人脸三维模型的重建结果。
[0023] 进一步地，在本发明的一个实施例中，所述人脸跟踪结果包括：
[0024] 所述当前中性人脸三维模型的重建结果和所述人脸混合模型的表情系数。
[0025] 为达到上述目的，本发明另一方面实施例提出了一种定制人脸混合表情模型自动生成装置，包括：
[0026] 处理模
块，用于获取包含用户中性表情的RGB-D图像序列，利用所述RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，根据所述变形数据组对所述人脸三维模板模型进行变形；
[0027] 第一生成模块，用于在所述RGB-D图像序列的最后一帧，通过Shape from Shading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；
[0028] 第二生成模块，用于通过Deformation Transfer技术对所述中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；
[0029] 跟踪模块，用于通过所述定制人脸混合模型、Warping Field技术和Shape from Shading技术依次对所述中性人脸三维模型进行变形，以对所述RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果；
[0030] 更新模块，用于根据所述人脸跟踪结果更新所述定制人脸混合模型。
[0031] 本发明实施例的定制人脸混合表情模型自动生成装置，通过利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型；通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型，实现了高精度定制人脸混合表情模型的自动生成，能够实时地生成逼真的人脸表情模型。
[0032] 另外，根据本发明上述实施例的定制人脸混合表情模型自动生成装置还可以具有以下附加的技术特征：
[0033] 进一步地，在本发明的一个实施例中，所述获取包含用户中性表情的RGB-D图像序列，包括：
[0034] 用户保持中性表情，向上下左右各个方向依次旋转头部，采集每一帧用户表情图像组成所述RGB-D图像序列。
[0035] 进一步地，在本发明的一个实施例中，所述将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，包括：
[0036] 将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成深度数据，对所述深度数据进行筛选生成有效深度数据，将所述有效深度数据融合在与所述人脸三维模板模型大小相同的数组中生成所述变形数据组。
[0037] 进一步地，在本发明的一个实施例中，所述跟踪模块包括：第一变形单元、第二变形单元和第三变形单元；
[0038] 所述第一变形单元，用于通过所述定制人脸混合模型对所述中性人脸三维模型进行变形生成所述定制人脸混合模型的表情系数；
[0039] 所述第二变形单元，用于通过Warping Field技术对所述第一变形单元中变形后的中性人脸三维模型进行变形；
[0040] 所述第三变形单元，用于通过Shape from Shading技术对所述第二变形单元中变形后的中性人脸三维模型进行变形生成当前中性人脸三维模型的重建结果。
[0041] 进一步地，在本发明的一个实施例中，所述人脸跟踪结果包括：
[0042] 所述当前中性人脸三维模型的重建结果和所述人脸混合模型的表情系数。
[0043] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0044] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0045] 图1为根据本发明一个实施例的定制人脸混合表情模型自动生成方法
流程图；
[0046] 图2为根据本发明一个实施例的定制人脸混合表情模型自动生成装置结构示意图。
具体实施方式
[0047] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0048] 下面参照附图描述根据本发明实施例提出的定制人脸混合表情模型自动生成方法及装置。
[0049] 首先将参照附图描述根据本发明实施例提出的定制人脸混合表情模型自动生成方法。
[0050] 图1为根据本发明一个实施例的定制人脸混合表情模型自动生成方法流程图。
[0051] 如图1所示，该定制人脸混合表情模型自动生成方法包括以下步骤：
[0052] 步骤S1，获取包含用户中性表情的RGB-D图像序列，利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，根据变形数据组对人脸三维模板模型进行变形。
[0053] 进一步地，通过让用户保持中性表情，向上下左右各个方向依次旋转头部，采集每一帧用户表情图像来组成RGB-D图像序列。
[0054] 在本发明实施例中使用的RGB-D图像序列的
分辨率为640×480。
[0055] 进一步地，在本发明的一个实施例中，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，包括：
[0056] 将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成深度数据，对深度数据进行筛选生成有效深度数据，将有效深度数据融合在与人脸三维模板模型大小相同的数组中生成变形数据组。
[0057] 具体地，对RGB-D图像序列的每一帧进行处理可以得到每一帧对应的深度图和每一帧图像中的人脸特征点，在每一帧，都利用深度图和检测到的人脸特征点对人脸三维模板模型进行非刚性注册，其中，人脸三维模板模型为已有的模板模型，将非刚性注册结果中的每个顶点再输入到每一帧对应的深度图中，寻找距离较近的深度数据作为有效数据，再融合到与人脸三维模板模型同样大小的数组中，之后将融合的结果作为变形人脸三维模板模型的数据项，即变形数据组，通过变形数据组对人脸三维模板模型进行变形。
[0058] 可以理解的是，深度图中包括三维坐标点，将非刚性结果中每个顶点的三维坐标与深度图中的三维坐标进行对比，将距离较近的深度数据作为有效数据。
[0059] 步骤S2，在RGB-D图像序列的最后一帧，通过Shape from Shading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型。
[0060] 具体地，在RGB-D图像序列的最后一帧，通过Shape from Shading技术重建非刚性注册后的人脸三维模型中人脸的细节，将步骤S1变形后的人脸三维目标模型和步骤S2重建后的人脸三维模板模型进行综合生成中性人脸三维模型。
[0061] 可以理解的是，输入彩色和深度序列中的人脸保持中性表情只作刚性运动，通过变形人脸三维模板模型，完成对中性人脸的三维重建。在重建过程中，利用人脸三维模板模型的非刚性注册结果，用来融合出更精确的人脸三维模型；用融合好的人脸三维模型，得到更好的非刚性注册结果，两者
迭代交替进行。
[0062] 传统的合重建的方法，重建出的人脸三维网络并不具有固定的拓扑结构。本发明实施例中，使用的融合方法融合出的人脸，其与人脸模板模型具有相同的拓扑结构。
[0063] 步骤S3，通过Deformation Transfer技术对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型。
[0064] 完成中性人脸的三维重建之后，使用Deformation Transfer技术，完成初步的定制人脸模型的初始化。
[0065] 使用了Deformation Transfer技术之后，可以得到定制化人脸模型的初步结果。
[0066] 具体地，利用Deformation Transfer技术，以重建好的高精度中性人脸模型和模板中的人脸混合模型作为输入，得到定制人脸混合模型的初始化结果。
[0067] 步骤S4，通过定制人脸混合模型、Warping Field技术和Shape from Shading技术依次对中性人脸三维模型进行变形，以对RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果。
[0068] 进一步地，在本发明的一个实施例中，还包括：
[0069] S41，通过定制人脸混合模型对中性人脸三维模型进行变形生成定制人脸混合模型的表情系数；
[0070] S42，通过Warping Field技术对S41中变形后的中性人脸三维模型进行变形；
[0071] S43，通过Shape from Shading技术对S42中变形后的中性人脸三维模型进行变形生成当前中性人脸三维模型的重建结果。
[0072] 人脸跟踪结果包括当前中性人脸三维模型的重建结果和人脸混合模型的表情系数。
[0073] 具体地，对输入彩色和深度序列中的人脸进行跟踪，利用现有的定制人脸混合模型，Warping Field以及Shape from Shading实现对输入序列中的人脸进行高精度跟踪，最终得到当前帧人脸模型的高精度重建结果以及此时的人脸混合模型的表情系数。
[0074] 本方实施例使用的人脸混合模型的跟踪方法，不会限制人脸混合模型变化的空间，从而人脸混合模型的变化具有更高的
自由度，可以更新出高精度的人脸混合模型。
[0075] 步骤S5，根据人脸跟踪结果更新定制人脸混合模型。
[0076] 具体地，将人脸模型的高精度重建结果和其对应的表情系数，用于更新定制化人脸混合模型。
[0077] 在对更新后的定制人脸混合模型中的每个顶点运动分别求解，并且使用蒙板保持混合模型中各个表情基的语义不会发生变化。
[0078] 根据本发明实施例提出的定制人脸混合表情模型自动生成方法，通过利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型；通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型，实现了高精度定制人脸混合表情模型的自动生成，能够实时地生成逼真的人脸表情模型。
[0079] 其次参照附图描述根据本发明实施例提出的定制人脸混合表情模型自动生成装置。
[0080] 图2为根据本发明一个实施例的定制人脸混合表情模型自动生成装置结构示意图。
[0081] 如图2所示，该定制人脸混合表情模型自动生成装置包括：处理模块100、第一生成模块200、第二生成模块300、跟踪模块400和更新模块500。
[0082] 其中，处理模块100，用于获取包含用户中性表情的RGB-D图像序列，利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，根据变形数据组对人脸三维模板模型进行变形。
[0083] 第一生成模块200，用于在RGB-D图像序列的最后一帧，通过Shape from Shading技术重建非刚性注册后的人脸三维模型中人脸的细节，根据变形后的人脸三维模板模型和重建后的人脸三维模板模型生成中性人脸三维模型；
[0084] 第二生成模块300，用于通过Deformation Transfer技术对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型。
[0085] 跟踪模块400，用于通过定制人脸混合模型、Warping Field技术和Shape from Shading技术依次对中性人脸三维模型进行变形，以对RGB-D图像序列中的人脸进行跟踪生成人脸跟踪结果。
[0086] 更新模块500，用于根据人脸跟踪结果更新定制人脸混合模型。
[0087] 该装置能够生成更好的中性人脸重建结果；能够实现对人脸的高精度跟踪；能够生成高精度的人脸混合模型。
[0088] 进一步地，在本发明的一个实施例中，获取包含用户中性表情的RGB-D图像序列，包括：
[0089] 用户保持中性表情，向上下左右各个方向依次旋转头部，采集每一帧用户表情图像组成RGB-D图像序列。
[0090] 进一步地，在本发明的一个实施例中，将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成变形数据组，包括：
[0091] 将非刚性注册结果中的每个顶点输入到每一帧图像对应的深度图中生成深度数据，对深度数据进行筛选生成有效深度数据，将有效深度数据融合在与人脸三维模板模型大小相同的数组中生成变形数据组。
[0092] 进一步地，在本发明的一个实施例中，跟踪模块包括：第一变形单元、第二变形单元和第三变形单元；
[0093] 第一变形单元，用于通过定制人脸混合模型对中性人脸三维模型进行变形生成定制人脸混合模型的表情系数；
[0094] 第二变形单元，用于通过Warping Field技术对第一变形单元中变形后的中性人脸三维模型进行变形；
[0095] 第三变形单元，用于通过Shape from Shading技术对第二变形单元中变形后的中性人脸三维模型进行变形生成当前中性人脸三维模型的重建结果。
[0096] 进一步地，在本发明的一个实施例中，人脸跟踪结果包括：
[0097] 当前中性人脸三维模型的重建结果和人脸混合模型的表情系数。
[0098] 需要说明的是，前述对定制人脸混合表情模型自动生成方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
[0099] 根据本发明实施例提出的定制人脸混合表情模型自动生成装置，通过利用RGB-D图像序列的每一帧图像对应的深度图和人脸特征点对人脸三维模板模型进行非刚性注册，根据非刚性注册结果和Shape from Shading对人脸三维模板模型进行变形生成中性人脸三维模型；通过Deformation Transfer对中性人脸三维模型和人脸混合模型模板进行处理，生成定制人脸混合模型；通过定制人脸混合模型、Warping Field和Shape from Shading依次对中性人脸三维模型进行变形，生成人脸跟踪结果来更新定制人脸混合模型。从人脸彩色和深度序列中的人脸进行高精度跟踪，并且将高精度跟踪结果直接用于生成定制的人脸混合模型，实现了高精度定制人脸混合表情模型的自动生成，能够实时地生成逼真的人脸表情模型。
[0100] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0101] 在本
说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0102] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、
修改、替换和变型。
