技术领域
[0001] 本
发明涉及3D技术领域，特别是涉及一种人脸重建方法及系统。
背景技术
[0002] 随着科学技术的发展，人类与虚拟世界的交互方式也在不断改变。通常会通过人脸重建技术获得用户的人脸3D模型，然后应用到游戏、社交、影视等领域，提升人们的娱乐体验。
[0003] 传统的3D人脸重建技术，基本是根据图像信息，例如，图像
亮度、边缘信息、线性透视、
颜色、相对高度、
视差等等一种或多种信息建模技术进行3D人脸重建。但是这种人脸重建技术一般都是通过深度点
云重建得到的，该技术并不成熟，且建模过程繁琐，并且无法实现通过用户的表情实时驱动3D人脸模型。
发明内容
[0004] 针对于上述问题，本发明提供一种人脸重建方法及系统，实现了建模过程简单且通过用户表情实时驱动人脸模型的目的。
[0005] 为了实现上述目的，本发明提供了如下技术方案：
[0006] 一种人脸重建方法，包括：
[0007] 根据通用人脸3D模型，生成目标用户的目标人脸3D模型；
[0008] 根据所述目标人脸3D模型，构造目标用户的表情形变模型；
[0009] 获取当前用户表情
帧对应的面部纹理信息；
[0010] 根据所述面部纹理信息对所述目标用户的表情形变模型进行
渲染，获得当前用户表情帧对应的人脸3D模型。
[0011] 可选地，所述方法还包括：
[0012] 基于预先采集的用户面部信息，创建通用人脸3D模型，所述用户面部信息包括用户人脸图像
顶点信息和面片信息，所述通用人脸3D模型包括若干个子模型，每个所述子模型代表人脸的一种表情单元。
[0013] 可选地，所述根据通用人脸3D模型，生成目标用户的目标人脸3D模型，包括：
[0014] 对采集到的目标用户的人脸图像进行关键点检测，获得关键点
位置信息；
[0015] 依据所述关键点位置信息进行人脸
姿态估计，获得估计结果；
[0016] 如果所述估计结果满足人脸姿态在设定范围内，获取当前帧的人脸图像；
[0017] 将所述当前帧的人脸图像和当前帧人脸图像对应的关键点信息，输入至所述通用人脸3D模型，获得所述目标用户的目标人脸3D模型。
[0018] 可选地，所述根据所述目标人脸3D模型，构造目标用户的表情形变模型，包括：
[0019] 基于所述目标人脸3D模型，构造协方差矩阵；
[0020] 对所述协方差矩阵进行奇异值分解，获取表情基向量；
[0021] 获取所述目标人脸3D模型的中性表情向量；
[0022] 根据所述表情基向量、所述中性表情向量和所述目标人脸3D模型对应的模型信息，构造目标用户的表情形变模型。
[0023] 可选地，所述获取当前用户表情帧对应的面部纹理信息，包括：
[0024] 检测采集到当前用户表情帧对应的目标用户的人脸图像的关键点信息，并根据所述关键点信息计算仿射变换矩阵；
[0025] 通过仿射变换矩阵计算目标人脸3D模型对应的数据结构中的顶点位置信息；
[0026] 根据所述顶点位置信息对应的纹理信息赋值给顶点，获得面部纹理信息。
[0027] 可选地，所述根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型，包括：
[0028] 计算所述目标人脸3D模型的表情权重值；
[0029] 依据所述表情权重值和所述仿射变换矩阵，将所述表情形变模型中的三维信息转换为二维信息；
[0030] 根据所述二维信息计算获得当前用户的表情权重值；
[0031] 基于所述当前用户的表情权重值和所述表情形变模型进行加权组合，获得更新后的表情形变模型；
[0032] 基于所述面部纹理信息对所述更新后的表情形变模型进行显示渲染，获得当前用户表情帧对应的人脸3D模型。
[0033] 一种人脸重建系统，包括：
[0034] 模型生成单元，用于根据通用人脸3D模型，生成目标用户的目标人脸3D模型；
[0035] 模型构造单元，用于根据所述目标人脸3D模型，构造目标用户的表情形变模型；
[0036] 信息获取单元，用于获取当前用户表情帧对应的面部纹理信息；
[0037] 渲染单元，用于根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。
[0038] 可选地，所述系统还包括：
[0039] 模型创建单元，用于基于预先采集的用户面部信息，创建通用人脸3D模型，所述用户面部信息包括用户人脸图像顶点信息和面片信息，所述通用人脸3D模型包括若干个子模型，每个所述子模型代表人脸的一种表情单元。
[0040] 可选地，所述模型生成单元包括：
[0041] 第一检测子单元，用于对采集到的目标用户的人脸图像进行关键点检测，获得关键点位置信息；
[0042] 估计子单元，用于依据所述关键点位置信息进行
人脸姿态估计，获得估计结果；
[0043] 第一获取子单元，用于如果所述估计结果满足人脸姿态在设定范围内，获取当前帧的人脸图像；
[0044] 模型生成子单元，用于将所述当前帧的人脸图像和当前帧人脸图像对应的关键点信息，输入至所述通用人脸3D模型，获得所述目标用户的目标人脸3D模型。
[0045] 可选地，所述模型构造单元包括：
[0046] 第一构造子单元，用于基于所述目标人脸3D模型，构造协方差矩阵；
[0047] 第二获取子单元，用于对所述协方差矩阵进行奇异值分解，获取表情基向量；
[0048] 第三获取子单元，用于获取所述目标人脸3D模型的中性表情向量；
[0049] 模型构造子单元，用于根据所述表情基向量、所述中性表情向量和所述目标人脸3D模型对应的模型信息，构造目标用户的表情形变模型。
[0050] 可选地，所述信息获取单元包括：
[0051] 第二检测子单元，用于检测采集到当前用户表情帧对应的目标用户的人脸图像的关键点信息，并根据所述关键点信息计算仿射变换矩阵；
[0052] 第一计算子单元，用于通过仿射变换矩阵计算目标人脸3D模型对应的数据结构中的顶点位置信息；
[0053] 第四获取子单元，用于根据所述顶点位置信息对应的纹理信息赋值给顶点，获得面部纹理信息。
[0054] 可选地，所述渲染单元包括：
[0055] 第二计算子单元，用于计算所述目标人脸3D模型的表情权重值；
[0056] 转换子单元，用于依据所述表情权重值和所述仿射变换矩阵，将所述表情形变模型中的三维信息转换为二维信息；
[0057] 第三计算子单元，用于根据所述二维信息计算获得当前用户的表情权重值；
[0058] 加权子单元，用于基于所述当前用户的表情权重值和所述表情形变模型进行加权组合，获得更新后的表情形变模型；
[0059] 渲染子单元，用于基于所述面部纹理信息对所述更新后的表情形变模型进行显示渲染，获得当前用户表情帧对应的人脸3D模型。
[0060] 相较于
现有技术，本发明提供了一种人脸重建方法及系统，根据通用人脸3D模型，生成目标用户的目标人脸3D模型；根据所述目标人脸3D模型，构造目标用户的表情形变模型；获取当前用户表情帧对应的面部纹理信息；根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。由于创建了表征目标用户表情特征的表情形变模型，可以根据用户的表情对该表情形变模型进行实时驱动，使得当前用户表情帧对应的人脸3D模型能够表达出用户的常见表情，提升用户体验效果。
附图说明
[0061] 为了更清楚地说明本发明
实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0062] 图1为本发明实施例提供的一种人脸重建方法的流程示意图；
[0063] 图2为本发明实施例提供的一种通用人脸模型的示意图；
[0064] 图3为本发明实施例提供的一种表情的驱动结果的示意图；
[0065] 图4为本发明实施例提供的一种人脸重建系统的结构示意图。
具体实施方式
[0066] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0067] 本发明的
说明书和
权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何
变形，意图在于
覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
[0068] 在本发明实施例中提供了一种人脸重建方法，参见图1，该方法包括：
[0069] S101、根据通用人脸3D模型，生成目标用户的目标人脸3D模型。
[0070] 参见图2为本发明实施例提供的一种通用人脸模型的示意图，在该图中包括了部分通用人脸3D模型的子模型。基于预先采集的用户面部信息，创建通用人脸3D模型，所述用户面部信息包括用户人脸图像顶点信息和面片信息，所述通用人脸3D模型包括若干个子模型，每个所述子模型代表人脸的一种表情单元。
[0071] 例如，通用人脸3D模型为3D BlendShapes模型(三维混合形状)是用3D制作工具制作的一组人脸3D模型，记为Ω1，每个模型包含了顶点(1000多)和面片信息，并且每个模型代表人脸的一种表情单元，所有的模型构成了人脸的表情集合。
[0072] S102、根据所述目标人脸3D模型，构造目标用户的表情形变模型。
[0073] 在构造目标用户的表情形变模型时，可以包括以下步骤：
[0074] S1021、基于所述目标人脸3D模型，构造协方差矩阵；
[0075] S1022、对所述协方差矩阵进行奇异值分解，获取表情基向量；
[0076] S1023、获取所述目标人脸3D模型的中性表情向量；
[0077] S1024、根据所述表情基向量、所述中性表情向量和所述目标人脸3D模型对应的模型信息，构造目标用户的表情形变模型。
[0078] 例如，构造形变模型是将Ω1转
化成另一种数据类型，方便
算法调用和显示，设有M个3D模型，将每个模型的顶点表示成一列向量，其中中性表情模型用 表示，剩下的用表示，利用下面的公式构造协方差矩阵C
[0079]
[0080] 对C进行奇异值分解，取前M-1列构成表情基向量，记为 这样任何一个人脸S，都存在一组表情权重 使得人脸S由下面的公式表达；
[0081]
[0082] 其中，中性表情指的是人在自然情况下，没有任何情绪的面部姿态，面部没有表现出喜怒哀乐的样子。表情权重是通过上面这个线性方程组求出来的，上面的方程除了表情权重是未知数，其它都是已知的。
[0083] S103、获取当前用户表情帧对应的面部纹理信息。
[0084] 其中，当前用户表情帧对应的是当前用户的表情图像。在获取对应的面部纹理信息时需要进行关键点检测。具体可以包括：
[0085] S1031、检测采集到当前用户表情帧对应的目标用户的人脸图像的关键点信息，并根据所述关键点信息计算仿射变换矩阵；
[0086] S1032、通过仿射变换矩阵计算目标人脸3D模型对应的数据结构中的顶点位置信息；
[0087] S1033、根据所述顶点位置信息对应的纹理信息赋值给顶点，获得面部纹理信息。
[0088] 在检测目标用户的人脸图像时，为了避免不相关人员和环境因素的干扰，需要限定有效区域，当用户脸在有效区域内时，利用
人脸检测装置获取人脸在图像中的具体位置。将人脸检测得到的人脸框的位置，输入到关键点检测器，得到若干个关键点的位置信息，假设得到68个关键点的位置信息。
[0089] 为了得到较好的建模效果，需要获取用户接近正脸时的关键点，在得到关键点之后，通过姿态估计决定是否进行建模，如果姿态在设定的范围外，会提醒用户需要往哪个方向变化，如果姿态在设定范围内时，会将当前帧图片和当前人脸关键点输入到公模建模系统，得到当前用户的BlendShapes,它是一组新的3D模型，和原来的3D BlendShapes表情是完全一样的，只是脸型ID是当前用户的脸型。
[0090] 设新生成的M个3D BlendShapes为Ω2，将Ω2顶点表示成列向量形式，其中中性表情用 其余的用 表示，构造如下协方差矩阵
[0091]
[0092] 对C1进行奇异值分解，取前M-1列构成新的表情基向量，记为 为了之后的渲染显示方便，需要将数据归一化到[-1，1]区间，通过简单计算得出中性表情 在x轴上的最大和最小分别为xma,xmi，在y轴上的最大和最小分别为yma,ymi，在z轴上的最大和最小分别为zma,zmi，通过下面的公式计算尺度参数d；
[0093] d＝((xma-xmi)2+(yma-ymi)2+(zma-zmi)2)1/2
[0094] 对中性表情 和 分别除以尺度参数d，得到归一化后的数据结构 和除了这些，还需要提取出Ω2的面片信息，边和顶点的关系，边和面的关系，以及手工标注68个关键点的位置l0，所有这些归一化的数据和后面提出的信息，构成了当前用户的表情形变模型结构。
[0095] 根据实时检测到的人脸关键点l1和l0，计算仿射变换矩阵R，通过R可以计算出 中任意一个顶点在图像上的位置，将该位置的纹理信息赋给对应的顶点，即完成了面部纹理提取过程。
[0096] S104、根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。
[0097] 该过程可以包括以下步骤：
[0098] S1041、计算所述目标人脸3D模型的表情权重值；
[0099] S1042、依据所述表情权重值和所述仿射变换矩阵，将所述表情形变模型中的三维信息转换为二维信息；
[0100] S1043、根据所述二维信息计算获得当前用户的表情权重值；
[0101] S1044、基于所述当前用户的表情权重值和所述表情形变模型进行加权组合，获得更新后的表情形变模型；
[0102] S1045、基于所述面部纹理信息对所述更新后的表情形变模型进行显示渲染，获得当前用户表情帧对应的人脸3D模型。
[0103] 为了达到实时驱动的目的，需要计算当前用户在当前帧的表情权重 结合上面计算的仿射变换矩阵，将表情形变模型的部分信息由三维转换成二维，l0转换之后记为lR0， 对应的68个点转换之后记为 中对应的点转换之后记为 构造下面的线性方程组
[0104]
[0105] 通过求解上面的线性方程组，得出当前用户的表情权重 对表情模型和表情权重加权组合，即完成了表情更新。
[0106] 为了显示渲染3D模型，计算更新后模型上每一点的法向量，用opengl将更新之后的模型显示出来。其中，opengl是开发工具调用的一个模型渲染库，可以对3D模型进行显示，渲染以及其他处理等。
[0107] 举例说明，对于每一个用户，制作通用人脸3D模型、构造形变模型、人脸重建，得到当前用户的三维混合形状，构造当前用户表情形变模型和提取面部纹理只需要进行一次，获取到该用户的ID、纹理等信息之后不需要再次运行，随着不断获取
视频流，只需要重复进行人脸检测、关键点检测、表情更新和渲染纹理的过程，就可以实时驱动属于该用户的人脸模型。
[0108] 参见图3的(a)，(b)，(c)，(d)，其示出了表情的驱动结果图。每幅图的左边是用户的表情
视频帧，中间是人脸重建后用户的3D人脸被驱动的效果，右边的是渲染用户纹理之后的效果。
[0109] 本发明的人脸重建方法，包括了实时驱动过程，主要应用了以下技术：人脸检测技术，关键点检测技术，人脸重建技术和3D渲染技术；本发明大致思路是：首先构造通用人脸的3D BlendShapes，它是一组3D模型，包含了人脸的表情单元；其次，获取用户在接近正脸时的关键点，利用3D模型上的关键点和检测到的关键点，将通用人脸的3D BlendShapes变换成一组新的3DBlendShapes，新的3D模型和通用的相比，表情单元是完全一样的，只是脸型ID是用户的脸型,可以认为新生成的模型是用户的表情形变模型；最后，根据3D模型上的关键点和检测到的关键点计算仿射变换矩阵，计算模型上顶点在图像上的位置并提取纹理信息，通过构造线性方程组计算当前帧的表情权重，对表情权重和表情模型进行加权组合完成表情的更新，当获取到用户的脸型ID，纹理信息以后，就可以重复人脸检测，关键点检测，表情更新，模型显示等，用户就可以进行实时驱动了。
[0110] 通过本发明提供的人脸重建方法，使得人脸重建过程快，不需要头部转来转去等操作，只要通过姿态判断，在设定
角度内会就进行重建；模型顶点少，在驱动时流畅，速度快；功能综合性强，对于每一个人，都可以生成自己的Blendshapes,并且可以实时驱动自己的3D模型；模型信息丰富，不仅包含顶点和面片，还包含纹理坐标，关键点坐标，边和面的关系，边和顶点的关系等信息，方便算法调用；驱动时表情丰富，基本可以表达出人的所有常见表情，提升用户体验效果。
[0111] 在本发明实施例中还提供了一种人脸重建系统，参见图4，包括：
[0112] 模型生成单元10，用于根据通用人脸3D模型，生成目标用户的目标人脸3D模型；
[0113] 模型构造单元20，用于根据所述目标人脸3D模型，构造目标用户的表情形变模型；
[0114] 信息获取单元30，用于获取当前用户表情帧对应的面部纹理信息；
[0115] 渲染单元40，用于根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。
[0116] 本发明提供了一种人脸重建系统，模型生成单元根据通用人脸3D模型，生成目标用户的目标人脸3D模型；模型构造单元根据所述目标人脸3D模型，构造目标用户的表情形变模型；信息获取单元获取当前用户表情帧对应的面部纹理信息；渲染单元根据所述面部纹理信息对所述目标用户的表情形变模型进行渲染，获得当前用户表情帧对应的人脸3D模型。由于创建了表征目标用户表情特征的表情形变模型，可以根据用户的表情对该表情形变模型进行实时驱动，使得当前用户表情帧对应的人脸3D模型能够表达出用户的常见表情，提升用户体验效果。
[0117] 在上述实施例的
基础上，所述系统还包括：
[0118] 模型创建单元，用于基于预先采集的用户面部信息，创建通用人脸3D模型，所述用户面部信息包括用户人脸图像顶点信息和面片信息，所述通用人脸3D模型包括若干个子模型，每个所述子模型代表人脸的一种表情单元。
[0119] 在上述实施例的基础上，所述模型生成单元包括：
[0120] 第一检测子单元，用于对采集到的目标用户的人脸图像进行关键点检测，获得关键点位置信息；
[0121] 估计子单元，用于依据所述关键点位置信息进行人脸姿态估计，获得估计结果；
[0122] 第一获取子单元，用于如果所述估计结果满足人脸姿态在设定范围内，获取当前帧的人脸图像；
[0123] 模型生成子单元，用于将所述当前帧的人脸图像和当前帧人脸图像对应的关键点信息，输入至所述通用人脸3D模型，获得所述目标用户的目标人脸3D模型。
[0124] 在上述实施例的基础上，所述模型构造单元包括：
[0125] 第一构造子单元，用于基于所述目标人脸3D模型，构造协方差矩阵；
[0126] 第二获取子单元，用于对所述协方差矩阵进行奇异值分解，获取表情基向量；
[0127] 第三获取子单元，用于获取所述目标人脸3D模型的中性表情向量；
[0128] 模型构造子单元，用于根据所述表情基向量、所述中性表情向量和所述目标人脸3D模型对应的模型信息，构造目标用户的表情形变模型。
[0129] 在上述实施例的基础上，所述信息获取单元包括：
[0130] 第二检测子单元，用于检测采集到当前用户表情帧对应的的目标用户的人脸图像的关键点信息，并根据所述关键点信息计算仿射变换矩阵；
[0131] 第一计算子单元，用于通过仿射变换矩阵计算目标人脸3D模型对应的数据结构中的顶点位置信息；
[0132] 第四获取子单元，用于根据所述顶点位置信息对应的纹理信息赋值给顶点，获得面部纹理信息。
[0133] 在上述实施例的基础上，所述渲染单元包括：
[0134] 第二计算子单元，用于计算所述目标人脸3D模型的表情权重值；
[0135] 转换子单元，用于依据所述表情权重值和所述仿射变换矩阵，将所述表情形变模型中的三维信息转换为二维信息；
[0136] 第三计算子单元，用于根据所述二维信息计算获得当前用户的表情权重值；
[0137] 加权子单元，用于基于所述当前用户的表情权重值和所述表情形变模型进行加权组合，获得更新后的表情形变模型；
[0138] 渲染子单元，用于基于所述面部纹理信息对所述更新后的表情形变模型进行显示渲染，获得当前用户表情帧对应的人脸3D模型。
[0139] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0140] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种
修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
