技术领域
[0001] 本
发明属于
计算机视觉技术领域，尤其涉及一种三维人脸重建方法、装置、终端及计算机可读存储介质。
背景技术
[0002] 人脸是人类情感表达和交流最重要、最直接的载体。从古至今，人类就在不断尝试用不同的手段去描述和刻画人脸，从最早的绘画、雕塑，到现代出现的照片和电影。而随着计算机技术的不断发展，使人们对于复杂的人脸有了新的表示形式，追求更加真实的感受，正是在这样的背景下，将人脸三维数字化，即人脸的
三维建模应运而生。真实感的人脸三维建模，不仅可以在
人脸识别上获得重要应用，其在电影广告制作、人物动画、视频会议、计算机游戏、虚拟社区、
人机交互以及医学和公共安全等应用中有着广阔的应用前景。
[0003] 目前，三维人脸重建始终是一个极具挑战性的难题。从几何
角度看，人脸具有极度复杂的几何形状和表面材质，必须通过各种技术手段来描述特征。同时，遮挡、光照、纹理信息以及表情动作都增加了
三维重建的难度。虽然有很多的难题需要被克服，但是仍然有众多的研究者进行这方面的探索，原因有两种：第一，如上述所说，三维人脸重建在诸多领域有着广泛的应用前景；第二，就是现有的一些问题在二维人脸上得不到更好的解决。正因为人脸三维重建有着广泛的应用前景和重要的研究意义，人脸三维重建的研究已经成为
机器视觉和
人工智能领域的一个研究热点。目前，人脸三维重建方法主要有以下几种：
[0004] (1)基于明暗模型重构(shape-from-shading，SFS)的方法。该方法主要是使用物体的光照和阴影的线索来进行三维重构，通常应用一个光照约束去表示重建的3D形状的和输入图像之间的总体光亮误差，为了从重建的3D模型中得到人脸图像，SFS通常需要知道这个场景下自然环境中非常复杂的光照情况和人脸的反射属性。因此，大部分基于SFS的方法进行三维人脸重构时，光照和人脸反照率必须作为已知条件或者必须很好的估计。
[0005] (2)基于三维模型拟合(3D model fitting，3DMF)的方法。这种方式最主要的限制是对相机的参数的显著估计，因为坐标下降的方法很容易达到局部最小值，无法保证最优的估计，导致对人脸
姿态估计不准，重建
精度不高。
[0006] (3)基于运动恢复结构(structure from motion，SFM)的方法。这种方式通过在多幅未标定图像中检测匹配特征点集，使用数值方法恢复摄像机参数与三维信息的一种方法，需要在图像中检测需匹配的特征点集，以恢复摄像机之间的
位置关系。基于SFM方法的优点是对图像的要求非常低，可以采用视频
图像序列进行三维重建，可以使用图像序列在重建过程中实现摄像机的自标定，省去了预先对摄像机进行标定的步骤，可以对大规模场景进行重建，输入图像数量也可以达到百万级，非常适合自然地形及城市景观等三维重建。然而，基于SFM的缺点就在于运算量过大，同时由于重建效果依赖特征点的密集程度，对特征点较少的弱纹理场景的重建效果比较一般，而且大多数SFM的方法只能重构稀疏的三维人脸模型，丢失了部分形状信息的3D人脸形状。
[0007] 由此可见，现有的三维人脸重构方法存在有对光照和人脸返照率要求苛刻、重建精度不高或者运算量过大的问题。
发明内容
[0008] 有鉴于此，本发明
实施例提供了一种三维人脸重构方法、装置、终端以及计算机存储介质，以解决现有的三维人脸重构方法存在有对光照和人脸返照率要求苛刻、重建精度不高或者运算量过大的问题。
[0009] 本发明实施例的第一方面提供了一种三维人脸重建方法，包括：
[0010] 获取输入的单张人脸图像的二维人脸特征点集；
[0011] 获取二维稀疏形状点集到三维稀疏形状点集之间的第一耦合关系，根据所述第一耦合关系计算得到所述二维人脸特征点集对应的三维稀疏形状点集；
[0012] 获取三维稀疏形状点集到三维稠密形状点集的第二耦合关系，根据所述第二耦合关系计算所述三维稀疏形状点集对应的三维稠密形状点集；
[0013] 对所述三维稠密形状点集进行纹理
渲染，得到重构的三维人脸模型。
[0014] 本发明实施例的第二方面提供了一种三维人脸重建终端，包括
[0015] 二维人脸特征点集获取单元，用于获取输入的单张人脸图像的二维人脸特征点集；
[0016] 三维稀疏形状点集计算单元，用于获取二维稀疏形状点集到三维稀疏形状点集之间的第一耦合关系，根据所述第一耦合关系计算得到所述二维人脸特征点集对应的三维稀疏形状点集；
[0017] 三维稠密点形状集计算单元，用于获取三维稀疏形状点集到三维稠密形状点集的第二耦合关系，根据所述第二耦合关系计算所述三维稀疏形状点集对应的三维稠密形状点集；
[0018] 纹理渲染单元，用于对所述三维稠密形状点集进行纹理渲染，得到重构的三维人脸模型。
[0019] 本发明实施例的第三方面，提供了一种三维人脸重建终端，包括
存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的
计算机程序，所述处理器执行所述计算机程序时实现上述三维人脸重建方法的步骤。
[0020] 本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述三维人脸重建方法的步骤。
[0021] 本发明实施例提供的三维人脸重建方法、装置、终端及计算机可读存储介质，由于采用从二维稀疏形状点集到三维稀疏形状点的第一耦合关系和从三维稀疏形状点集到三维稠密形状点集的第二耦合关系的两个耦合关系结构，基于单张人脸图片重建三维人脸模型，无需计算三维人脸模型重建时的光照和人脸反照率，提高了三维人脸模型重建系统对光照和人脸反照率的鲁棒性和三维人脸重建的精确度；由于仅在最后一步生成了三维稠密形状点集，之前的运算对象均为稀疏点集，因此
算法复杂度不高，保证了运算的速度。
附图说明
[0022] 为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或
现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0023] 图1是本发明实施例一提供的三维人脸重建方法的实现流程示意图；
[0024] 图2是本发明实施例一提供的三维人脸重建方法中步骤S102的具体实现
流程图；
[0025] 图3是三维稠密形状点集计算的实例图；
[0026] 图4是从单张二维人脸图像重构生成三维人脸模型的实例图；
[0027] 图5是样本集扩充实例图；
[0028] 图6是本发明实施例二提供的三维人脸重建方法的实现流程示意图；
[0029] 图7是本发明实施例三提供的三维人脸重建装置的结构示意图；
[0030] 图8是本发明实施例四提供的三维人脸重建终端的结构示意图。
具体实施方式
[0031] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、
电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0032] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。
[0033] 实施例一
[0034] 图1是本发明实施例一提供的三维人脸重建方法的实现流程示意图，该方法的执行主体为三维人脸重建终端。参加图1所示，本实施例提供的三维人脸重建方法，包括以下步骤：
[0035] 步骤S101，获取输入的单张人脸图像的二维人脸特征点集。
[0036] 其中，所述输入的单张人脸图像可以为所述三维人脸重建终端内存储的人脸图像，可以为所述三维重建终端即时拍摄获取的人脸图像，也可以为所述三维人脸重建终端接收到的其他移动终端发送的人脸图像。
[0037] 具体的，在本实施例中，所述三维重建终端在获取所述单张人脸图像后，采用预先编译的dlib库中的方法，对所述单张人脸图像进行二维人脸特征点检测，得到二维人脸特征点集。
[0038] 步骤S102，获取二维稀疏形状点集到三维稀疏形状点集之间的第一耦合关系，根据所述第一耦合关系计算得到所述二维人脸特征点集对应的三维稀疏形状点集。
[0039] 图2示出了步骤S102的具体实现方式，参见图2所示，在本实施例中，步骤S102具体包括：
[0040] 步骤S201，计算所述二维人脸特征点集和人脸模型
数据库中平均三维特征点集之间的投影关系矩阵。
[0041] 在本实施例中，通过投影模型，将所述人脸图像中的二维人脸特征点和所述人脸模型数据库中的平均特征点集进行关联映射，计算得到两者之间的投影关系矩阵。所述投影模型具体为： 其中， 表示所述人脸图像的二维人脸特征点集， 表示所述人脸数据模型库中
训练数据集中所有三维稀疏人脸特点的均值，P表示投影关系矩阵。
[0042] 步骤S202，将所述人脸模型数据库中所有的三维稀疏形状点集经过所述投影关系矩阵投影到二维平面，得到对应的二维稀疏形状点集。
[0043] 在本实施例中，通过上述投影关系矩阵P，将所述人脸模型数据库中所有的三维稀疏形状点集(3D sparse landmarks，3DSL)投影到二维平面，得到二维稀疏形状点集(2D sparse landmarks，2DSL)。
[0044] 步骤S203，对所述二维稀疏形状点集建立第一统计形状模型，对所述三维稀疏点集建立类第二统计形状模型。
[0045] 在本实施例中，每一个
特征向量都可以表示为所有特征的均值与相关
正交向量的线性组合，使用主成分分析(principal components analyse，PCA)算法将2DSL和3DSL可以分解为以下形式：
[0046]
[0047]
[0048] 其中，U表示正交基，α是权重系数， 代表训练集中所有相关2DSL或3DSL模型的均值。
[0049] 步骤S204，根据所述第一统计形状模型和所述第二统计形状模型以及所述投影关系矩阵，回归建立所述二维稀疏形状点集到所述三维稀疏形状点集之间的第一耦合关系。
[0050] 在本实施例中，令 这是上述系数的向量表示，然后采用偏最小二乘回归(Partial Least Square Regression，PLS)算法求解An和Am之间的映射关系，得到线性投影矩阵PPLS，即所述第一耦合关系。在PLS回归的过程中，求解特征向量的同时需要最大化两个系数向量之间的协方差。2DSL与3DSL之间的关系可以通过线性投影矩阵表示PPLS，而且形状模型中的特征点分布被人脸的几何形状所约束，因此利用PLS可以更好地表达两者之间的联系。在PLS回归时，令An＝TPT,TTT＝I，其中PPLS＝(PT+)BCT，B是一个包含回归权重组成的对角矩阵，C是各个
独立分量的权重系数。
[0051] 在本实施例中，若给定输入人脸图像的二维特征点记为 首先可以利用正交基对 进行化简，得到相关系数向量 接着 可以通过关系系数 与3DSL之间关系是 综合上述内容，可以推出所述人
脸图像的3DSL为：
[0052]
[0053] 步骤S103，获取三维稀疏形状点集到三维稠密形状点集的第二耦合关系，根据所述第二耦合关系计算所述三维稀疏形状点集对应的三维稠密形状点集。
[0054] 其中，所述获取三维稀疏形状点集到三维稠密形状点集的第二耦合关系包括：
[0055] 通过对人脸模型数据库中的三维稀疏形状点集和三维稠密形状点集之间的关系进行训练学习，得到表示两者之间第二耦合关系的字典模型。具体的：
[0056] 通过使所述人脸模型数据库中的所述三维稀疏形状点集和所述三维稠密形状点集共用一个系数来表明两者之间暗含的关系，建立表示两者之间第二耦合关系的字典模型：
[0057]
[0058] 其中，系数α作为一个人脸的特征表示，不同人脸的系数α是不同的； 表示三维稀疏形状点集的稀疏程度， 表示三维稠密形状点集的稀疏程度，β0是三维稀疏形状点集和三维稠密形状点集之间的平衡系数，β1控制了稀疏程度的稀疏范围， 表示三维稠密形状点集， 表示三维稀疏形状点集。
[0059] 其中，所述根据所述第二耦合关系计算所述三维稀疏形状点集对应的三维稠密形状点集包括：
[0060] 根据所述第二耦合关系的字典模型和获取的所述单张人脸图像的三维稀疏形状点集，计算所述单张人脸图像在所述字典模型下对应的系数；
[0061] 根据所述单张人脸图像在所述字典模型下对应的系数，计算所述三维稀疏形状点集对应的三维稠密形状点集。
[0062] 在本实施例中，所说过根据所述第二耦合关系的字典模型和获取的所述单张图像的三维稀疏形状点集，计算所述单张人脸图像在所述字典模型下对应的系数包括：
[0063] 采用K-SVD算法，对所述字典模型的方程进行求解，得到
[0064] 采用稀疏规则算子(Least absolute shrinkage and selection operator，*Lasso)算法，对以下方程进行求解，得出所述三维稀疏形状点集3DSL系数α：
[0065]
[0066] 其中，通过调节系数β2，使得β2与α*有着接近的稀疏程度。同样利用L2范数正则化帮助解决系数α*求解。
[0067] 在本实施例中，当得到系数α*时，利用对偶模型的特性，得到三维稠密形状点集：通过所述第二耦合关系根据三维稀疏形状点集计算三维稠密形状点集的实例图可参见图3所示。
[0068] 步骤S104，对所述三维稠密形状点集进行纹理渲染，得到重构的三维人脸模型。
[0069] 在本实施例中，采用基于Delaunay三角剖分算法对所述三维稠密形状点集进行三角化处理，然后在将所述人脸图像对应的纹理信息映射至所述三维稠密形状点集模型上，生成完整的三维人脸模型。从单张二维人脸图像重构生成三维人脸模型的实例图可参见图4所示。
[0070] 在本实施例中，在基于单张人脸图像重构生成完整的三维人脸模型后，可以保存所述三维人脸模型在不同角度下的二维图像，以实现单张到多张图像的扩充。通过三维重构基于单张二维人脸图像，获取该样本图像在不同角度下的人脸图像的样本集扩充实例可参见图5所示。
[0071] 以上可以看出，本实施例提供的三维人脸重建方法通过采用两个耦合关系结构实现基于单张人脸图片重建三维人脸模型，克服了现有技术中存在的对三维人脸模型重建时对光照和人脸反照率要求苛刻的问题，提高了三维人脸模型重建系统对光照和人脸反照率的鲁棒性和三维人脸重建的精确度；并且由于在利用两个耦合关系结构进行三维人脸重构时，仅在最后一步生成了三维稠密形状点集，之前的运算对象均为稀疏点集，因此算法复杂度不高，保证了运算的速度。
[0072] 实施例二
[0073] 图6出了本发明实施例二提供的三维人脸重建方法的实现流程示意图，该方法的执行主体为三维人脸重建终端。参见图6示，本实施例提供的三维人脸重建方法包括：
[0074] 步骤S601，对输入的单张人脸图像进行特征点检测，得到若干个二维人脸特征点。
[0075] 具体的，在本实施例中，采用dlib脸图像进行特征点检测，得到68个特征点。可以理解的是，在其他实现示例中，也可以采用其他的特征点检测方法来进行特征点
定位，上述采用dlib库中的方法进行特征点检测的方式仅为本发明所例举的较佳实现示例，并不用于限制本发明。
[0076] 步骤S602，通过最小化二维人脸特征点集的二范数，从所述若干个二维人脸特征点中选取稳定的二维人脸特征点组成所述二维人脸特征点集。
[0077] 具体的，在本实施例中，在得到68个二维人脸特征点后，通过最小化二维人脸特征点集的二范数，从这68个二维人脸特征点中选取28个相对稳定的二维人脸特征点，组成所述二维人脸特征点集。
[0078] 本实施例中，由于采用上述方式从检测到的二维人脸特征点中筛选出相对稳定的二维人脸特征点组成所述人脸图像的二维人脸特征点集，这样可以保证后续计算出的投影关系矩阵更加准确，进一步提高了三维人脸重建的精确度；此外，还提高了定位算法选择的灵活性，增强了三维人脸重建终端对于人脸姿态等影响因素的鲁棒性和系统的可靠性，并且还进一步的减少了运算量，提高了运算速度。
[0079] 步骤S603，获取二维稀疏形状点集到三维稀疏形状点集之间的第一耦合关系，根据所述第一耦合关系计算得到所述二维人脸特征点集对应的三维稀疏形状点集。
[0080] 步骤S604，获取三维稀疏形状点集到三维稠密形状点集的第二耦合关系，根据所述第二耦合关系计算所述三维稀疏形状点集对应的三维稠密形状点集。
[0081] 步骤S605，对所述三维稠密形状点集进行纹理渲染，得到重构的三维人脸模型。
[0082] 需要说明的是，本实施例中步骤S603～步骤S605的实现方式由于分别与实施例一中步骤S102～步骤S104的实现方式完全相同，因此，在此不再赘述。
[0083] 优选的，在本实施例中，所述获取输入的单张人脸图像的二维人脸特征点集之前还包括：
[0084] 步骤S600，接收移动终端发送的单张人脸图像；
[0085] 在步骤S605之后，还包括：
[0086] 步骤S606，将重构的所述三维人脸模型发送至所述移动终端进行显示。
[0087] 在本实施例中，所述移动终端包括但不限于智能手机。所述三维人脸重建终端可以看做是所述移动终端的服务端。所述移动终端可通过TCP/IP协议将所述单张人脸图像发送至所述三维人脸重建终端进行三维人脸重构，所述三维重建人脸终端在重构完成后，再将重构的三维人脸模型返回至所述移动终端，所述移动终端在接收到重构的三维人脸模型后可进行多角度三维人脸模型的显示。
[0088] 相对于上一实施例，本实施例提供的三维人脸重建方法由于通过最小化二维人脸特征点集的二范数，从检测到的二维人脸特征点中选取相对稳定的二维人脸特征点组成二维人脸特征点集，从而可以保证后续计算出的投影关系矩阵更加准确，进一步提高了三维人脸重建的精确度，并且还减少了运算量，提高了运算速度。
[0089] 实施例三
[0090] 图7示出了本发明实施例三提供的三维人脸重建装置的结构示意图。为了便于说明，仅仅示出了与本实施例相关的部分。
[0091] 参见图7所示，本实施例提供的三维人脸重建终端7，包括：
[0092] 二维人脸特征点集获取单元71，用于获取输入的单张人脸图像的二维人脸特征点集；
[0093] 三维稀疏形状点集计算单元72，用于获取二维稀疏形状点集到三维稀疏形状点集之间的第一耦合关系，根据所述第一耦合关系计算得到所述二维人脸特征点集对应的三维稀疏形状点集；
[0094] 三维稠密点形状集计算单元73，用于获取三维稀疏形状点集到三维稠密形状点集的第二耦合关系，根据所述第二耦合关系计算所述三维稀疏形状点集对应的三维稠密形状点集；
[0095] 纹理渲染单元74，用于对所述三维稠密形状点集进行纹理渲染，得到重构的三维人脸模型。
[0096] 需要说明的是，本实施例提供的三维重建终端与上述实施例一和实施例二的三维人脸重建方法属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在本实施例中均对应适用，这里不再赘述。
[0097] 因此，可以看出，本实施例提供的三维人脸重建终端同样可以克服现有技术中存在的对光照和人脸反照率要求苛刻的问题，提高了三维人脸模型重建系统对光照和人脸反照率的鲁棒性和三维人脸重建的精确度；并且算法复杂度不高，保证了运算的速度。
[0098] 实施例四
[0099] 图8示出了本发明实施例三提供的三维人脸重建终端的结构示意图。为了便于说明，仅仅示出了与本实施例相关的部分。
[0100] 参见图8所示，本实施例提供的三维人脸重建终端8，包括存储器81、处理器82以及存储在所述存储器81中并可在所述处理器82上运行的计算机程序83，所述处理器82执行所述计算机程序83时实现如上述实施例一或实施例二的所述三维人脸重建方法的步骤。
[0101] 本领域普通技术人员可以理解，所述三维人脸重建终端8可以是桌上型计算机、笔记本、掌上电脑及
云端
服务器等计算设备。所述三维人脸重建终端8可包括，但不仅限于，处理器82、存储器81及计算机程序83。
[0102] 本领域技术人员可以理解，图8仅仅是三维人脸重建终端8的示例，并不构成对三维人脸重建终端8的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述三维人脸重建终端8还可以包括输入输出设备、网络接入设备、总线等。
[0103] 需要说明的是，本实施例提供的三维重建终端与上述实施例一和实施例二的三维人脸重建方法属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在本实施例中均对应适用，这里不再赘述。
[0104] 实施例五
[0105] 本发明实施例五提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例一或实施例二的所述三维人脸重建方法的步骤。
[0106] 需要说明的是，本实施例提供的计算机可读存储介质与上述实施例一和实施例二的三维人脸重建方法属于同一构思，其具体实现过程详细见方法实施例，且方法实施例中的技术特征在本实施例中均对应适用，这里不再赘述。
[0107] 本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模
块/单元可以被实施为
软件、
固件、
硬件及其适当的组合。
[0108] 在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如
中央处理器、数字
信号处理器或
微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如
专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机可读存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机
访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0109] 以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。本领域技术人员不脱离本发明的范围和实质内所作的任何
修改、等同替换和改进，均应在本发明的权利范围之内。
