一种人脸图像的融合方法、装置及计算设备专利检索-三维人脸重建人工智能专利检索查询-专利查询网

一种人脸图像的融合方法、装置及计算设备

阅读：750发布：2020-05-18

专利汇可以提供一种人脸图像的融合方法、装置及计算设备专利检索，专利查询，专利分析的服务。并且本发明公开了一种人脸图像的融合方法，该方法适于将目标图像中的人脸融合到素材图像的人脸中，包括步骤：分别计算素材图像与目标图像中人脸的三维模型，作为第一三维模型和第二三维模型；分别计算第一三维模型与第二三维模型投影到平面的第一投影矩阵和第二投影矩阵；根据第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标；根据第二三维模型和第二投影矩阵计算出目标图像中人脸的第二纹理坐标；用第二纹理坐标对应替换第一纹理坐标，得到重建后的目标图像的人脸图像；以及将重建后的目标图像的人脸图像与素材图像相融合，生成融合图像。本发明还公开了相应的人脸图像融合装置和计算设备。，下面是一种人脸图像的融合方法、装置及计算设备专利的具体信息内容。

权利要求

1.一种人脸图像的融合方法，所述方法适于将目标图像中的人脸融合到素材图像的人脸中，所述方法包括步骤：
分别计算素材图像与目标图像中人脸的三维模型，作为第一三维模型和第二三维模型；
分别计算所述第一三维模型与第二三维模型投影到平面的第一投影矩阵和第二投影矩阵；
根据所述第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标；
根据所述第二三维模型和第二投影矩阵计算出目标图像中人脸的第二纹理坐标；
用所述第二纹理坐标对应替换第一纹理坐标，得到重建后的目标图像的人脸图像；以及
将所述重建后的目标图像的人脸图像与所述素材图像相融合，生成融合图像；
其中，在得到第一三维模型及第一投影矩阵之后，还包括校准第一三维模型和/或第一投影矩阵，包括步骤：
通过所述第一投影矩阵将第一三维模型投影到平面，与所述素材图像进行对比：若出现局部差异，则调整所述第一三维模型，若出现整体误差，则调整所述第一投影矩阵。
2.如权利要求1所述的方法，其中，所述得到重建后的目标图像的人脸图像的步骤之后，还包括步骤：
根据所述素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版；
根据所述第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值；以及
将融合后人脸的肤色值赋给所述素材图像的对应像素，得到调整后的素材图像。
3.如权利要求2所述的方法，其中，将重建后的目标图像的人脸图像与素材图像相融合、生成融合图像的步骤还包括：
将重建后的目标图像的人脸图像与调整后的素材图像相融合、生成融合图像。
4.如权利要求3所述的方法，其中，根据第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值的步骤包括：
分别计算所述第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色均值，分别作为第一肤色和第二肤色；以及
根据所述第一肤色和第二肤色对目标图像中人脸区域的颜色值进行迁移运算，得到融合后人脸的肤色值。
5.如权利要求4所述的方法，其中，所述融合后人脸的肤色值为：
其中，pUi为融合后人脸区域中第i个像素点的肤色值，pui为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。
6.如权利要求5所述的方法，其中，所述第一三维模型和第二三维模型通过三维形变模型求得，包括步骤：
根据预先采集的三维人脸数据建立人脸空间基底；以及
根据所述人脸空间基底的线性组合拟合出目标人脸的三维模型。
7.如权利要求2-6中任一项所述的方法，其中，根据素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版的步骤还包括：
对所述第一人脸蒙版的蒙版区域和所述第二人脸蒙版的蒙版区域分别进行边缘羽化处理。
8.一种人脸图像的融合装置，所述装置适于将目标图像中的人脸融合到素材图像的人脸中，所述装置包括：
三维模型计算单元，适于分别计算素材图像与目标图像中人脸的三维模型，作为第一三维模型和第二三维模型、并分别计算所述第一三维模型与第二三维模型投影到平面的第一投影矩阵和第二投影矩阵；
纹理坐标计算单元，与所述三维模型计算单元相耦接，适于根据所述第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标、并根据所述第二三维模型和第二投影矩阵计算出目标图像中人脸的第二纹理坐标；
三维图像重建单元，与所述纹理坐标计算单元相耦接，适于用所述第二纹理坐标对应替换第一纹理坐标，得到重建后的目标图像的人脸图像；以及
图像融合单元，与所述三维图像重建单元相耦接，适于将所述重建后的目标图像的人脸图像与所述素材图像相融合，生成融合图像，
其中，所述三维模型计算单元还包括校准子单元，所述校准子单元适于通过所述第一投影矩阵将第一三维模型投影到平面，与所述素材图像进行对比：若出现局部差异，则调整所述第一三维模型；若出现整体误差，则调整所述第一投影矩阵。
9.如权利要求8所述的装置，还包括：
人脸蒙版生成单元，适于根据所述素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版；
肤色计算单元，适于根据所述第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值；
所述图像融合单元还适于将融合后人脸的肤色值赋给所述素材图像的对应像素，得到调整后的素材图像。
10.如权利要求9所述的装置，其中，
所述图像融合单元还适于将重建后的目标图像的人脸图像与调整后的素材图像相融合、生成融合图像。
11.如权利要求10所述的装置，其中，所述肤色计算单元被进一步配置为：
分别计算所述第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色均值，分别作为第一肤色和第二肤色；以及
根据所述第一肤色和第二肤色对目标图像中人脸区域的颜色值进行迁移运算，得到融合后人脸的肤色值。
12.如权利要求11所述的装置，在所述肤色计算单元中，所述融合后人脸的肤色值为：
其中，pUi为融合后人脸区域中第i个像素点的肤色值，pui为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。
13.如权利要求12所述的装置，其中，所述三维模型计算单元被进一步配置为：
根据预先采集的三维人脸数据建立人脸空间基底；以及
根据所述人脸空间基底的线性组合拟合出目标人脸的三维模型。
14.如权利要求9-13中任一项所述的装置，其中，
所述人脸蒙版生成单元还适于对所述第一人脸蒙版的蒙版区域和所述第二人脸蒙版的蒙版区域分别进行边缘羽化处理。
15.一种计算设备，包括：
至少一个处理器；和
存储有程序指令的存储器，所述程序指令包括如权利要求8-14中任一项所述的人脸图像的融合装置；
其中，所述处理器被配置为适于根据所述存储器中存储的人脸图像的融合装置执行如权利要求1-7中任一项所述的人脸图像的融合方法。
16.一种存储有程序指令的计算机可读存储介质，所述程序指令包括如权利要求8-14中任一项所述的人脸图像的融合装置；
当所述计算机可读存储介质中存储的人脸图像的融合装置被计算设备读取时，所述计算设备可以执行如权利要求1-7中任一项所述的人脸图像的融合方法。

说明书全文

一种人脸图像的融合方法、装置及计算设备

技术领域

[0001] 本发明涉及图像处理技术领域，尤其是一种人脸图像的融合方法、装置及计算设备。

背景技术

[0002] 用户在日常拍摄、社交等过程中，希望能够将一张图像中的人脸替换到另一张图像中，俗称换脸。在换脸的应用中，通常是将目标图像中的人脸融合(也可以称之为“替换”)到素材图像相应的人脸位置中。

[0003] 现有的换脸应用常采用的做法是，将目标图像中一个人物A的脸部(或，头部)沿着轮廓线裁剪下来，再替换到素材图像中人物B的脸部，这种简单的人脸替换能满足一部分用户需求。但是，对于姿态相差较大的两张人脸，在图像上很难替换，一般会产生比较严重的五官变形，难以满足用户需求。另外，由于不同图像拍摄时的光照、视角等不同，若直接将人脸部分进行替换可能会由于人脸与背景颜色不一致而造成色调不搭、人物与背景不协调等现象。

[0004] 因此，需要一种换脸应用，能够有效解决由姿态等问题引起的人脸变形、人脸与原图背景不协调等问题。

发明内容

[0005] 为此，本发明提供了一种人脸图像的融合方法、装置及计算设备，以力图解决或者至少缓解上面存在的至少一个问题。

[0006] 根据本发明的一个方面，提供了一种人脸图像的融合方法，该方法适于将目标图像中的人脸融合到素材图像的人脸中，包括步骤：分别计算素材图像与目标图像中人脸的三维模型，作为第一三维模型和第二三维模型；分别计算第一三维模型与第二三维模型投影到平面的第一投影矩阵和第二投影矩阵；根据第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标；根据第二三维模型和第二投影矩阵计算出目标图像中人脸的第二纹理坐标；用第二纹理坐标对应替换第一纹理坐标，得到重建后的目标图像的人脸图像；以及将重建后的目标图像的人脸图像与所述素材图像相融合，生成融合图像。

[0007] 可选地，在根据本发明的人脸图像融合方法中，得到重建后的目标图像的人脸图像的步骤之后，还包括步骤：根据素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版；根据第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值；以及将融合后人脸的肤色值赋给所述素材图像的对应像素，得到调整后的素材图像。

[0008] 可选地，在根据本发明的人脸图像融合方法中，将重建后的目标图像的人脸图像与素材图像相融合、生成融合图像的步骤还包括：将重建后的目标图像的人脸图像与调整后的素材图像相融合、生成融合图像。

[0009] 可选地，在根据本发明的人脸图像融合方法中，根据第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值的步骤包括：分别计算第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色均值，分别作为第一肤色和第二肤色；以及根据第一肤色和第二肤色对目标图像中人脸区域的颜色值进行迁移运算，得到融合后人脸的肤色值。

[0010] 可选地，在根据本发明的人脸图像融合方法中，融合后人脸的肤色值为：

[0011] 其中，pUi为融合后人脸区域中第i个像素点的肤色值，pui为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。

[0012] 可选地，在根据本发明的人脸图像融合方法中，第一三维模型和第二三维模型通过三维形变模型求得，包括步骤：根据预先采集的三维人脸数据建立人脸空间基底；以及根据人脸空间基底的线性组合拟合出目标人脸的三维模型。

[0013] 可选地，在根据本发明的人脸图像融合方法中，在得到第一三维模型及第一投影矩阵之后，还包括校准第一三维模型和/或第一投影矩阵的步骤：通过第一投影矩阵将第一三维模型投影到平面，与所述素材图像进行对比；若出现局部差异，则调整第一三维模型；以及若出现整体误差，则调整第一投影矩阵。

[0014] 可选地，在根据本发明的人脸图像融合方法中，根据素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版的步骤还包括：对第一人脸蒙版的蒙版区域和第二人脸蒙版的蒙版区域分别进行边缘羽化处理。

[0015] 根据本发明的另一方面，提供了一种人脸图像的融合装置，该装置适于将目标图像中的人脸融合到素材图像的人脸中，包括：三维模型计算单元，适于分别计算素材图像与目标图像中人脸的三维模型，作为第一三维模型和第二三维模型、并分别计算第一三维模型与第二三维模型投影到平面的第一投影矩阵和第二投影矩阵；纹理坐标计算单元，与三维模型计算单元相耦接，适于根据第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标、并根据第二三维模型和第二投影矩阵计算出目标图像中人脸的第二纹理坐标；三维图像重建单元，与纹理坐标计算单元相耦接，适于用第二纹理坐标对应替换第一纹理坐标，得到重建后的目标图像的人脸图像；以及图像融合单元，与三维图像重建单元相耦接，适于将重建后的目标图像的人脸图像与素材图像相融合，生成融合图像。

[0016] 可选地，在根据本发明的人脸图像融合装置中，还包括：人脸蒙版生成单元，适于根据素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版；肤色计算单元，适于根据第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值；图像融合单元还适于将融合后人脸的肤色值赋给素材图像的对应像素，得到调整后的素材图像。

[0017] 可选地，在根据本发明的人脸图像融合装置中，图像融合单元还适于将重建后的目标图像的人脸图像与调整后的素材图像相融合、生成融合图像。

[0018] 可选地，在根据本发明的人脸图像融合装置中，肤色计算单元被进一步配置为：分别计算第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色均值，分别作为第一肤色和第二肤色；以及根据第一肤色和第二肤色对目标图像中人脸区域的颜色值进行迁移运算，得到融合后人脸的肤色值。

[0019] 可选地，在根据本发明的人脸图像融合装置中，在肤色计算单元中，融合后人脸的肤色值为：

[0020] 其中，pUi为融合后人脸区域中第i个像素点的肤色值，pui为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。

[0021] 可选地，在根据本发明的人脸图像融合装置中，三维模型计算单元被进一步配置为：根据预先采集的三维人脸数据建立人脸空间基底；以及根据人脸空间基底的线性组合拟合出目标人脸的三维模型。

[0022] 可选地，在根据本发明的人脸图像融合装置中，三维模型计算单元还包括校准子单元，校准子单元适于通过第一投影矩阵将第一三维模型投影到平面，与素材图像进行对比：若出现局部差异，则调整第一三维模型；以及若出现整体误差，则调整第一投影矩阵。

[0023] 可选地，在根据本发明的人脸图像融合装置中，人脸蒙版生成单元还适于对所述第一人脸蒙版的蒙版区域和所述第二人脸蒙版的蒙版区域分别进行边缘羽化处理。

[0024] 根据本发明的又一方面，提供了一种计算设备，包括：至少一个处理器；和存储有程序指令的存储器，程序指令包括如上所述的人脸图像的融合装置；其中，处理器被配置为适于根据存储器中存储的人脸图像的融合装置执行如上所述的人脸图像的融合方法。

[0025] 根据本发明的又一方面，提供了一种存储有程序指令的计算机可读存储介质，程序指令包括如上所述的人脸图像的融合装置；当计算机可读存储介质中存储的人脸图像的融合装置被计算设备读取时，计算设备可以执行如上所述的人脸图像的融合方法。

[0026] 本方案通过人脸三维重建技术，将二维图像转换到三维空间并求取人脸部分的纹理坐标，以实现将目标图像中的人脸替换到素材图像中，可以有效解决由于人脸姿态差异引起的换脸变形问题。例如在将正脸换到侧脸、侧脸换到侧脸的场景中，可以明显改善姿态差异问题。附图说明

[0027] 为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

[0028] 图1示出了根据本发明一个实施例的计算设备100的构造示意图；

[0029] 图2示出了根据本发明一个实施例的人脸图像的融合方法200的流程图；

[0030] 图3示出了根据本发明一个实施例的原始图像与包含人脸蒙版的图像的对比图；

[0031] 图4示出了根据本发明一个实施例的人脸图像的融合装置400的示意图；以及[0032] 图5示出了根据本发明又一实施例的人脸图像的融合装置400的示意图。

具体实施方式

[0033] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

[0034] 图1是示例计算设备100的框图。在基本的配置102中，计算设备100典型地包括系统存储器106和一个或者多个处理器104。存储器总线108可以用于在处理器104和系统存储器106之间的通信。

[0035] 取决于期望的配置，处理器104可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器104可以包括诸如一级高速缓存110和二级高速缓存112之类的一个或者多个级别的高速缓存、处理器核心114和寄存器116。示例的处理器核心114可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器118可以与处理器
104一起使用，或者在一些实现中，存储器控制器118可以是处理器104的一个内部部分。

[0036] 取决于期望的配置，系统存储器106可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。系统存储器106可以包括操作系统120、一个或者多个应用122以及程序数据124。在一些实施方式中，应用122可以布置为在操作系统上利用程序数据124进行操作。

[0037] 计算设备100还可以包括有助于从各种接口设备(例如，输出设备142、外设接口144和通信设备146)到基本配置102经由总线/接口控制器130的通信的接口总线140。示例的输出设备142包括图形处理单元148和音频处理单元150。它们可以被配置为有助于经由一个或者多个A/V端口152与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口144可以包括串行接口控制器154和并行接口控制器156，它们可以被配置为有助于经由一个或者多个I/O端口158和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备146可以包括网络控制器160，其可以被布置为便于经由一个或者多个通信端口164与一个或者多个其他计算设备162通过网络通信链路的通信。

[0038] 网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

[0039] 计算设备100可以实现为小尺寸便携(或者移动)电子设备的一部分，这些电子设备可以是诸如蜂窝电话、个人数字助理(PDA)、个人媒体播放器设备、无线网络浏览设备、个人头戴设备、应用专用设备、或者可以包括上面任何功能的混合设备。计算设备100还可以实现为包括桌面计算机和笔记本计算机配置的个人计算机。在一些实施例中，计算设备100被配置为执行人脸图像的融合方法200，应用122包括根据本发明的人脸图像的融合装置400(在下文中详细介绍)。

[0040] 图2示出了根据本发明一个实施例的人脸图像的融合方法200的流程图。如图2所示，该方法200始于步骤S210，计算素材图像中人脸的三维模型，记作第一三维模型(记作，M_3)，同时，计算目标图像中人脸的三维模型，记作第二三维模型(记作，U_3)。根据一种实现方式，也可以实现建立素材图像库，计算素材图像库中素材图像的人脸三维模型构建第一三维模型库。

[0041] 根据本发明的一个实施例，第一三维模型和第二三维模型通过三维形变模型(3DMM)求得。其中，3DMM模型是1999年由Blanz和Vetter发表的《A Morphable Model For The Synthesis Of 3D Faces》论文提到的方法，该方法的基本思想是：将人脸空间看作一个线性空间，用事先建立好的三维人脸数据的线性组合的投影逼近二维图片上的人脸。利用3DMM模型求解人脸三维模型可以分为两步：首先，利用人脸库、根据预先采集的三维人脸数据建立人脸空间基底；然后，对于给定的具体人脸，求出该人脸关于这组基底的系数，就可以得到该人脸的具体三维模型，也就是根据人脸空间基底的线性组合拟合出该人脸的三维模型。

[0042] 随后在步骤S220中，计算第一三维模型M_3投影到平面的第一投影矩阵(记作mvp_M)、以及第二三维模型U_3投影到平面的第二投影矩阵(记作mvp_U)。可选地，投影矩阵中包含旋转、缩放、平移参数。

[0043] 考虑到素材图像一般相对固定，在得到素材图像的第一三维模型及第一投影矩阵之后，还可以对素材图像的第一三维模型和/或第一投影矩阵进行校准。根据本发明的实施方式，通过第一投影矩阵将第一三维模型投影到平面，与原来的素材图像进行对比：①若整体是正确的，但局部有差异，比如根据三维模型投影后的眼睛和原来素材图像上的眼睛大小不一样，则调整第一三维模型来消除误差，如采用网格形变的方式调整第一三维模型；②若出现整体误差，比如根据三维模型投影后的眼睛和原来素材图像上的眼睛发生偏移，则调整第一投影矩阵来消除误差。

[0044] 随后在步骤S230中，根据第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标。根据本发明的实现方式，用mvp_M*M_3得到素材图像中人脸的纹理坐标，记作第一纹理坐标TC_M。

[0045] 同样，在步骤S240中，采用同样的方法，根据第二三维模型U_3和第二投影矩阵mvp_U计算出目标图像中人脸的纹理坐标，记作第二纹理坐标TC_U。

[0046] 随后在步骤S250中，用第二纹理坐标TC_U对应替换第一纹理坐标TC_M，根据替换后的纹理坐标重新计算得到重建后的目标图像的人脸图像。由于第一三维模型和第二三维模型中的顶点个数和拓扑信息是完全一致的，这两个三维模型的区别只在于顶点坐标和投影到二维图像上的投影矩阵，故，将TC_U上每一个三角块的纹理替换到对应的TC_M的三角块上，即可得到重建后的目标图像的人脸图像。一般地，两个纹理坐标上的三角块大小和形状可能不同，可以通过仿射变换的方式将两个三角块变换为全等三角块。

[0047] 本方案通过人脸三维重建技术，将二维图像转换到三维空间并求取人脸部分的纹理坐标，以实现将目标图像中的人脸替换到素材图像中，可以有效解决由于人脸姿态差异引起的换脸变形问题。例如在将正脸换到侧脸、侧脸换到侧脸的场景中，可以明显改善姿态差异问题。可选地，当侧脸角度相反时，可以先对目标图像进行镜像处理。

[0048] 更进一步地，在一些将侧脸换到正脸的场景中，当出现纹理缺失的问题时，如侧脸上有一半脸颊可能会被鼻子遮挡，可以利用深度学习技术通过对图像中已有的对应脸部特征进行学习，得到缺失的信息。在上面的例子中，可以通过建立深度学习模型对另一半脸颊的特征(还可以包括一般人脸特征)进行训练，得到被鼻子遮挡部分的特征。

[0049] 随后在步骤S260中，将重建后的目标图像的人脸图像与素材图像相融合，生成融合图像，即，将重建后的目标图像的人脸图像投影到二维平面，再用其对应替换素材图像中的对应人脸。

[0050] 根据本发明的另一个实施例，除了基于人脸三维模型求得人脸的纹理信息进行替换之外，还基于人脸的肤色信息对人脸皮肤进行融合。

[0051] 因此，在步骤S250之后，可以先不对重建后的目标图像的人脸图像与素材图像进行融合，而是根据素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版(图中未示出)，也就是说，利用蒙版“框住”了图像中的人脸部分。其中，人脸特征在步骤S210中计算人脸三维模型时已经得到，提取人脸特征是本领域的公知技术，此处不再赘述。

[0052] 根据本发明的实施例，在根据人脸特征点生成人脸蒙版的过程中，为了能更准确地计算中人脸皮肤区域的皮肤值，可以进行五官保护或者皮肤识别，以尽量减少头发、眉毛、眼睛等对皮肤值的影响。另外，对第一人脸蒙版的蒙版区域和第二人脸蒙版的蒙版区域分别进行边缘羽化处理，以消除边缘的违和感，便于后续更好地融合。

[0053] 如图3示出了根据本发明实施例的原始图像与具有人脸蒙版的图像的对比图，其中，蒙版区域就是图像中的人脸区域，包含了眼睛、嘴巴、鼻子、眉毛和脸部的基本轮廓。

[0054] 然后，根据第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值。具体地，分别计算第一人脸蒙版中蒙版区域的颜色均值和第二人脸蒙版中蒙版区域的颜色均值，如RGB均值，分别记作第一肤色和第二肤色。再根据第一肤色和第二肤色对目标图像中人脸区域的颜色值进行迁移运算，得到融合后人脸的肤色值pUi：

[0055]

[0056] 其中，pUi为融合后人脸区域中第i个像素点的肤色值，pui为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。

[0057] 最后，将融合后人脸的肤色值pUi赋给素材图像中的对应像素，得到调整后的素材图像。

[0058] 这样，在步骤S260中，将重建后的目标图像的人脸图像与调整后的素材图像相融合、生成融合图像。

[0059] 本方案基于三维人脸重建技术实现了素材图像与目标图像中人脸部分的替换，有效解决了进行融合的两张图中人脸姿态差异较大时产生变形的问题。并且，考虑到目标图像与素材图像中人脸皮肤的差别，对皮肤进行迁移，使得融合后的图像更加自然。

[0060] 结合图2所示的人脸图像的融合方法，图4示出了根据本发明实施例的人脸图像的融合装置400的示意图。

[0061] 如图4所示，该融合装置400包括：三维模型计算单元410、纹理坐标计算单元420、三维图像重建单元430和图像融合单元440，其中，三维模型计算单元410与纹理坐标计算单元420相耦接，三维图像重建单元430与纹理坐标计算单元420相耦接，图像融合单元440与三维图像重建单元430相耦接。

[0062] 三维模型计算单元410分别计算素材图像与目标图像中人脸的三维模型，作为第一三维模型M_3和第二三维模型U_3。

[0063] 可选地，该融合装置400还可以包括图像获取单元(未示出)，用于获取素材图像和/或目标图像，以便于传送给与之耦接的三维模型计算单元410进行后续融合处理。

[0064] 根据本发明的实施例，第一三维模型和第二三维模型通过三维形变模型(3DMM)求得。其中，3DMM模型是1999年由Blanz和Vetter发表的《AMorphable Model For The Synthesis Of 3D Faces》论文提到的方法，根据3DMM模型，三维模型计算单元410被进一步配置为线根据预先采集的三维人脸数据建立人脸空间基底，再根据人脸空间基底的线性组合拟合出目标人脸的三维模型。

[0065] 另外，三维模型计算单元410还需要分别计算第一三维模型M_3与第二三维模型U_3投影到平面的第一投影矩阵mvp_M和第二投影矩阵mvp_U。可选地，投影矩阵中包含旋转、缩放、平移参数。

[0066] 考虑到素材图像一般相对固定，故三维模型计算单元410在得到素材图像的第一三维模型及第一投影矩阵之后，还可以对素材图像的第一三维模型和/或第一投影矩阵进行校准。根据本发明的实施方式，三维模型计算单元410包括校准子单元(未示出)，该校准子单元通过第一投影矩阵将第一三维模型投影到平面，与原来的素材图像进行对比：①若整体是正确的，但局部有差异，比如根据第一三维模型投影后的眼睛和原来素材图像上的眼睛大小不一样，则调整第一三维模型来消除误差，如采用网格形变的方式调整第一三维模型；②若出现整体误差，比如根据第一三维模型投影后的眼睛和原来素材图像上的眼睛发生偏移，则调整第一投影矩阵来消除误差。

[0067] 纹理坐标计算单元420根据第一三维模型和第一投影矩阵计算出素材图像中人脸的第一纹理坐标，同样，根据第二三维模型和第二投影矩阵计算出目标图像中人脸的第二纹理坐标。根据本发明的实施例，用mvp_M*M_3得到素材图像中人脸的纹理坐标，记作第一纹理坐标TC_M；用mvp_U*U_3得到目标图像中人脸的纹理坐标，记作第二纹理坐标TC_U。

[0068] 三维图像重建单元430用第二纹理坐标对应替换第一纹理坐标，得到重建后的目标图像的人脸图像。

[0069] 由于第一三维模型和第二三维模型中的顶点个数和拓扑信息是完全一致的，这两个三维模型的区别只在于顶点坐标和投影到二维图像上的投影矩阵，将纹理坐标看作是一个一个的三角形块，将TC_U上每一个三角块的纹理替换到对应的TC_M的三角块上。特别地，第一纹理坐标和第二纹理坐标上的三角块大小和形状可能不同，可以通过仿射变换的方式将两个三角块变换为全等三角块。全部对应替换后，即可得到重建后的目标图像的人脸图像。

[0070] 图像融合单元440将重建后的目标图像的人脸图像与素材图像相融合，生成融合图像。即，将重建后的目标图像的人脸图像投影到二维平面，再用其对应替换素材图像中的对应人脸。

[0071] 根据本发明的另一个实施例，除了基于人脸三维模型求得人脸的纹理信息进行替换之外，还基于人脸的肤色信息对人脸皮肤进行融合。故，该融合装置400还包括人脸蒙版生成单元450和肤色计算单元460，如图5所示。

[0072] 其中，人脸蒙版生成单元450从三维模型计算单元410中获取素材图像和目标图像的人脸特征，根据素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版。根据本发明的实施例，在根据人脸特征点生成人脸蒙版的过程中，为了能更准确地计算人脸皮肤区域的皮肤值，人脸蒙版生成单元450可以进行五官保护或者皮肤识别处理，以尽量减少头发、眉毛、眼睛等对皮肤值的影响。另外，人脸蒙版生成单元450对第一人脸蒙版的蒙版区域和第二人脸蒙版的蒙版区域分别进行边缘羽化处理，以消除边缘的违和感，便于后续更好地融合。可以结合图3及前文描述更加清楚地说明人脸蒙版，此处不再赘述。

[0073] 肤色计算单元460根据第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色值计算出融合后人脸的肤色值。在本实施例中，肤色计算单元460分别计算第一人脸蒙版和第二人脸蒙版中蒙版区域的颜色均值，分别作为第一肤色和第二肤色，可选地，用蒙版区域内像素点的RGB颜色均值代表肤色值；再根据第一肤色和第二肤色对目标图像中人脸区域的颜色值进行迁移运算，得到融合后人脸的肤色值，记作：

[0074]

[0075] 其中，pUi为融合后人脸区域中第i个像素点的肤色值，pui为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。

[0076] 图像融合单元440将经肤色计算单元460得到的融合后人脸的肤色值赋给素材图像的对应像素，得到调整后的素材图像。

[0077] 并且，图像融合单元440将经三维图像重建单元430得到的重建后的目标图像的人脸图像与调整后的素材图像相融合，生成融合图像。

[0078] 这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如软盘、CD-ROM、硬盘驱动器或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

[0079] 在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的图像融合方法。

[0080] 以示例而非限制的方式，计算机可读介质包括计算机存储介质和通信介质。计算机可读介质包括计算机存储介质和通信介质。计算机存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在计算机可读介质的范围之内。

[0081] 应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

[0082] 本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

[0083] 本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

[0084] 本发明一并公开了：

[0085] A5、如A4所述的方法，其中，所述融合后人脸的肤色值为：

[0086] 其中，pUi为融合后人脸区域中第i个像素点的肤色值，pui为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。

[0087] A6、如A1-5中任一项所述的方法，其中，所述第一三维模型和第二三维模型通过三维形变模型求得，包括步骤：根据预先采集的三维人脸数据建立人脸空间基底；以及根据所述人脸空间基底的线性组合拟合出目标人脸的三维模型。

[0088] A7、如A1-6中任一项所述的方法，其中，在得到第一三维模型及第一投影矩阵之后，还包括校准第一三维模型和/或第一投影矩阵的步骤：通过所述第一投影矩阵将第一三维模型投影到平面，与所述素材图像进行对比；若出现局部差异，则调整所述第一三维模型；以及若出现整体误差，则调整所述第一投影矩阵。

[0089] A8、如A2-7中任一项所述的方法，其中，所述根据素材图像和目标图像的人脸特征分别生成对应的第一人脸蒙版和第二人脸蒙版的步骤还包括：对所述第一人脸蒙版的蒙版区域和所述第二人脸蒙版的蒙版区域分别进行边缘羽化处理。

[0090] B13、如B12所述的装置，在所述肤色计算单元中，所述融合后人脸的肤色值为：

[0091] 其中，pUi为融合后人脸区域中第i个像素点的肤色值，pui为目标图像的人脸区域中第i个像素点的肤色值，M_mean为第一肤色，U_mean为第二肤色。

[0092] B14、如B9-13中任一项所述的装置，其中，所述三维模型计算单元被进一步配置为：根据预先采集的三维人脸数据建立人脸空间基底；以及根据所述人脸空间基底的线性组合拟合出目标人脸的三维模型。

[0093] B15、如B9-14中任一项所述的装置，其中，所述三维模型计算单元还包括校准子单元，所述校准子单元适于通过所述第一投影矩阵将第一三维模型投影到平面，与所述素材图像进行对比：若出现局部差异，则调整所述第一三维模型；以及若出现整体误差，则调整所述第一投影矩阵。

[0094] B16、如B10-15中任一项所述的装置，其中，所述人脸蒙版生成单元还适于对所述第一人脸蒙版的蒙版区域和所述第二人脸蒙版的蒙版区域分别进行边缘羽化处理。

[0095] 此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

[0096] 此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

[0097] 如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

[0098] 尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

标题	发布/更新时间	阅读量
三维人脸重建与多姿态人脸识别方法及装置	2020-05-19	452
一种基于核磁共振数据的三维形变模型生成方法、系统及电子设备	2020-05-08	124
三维表情基的生成方法、装置、设备及存储介质	2020-05-11	696
一种关于中医体质的脸型分类方法、系统和计算机可读存储介质	2020-05-19	563
一种面向压缩人脸图像的自适应去块效应方法	2020-05-17	671
三维人脸重建方法及装置、电子设备和存储介质	2020-05-17	338
一种基于图像序列的模型形变人脸三维重建方案	2020-05-08	308
三维人脸重建方法、装置、终端及计算机可读存储介质	2020-05-18	86
对乳房较大患者行保乳术后螺旋断层放疗的体位固定装置	2020-05-20	494
三维人脸图像重建方法、装置和计算机可读存储介质	2020-05-14	1020

一种人脸图像的融合方法、装置及计算设备

一种人脸图像的融合方法、装置及计算设备

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：