图像处理方法、装置和存储介质
阅读：3发布：2020-06-29
专利汇可以提供图像处理方法、装置和存储介质专利检索，专利查询，专利分析的服务。并且本 发明 实施例 提供一种 图像处理 方法、装置和存储介质。本发明的方法包括：获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；根据N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得预设生成对抗网络；其中，生成对抗网络的 编码器 和判别器中均引入了注意 力 机制；获取目标人脸图像以及参考人脸妆容图像；根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像中，获得妆容迁移后的人脸图像，解决了 现有技术 中将参考人脸妆容图像中非妆容部分也迁移到目标人脸图像的问题，提高了妆容迁移的准确度，从而使得妆容迁移后的人脸图像的妆容更自然真实，提高用户体验。，下面是图像处理方法、装置和存储介质专利的具体信息内容。
1.一种图像处理方法，其特征在于，包括：
获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；其中，N为大于或等于2的正整数；
根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制；
获取目标人脸图像以及参考人脸妆容图像；
根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络，包括：
将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；其中，所述编码器中引入了注意力机制；
将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；
将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；其中，所述判别器中引入了注意力机制；
根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
3.根据权利要求2所述的方法，其特征在于，所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，包括：
所述编码器根据第一注意力机制对每张无妆容人脸图像进行处理；
所述编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理；
所述编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理；
其中，在训练所述生成对抗网络前，所述第一注意力机制和所述第二注意力机制的参数相同。
4.根据权利要求2所述的方法，其特征在于，所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值，包括：
所述判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征；
所述判别器根据所述第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征；
所述判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得所述损失值。
5.根据权利要求2所述的方法，其特征在于，所述第一注意力机制和所述第二注意力机制的内部结构相同。
6.根据权利要求1-5所述的方法，其特征在于，所述注意力机制中引入至少两层空洞卷积层。
7.根据权利要求1-6所述的方法，其特征在于，所述注意力机制中的自编码器结构采用先上采样后下采样的操作。
8.一种图像处理装置，其特征在于，包括：
第一获取模块，用于获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；
训练模块，用于根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制；
第二获取模块，用于获取目标人脸图像以及参考人脸妆容图像；
妆容迁移模块，用于根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像；其中，所述预设生成对抗网络融合有注意力机制。
9.一种电子设备，其特征在于，包括：存储器和至少一个处理器，存储器用于存储程序指令，处理器用于调用存储器中的程序指令执行如权利要求1-7任一项所述的图像处理方法。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序；所述计算机程序被执行时，实现如权利要求1-7任一项所述的图像处理方法。
图像处理方法、装置和存储介质
技术领域
背景技术
[0002] 面部图像妆容迁移，即人脸妆容迁移，是近年来在图像处理领域出现的新的应用技术，可快速实现用户对化妆方面的体验需求。人脸妆容迁移就是指定一张目标人脸图像和一张参照人脸图像，将参考人脸图像上的妆容迁移到目标人脸图像上，得到自动上妆后的目标人脸图像，即妆容迁移结果图像。但是，现有技术中在进行妆容迁移时，可能会将参照人脸图像中的一些非妆容部分迁移到目标人脸图像中，从而使得妆容迁移结果图像中的妆容不自然。
发明内容
[0003] 本发明实施例提供一种图像处理方法、装置和存储介质，解决了现有技术中将参考人脸妆容图像中非妆容部分也迁移到目标人脸图像的问题，提高了妆容迁移的准确度。
[0004] 第一方面，本发明实施例提供一种图像处理，包括：
[0005] 获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；
[0007] 获取目标人脸图像以及参考人脸妆容图像；
[0008] 根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像。
[0009] 在一些可能的实施例中，所述根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络，包括：
[0010] 将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；
[0011] 将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；
[0012] 将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；
[0013] 根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
[0014] 在一些可能的实施例中，所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，包括：
[0015] 所述编码器根据第一注意力机制对每张无妆容人脸图像进行处理；
[0016] 所述编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理；
[0017] 所述编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理；
[0018] 其中，在训练所述生成对抗网络前，所述第一注意力机制和所述第二注意力机制的参数相同。
[0019] 在一些可能的实施例中，所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值，包括：
[0020] 所述判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征；
[0021] 所述判别器根据所述第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征；
[0022] 所述判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得所述损失值。
[0023] 在一些可能的实施例中，所述第一注意力机制和所述第二注意力机制的内部结构相同。
[0024] 在一些可能的实施例中，所述注意力机制中引入至少两层空洞卷积层。
[0026] 第二方面，本发明实施例提供一种图像处理装置，包括：
[0027] 第一获取模块，用于获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；
[0028] 训练模块，根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制。
[0029] 第二获取模块，用于获取目标人脸图像以及参考人脸妆容图像；
[0030] 妆容迁移模块，用于根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像；其中，所述预设生成对抗网络融合有注意力机制。
[0031] 在一些可能的实施例中，所述训练模块根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络时，具体用于：
[0032] 将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；
[0033] 将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；
[0034] 将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；
[0035] 根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
[0036] 在一些可能的实施例中，所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，包括：
[0037] 所述编码器根据第一注意力机制对每张无妆容人脸图像进行处理；
[0038] 所述编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理；
[0039] 所述编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理；
[0040] 其中，在训练所述生成对抗网络前，所述第一注意力机制和所述第二注意力机制的参数相同。
[0041] 在一些可能的实施例中，所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值，包括：
[0042] 所述判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征；
[0043] 所述判别器根据所述第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征；
[0044] 所述判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得所述损失值。
[0045] 在一些可能的实施例中，所述第一注意力机制和所述第二注意力机制的内部结构相同。
[0046] 在一些可能的实施例中，所述注意力机制中引入至少两层空洞卷积层。
[0047] 在一些可能的实施例中，所述注意力机制中的自编码器结构采用先上采样后下采样的操作。
[0049] 所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，以执行本发明实施例第一方面任一项所述的方法。
[0050] 第四方面，本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时实现发明实施例第一方面任一项所述的方法。
[0051] 第五方面，本申请实施例提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备实施本申请发明实施例第一方面任一项所述的方法。
[0052] 本发明实施例提供一种图像处理方法、装置和存储介质，本实施例，通过无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像训练编码器和判别器中均引入了注意力机制的生成对抗网络，获得预设生成对抗网络，然后根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像，获得妆容迁移后的人脸图像。由于预设生成对抗网络的编码器和判别器中均引入了注意力机制，并且通过大量的无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像训练，可以解决现有技术中将参考人脸妆容图像中非妆容部分也迁移到目标人脸图像的问题，提高了妆容迁移的准确度，从而使得妆容迁移后的人脸图像的妆容更自然真实，提高用户体验。附图说明
[0053] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0054] 图1为本发明一实施例提供图像处理方法的流程图；
[0055] 图2为本发明另一实施例提供图像处理方法的流程图；
[0056] 图3为本发明一实施例提供的注意力机制的结构示意图；
[0057] 图4为本发明一实施例提供的生成对抗网络的结构示意图；
[0058] 图5为本发明一实施例提供的图像处理装置的结构示意图；
[0059] 图6为本发明一实施例提供的电子设备的结构示意图。
具体实施方式
[0060] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0061] 近些年来，随着大家对容貌越来越重视，人工智能(Artificial Intelligence，AI)美颜技术得到了越来越多的关注，通过美颜技术可以实现自动上妆、根据人脸推荐最佳妆容等等，其中，人脸妆容迁移是自动上妆的一种方式也是。但是，现有技术中采用AI算法进行妆容迁移时，会将非妆容部分，例如，参照人脸图像中的眼镜，迁移到目标人脸图像中，造成自动上妆后的目标人脸图像非常怪异，不自然。
[0062] 本发明实施例提供一种图像处理方法、装置和存储介质，将注意力机制融入到生成对抗网络中，并对融入注意力机制的生成对抗网络进行训练，使训练后的生成对抗网络在妆容迁移时，妆容迁移的准确性高，妆容迁移效果好。其中，本发明实施例所提供的图像处理方法可应用于安装有相机、摄像机、美颜APP等图像处理软件的终端中。
[0063] 图1为本发明一实施例提供图像处理方法的流程图，如图1所示，本实施例的方法可以包括：
[0064] S101、获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像。
[0065] 其中，N为大于或等于2的正整数。
[0066] 本实施例中，获取多张清晰的图像，对每张图像进行图像处理，例如：依据每张图像中人脸中双眼的位置，对人脸进行旋转校正，提取人脸的68个特征点的位置，计算人脸长宽，以适当尺寸切割出人脸图像，对切割获得的人脸图像进行缩放，得到图像尺寸为256x256的人脸图像。
[0067] 将得到的人脸图像按照是否带妆进行划分，得到多张无妆容人脸图像和妆容人脸图像。
[0068] 需要说明的是，无妆容人脸图像与妆容人脸图像之间可以一一对应，另外多张妆容人脸图像的其中一张妆容人脸图像也可以对应两张或两张以上的无妆容人脸图像，即可以将一张妆容人脸图像中的妆容迁移到两张或两张以上的无妆容人脸图像。
[0069] S102、根据N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得预设生成对抗网络。
[0070] 其中，生成对抗网络的编码器和判别器中均引入了注意力机制。
[0071] 本实施例中，生成对抗网络融合有注意力机制，将无妆容人脸图像以及每张无妆容人脸图像对应的妆容人脸图像输入到生成对抗网络中，根据生成对抗网络的输出对生成对抗网络进行训练。然后，再次将无妆容人脸图像以及每张无妆容人脸图像对应的妆容人脸图像输入到经过训练的生成对抗网络中，根据生成对抗网络的输出再次对生成对抗网络进行训练。重复上述操作，直至生成对抗网络的输出符合预设条件，例如，迭代次数达到预设次数，获得训练后的生成对抗网络，即预设生成对抗网络。其中，由于生成对抗网络的编码器和判别器中均引入了注意力机制，在训练过程中，注意力机制也得到训练，从而在根据预设生成对抗网络进行妆容迁移时，提高迁移的准确性。
[0072] S103、获取目标人脸图像以及参考人脸妆容图像。
[0073] 本实施例中，当需要对人脸图像进行自动上妆时，用户将目标人脸图像(即待上妆的人脸图像)上传到美颜APP中，并在美颜APP提供的多个带妆人脸图像中选取自己喜欢的带妆人脸图像(即参考人脸妆容图像)或者将参考人脸妆容图像上传到美颜APP中。
[0074] 其中，需要说明的是，目标人脸图像可以是不带妆容的人脸图像，也可以是带妆容的人脸图像。并且，目标人脸图像和参考人脸妆容图像可以分别会同一用户的人脸图像，也可以是不同用户的人脸图像。
[0075] S104、根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像。
[0076] 其中，所述预设生成对抗网络融合有注意力机制。
[0077] 本实施例中，根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像中，获得妆容迁移后的人脸图像，并在屏幕上显示妆容迁移后的人脸图像。其中，预设生成对抗网络是对融合有注意力机制的生成对抗网络训练后得到的。
[0078] 在一些实施例中，对融合有注意力机制的生成对抗网络进行训练，获得预设生成对抗网络的一种可能的实现方式为：
[0079] 本实施例，通过无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像训练编码器和判别器中均引入了注意力机制的生成对抗网络，获得预设生成对抗网络，然后根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像，获得妆容迁移后的人脸图像。由于预设生成对抗网络的编码器和判别器中均引入了注意力机制，并且通过大量的无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像训练，可以解决现有技术中将参考人脸妆容图像中非妆容部分也迁移到目标人脸图像的问题，提高了妆容迁移的准确度，从而使得妆容迁移后的人脸图像的妆容更自然真实，提高用户体验。
[0080] 图2为本发明另一实施例提供图像处理方法的流程图，如图2所示，本实施例的方法可以包括：
[0081] S201、获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像。
[0082] 本实施例中，S201的具体实现方式可参考S101，此处不再赘述。
[0083] S202、将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到生成对抗网络算法的编码器中，以使编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像。
[0084] 其中，所述编码器中引入了注意力机制。
[0085] 本实施例中，生成对抗网络算法的编码器中引入了注意力机制，将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到生成对抗网络算法的编码器中，通过注意力机制提取每张无妆容人脸图像以及每张无妆容人脸图像对应的妆容人脸图像的图像特征，并将每张无妆容人脸图像的图像特征以及与该无妆容人脸图像对应的妆容人脸图像的图像特征进行融合，获得融合人脸图像。
[0086] 图3为本发明一实施例提供的注意力机制的结构示意图。如图3所示，注意力机制的网络中，包括两条分支。一条分支用来提取输入图像的图像特征，另一分支用来生成针对输入的注意力权重。从而在注意力机制的网络中的融合层中将图像特征中的每个特征与该特征的权重进行乘积操作，获得输入图像的图像特征。其中，在一些实施例中，注意力机制中引入至少两层空洞卷积层，图3中示出的是两层空洞卷积层的情况，通过两层空洞卷积层，加大了感受野，让每个卷积输出都包含较大范围的信息，从而可以更好的保留妆容内部关系的空间信息，使妆容迁移后的图像更加逼真自然。
[0087] 在一些实施例中，如图3所示，注意力机制中的自编码器结构采用先上采样后下采样的操作，通过上采样，增加输入中对应感受野，这样能提取到输入图像的全局信息，从而使得经过注意力机制的网络中的融合层得到的人脸图像与实际输入的人脸图像更接近，因此，对于妆容人脸图像，注意力机制的网络中的融合层得到的人脸图像中的妆容部分与实际妆容人脸图像中的妆容部分更接近，从而在进妆容迁移时，妆容部分更好的迁移到无妆容人脸图像中，使得妆容迁移后获得的无妆容人脸图像中的妆容更自然真实。
[0088] 如图3所示，经过自编码器结构以及两层卷积层后，得到的图像特征中每个特征的注意力权重并不是位于0-1之间，例如可以通过S型生长曲线(即Sigmoid函数)将每个特征的注意力权重映射到0-1中。其中，Sigmoid函数采用混合注意力模式，不采用任何额外约束，公式为：
[0089]
[0090] 其中，z表示图像特征中每个特征的注意力权重。
[0091] S203、将每张融合人脸图像输入到生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像。
[0092] 本实施例中，生成对抗网络的生成器对每张融合人脸图像进行处理，获得每张融合人脸图像对应的输出图像。其中，该每张融合人脸图像对应的输出图像即为妆容迁移后获得的无妆容人脸图像。
[0093] S204、将N张输出图像和各张输出图像对应的妆容人脸图像输入到生成对抗网络的判别器中，获取判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值。
[0094] 其中，损失值用于表示N张输出图像与对应的妆容人脸图像之间的差异；所述判别器中引入了注意力机制。
[0095] 本实施例中，生成对抗网络的判别器中引入注意力机制，将每张输出图像和每张输出图像对应的妆容人脸图像输入到生成对抗网络的判别器中，通过注意力机制可以提取每张输出图像和每张输出图像对应的妆容人脸图像的图像特征，使得判别器在计算损失值时，注重每张输出图像和每张输出图像对应的妆容人脸图像中的妆容部分，从而使得获得的损失值更能体现出妆容的差异。
[0096] S205、根据损失值、N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练生成对抗网络，以获得预设生成对抗网络。
[0097] 本实施例中，根据损失值对生成对抗网络中的网络参数进行训练，然后将每张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像输入到训练后的生成对抗网络中，再次获得损失值，根据损失值再次对训练后的生成对抗网络中的网络参数进行训练，重复上述步骤，直至满足停止训练条件，例如，损失值在预设范围内，获得预设生成对抗网络。
[0098] S206、获取目标人脸图像以及参考人脸妆容图像。
[0099] S207、根据预设生成对抗网络，将参考人脸妆容图像中的妆容迁移到目标人脸图像中，获得妆容迁移后的人脸图像。
[0100] 本实施例中，S206和S207的实现方式可分别参考S103和S104，此处不再赘述。
[0101] 本实施例，通过在生成对抗网络的编码其中引入注意力机制，通过注意力机制可以有针对性的提取每张无妆容人脸图像以及每张无妆容人脸图像对应的妆容人脸图像的图像特征，从而在妆容迁移时，避免将非妆容部分迁移到目标人脸图像中。并且，在判别器中引入注意力机制，使得判别器在计算损失值时，注重每张输出图像和每张输出图像对应的妆容人脸图像中的妆容部分，从而使得获得的损失值更能体现出妆容的差异，从而使得根据损失值训练后的生成对抗网络，妆容迁移的准确性更高。
[0102] 图4为本发明一实施例提供的生成对抗网络的结构示意图。根据图4所示的生成对抗网络，在一些实施例中，S202中，编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合的一种可能的实现方式为：
[0103] S2021、编码器根据第一注意力机制对每张无妆容人脸图像进行处理。
[0104] S2022、编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理。
[0105] 其中，在训练生成对抗网络前，第一注意力机制和第二注意力机制的参数相同。
[0106] 本实施例中，如图4所示，生成对抗网络的编码器结构包括两条注意力机制分支，即第一注意力机制和第二注意力机制。其中，在一些实施例中，第一注意力机制和第二注意力机制的内部结构相同，即第一注意力机制和第二注意力机制均包括4个连续的注意力网络，并且，第一注意力机制中的注意力网络与第二注意力机制中对应位置的注意力网络的网络结构相同。将每张无妆容人脸图像输入到第一注意力机制，第一注意力机制中的每个注意力网络对每张无妆容人脸图像进行特征处理，例如，输入到注意力网络110的无妆容人脸图像为256*256的人脸图像，经过注意力网络110后，得到128*128的人脸图像，将128*128的人脸图像输入到注意力网络120，得到64*64的人脸图像，最后，通过注意力网络140得到256*256的无妆容人脸图像。第二注意力机制中的每个注意力网络对输入的与每张无妆容人脸图像对应的妆容人脸图像进行同样的处理，得到256*256的妆容人脸图像。
[0107] 其中，第二注意力机制中的注意力网络输出的人脸图像的大小与第一注意力机制中对应位置的注意力网络输出的人脸图像的大小相同。
[0108] 需要说明的是，第一注意力机制中每个注意力网络的网络参数的初始化方法与第二注意力机制中对应位置的注意力网络的网络参数的初始化方法相同，使得没有训练的生成对抗网络的编码器中第一注意力机制中每个注意力网络的网络参数与第二注意力机制中对应位置的注意力网络的网络参数相同。而根据损失值训练后，编码器中每个注意力网络的网络参数发生变化，即编码器中第一注意力机制中每个注意力网络变化后的网络参数与第二注意力机制中对应位置的注意力网络变化后的网络参数不一定相同，使得每个注意力网络可以更精确的提取输入的人脸图像的图像特征。
[0109] S2023、编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理。
[0111] 继续结合图4，在一些实施例中，S204中，判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值的一种可能的实现方式为：
[0112] S2041、判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征。
[0113] S2042、判别器根据第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征。
[0114] 本实施例中，如图4所示，判别器的第三注意力机制包括4个连续的注意力网络，将生成器输出的输出图像以及与每张输出图像对应的妆容人脸图像输入到判别器中，通过4个连续的注意力网络，提取每张输出图像和每张妆容人脸图像中的图像特征。其中，由于判别器的第三注意力机制包括4个连续的注意力网络，使得提取的每张输出图像和每张妆容人脸图像中的图像特征中的妆容部分更精确，即尽可能的使提取的每张输出图像和每张妆容人脸图像中的图像特征中不包括非妆容部分。并且，也使判别器在计算损失值时，更注重每张输出图像以及对应的妆容人脸图像之间的妆容的差异，根据损失值训练生成网络时，使预设生成网络的妆容迁移更准确。
[0115] S2043、判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得损失值。
[0116] 本实施例中，在判别器中，与第三注意力机制连接有两层全连接层，通过两层全连接层对第三注意力机制输出的处理后的输出图像的图像特征以及处理后的妆容人脸图像的图像特征进行处理后，计算损失值。其中，损失值计算公式如公式2所示：
[0117] mGinmDaxeX[logD(X)]+eY[log(1-D(G(E(Y))))]公式2其中，X表示输入的妆容人脸图像集合，Y表示输入的无妆容人脸图像集合，E表示编码器结构对应的网络参数，G表示生成器结构对应的网络参数，D表示判别器结构对应的网络参数，E(i)表示将图像i输入到编码器中得到的图像，G(i)表示将图像i输入到生成器中得到的图像，D(i)表示将图像i输入到判别器中得到的图像。其中，i表示任一图像。
[0118] 图5为本发明一实施例提供的图像处理装置的结构示意图，如图5所示，本实施例的装置可以包括：第一获取模块51、训练模块52、第一获取模块53和妆容迁移模块54。
[0119] 第一获取模块51，用于获取N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像；
[0120] 训练模块52，根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络；其中，所述生成对抗网络的编码器和判别器中均引入了注意力机制。
[0121] 第二获取模块53，用于获取目标人脸图像以及参考人脸妆容图像；
[0122] 妆容迁移模块54，用于根据预设生成对抗网络，将所述参考人脸妆容图像中的妆容迁移到所述目标人脸图像中，获得妆容迁移后的人脸图像。
[0123] 在一些可能的实施例中，所述训练模块52根据所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，训练生成对抗网络，获得所述预设生成对抗网络时，具体用于：
[0124] 将每张无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像输入到所述生成对抗网络算法的编码器中，以使所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，获得融合人脸图像；
[0125] 将每张融合人脸图像输入到所述生成对抗网络的生成器中，获得该张融合人脸图像对应的输出图像；
[0126] 将N张输出图像和各张输出图像对应的妆容人脸图像输入到所述生成对抗网络的判别器中，获取所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到的损失值；所述损失值用于表示所述N张输出图像与对应的妆容人脸图像之间的差异；
[0127] 根据所述损失值、所述N张无妆容人脸图像和每张无妆容人脸图像对应的妆容人脸图像，迭代训练所述生成对抗网络，以获得所述预设生成对抗网络。
[0128] 在一些可能的实施例中，所述编码器将该无妆容人脸图像和该张无妆容人脸图像对应的妆容人脸图像进行融合，包括：
[0129] 所述编码器根据第一注意力机制对每张无妆容人脸图像进行处理；
[0130] 所述编码器根据第二注意力机制对每张无妆容人脸图像对应的妆容人脸图像进行处理；
[0131] 所述编码器将处理后的无妆容人脸图像以及对应的处理后的妆容人脸图像进行融合处理；
[0132] 其中，在训练所述生成对抗网络前，所述第一注意力机制和所述第二注意力机制的参数相同。
[0133] 在一些可能的实施例中，所述判别器根据N张输出图像和各张输出图像对应的妆容人脸图像得到损失值，包括：
[0134] 所述判别器根据第三注意力机制对N张输出图像进行处理，并获取处理后的输出图像的图像特征；
[0135] 所述判别器根据所述第三注意力机制对各张输出图像对应的妆容人脸图像进行处理，并获取处理后的妆容人脸图像的图像特征；
[0136] 所述判别器根据N张处理后的输出图像的图像特征以及对应的处理后的妆容人脸图像的图像特征，获得所述损失值。
[0137] 在一些可能的实施例中，所述第一注意力机制和所述第二注意力机制的内部结构相同。
[0138] 在一些可能的实施例中，所述注意力机制中引入至少两层空洞卷积层。
[0139] 在一些可能的实施例中，所述注意力机制中的自编码器结构采用先上采样后下采样的操作。
[0140] 本实施例的装置，可以用于执行任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0141] 图6为本发明一实施例提供的电子设备的结构示意图，如图6所示，本实施例的电子设备可以包括：至少一个处理器61和存储器62。图6示出的是以一个处理器为例的电子设备，其中，
[0142] 存储器62，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器62可能包含高速随机存取存储器(random access memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0143] 处理器61，用于执行所述存储器62存储的计算机执行指令，以实现上述实施例所示的图像处理方法。
[0144] 其中，处理器61可能是一个中央处理器(Central Processing Unit，CPU)，或者是特定集成电路(Application Specific Integrated Circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路。
[0145] 可选的，在具体实现上，如果存储器62和处理器61独立实现，则存储器62和处理器61可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等，但并不表示仅有一根总线或一种类型的总线。
[0147] 本实施例以上所述的电子设备，可以用于执行上述各方法实施例中示出的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0148] 本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0149] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 终端的图像配准方法、装置和终端 | 2020-06-16 | 0 |
| 基于信道空闲时长预测的信道分配方法 | 2020-07-23 | 0 |
| 考虑电压暂降的分布式电源和敏感用户联合选址方法 | 2021-05-28 | 1 |
| 一种动态回声消除方法及装置 | 2021-01-18 | 1 |
| 基于粗糙集的煤流平衡自适应控制方法 | 2020-10-24 | 2 |
| 连续变量量子密钥分发系统的秘密协商方法 | 2022-06-21 | 1 |
| 一种混合储能式有轨电车系统的配置优化方法 | 2021-05-13 | 1 |
| 一种车辆出库管理方法、装置、计算机可读存储介质及设备 | 2021-12-13 | 1 |
| 一种时间反演多址系统的多用户检测算法 | 2023-03-15 | 0 |
| 一种激光盘料数据处理方法 | 2023-07-24 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈