图像处理方法及装置、电子设备及计算机可读存储介质
阅读：390发布：2020-05-08
专利汇可以提供图像处理方法及装置、电子设备及计算机可读存储介质专利检索，专利查询，专利分析的服务。并且本 申请 公开了一种 图像处理 方法、图像处理装置、 电子 设备及非易失性计算机可读存储介质。图像处理方法包括：根据环境 亮度 选择修复模型，修复模型的处理量与环境亮度呈负相关；获取参考图像，参考图像的清晰度大于预设清晰度；裁切出待处理图像中的人脸以得到人脸图像；根据修复模型及参考图像对人脸图像进行处理，以得到修复图像。本申请实施方式的图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质根据环境亮度选择与环境亮度对应的修复模型，从而可以选取合适的修复模型来对待处理图像进行修复处理，可以改善修复图像的修复效果。，下面是图像处理方法及装置、电子设备及计算机可读存储介质专利的具体信息内容。
1.一种图像处理方法，其特征在于，所述图像处理方法包括：
根据环境亮度选择修复模型，所述修复模型的处理量与所述环境亮度呈负相关；
获取参考图像，所述参考图像的清晰度大于预设清晰度；
裁切出待处理图像中的人脸以得到人脸图像；及
根据所述修复模型及所述参考图像对所述人脸图像进行处理，以得到修复图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
获取所述环境亮度；
所述根据环境亮度选择修复模型，包括：
在所述环境亮度位于预设亮度范围内时，根据所述环境亮度选择所述修复模型。
3.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：
在所述环境亮度位于所述预设亮度范围外时，不对所述待处理图像进行修复处理。
4.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述环境亮度，包括：
获取摄像头拍摄所述待处理图像时的感光度；及
根据所述感光度确定所述环境亮度。
5.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述环境亮度，包括：
获取所述待处理图像中每一个像素的灰度值；
根据多个所述灰度值计算所述待处理图像的平均灰度值；及
根据所述平均灰度值确定所述环境亮度。
6.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述环境亮度，包括：
获取所述待处理图像的灰度直方图；
根据所述灰度直方图确定灰度值小于预设灰度值的像素的数量；
计算灰度值小于所述预设灰度值的所述像素的数量占所有所述像素的数量的比例；及根据所述比例确定所述环境亮度。
7.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述环境亮度，包括：
采用环境亮度深度学习模型处理所述待处理图像以获取所述环境亮度。
8.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法还包括：
在所述环境亮度位于所述预定亮度范围内且所述环境亮度大于预设亮度时对获取的一帧初始图像执行单帧降噪处理以获得所述待处理图像；
在所述环境亮度位于所述预定亮度范围内且所述环境亮度小于所述预设亮度时，对获取的多帧初始图像执行多帧合成降噪处理以获得所述待处理图像，所述预设亮度位于所述预定亮度范围内。
9.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述修复模型及所述参考图像对所述人脸图像进行处理，以得到修复图像，包括：
尺寸调整步骤，处理所述人脸图像和所述参考图像以得到待处理人脸图像和待处理参考图像，所述待处理人脸图像的尺寸和所述待处理参考图像的尺寸相同；
匹配步骤，提取所述待处理人脸图像的特征以得到人脸图像特征图，提取所述待处理参考图像的特征以得到参考图像特征图，获取所述参考图像特征图的匹配特征，所述匹配特征与所述人脸图像特征图的特征的匹配度大于预设匹配度；
以预设采样次数循环执行所述尺寸调整步骤和所述匹配步骤以分别得到多个尺寸的所述待处理参考图像对应的所述匹配特征，其中，多个所述尺寸包括第一尺寸和第二尺寸，所述第一尺寸小于所述第二尺寸，任意两次循环执行所述尺寸调整步骤和所述匹配步骤时对应的所述待处理参考图像的尺寸不相同，所述预设采样次数与所述修复模型的处理量呈正相关；
映射步骤，将所述待处理参考图像对应的所述匹配特征映射到对应尺寸的所述待处理人脸图像中以得到中间图像，对所述中间图像进行上采样以得到过渡图像；及将所述过渡图像作为所述待处理人脸图像并以预设映射次数循环执行所述映射步骤，直至所述待处理人脸图像的尺寸由所述第一尺寸变成所述第二尺寸，所述预设映射次数与所述预设采样次数相等，具有所述第二尺寸的所述中间图像作为所述修复图像。
10.根据权利要求9所述的图像处理方法，其特征在于，所述匹配步骤包括：
提取所述待处理人脸图像的特征以得到所述人脸图像特征图；
提取所述待处理参考图像以得到所述参考图像特征图；
根据所述人脸图像的五官分布位置对所述人脸图像特征图和所述参考图像特征图进行匹配以建立人脸五官特征的对应关系；及
根据所述人脸五官特征的对应关系获取所述参考图像特征图的所述匹配特征，所述匹配特征与所述人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。
11.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
对所述待处理图像进行下采样处理，处理下采样后的待处理图像以确定所述人脸。
12.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
获取所述待处理图像中除所述人脸图像外的背景图像；及
融合所述背景图像与所述修复图像以得到目标图像。
13.一种图像处理装置，其特征在于，包括：
选择模块，用于根据环境亮度选择修复模型，所述修复模型的处理量与所述环境亮度呈负相关；
获取模块，用于获取参考图像，所述参考图像的清晰度大于预设清晰度；
裁切模块，用于裁切出待处理图像中的人脸以得到人脸图像；
修复模块，用于根据所述修复模型及所述参考图像对所述人脸图像进行处理，以得到修复图像。
14.一种电子设备，其特征在于，包括：
壳体；及
处理器，所述处理器安装在所述壳体上，所述处理器用于实现权利要求1-12任意一项所述的图像处理方法。
15.一种包含计算机可读指令的非易失性计算机可读存储介质，其特征在于，所述计算机可读指令被处理器执行时，使得所述处理器执行权利要求1-12任意一项所述的图像处理方法。
图像处理方法及装置、电子设备及计算机可读存储介质
技术领域
[0001] 本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。
背景技术
[0002] 在拍摄图像时，由于相机运动、被摄物体运动等影响因素的存在，导致拍摄的人脸图像可能比较模糊。可以采用超清人像技术对模糊的人脸图像进行处理，以丰富人像的细节，提升人像的清晰度。但对模糊的人脸图像进行处理，可能会带来图像修复效果不够好等问题。发明内容
[0003] 本申请实施方式提供了一种图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质。
[0004] 本申请实施方式的图像处理方法包括：根据环境亮度选择修复模型，所述修复模型的处理量与所述环境亮度呈负相关；获取参考图像，所述参考图像的清晰度大于预设清晰度；裁切出待处理图像中的人脸以得到人脸图像；根据所述修复模型及所述参考图像对所述人脸图像进行处理，以得到修复图像。
[0005] 本申请实施方式的图像处理装置包括选择模块、获取模块、裁切模块、及修复模块。选择模块用于根据环境亮度选择修复模型，所述修复模型的处理量与所述环境亮度呈负相关。获取模块用于获取参考图像，所述参考图像的清晰度大于预设清晰度。裁切模块用于裁切出待处理图像中的人脸以得到人脸图像。修复模块，用于根据所述修复模型及所述参考图像对所述人脸图像进行处理，以得到修复图像。
[0006] 本申请实施方式的电子设备包括壳体及处理器。所述处理器安装在所述壳体上。所述处理器用于实现以下步骤：根据环境亮度选择修复模型，所述修复模型的处理量与所述环境亮度呈负相关；获取参考图像，所述参考图像的清晰度大于预设清晰度；裁切出待处理图像中的人脸以得到人脸图像；根据所述修复模型及所述参考图像对所述人脸图像进行处理，以得到修复图像。
[0007] 本申请实施方式的非易失性计算机可读存储介质包含计算机可读指令。所述计算机可读指令被处理器执行时，使得所述处理器执行以下步骤：根据环境亮度选择修复模型，所述修复模型的处理量与所述环境亮度呈负相关；获取参考图像，所述参考图像的清晰度大于预设清晰度；裁切出待处理图像中的人脸以得到人脸图像；根据所述修复模型及所述参考图像对所述人脸图像进行处理，以得到修复图像
[0008] 本申请实施方式的图像处理方法、图像处理装置、电子设备及非易失性计算机可读存储介质根据环境亮度选择与环境亮度对应的修复模型，从而可以选取合适的修复模型来对待处理图像进行修复处理，可以改善修复图像的修复效果。
[0010] 本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
[0011] 图1是本申请某些实施方式的图像处理方法的流程示意图；
[0012] 图2是本申请某些实施方式的图像处理装置的示意图；
[0013] 图3是本申请某些实施方式的电子设备的示意图；
[0014] 图4是本申请某些实施方式的图像处理方法的流程示意图；
[0015] 图5是本申请某些实施方式的图像处理装置的示意图；
[0016] 图6是本申请某些实施方式的图像处理方法的流程示意图；
[0017] 图7是本申请某些实施方式的图像处理装置中第二获取模块的示意图；
[0018] 图8是本申请某些实施方式的图像处理方法的流程示意图；
[0019] 图9是本申请某些实施方式的图像处理装置中第二获取模块的示意图；
[0020] 图10是本申请某些实施方式的图像处理方法的流程示意图；
[0021] 图11是本申请某些实施方式的图像处理装置中第二获取模块的示意图；
[0022] 图12是本申请某些实施方式的待处理图像的灰度直方图；
[0023] 图13是本申请某些实施方式的图像处理方法的流程示意图；
[0024] 图14是本申请某些实施方式的图像处理装置的示意图；
[0025] 图15是本申请某些实施方式的图像处理方法的流程示意图；
[0026] 图16是本申请某些实施方式的图像处理装置中第二获取模块的示意图；
[0027] 图17是本申请某些实施方式的图像处理方法的流程示意图；
[0028] 图18是本申请某些实施方式的图像处理装置中修复模块的示意图；
[0029] 图19是本申请某些实施方式的图像处理方法的原理示意图；
[0030] 图20是本申请某些实施方式的图像处理方法的流程示意图；
[0031] 图21是本申请某些实施方式的图像处理装置中匹配单元的示意图；
[0032] 图22是本申请某些实施方式的图像处理方法的流程示意图；
[0033] 图23是本申请某些实施方式的图像处理装置中第二获取模块的示意图；
[0034] 图24是本申请某些实施方式的人脸检测模型的示意图；
[0035] 图25是本申请某些实施方式的图像处理方法的流程示意图；
[0036] 图26是本申请某些实施方式的图像处理装置中第二获取模块的示意图；
[0037] 图27是本申请某些实施方式的图像处理方法的场景示意图；
[0038] 图28是本申请某些实施方式的非易失性计算机可读存储介质与处理器的交互示意图。
具体实施方式
[0039] 下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。
[0040] 请参阅图1，本申请提供一种图像处理方法。图像处理方法包括：
[0041] 01：根据环境亮度选择修复模型，修复模型的处理量与环境亮度呈负相关；
[0042] 02：获取参考图像，参考图像的清晰度大于预设清晰度；
[0043] 03：裁切出待处理图像中的人脸以得到人脸图像；及
[0044] 04：根据修复模型及参考图像对人脸图像进行处理，以得到修复图像。
[0045] 请参阅图2，本申请还提供一种图像处理装置10。本申请实施方式的图像处理方法可以由本申请实施方式的图像处理装置10实现。图像处理装置10包括选择模块11、第一获取模块12、裁切模块13、及修复模块14。步骤01可以由选择模块11实现。步骤02可以由第一获取模块12实现。步骤03可以由裁切模块13实现。步骤04可以由修复模块14实现。也即是说，选择模块11可以用于根据环境亮度选择修复模型，修复模型的处理量与环境亮度呈负相关。第一获取模块12可以用于获取参考图像，参考图像的清晰度大于预设清晰度。裁切模块13可以用于裁切出待处理图像中的人脸以得到人脸图像。修复模块14可以用于根据修复模型及参考图像对人脸图像进行处理，以得到修复图像。
[0046] 请参阅图3，本申请还提供一种电子设备20。本申请实施方式的图像处理方法还可以由本申请实施方式的电子设备20实现。电子设备20包括壳体22、处理器21及摄像头23。处理器21及摄像头23均安装在壳体22上。步骤01、步骤02、步骤03、及步骤04均可以由处理器21实现。也即是说，处理器21可以用于根据环境亮度选择修复模型、获取参考图像、裁切出待处理图像中的人脸以得到人脸图像、及根据修复模型及参考图像对人脸图像进行处理以得到修复图像。其中，修复模型的处理量与环境亮度呈负相关，参考图像的清晰度大于预设清晰度。
[0047] 其中，修复模型的处理量与环境亮度呈负相关具体为：环境亮度越高，修复模型的处理量越小；环境亮度越低，修复模型的处理量越大。
[0048] 在一个例子中，环境亮度与修复模型之间的对应关系为：一个环境亮度对应一个修复模型。具体地，假设有N个环境亮度，则就有分别与N个环境亮度对应的N个修复模型。此种对应方式对环境亮度的划分更为细致，选取出来的修复模型也更适于修复该环境亮度下获取的待处理图像中的人脸。在另一个例子中，环境亮度与修复模型之间的对应关系为：一个环境亮度区间对应一个修复模型。具体地，假设有N个环境亮度区间，分别为环境亮度区间[L1,L2)、环境亮度区间[L2,L3)、…、环境亮度区间[LN,L(N+1))，则修复模型也有N个，分别为修复模型P1、修复模型P2、…、修复模型PN。其中，修复模型P1与环境亮度区间[L1,L2)对应，修复模型P2与环境亮度区间[L2,L3)对应，依此类推，修复模型PN与环境亮度区间[LN,L(N+1))对应。此种对应方式可以减少前期需要训练的修复模型的数量。
[0049] 可以理解，在场景的环境亮度不同时，电子设备20的摄像头23拍得的待处理图像的清晰度是不同的。通常地，环境亮度较低(即处于低亮环境)时，摄像头23的图像传感器中每一个感光像素能够接收到的光线的量较少，摄像头23拍得的待处理图像的亮度较低，清晰度也较低。环境亮度较高时，摄像头23的图像传感器中每一个感光像素能够接收到的光线的量较多，此时摄像头23拍得的待处理图像的亮度比低亮环境下拍得的待处理图像的亮度高，清晰度也比低亮环境下拍得的待处理图像的亮度高。低亮环境下获取的待处理图像的清晰度较低，待处理图像中人脸的细节的丰富度较低，此时可以选用处理量较大的修复模型来对待处理图像中的人脸图像进行处理，处理量较大的修复模型可以通过较多次的特征提取来更精确地提取出人脸图像中的特征，且可以更好地利用提取出来的特征进行细节的还原，可以极大地提升处理后的人脸图像的清晰度。在高亮环境下获取的待处理图像的清晰度相对于低亮环境下获取的待处理图像的清晰度来得高，但其清晰度可能还未达到要求的清晰度，此时，可以选用处理量较小的修复模型来对待处理图像中的人脸图像进行处理，处理量较小的修复模型只需执行较少次数的特征提取来提取出人脸图像中的特征，即可根据提取出来的特征进行细节的还原，在保障处理后的人脸具有较高的清晰度的同时，还可以缩短图像处理的时间，减小处理器21所需处理的数据量，进一步地可以降低电子设备20的功耗。
[0050] 本申请实施方式的图像处理方法、图像处理装置10、及电子设备20根据环境亮度选择与环境亮度对应的修复模型，从而可以选取合适的修复模型来对待处理图像进行修复处理，可以改善修复图像的修复效果。
[0051] 在某些实施方式中，与环境亮度对应的修复模型是预先训练好的。具体地，假设一个环境亮度区间对应一个修复模型，有N个环境亮度区间，分别为环境亮度区间[L1,L2)、环境亮度区间[L2,L3)、…、环境亮度区间[LN,L(N+1))，则要选取出在环境亮度位于环境亮度区间[L1,L2)内的场景下拍摄的多张训练图像、在环境亮度位于环境亮度区间[L2,L3)内的场景下拍摄的多张图像、…、在环境亮度位于环境亮度区间[LN,L(N+1))内的场景下拍摄的多张图像。随后，将在环境亮度位于环境亮度区间[L1,L2)内的场景下拍摄的多张训练图像输入到一个预先建立的初始模型中进行训练以得到修复模型P1，将在环境亮度位于环境亮度区间[L2,L3)内的场景下拍摄的多张训练图像输入到另一个预先建立的初始模型中进行训练以得到修复模型P2，依此类推，将在环境亮度位于环境亮度区间[LN,L(N+1))内的场景下拍摄的多张训练图像输入到又一个预先建立的初始模型中进行训练以得到修复模型PN。由此，即可得到与每个环境亮度区间对应的修复模型。修复模型可以存储在电子设备20的存储器中，以便于处理器21调用。
[0052] 在某些实施方式中，参考图像可以是预设用户的人像或预设标准人像。处理器21可以计算人脸图像与预设用户的人像进行相似度进行计算，若人脸图像与预设用户的人像之间的相似度大于或等于预设相似度，说明人脸图像对应的用户与预设用户是同一个人，则处理器21可以选用预设用户的人像作为参考图像，并根据修复模型及预设用户的人像对人脸图像进行处理以得到修复图像。可以理解，使用同一人的两张图像进行处理，得到的修复图像中的人像与目标用户本人更加相似，也更加自然，用户体验会更好。若人脸图像与预设用户的人像之间的相似度小于预设相似度，则说明人脸图像对应的用户与预设用户不是同一人，此时采用预设标准人像作为参考图像进行超分算法处理，得到的效果会更好。因此，处理器21可以选用预设标准人像作为参考图像，并根据修复模型及预设标准人像对人脸图像进行处理以得到修复图像。
[0053] 请参阅图4，在某些实施方式中，图像处理方法还包括：
[0054] 05：获取环境亮度；
[0055] 步骤01根据环境亮度选择修复模型，包括：
[0056] 011：在环境亮度位于预设亮度范围内时，根据环境亮度选择修复模型。
[0057] 图像处理方法还包括：
[0058] 在环境亮度位于预设亮度范围外时，不对待处理图像进行修复处理。
[0059] 请参阅图5，在某些实施方式中，图像处理装置10还包括第二获取模块15。选择模块11包括选择单元111。步骤05可以由第二获取模块15实现。步骤011可以由选择单元111实现。也即是说，第二获取模块15可以用于获取环境亮度。选择单元111可以用于在环境亮度位于预设亮度范围内时，根据环境亮度选择修复模型。在环境亮度位于预设亮度范围外时，修复模块14不对待处理图像进行修复处理。
[0060] 请再参阅图3，在某些实施方式中，步骤05及步骤011均可以由处理器21实现。也即是说，处理器21还可以用于获取环境亮度。在环境亮度位于预设亮度范围内时，处理器21用于根据环境亮度选择修复模型。在环境亮度位于预设亮度范围外时，处理器21不对待处理图像进行修复处理。
[0061] 具体地，处理器21首先获取环境亮度，并判断环境亮度是否位于预定亮度范围内。若环境亮度位于预定亮度范围内，则处理器21执行根据亮度选择修复模型的操作。若环境亮度位于预定亮度范围外，则处理器21不对待处理图像进行修复处理。
[0062] 需要说明的是，预设亮度范围不包括数值为0的情况。具体地，假设预设亮度范围为[L1,LN]，则L1大于0。如此，在环境亮度L满足L1≤L≤LN(即环境亮度L位于预设亮度范围内)时，处理器21对待处理图像的人脸图像进行修复处理；在环境亮度L满足0≤L＜L1或L＞L2(即环境亮度L位于预设亮度范围外)时，处理器21不对待处理图像进行修复处理。
[0063] 可以理解，当环境亮度过低时，待处理图像的亮度很低，模糊程度较高，此时使用修复模型对待处理图像进行修复处理并不能输出具有较佳修复效果的修复图像，因此，处理器21可以不对待处理图像进行修复处理。当环境亮度过高时，待处理图像很可能已经过曝，那么待处理图像中人脸的细节也是很少的，此时使用修复模型对待处理图像进行修复处理也不能输出具有较佳修复效果的修复图像，因此，处理器21也可以不对待处理图像进行修复处理。如此，电子设备20在环境亮度过低或过高时均不需要对待处理图像中的人脸图像做修复处理，有利于节省电子设备20的功耗，提升电子设备20的续航能力。
[0064] 请参阅图3和图6，在某些实施方式中，步骤05获取环境亮度，包括：
[0065] 0511：获取摄像头23拍摄待处理图像时的感光度；及
[0066] 0512：根据感光度确定环境亮度。
[0067] 请参阅图3和图7，在某些实施方式中，第二获取模块15包括第一获取单元1511及第一确定单元1512。步骤0511可以由第一获取单元1511实现。步骤0512可以由第一确定单元1512实现。也即是说，第一获取单元1511可以用于获取摄像头23拍摄待处理图像时的感光度。第一确定单元1512可以用于根据感光度确定环境亮度。
[0068] 请再参阅图3，在某些实施方式中，步骤0511和步骤0512均可以由处理器21实现。也即是说，处理器21可以用于获取摄像头23拍摄待处理图像时的感光度及根据感光度确定环境亮度。
[0069] 其中，感光度是指摄像头23中感光元件(例如图像传感器)的感光灵敏度，用ISO来表示。一般地，环境亮度越低，摄像头23拍摄待处理图像时的感光度越大；环境亮度越高，摄像头拍摄待处理图像时的感光度越小。处理器21可以获取摄像头23拍摄待处理图像时的感光度，并根据获取的感光度来确定出环境亮度。环境亮度与感光度之间的对应关系可以以映射表的方式存储在电子设备20的存储器中。处理器21获取到感光度后，可以根据映射表来获取与该感光度对应的环境亮度，再根据环境亮度来判断是否进行修复处理。处理器21确定进行修复处理后，即选取与环境亮度对应的修复模型。
[0070] 请参阅图8，在某些实施方式中，步骤05获取环境亮度，包括：
[0071] 0521：获取待处理图像中每一个像素的灰度值；
[0072] 0522：根据多个灰度值计算待处理图像的平均灰度值；及
[0073] 0523：根据平均灰度值确定环境亮度。
[0074] 请参阅图9，在某些实施方式中，第二获取模块15包括第二获取单元1521、第一计算单元1522、及第二确定单元1523。步骤0521可以由第二获取单元1521实现。步骤0522可以由第一计算单元1522实现。步骤0523可以由第二确定单元1523实现。也即是说，第一获取单元1521可以用于获取待处理图像中每一个像素的灰度值。第一计算单元1522可以用于根据多个灰度值计算待处理图像的平均灰度值。第二获取单元1523可以用于根据平均灰度值确定环境亮度。
[0075] 请再参阅图3，在某些实施方式中，步骤0521、步骤0522、及步骤0523均可以由处理器21实现。也即是说，处理器21可以用于获取待处理图像中每一个像素的灰度值、根据多个灰度值计算待处理图像的平均灰度值、及根据平均灰度值确定环境亮度。
[0076] 具体地，假设待处理图像由M*M个像素组成，则处理器21首先计算出每个像素的灰度值，以得到M*M个灰度值，随后，处理器21计算M*M个灰度值的平均值以作为待处理图像的平均灰度值。最后，处理器21再根据平均灰度值来确定环境亮度。环境亮度与平均灰度值之间的对应关系可以以映射表的方式存储在电子设备20的存储器中。处理器21获取到平均灰度值后，可以根据映射表来获取与该平均灰度值对应的环境亮度，再根据环境亮度来判断是否进行修复处理。处理器21确定进行修复处理后，即选取与环境亮度对应的修复模型。
[0077] 请参阅图10，在某些实施方式中，步骤05获取环境亮度，包括：
[0078] 0531：获取待处理图像的灰度直方图；
[0079] 0532：根据灰度直方图确定灰度值小于预设灰度值的像素的数量；
[0080] 0533：计算灰度值小于预设灰度值的像素的数量占所有像素的数量的比例；及[0081] 0534：根据比例确定环境亮度。
[0082] 请参阅图11，在某些实施方式中，第二获取模块15包括第三获取单元1531、第三确定单元1532、第二计算单元1533、及第四确定单元1534。步骤0531可以由第三获取单元1531实现。步骤0534可以由第三确定单元1532实现。步骤0533可以由第二计算单元1533实现。步骤0544可以由第四确定单元1534实现。也即是说，第三获取单元1531可以用于获取待处理图像的灰度直方图。第三确定单元1532可以用于根据灰度直方图确定灰度值小于预设灰度值的像素的数量。第二计算单元1533可以用于计算灰度值小于预设灰度值的像素的数量占所有像素的数量的比例。第四确定单元1534可以用于根据比例确定环境亮度。
[0083] 请再参阅图3，在某些实施方式中，步骤0531、步骤0532、步骤0533、及步骤0534均可以由处理器21实现。也即是说，处理器21可以用于获取待处理图像的灰度直方图及根据灰度直方图确定灰度值小于预设灰度值的像素的数量。处理器21还可以用于计算灰度值小于预设灰度值的像素的数量占所有像素的数量的比例及根据比例确定环境亮度。
[0084] 具体地，处理器21首先计算出待处理图像中每个像素的灰度值。随后，处理器21根据多个灰度值确定出待处理图像的灰度直方图。如图12所示，图12为一个示例的待处理图像的灰度直方图，其中，横轴表示灰度值，纵轴表示与每一个灰度值对应的像素的数量，V0为预设灰度值。以预设灰度值V0为界，处理器21统计灰度值小于预设灰度值V0的像素的数量。随后，处理器21计算灰度值小于预设灰度值V0的像素的数量占待处理图像的像素总数的比例。最后，处理器21即可根据比例确定出环境亮度。环境亮度与比例之间的对应关系可以以映射表的方式存储在电子设备20的存储器中。处理器21获取到比例后，可以根据映射表来获取与该比例对应的环境亮度，再根据环境亮度来判断是否进行修复处理。处理器21确定进行修复处理后，即选取与环境亮度对应的修复模型。
[0085] 当然，在其他例子中，处理器21也可以统计灰度值大于预设灰度值V0的像素的数量。随后，处理器21计算灰度值大于或等于预设灰度值V0的像素的数量占待处理图像的像素总数的比例，并根据比例确定出环境亮度。
[0086] 请参阅图13，在某些实施方式中，步骤05获取环境亮度，包括：
[0087] 0541：采用环境亮度深度学习模型处理待处理图像以获取环境亮度。
[0088] 请参阅图14，在某些实施方式中，第二获取模块15包括第一处理单元1541。步骤0541可以由第一处理单元1541实现。也即是说，第一处理单元1541可以用于采用环境亮度深度学习模型处理待处理图像以获取环境亮度。
[0089] 请再参阅图3，在某些实施方式中，步骤0541可以由处理器21实现。也即是说，处理器21可以用于采用环境亮度深度学习模型处理待处理图像以获取环境亮度。
[0090] 具体地，电子设备20的存储器中预存有环境亮度深度学习模型。该环境亮度深度学习模型是前期采用大量的训练图像训练得到的模型。将一张图像作为该环境亮度深度学习模型的输入，该环境亮度深度学习模型使用多个卷积层提取该张图像的高阶特征，并根据高阶特征计算出该张图像拍摄时场景的环境亮度。处理器21可以从存储器中调用环境亮度深度学习模型，并将待处理图像输入到环境亮度深度学习模型中，环境亮度深度学习模型对对处理图像进行处理后即可输出待处理图像拍摄时场景的环境亮度。
[0091] 请参阅图15，在某些实施方式中，图像处理方法还包括：
[0093] 017：在环境亮度位于预定亮度范围内且环境亮度小于预设亮度时，对获取的多帧初始图像执行多帧合成降噪处理以获得待处理图像，预设亮度位于预定亮度范围内。
[0094] 请参阅图16，在某些实施方式中，图像处理装置10还包括第一降噪模块16和第二降噪模块17。步骤016可以由第一降噪模块16实现。步骤017可以由第二降噪模块实现。也即是说，第一降噪模块16可以用于在环境亮度位于预定亮度范围内且环境亮度大于预设亮度时对获取的一帧初始图像执行单帧降噪处理以获得待处理图像。第二降噪模块17可以用于在环境亮度位于预定亮度范围内且环境亮度小于预设亮度时，对获取的多帧初始图像执行多帧合成降噪处理以获得待处理图像。其中，预设亮度位于预定亮度范围内。
[0095] 请再参阅图3，在某些实施方式中，步骤016和步骤017均可以由处理器21实现。也即是说，处理器21可以用于在环境亮度位于预定亮度范围内且环境亮度大于预设亮度时对获取的一帧初始图像执行单帧降噪处理以获得待处理图像。处理器21还可以用于在环境亮度位于预定亮度范围内且环境亮度小于预设亮度时，对获取的多帧初始图像执行多帧合成降噪处理以获得待处理图像。其中，预设亮度位于预定亮度范围内。
[0096] 具体地，假设预定亮度范围为[L1,LN]，预设亮度为L0，且L1＜L0＜LN，处理器21判断环境亮度L是位于区间[L1,L0]内还是位于区间(L0,LN]内。在环境亮度L位于区间(L0,LN]时，处理器21对获取的一帧初始图像执行单帧降噪处理，并将执行完单帧降噪处理后得到的图像作为待处理图像。在环境亮度L位于区间[L1,L0]内时，处理器21对获取的多帧初始图像执行多帧降噪处理，并将执行完多帧合成降噪处理后得到的图像作为待处理图像。
[0097] 其中，单帧降噪处理主要是通过单帧图像中的冗余信息来进行降噪处理。常用的单帧降噪方法可以有均值滤波、中值滤波、高斯滤波、双边滤波等。以均值滤波为例，假设待降噪的像素的灰度值为g(x,y)，则使用均值滤波进行降噪后，该像素的灰度值变为g’(x,y)， 其中，∑f(x,y)表示的是包含该像素的一个区域中的多个像素的灰度值的和，m表示该区域中的像素的个数。
[0098] 多帧合成降噪处理主要是通过对连续拍摄的多帧图像进行加权平均来实现降噪处理。具体地，获取到连续拍摄的多帧图像后，先对多帧图像做对齐处理。随后，再将每一张图像进行分块，即分为多个区域，再对四帧图像中的对应的区域进行加权平均处理，以得到降噪后的图像。例如，有四帧连续拍摄的图像，分别为图像I1、图像I2、图像I3、图像I4，那么，现对图像I1、图像I2、图像I3、图像I4做对齐处理，再对对齐处理后的图像I1、图像I2、图像I3、图像I4划分为n个区域，例如将对齐处理后的图像I1分为A11～A1n共n个区域，将对齐处理后的图像I2分为A21～A2n共n个区域，将对齐处理后的图像I3分为A31～A3n共n个区域，将对齐处理后的图像I4分为A41～A4n共n个区域。随后，再对A11、A21、A31、A41执行加权平均处理以得到A01，对A12、A22、A32、A42执行加权平均处理以得到A02，依此类推，对A1n、A2n、A3n、A4n执行加权平均处理以得到A0n。由此，即可得到加权平均处理后的n个区域(A01、A02、…、A0n)，该n个区域即可形成降噪处理后的图像。与单帧降噪的方式相比，多帧合成降噪的方式需要处理的数据量较多，但降噪效果较好，同时可以避免单帧降噪带来的图像锐度下降的问题。
[0099] 可以理解，在环境亮度位于区间(L0,LN]内时，说明环境亮度较高，初始图像的信噪也比较高，此时，处理器21可以对初始图像执行单帧降噪处理得到待处理图像，以使得待处理图像的信噪比高于该单帧初始图像的信噪比。在环境亮度位于区间[L1,L0]内时，说明环境亮度较低，初始图像的信噪比也比较低，此时，处理器21可以对多帧初始图像执行多帧合成降噪处理得到待处理图像，以使得待处理图像的信噪比较高。提升待处理图像的信噪比可以避免噪声对人像修复的影响，可以使得修复图像更为真实，细节还原更加细腻。另外，根据不同的环境亮度执行不同的降噪处理，可以在提升待处理图像的信噪比的同时，减小电子设备20的功耗。
[0100] 请参阅图17，在某些实施方式中，步骤04根据修复模型及参考图像对人脸图像进行处理，以得到修复图像，包括：
[0101] 041：尺寸调整步骤，处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同；
[0102] 042：匹配步骤，提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度；
[0103] 043：以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量呈正相关；
[0104] 044：映射步骤，将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像；及
[0105] 045：将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。
[0106] 请参阅图18，在某些实施方式中，修复模块14包括尺寸调整单元141、匹配单元142、第一循环单元143、映射单元144、及第二循环单元145。步骤041可以由尺寸调整单元
141实现。步骤042可以由匹配单元142实现。步骤043可以由第一循环单元143实现。步骤044可以由映射单元144实现。步骤045可以由第二循环单元145实现。也即是说，尺寸调整单元
141可以用于处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同。匹配单元142可以用于提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度。第一循环单元143可以用于以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量呈正相关。映射单元144可以用于将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像。第二循环单元145可以用于将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。
141实现。步骤042可以由匹配单元142实现。步骤043可以由第一循环单元143实现。步骤044可以由映射单元144实现。步骤045可以由第二循环单元145实现。也即是说，尺寸调整单元
141可以用于处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同。匹配单元142可以用于提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度。第一循环单元143可以用于以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量呈正相关。映射单元144可以用于将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像。第二循环单元145可以用于将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。
[0107] 请再参阅图3，在某些实施方式中，步骤041、步骤042、步骤043、及步骤044均可以由处理器21实现。也即是说，处理器21可以用于处理人脸图像和参考图像以得到待处理人脸图像和待处理参考图像，待处理人脸图像的尺寸和待处理参考图像的尺寸相同。处理器21还可以用于提取待处理人脸图像的特征以得到人脸图像特征图，提取待处理参考图像的特征以得到参考图像特征图，获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的特征的匹配度大于预设匹配度。处理器21还可以用于以预设采样次数循环执行尺寸调整步骤和匹配步骤以分别得到多个尺寸的待处理参考图像对应的匹配特征，其中，多个尺寸包括第一尺寸和第二尺寸，第一尺寸小于第二尺寸，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不相同，预设采样次数与修复模型的处理量呈正相关。处理器21还可以用于将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中以得到中间图像，对中间图像进行上采样以得到过渡图像。处理器21还可以用于将过渡图像作为待处理人脸图像并以预设映射次数循环执行映射步骤，直至待处理人脸图像的尺寸由第一尺寸变成第二尺寸，预设映射次数与预设采样次数相等，具有第二尺寸的中间图像作为修复图像。
[0108] 具体地，预设采样次数与修复模型的处理量正相关，也即是说，修复模型的处理量越大，预设采样次数也越多；修复模型的处理量越小，预设采样次数也越少。预设采样次数可以是一次或多次。在一个实施例中，预设采样次数为2-6中的任意整数，即预设采样次数可以为2、3、4、5或6。在预设采样次数为6时，已经能够较为全面地提取待处理人脸图像和待处理参考图像的特征，因此，预设采样次数大于6时，提取的特征的信息量基本不变，但是会增大特征提取的工作量。
[0109] 请结合图19，在第一次执行尺寸调整步骤和匹配步骤时，参考图像可以为第二尺寸，尺寸调整步骤具体可以为：处理人脸图像以使人脸图像的尺寸与参考图像的尺寸相同，即，将人脸图像的尺寸调整为第二尺寸以形成待处理人脸图像，将参考图像作为待处理参考图像。然后通过匹配步骤分别提取待处理人脸图像的人脸图像特征图和待处理参考图像的参考图像特征图，并获取参考图像特征图的匹配特征，即获得第二尺寸的待处理参考图像的匹配特征。可以将待处理人脸图像输入到卷积神经网络进行特征提取以得到人脸图像特征图，将待处理参考图像输入到卷积神经网络进行特征提取以得到参考图像特征图。处理人脸图像以使人脸图像的尺寸与参考图像的尺寸相同，具体可以为：在人脸图像的尺寸大于参考图像的尺寸时，对人脸图像进行下采样处理以使得人脸图像的尺寸与参考图像的尺寸相同；在人脸图像的尺寸小于参考图像的尺寸时，对人脸图像进行上采样处理以使得人脸图像的尺寸与参考图像的尺寸相同。上采样可理解为对图像进行放大处理，下采样可理解为对图像进行缩小处理。待处理人脸图像和待处理参考图像的尺寸相同，有利于人脸图像特征图和参考图像特征图的特征进行匹配。
[0110] 在后续(第二次或第二次之后)执行尺寸调整步骤和匹配步骤时，尺寸调整步骤具体可以为：将上一次执行尺寸调整步骤和匹配步骤时获得的上一待处理人脸图像作为当前人脸图像，上一待处理参考图像作为当前参考图像，对当前人脸图像和当前参考图像分别进行下采样处理，以得到当前待处理人脸图像和当前待处理参考图像。然后通过匹配步骤分别提取当前待处理人脸图像的人脸图像特征图和当前待处理参考图像的参考图像特征图，并获取参考图像特征图的匹配特征，即获得当前尺寸的当前待处理参考图像的匹配特征，其中，当前尺寸小于第二尺寸。在其他实施方式中，(第二次或第二次之后)执行尺寸调整步骤和匹配步骤时，尺寸调整步骤也可以为：直接对原参考图像(未经过任意一次尺寸调整步骤)进行下采样处理以获得当前尺寸的当前待处理人脸图像，直接处理原人脸图像(未经过任意一次尺寸调整步骤)以使人脸图像的尺寸与参考图像的尺寸相同。
[0111] 以预设采样次数循环执行尺寸调整步骤和匹配步骤，每一次循环执行尺寸调整步骤和匹配步骤均可以获得对应尺寸的待处理参考图像对应的匹配特征，从而得到多个尺寸的待处理参考图像对应的匹配特征。最后一次循环执行尺寸调整步骤和匹配步骤时，尺寸调整后的待处理人脸图像和尺寸调整后的待处理参考图像可以均为第一尺寸。
[0112] 任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像的尺寸不同，任意两次循环执行尺寸调整步骤和匹配步骤时对应的待处理人脸图像的尺寸不同，每一次循环执行尺寸调整步骤和匹配步骤时对应的待处理参考图像和待处理人脸图像的尺寸相同。例如，以预设采样次数为四次为例，第一次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸(即第二尺寸)，待处理人脸图像的尺寸可以调整为参考图像的原尺寸；第二次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的二分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的二分之一；第三次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的四分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的四分之一；第四次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的八分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的八分之一。又例如，以预设采样次数为四次为例，第一次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸(即第二尺寸)，待处理人脸图像的尺寸可以调整为参考图像的原尺寸；第二次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的三分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的三分之一；第三次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的六分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的六分之一；第四次循环时，待处理参考图像的尺寸可以为参考图像的原尺寸的十分之一，待处理人脸图像的尺寸可以为参考图像的原尺寸的十分之一。其中，最后一次循环执行尺寸调整步骤得到的待处理参考图像的尺寸及待处理人脸图像的尺寸均为第一尺寸。
[0113] 在获得各个尺寸的待处理参考图像对应的匹配特征后，可以将各个尺寸的待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中，其中，映射过程中不对图像的尺寸造成影响。具体地，在第一次执行映射步骤时，待处理人脸图像为第一尺寸(具有第一尺寸的待处理人脸图像即为最后一次循环执行尺寸调整步骤得到的待处理人脸图像)，映射步骤具体可以为：将第一尺寸的待处理参考图像对应的匹配特征映射到第一尺寸的待处理人脸图像中以得到第一尺寸的中间图像，对第一尺寸的中间图像进行上采样以得到过渡图像。在后续(第二次或第二次之后)执行映射步骤时，映射步骤具体可以为：将过渡图像作为当前尺寸的当前待处理人脸图像，当前尺寸大于上一次执行映射步骤时的待处理人脸图像的尺寸，将当前尺寸的待处理参考图像对应的匹配特征映射到当前尺寸的当前待处理人脸图像以得到当前尺寸的当前中间图像，对当前尺寸的当前中间图像进行上采样以得到过渡图像。
[0114] 以预设映射次数循环执行映射步骤，每一次循环执行映射步骤均可以将待处理参考图像对应的匹配特征映射到对应尺寸的待处理人脸图像中，从而得到对应的中间图像。最后一次循环执行映射步骤时，待处理人脸图像、待处理参考图像、中间图像均为第二尺寸，具有第二尺寸的中间图像即可作为修复图像，此时可以不需要再对第二尺寸的中间图像进行上采样，即不需要得到过渡图像。
[0115] 预设映射次数与预设采样次数相等，映射步骤中的各个尺寸分别与尺寸调整步骤中的各个尺寸相对应。例如，预设映射次数与预设采样次数均为三次，尺寸调整步骤中各个待处理参考图像的尺寸为：参考图像的原尺寸、参考图像的原尺寸的二分之一、参考图像的原尺寸的四分之一，则在匹配步骤中，可以获得尺寸为原尺寸的待处理参考图像对应的匹配特征、尺寸为原尺寸的二分之一的待处理参考图像对应的匹配特征、尺寸为原尺寸的四分之一的待处理参考图像对应的匹配特征。在映射步骤中，可以将尺寸为原尺寸的四分之一的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的四分之一的待处理人脸图像中，以得到尺寸为原尺寸的四分之一的中间图像，对该中间图像进行上采样以得到尺寸为原尺寸的二分之一的过渡图像；将尺寸为原尺寸的二分之一的过渡图像作为尺寸为原尺寸的二分之一的待处理人脸图像，将尺寸为原尺寸的二分之一的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的二分之一的待处理人脸图像中，以得到尺寸为原尺寸的二分之一的中间图像，对该中间图像进行上采样以得到尺寸为原尺寸的过渡图像；将尺寸为原尺寸的过渡图像作为尺寸为原尺寸的待处理人脸图像，将尺寸为原尺寸的待处理参考图像对应的匹配特征映射到尺寸为原尺寸的待处理人脸图像中，以得到尺寸为原尺寸的中间图像，该中间图像即为修复图像。
[0116] 每个映射步骤可以由一个映射网络实现，映射网络可以采用卷积层和激活层实现。预设映射次数越多，就需要越多的映射网络，也需要越多的卷积层和激活层，从而能够利用较多的卷积层和激活层将匹配特征映射到待处理人脸图像中。
[0117] 修复模型的处理量与预设采样次数正相关，而预设采样次数与预设映射次数相等，因此，修复模型的处理量与预设映射次数也是正相关的。在修复模型的处理量比较大时，预设采样次数更多，从而可以获得更多的匹配特征，而预设映射次数更多则可以将获得的匹配特征映射到人脸图像中，从而使得人脸图像的纹理信息更加清晰。在修复模型的处理量比较小时，预设采样次数和预设映射次数的减少能够降低修复模型的工作量，从而缩短图像处理的时间，减少功耗。
[0118] 修复模型具体可以为深度学习模型。不同处理量的修复模型可以预先设置好对应的预设采样次数和预设映射次数的网络后，然后采用在不同环境亮度下获取的训练图像训练获得，训练修复模型的训练图像对应的环境亮度与修复模型的处理量呈负相关。
[0119] 请参阅图20，在某些实施方式中，步骤042包括：
[0120] 0421：提取待处理人脸图像的特征以得到人脸图像特征图；
[0121] 0422：提取待处理参考图像以得到参考图像特征图；
[0122] 0423：根据人脸图像的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征的对应关系；及
[0123] 0424：根据人脸五官特征的对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。
[0124] 请参阅图21，在某些实施方式中，匹配单元142包括第一提取子单元1421、第二提取子单元1422、匹配子单元1423、获取子单元1424。步骤0421可以由第一提取子单元1421实现。步骤0422可以由第二提取子单元1422实现。步骤0423可以由匹配子单元1423实现。步骤0424可以由获取子单元1424。也即是说，第一提取子单元1421可以用于提取待处理人脸图像的特征以得到人脸图像特征图。第二提取子单元1422可以用于提取待处理参考图像以得到参考图像特征图。匹配子单元1423可以用于根据人脸图像的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征的对应关系。获取子单元1424可以用于根据人脸五官特征的对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。
[0125] 请再参阅图3，在某些实施方式中，步骤0421、步骤0422、步骤0423、及步骤0424均可以由处理器21实现。也即是说，处理器21可以用于提取待处理人脸图像的特征以得到人脸图像特征图及提取待处理参考图像以得到参考图像特征图。处理器21还可以用于根据人脸图像的五官分布位置对人脸图像特征图和参考图像特征图进行匹配以建立人脸五官特征的对应关系。处理器21还可以用于根据人脸五官特征的对应关系获取参考图像特征图的匹配特征，匹配特征与人脸图像特征图的对应五官的特征的匹配度大于预设匹配度。
[0126] 由于通过人脸的五官分布位置建立了人脸五官特征对应关系，因此，在参考图像特征图和人脸图像特征图进行匹配时，可以采用人脸五官特征对应关系分别对人脸的五官进行特征匹配，避免由于人脸纹理的相似性而带来的特征匹配出现错位的情况(例如将参考图像特征图的与鼻子对应的特征和人脸图像特征图的与嘴唇对应的特征相匹配)，因此，可以准确地进行特征匹配，从而便于后续映射步骤中将准确的特征映射到准确的位置，从而使得修复图像更加真实和准确。
[0127] 具体地，在获得人脸图像特征图和参考图像特征图后，可以获得人脸的五官分布位置，从而建立人脸五官特征对应关系，即，人脸图像特征图中鼻子的特征与参考图像特征图中鼻子的特征相对应，人脸图像特征图中眼睛的特征与参考图像特征图中眼睛的特征相对应等。在进行特征匹配时，查找参考图像特征图中的鼻子的特征与人脸图像特征图中鼻子的特征的匹配度高于预设匹配度的匹配特征，查找参考图像特征图中的眼睛的特征与人脸图像特征图中眼睛的特征的匹配度高于预设匹配度的匹配特征。
[0128] 请参阅图22，在某些实施方式中，图像处理方法还包括：
[0129] 08：对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。
[0130] 请参阅图23，在某些实施方式中，图像处理装置10还包括处理模块18。步骤08可以由处理模块18实现。也即是说，处理模块18可以用于对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。
[0131] 请再参阅图3，在某些实施方式中，步骤08可以由处理器21实现。也即是说，处理器21可以用于对待处理图像进行下采样处理，处理下采样后的待处理图像以确定人脸。
[0132] 处理器21可以先对待处理图像进行下采样处理以降低待处理图像的尺寸。其中，下采样可以减少处理器21所需要处理的数据量，从而可以减少修复待处理图像的所需的修复时间，且能够降低电子设备20的功耗。在获得下采样后的待处理图像后，处理器21检测出下采样后的待处理图像中的人脸。示例地，处理器21可以根据图24所示的人脸检测模型检测出待处理图像中的人脸。图24所示的人脸检测模型的具体检测过程为：卷积层及池化层(Convolution and Pooling)对待处理图像做特征提取以得到多张特征图像；最后一层卷积层(Final Conv Feature Map)对卷积层和池化层输出的特征图像执行最后一次卷积，并将最后一次卷积得到的特征图像输出至全连接层(Fully-connected Layers)中。全连接层对最后一层卷积层输出的特征图像进行分类，并将分类结果输出至坐标输出支路(Coordinate)。坐标输出支路输出人脸在待处理图像中的位置坐标。至此，即完成待处理图像中的人脸的检测。
[0133] 请参阅图24，在某些实施方式中，图像处理方法还包括：
[0134] 091：获取待处理图像中除人脸图像外的背景图像；及
[0135] 092：融合背景图像与修复图像以得到目标图像。
[0136] 请参阅图25，在某些实施方式中，图像处理装置10还包括第三获取模块191及融合模块192。步骤091可以由第三获取模块191实现。步骤092可以由融合模块192实现。也即是说，第三获取模块191可以用于获取待处理图像中除人脸图像外的背景图像。融合模块192可以用于融合背景图像与修复图像以得到目标图像。
[0137] 请再参阅图3，在某些实施方式中，步骤091及步骤092均可以由处理器21实现。也即是说，处理器21可以用于获取待处理图像中除人脸图像外的背景图像及融合背景图像与修复图像以得到目标图像。
[0138] 具体地，请结合图27，待处理图像被切割为人脸图像和背景图像，人脸图像经过超分辨率算法处理后获得修复图像，然后再将修复图像与背景图像融合在一起重新形成完整的图像以作为目标图像。其中，修复图像与背景图像融合可以是直接将修复图像和背景图像拼接在一起。另外，为了避免处理后的修复图像与背景图像之间的过渡不自然，还可以对修复图像的边界部分做羽化处理。
[0139] 请参阅图28，本申请还提供一种非易失性计算机可读存储介质30。非易失性计算机可读存储介质30包含计算机可读指令。计算机可读指令被处理器21执行时，使得处理器21执行上述任意一项实施方式所述的图像处理方法。
[0140] 例如，请结合图1和图28，计算机可读指令被处理器21执行时，使得处理器21执行以下步骤：
[0141] 01：根据环境亮度选择修复模型，修复模型的处理量与环境亮度呈负相关；
[0142] 02：获取参考图像，参考图像的清晰度大于预设清晰度；
[0143] 03：裁切出待处理图像中的人脸以得到人脸图像；及
[0144] 04：根据修复模型及参考图像对人脸图像进行处理，以得到修复图像。
[0145] 再例如，请结合图8和图28，计算机可读指令被处理器21执行时，使得处理器21执行以下步骤：
[0146] 0521：获取待处理图像中每一个像素的灰度值；
[0147] 0522：根据多个灰度值计算待处理图像的平均灰度值；及
[0148] 0523：根据平均灰度值确定环境亮度。
[0149] 非易失性计算机可读存储介质30可设置在图像处理装置10(图2所示)或者电子设备20(图3所示)内，也可设置在云端服务器内。当非易失性计算机可读存储介质30设置在云端服务器内时，图像处理装置10或者电子设备20能够与云端服务器进行通讯来获取到相应的计算机可读指令。
[0150] 可以理解，计算机可读指令包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非易失性计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。
[0151] 处理器21可以是指驱动板。驱动板可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0152] 在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0153] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
[0154] 尽管上面已经示出和描述了本申请的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于FPGA的实时三维重建系统及其方法 | 2020-05-08 | 626 |
| 基于理想边缘外推的遥感影像超分辨率复原方法 | 2020-05-08 | 170 |
| 一种视频帧重构方法、装置及终端设备 | 2020-05-08 | 617 |
| 一种图像的处理与识别方法 | 2020-05-08 | 670 |
| 标注对象立体框图生成方法、装置、电子设备及存储介质 | 2020-05-08 | 512 |
| 融合SLAM和图像处理的施工进度实时识别方法 | 2020-05-11 | 295 |
| 电子装置 | 2020-05-08 | 349 |
| 一种基于裸眼三维的近红外人脸识别方法 | 2020-05-11 | 101 |
| 图像处理方法及装置、电子设备及计算机可读存储介质 | 2020-05-08 | 390 |
| 高分辨率遥感影像的海上典型人造目标识别系统及方法 | 2020-05-11 | 568 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈