图像处理方法及其装置、电子设备和计算机可读存储介质专利检索-网络摄像头电脑零配件专利检索查询-专利查询网

图像处理方法及其装置、电子设备和计算机可读存储介质

阅读：1044发布：2020-05-08

专利汇可以提供图像处理方法及其装置、电子设备和计算机可读存储介质专利检索，专利查询，专利分析的服务。并且本申请公开了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。图像处理方法包括：获取在预览模式下的N 帧预览图像，其中，N为大于0的整数；从N帧预览图像中获取一帧作为参考图像；获取拍摄时的初始图像；根据参考图像对初始图像进行处理，以得到目标图像。本申请的图像处理方法、图像处理装置、电子设备和计算机可读存储介质在拍摄时选取一帧预览图像作为参考图像，无需手动筛选，选取过程省时；而且，参考图像为使用者在按下拍照前的预览帧，一方面此时的预览帧的数据都是比较清晰，另一方面预览帧与当前场景下的模糊图像的角度、特征等的匹配度非常高，使得超分辨率图的重建结果较好，即目标图像品质较高。，下面是图像处理方法及其装置、电子设备和计算机可读存储介质专利的具体信息内容。

权利要求

1.一种图像处理方法，其特征在于，所述图像处理方法，包括：
获取在预览模式下的N 帧预览图像，其中，预览模式为用户按下拍摄标签前的拍照模式，N为大于0的整数；
从N帧所述预览图像中获取一帧作为参考图像；
获取拍摄时的初始图像；
根据所述参考图像对所述初始图像进行处理，以得到目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述获取拍摄时的初始图像，包括：
获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像；及
若所述拍摄图像的清晰度小于第一阈值，则将所述拍摄图像作为所述初始图像。
3.根据权利要求2所述的图像处理方法，其特征在于，所述获取拍摄时的初始图像，还包括：
对所述拍摄图像执行整形低通滤波以获取第一滤波图像；
根据所述拍摄图像与所述第一滤波图像获取所述拍摄图像中的第一高频信息，其中，所述第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述所述拍摄图像的细节信息；
当所述第一高频信息的像素数量小于第一预设数量，则确定所述拍摄图像的清晰度小于所述第一阈值。
4.根据权利要求1所述的图像处理方法，其特征在于，所述从N帧所述预览图像中获取一帧作为参考图像，包括：
从N帧所述预览图像中挑选任意一帧清晰度大于第二阈值的预览图像以作为参考图像。
5.根据权利要求1所述的图像处理方法，其特征在于，所述从N帧所述预览图像中获取一帧作为参考图像，包括：
从N帧所述预览图像中挑选清晰度大于第二阈值的预览图像；
对挑选出的所述预览图像与所述初始图像进行匹配；及
将挑选出的所述预览图像中与所述初始图像的匹配度大于预设匹配值中的任意一帧作为所述参考图像。
6.根据权利要求4或5所述的图像处理方法，其特征在于，所述从N帧所述预览图像中获取一帧作为参考图像，还包括：
对N帧所述预览图像均执行整形低通滤波以获取对应的N帧第二滤波图像；
根据每帧所述预览图像与对应帧的所述第二滤波图像获取每帧所述预览图像中的第二高频信息，其中，所述第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述所述预览图像的细节信息；
当所述第二高频信息的像素数量大于第二预设数量，则确定对应帧的所述预览图像的清晰度大于所述第二阈值。
7.根据权利要求1所述的图像处理方法，其特征在于，当从N帧所述预览图像中获取不到一帧作为参考图像，所述图像处理方法，还包括：
获取预设标准人像以作为参考图像，所述预设标准人像的清晰度高于第三阈值，所述第三阈值大于等于第二阈值。
8.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述参考图像对所述初始图像进行处理，以得到目标图像，包括：
根据所述参考图像对所述初始图像进行图像超分辨率算法处理，以得到目标图像。
9.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述参考图像对所述初始图像进行处理，以得到目标图像，包括：
获取所述初始图像经上采样后的第一特征图；
获取所述参考图像经过上采样和下采样后的第二特征图；
获取所述参考图像的第三特征图；
获取所述第二特征图中与所述第一特征图相似度超过第一预设相似度的特征以作为参考特征；
获取所述第三特征图中与所述参考特征相似度超过第二预设相似度的特征，以得到交换特征图；
合并所述交换特征图与所述第一特征图，以得到第四特征图；
将所述第四特征图放大预定倍数以得到第五特征图；
将所述第五特征图作为所述初始图像并循环执行上述步骤，直至得到的所述第五特征图为目标放大倍数，则具有目标放大倍数的所述第五特征图为所述目标图像。
10.根据权利要求9所述的图像处理方法，其特征在于，所述获取所述初始图像经上采样后的第一特征图，包括：
对所述初始图像进行上采样；
将上采样后的所述初始图像输入到卷积神经网络进行特征提取，得到所述第一特征图。
11.根据权利要求9所述的图像处理方法，其特征在于，所述获取所述参考图像过上采样和下采样后的第二特征图，包括：
对所述参考图像进行下采样；
对下采样后的所述参考图像进行上采样；
将上采样后的所述参考图像输入到卷积神经网络进行特征提取，得到所述第二特征图。
12.根据权利要求9所述的图像处理方法，其特征在于，所述获取所述参考图像未经过上采样和下采样的第三特征图，包括；
将所述参考图像输入到卷积神经网络进行特征提取，得到所述第三特征图。
13.一种图像处理装置，其特征在于，所述图像处理装置包括：
第一获取模块，所述第一获取模块用于获取在预览模式下的N帧预览图像，其中，N为大于0的整数；
选取模块，所述图像识别模块用于从N帧所述预览图像中获取一帧作为参考图像；
第二获取模块，所述第二获取模块还用于获取拍摄时的初始图像；
处理模块，所述处理模块用于根据所述参考图像对所述初始图像进行算法处理，以得到目标图像。
14.一种电子设备，其特征在于，所述电子设备包括壳体、成像装置和处理器，所述成像装置和所述处理器均安装在所述壳体内；所述成像装置用于拍摄图像，所述处理器用于实现权利要求1-12中任一项所述的图像处理方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-12中任一项所述的图像处理方法。

说明书全文

图像处理方法及其装置、电子设备和计算机可读存储介质

技术领域

[0001] 本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

背景技术

[0002] 目前，在基于参考图像的超分辨率重建的图像处理过程中，会从真实的参考图像中提取真实纹理，重建结果较为真实，但对参考图像有较强的依赖。例如，若参考图像与模糊图像越相近，超分辨率图的重建结果就越好，若参考图像与模糊图像越不相近，超分辨率图的重建结果就越差。因此，为了获得更好的重建效果，需要手动选取与模糊图像的角度、特征相匹配且清晰度较高的图像作为参考图像，不仅选取过程耗时，而且由于每次拍摄时得到的模糊图像的场景内容是变化的，很难每次都能从相册或存储器中选出与对应场景下拍摄出的模糊图像的角度、特征相匹配且清晰度较高的图像作为参考图像，当选不出参考图像时或选出的参考图像不适合时，超分辨率图的重建结果就会较差。发明内容

[0003] 本申请实施方式提供一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。

[0004] 本申请实施方式的图像处理方法包括：获取在预览模式下的N 帧预览图像，其中，预览模式为用户按下拍摄标签前的拍照模式，N为大于0的整数；从N帧所述预览图像中获取一帧作为参考图像；获取拍摄时的初始图像；根据所述参考图像对所述初始图像进行处理，以得到目标图像。

[0005] 本申请实施方式的图像处理装置包括：第一获取模块、选取模块、第二获取模块和处理模块。所述第一获取模块用于获取在预览模式下的N帧预览图像，其中，预览模式为用户按下拍摄标签前的拍照模式，N为大于0的整数。所述选取模块用于从N帧所述预览图像中获取一帧作为参考图像。所述第二获取模块还用于获取拍摄时的初始图像。所述处理模块用于根据所述参考图像对所述初始图像进行处理，以得到目标图像。

[0006] 本申请实施方式的电子设备包括壳体、成像装置和处理器。所述成像装置和所述处理器均安装在所述壳体内。所述成像装置用于拍摄图像。所述处理器用于：获取在预览模式下的N帧预览图像，其中，预览模式为用户按下拍摄标签前的拍照模式，N为大于0的整数；从N帧所述预览图像中获取一帧作为参考图像；获取拍摄时的初始图像；根据所述参考图像对所述初始图像进行处理，以得到目标图像。

[0007] 本申请实施方式的计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现获取在预览模式下的N帧预览图像，其中，预览模式为用户按下拍摄标签前的拍照模式，N为大于0的整数；从N帧所述预览图像中获取一帧作为参考图像；获取拍摄时的初始图像；根据所述参考图像对所述初始图像进行处理，以得到目标图像。

[0008] 本申请的图像处理方法、图像处理装置、电子设备和计算机可读存储介质在拍摄时选取预览模式下的一帧预览图像作为参考图像，无需人工手动筛选参考图像，选取过程简单省时；而且，参考图像为使用者在按下拍照前的预览帧，一方面此时的预览帧的数据都是比较清晰，另一方面预览帧的角度、特征与当前场景下拍摄出的模糊图像的角度、特征等的匹配度非常高，使得图像处理的结果较好，即目标图像品质较高。另外，不需要人工录入清晰人像作为参考图像，减少了对人工操作的依赖，提升了用户体验。

[0009] 本申请实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。附图说明

[0010] 本申请的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

[0011] 图1是本申请某些实施方式的图像处理方法的流程示意图；

[0012] 图2是本申请某些实施方式的图像处理装置的结构示意图；

[0013] 图3是本申请某些实施方式的电子设备的结构示意图；

[0014] 图4是本申请某些实施方式的多帧预览图像的场景示意图；

[0015] 图5是本申请某些实施方式的初始图像的示意图；

[0016] 图6是本申请某些实施方式的图像处理方法的流程示意图；

[0017] 图7是本申请某些实施方式的图像处理装置的结构示意图；

[0018] 图8是本申请某些实施方式的图像处理方法的流程示意图；

[0019] 图9是本申请某些实施方式的图像处理装置的结构示意图；

[0020] 图10是本申请某些实施方式的图像处理方法的流程示意图；

[0021] 图11是本申请某些实施方式的图像处理装置的结构示意图；

[0022] 图12是本申请某些实施方式的图像处理方法的流程示意图；

[0023] 图13是本申请某些实施方式的图像处理装置的结构示意图；

[0024] 图14是本申请某些实施方式的图像处理方法的流程示意图；

[0025] 图15是本申请某些实施方式的图像处理装置的结构示意图；

[0026] 图16是本申请某些实施方式的图像处理方法的流程示意图；

[0027] 图17是本申请某些实施方式的图像处理装置的结构示意图；

[0028] 图18是本申请某些实施方式的图像处理方法的流程示意图；

[0029] 图19是本申请某些实施方式的图像处理装置的处理模块的结构示意图；

[0030] 图20是本申请某些实施方式的图像处理方法的流程示意图；

[0031] 图21是本申请某些实施方式的计算机可读存储介质与电子设备的连接示意图。

具体实施方式

[0032] 下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中，相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请的实施方式，而不能理解为对本申请的实施方式的限制。

[0033] 请一并参阅图1，本申请实施方式的图像处理方法包括：

[0034] 01，获取在预览模式下的N帧预览图像，其中，预览模式为用户按下拍摄标签前的拍照模式，N为大于0的整数；

[0035] 02，从N帧预览图像中获取一帧作为参考图像；

[0036] 03，获取拍摄时的初始图像；

[0037] 04，根据参考图像对初始图像进行处理，以得到目标图像。

[0038] 请结合图2，本申请实施方式提供一种图像处理装置100。图像处理装置100包括第一获取模块11、选取模块12、第二获取模块13和处理模块14。图像处理装置100可用于实现本申请实施方式的图像处理方法，步骤01可由第一获取模块11执行，步骤02可由选取模块12执行，步骤03可由第二获取模块13执行，步骤04可由处理模块14执行，也即是说，第一获取模块11可用于获取在预览模式下的N帧预览图像，其中，N为大于0的整数；选取模块12可用于从N帧所述预览图像中获取一帧作为参考图像；第二获取模块13可用于获取拍摄时的初始图像；处理模块14可用于根据所述参考图像对所述初始图像进行处理，以得到目标图像。需要指出的是，对于步骤02和步骤03的执行顺序在此不作限制，可以先执行步骤02再执行步骤03，也可以先执行步骤03在执行步骤02。

[0039] 请一并参阅图1及图3，本申请实施方式提供一种电子设备200，电子设备200包括壳体210、成像装置220和处理器230。成像装置220和处理器230均安装在壳体210上，成像装置220用于拍摄图像，成像装置220包括多个摄像头，多个摄像头包括第一摄像头221和第二摄像头222。其中，处理器230可用于实现本申请实施方式的图像处理方法，步骤01、步骤02、步骤03和步骤04均可由处理器230实现，也即是说，处理器230可用于：获取在预览模式下的N帧预览图像，其中，预览模式为用户按下拍摄标签前的拍照模式，N为大于0的整数；从N帧预览图像中获取一帧作为参考图像；获取拍摄时的初始图像；及根据参考图像对初始图像进行处理，以得到目标图像。

[0040] 本申请的图像处理方法、图像处理装置100、电子设备200在拍摄时选取预览模式下的一帧预览图像作为参考图像，无需人工手动筛选参考图像，选取过程简单省时；而且，参考图像为使用者在按下拍照前的预览帧，一方面此时的预览帧的数据都是比较清晰，另一方面预览帧的角度、特征与当前场景下拍摄出的模糊图像(初始图像)的角度、特征等的匹配度非常高，使得图像处理的结果较好，即目标图像品质较高。另外，不需要人工录入清晰人像作为参考图像，减少了对人工操作的依赖，提升了用户体验。

[0041] 具体地，本申请实施方式的图像处理方法首先获取在预览模式下的N帧预览图像，其中，N为大于0的整数，即N可以为1、2、3、4、5、6、7、8、9、10等帧数。其中，预览图像可以是在拍摄快门按下前(即前文所说的预览模式)的模式时缓存的图像(如图4所示)，此时所存储的预览图像为与初始图像匹配度最高的图像，匹配度具体可以表现为：预览图像与初始图像之间关于人脸的角度、人脸的五官特征、表情、毛孔、肤色、肤质等多个维度的相似度。然后，从N帧预览图像中获取一帧作为参考图像。获取初始图像，初始图像可以为拍摄快门按下后所得到的拍摄图像(如图5所示)，即可以为N帧预览图像中的某一帧，例如可以为N帧预览图像的第N帧。最后，根据参考图像对初始图像进行处理，以得到目标图像。

[0042] 请参阅图6和图7，在本申请实施方式中，获取拍摄时的初始图像(即步骤03)包括：

[0043] 031：获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像；及

[0044] 035：若拍摄图像的清晰度小于第一阈值，则将拍摄图像作为初始图像。

[0045] 在本申请的某些实施方式中，图像处理装置100中的第二获取模块13包括第一获取单元131和第一确定单元135。步骤031可由第一获取单元131执行，步骤032可由第一确定单元135执行。也即是说，第一获取单元131用于获取拍摄标签被操作时摄像头(第一摄像头221或第二摄像头222)拍摄的图像以作为拍摄图像。第一确定单元135用于若拍摄图像的清晰度小于第一阈值，则将拍摄图像作为初始图像。

[0046] 请结合图3，在某些实施方式中，步骤031和步骤032均可由处理器230实现，也即是说，处理器230可用于：获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像；及若拍摄图像的清晰度小于第一阈值，则将拍摄图像作为初始图像。

[0047] 具体地，可先获取每帧图像中高频信息的像素数量在整帧图像的所有像素中的占比，并用该占比来表征该帧图像的清晰度，占比越高，图像清晰度越高。在一个例子中，先通过整形低通滤波对该帧原始图像进行处理，以得到滤波图像。再根据该帧原始图像与滤波图像得到高频信息，具体为用该帧原始图像减去滤波图像即可得到高频信息。其中，高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述拍摄图像的细节信息。最后，统计高频信息的像素数量在该帧原始图像的所有像素中的占比。例如，该帧原始图像中的高频信息的像素数量占该帧原始图像的所有像素数量的20％，则用占比20％来表征该帧原始图像的清晰度。

[0048] 第一获取单元131获取拍摄标签被操作时摄像头拍摄的图像以作为拍摄图像。第一获取单元131设置于电子设备200的壳体210内。拍摄标签可以为电子设备200上的拍照触摸区域对应的拍照标签，也可以是电子设备200中设置的同时按下音量键加开机键。当用户触摸拍照触摸区域或者同时按下音量键加开机键时，摄像头所拍摄的图像为拍摄图像。若拍摄图像的清晰度小于第一阈值，例如第一阈值可以是15％，若拍摄图像的清晰度为12％，是小于第一阈值15％的，则第一确定单元135将拍摄图像作为初始图像。此时的初始图像是清晰度不高，需要进行修复的图像。

[0049] 请参阅图8，在某些实施方式中，图像处理方法还可包括：

[0050] 05：若拍摄图像的清晰度大于或等于第一阈值，则将拍摄图像作为目标图像输出。

[0051] 请参阅图9，在本申请的某些实施方式中，图像处理装置100还包括输出模块15。步骤05可由输出模块15执行。也即是说，若拍摄图像的清晰度大于第一阈值，则输出模块15将拍摄图像作为目标图像输出。

[0052] 第一阈值的解释同前，在此不再赘述。另外，例如，第一阈值可以为15％，若拍摄图像的清晰度为20％，是大于第一阈值15％的，或者，若拍摄图像的清晰度为15％，刚好等于第一阈值15％，输出模块15则将拍摄图像作为目标图像输出。

[0053] 请参阅图10和图11，在某些实施方式中，获取拍摄时的初始图像(即步骤03)还包括：

[0054] 032：对拍摄图像执行整形低通滤波以获取第一滤波图像；

[0055] 033：根据拍摄图像与第一滤波图像获取拍摄图像中的第一高频信息；

[0056] 034：判断第一高频信息的像素数量是否小于第一预设数量；

[0057] 035：当第一高频信息的像素数量小于第一预设数量，则确定拍摄图像的清晰度小于第一阈值，并将拍摄图像作为初始图像；

[0058] 036：当第一高频信息的像素数量大于或等于第一预设数量，则确定拍摄图像的清晰度大于或等于第一阈值。

[0059] 在本申请的某些实施方式中，第二获取模块13包括第二获取单元132、第三获取单元133、第一判断单元134、第一确定单元135和第二确定单元136。步骤032可由第二获取单元132执行；步骤033可由第三获取单元133执行；步骤034可由第一判断单元134执行；步骤035可由第一确定单元135执行；步骤036可由第二确定单元136执行。也即是说，第二获取单元132用于对拍摄图像执行整形低通滤波以获取第一滤波图像。第三获取单元133用于根据拍摄图像与第一滤波图像获取拍摄图像中的第一高频信息，其中，第一高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述拍摄图像的细节信息。第一判断单元134用于判断第一高频信息的像素数量是否小于第一预设数量。第一确定单元135用于确定当第一高频信息的像素数量小于第一预设数量，则确定拍摄图像的清晰度小于第一阈值，将拍摄图像作为初始图像。第二确定单元136用于确定当第一高频信息的像素数量大于或等于第一预设数量，则确定拍摄图像的清晰度大于或等于第一阈值。

[0060] 请结合图3，在某些实施方式中，步骤032、步骤033、步骤034、步骤035和步骤036均可由处理器230实现，也即是说，处理器230可用于：对拍摄图像执行整形低通滤波以获取第一滤波图像；根据拍摄图像与第一滤波图像获取拍摄图像中的第一高频信息；判断第一高频信息的像素数量是否小于第一预设数量；当第一高频信息的像素数量小于第一预设数量，则确定拍摄图像的清晰度小于第一阈值，将拍摄图像作为初始图像；当第一高频信息的像素数量大于或等于第一预设数量，则确定拍摄图像的清晰度大于或等于第一阈值。

[0061] 具体地，在摄像头的拍摄过程中，获取摄像头拍摄得到的拍摄图像。在获取到拍摄图像后，对拍摄图像进行整形低通滤波处理，得到第一滤波图像，再由拍摄图像减去第一滤波图像，就能得到拍摄图像中的第一高频信息，第一高频信息是指离散余弦变换系数中远离零频的部分，该部分用于描述拍摄图像的细节信息；在得到第一高频信息后，可以统计第一高频信息的像素数量，第一高频信息的像素数量越多，则拍摄图像越清晰。

[0062] 图像的清晰度可用图像中的高频信息的像素数量在该幅图像中的所有像素中的占比来表征，占比越高，图像清晰度越高。例如，一幅拍摄图像中的第一高频信息的像素数量占该幅拍摄图像的所有像素数量的20％，则用占比20％来表征该幅拍摄图像的清晰度。由此可见，每一个清晰度对应一个第一高频信息的像素数量。

[0063] 第一阈值是指一幅拍摄图像中的第一高频信息的像素数量为第一预设数量，且该第一预设数量与该幅拍摄图像的所有像素数量的比值，第一阈值是用来衡量拍摄图像是否需要修复的临界值。例如，在一幅拍摄图像中，若第一高频信息的像素数量小于第一预设数量时，则说明该幅拍摄图像的清晰度小于第一阈值，该幅拍摄图像需要被修复，即可作为初始图像。

[0064] 第一预设数量可与第一阈值相互对应，第一预设数量与第一阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第一预设数量，自动关联上与第一预设数量对应的第一阈值，然后由用户根据不同需求选择不同的第一阈值。

[0065] 以第一阈值为15％，一幅拍摄图像的所有像素数量为1600万，第一预设数量为240万为例进行说明，在获取到第一高频信息的像素数量小于240万时，则确定该幅拍摄图像的清晰度小于15％，并将该幅拍摄图像作为初始图像。

[0066] 请参阅图12和图13，在某些实施方式中，从N帧预览图像中获取一帧作为参考图像，包括：

[0067] 024：从N帧预览图像中挑选任意一帧清晰度大于第二阈值的预览图像以作为参考图像。

[0068] 在本申请的某些实施方式中，图像处理装置100中的选取模块12包括第一选取单元124。步骤024可由第一选取单元124执行。也即是说，第一选取单元124用于从N帧预览图像中挑选任意一帧清晰度大于第二阈值的预览图像以作为参考图像。

[0069] 请结合图3，在某些实施方式中，步骤024可由处理器230实现，也即是说，处理器230可用于：从N帧预览图像中挑选任意一帧清晰度大于第二阈值的预览图像以作为参考图像。

[0070] 具体地，预览图像为一幅或者多幅，分别判断每幅预览图像的清晰度是否大于第二阈值，第二阈值可为一个预设的清晰度值，是用来衡量预览图像是否能够作为参考图像以做后续图像处理的临界值。其中，第二阈值可大于第一阈值。将大于第二阈值的预览图像作为参考图像，其中，获取每幅预览图像的清晰度的方法可与上述初始图像的清晰度的获取方法相同，在此不再赘述。

[0071] 更具体地，请再次参阅图4，将8帧预览图像按拍摄时间的先后顺序(从左往右，拍摄时间依次为从先到后)依次排列，分别为第1帧预览图像至第8帧预览图像。当第二阈值为25％时，通过上述清晰度的获取方式，分别获得第1帧预览图像的清晰度为20％，第2帧预览图像的清晰度为28％，第3帧预览图像的清晰度为19％，第4帧预览图像的清晰度为18％，第
5帧预览图像的清晰度为17％，第6帧预览图像的清晰度为19％，第7帧预览图像的清晰度为
18％，第8帧预览图像的清晰度为26％。通过对比第1帧至第8帧预览图像的清晰度与第二阈值，第2帧预览图像的清晰度和第8帧预览图像的清晰度均大于第二阈值25％，即，既可将第
2帧预览图像作为参考图像，也可将第8帧预览图像作为参考图像。优先地，可将清晰度最大且大于第二阈值的第2帧预览图像作为参考图像。

[0072] 可以理解，参考图像为使用者在按下拍照前的预览帧，一方面此时的预览帧的数据都是比较清晰，另一方面预览帧的角度、特征与当前场景下拍摄出的模糊图像(初始图像)的角度、特征等的匹配度非常高，使得图像处理的结果较好，即目标图像品质较高。另外，不需要人工录入清晰人像作为参考图像，减少了对人工操作的依赖，提升了用户体验。

[0073] 请参阅图14和图15，在某些实施方式中，从N帧预览图像中获取一帧作为参考图像(即步骤02)，还可以包括：

[0074] 025：从N帧预览图像中挑选清晰度大于第二阈值的预览图像；

[0075] 026：对挑选出的预览图像与初始图像进行匹配；及

[0076] 027：将挑选出的预览图像中与初始图像的匹配度大于预设匹配值中的任意一帧作为参考图像。

[0077] 在本申请的某些实施方式中，选取模块12包括第二选取单元125、第一匹配单元126和第三确定单元127。步骤025可由第二选取单元125执行，步骤026可由第一匹配单元
126执行，步骤024可由第三确定单元127执行。也即是说，第二选取单元125用于从N帧预览图像中挑选清晰度大于第二阈值的预览图像；第一匹配单元126用于对挑选出的预览图像与初始图像进行匹配；第三确定单元127用于将挑选出的预览图像中与初始图像的匹配度大于预设匹配值中的任意一帧作为参考图像。

[0078] 请结合图3，在某些实施方式中，步骤025、步骤026和步骤027均可由处理器230实现，也即是说，处理器230可用于：从N帧预览图像中挑选清晰度大于第二阈值的预览图像；对挑选出的预览图像与初始图像进行匹配；及将挑选出的预览图像中与初始图像的匹配度大于预设匹配值中的任意一帧作为参考图像。

[0079] 同前，预览图像为一幅或者多幅，分别判断每幅预览图像的清晰度是否大于第二阈值，第二阈值可为一个预设的清晰度值，是用来衡量预览图像是否能够作为参考图像以做后续超分辨率算法处理的临界值。其中，第二阈值可大于第一阈值。将大于第二阈值的预览图像作为参考图像，其中，获取每幅预览图像的清晰度的方法可与上述初始图像的清晰度的获取方法相同，在此不再赘述。

[0080] 同前，匹配度具体可以表现为：预览图像与初始图像之间关于人脸的角度、人脸的五官特征、表情、毛孔、肤色、肤质等多个维度的相似度。预设匹配度是个已知值，可以是电子设备200出厂的时候就设定好的，也可以是后期在使用的时候用户根据自己的需求进行设定的。

[0081] 具体地，请再次参阅图4，将8帧预览图像按拍摄时间的先后顺序(从左往右，拍摄时间依次为从先到后)依次排列，分别为第1帧预览图像至第8帧预览图像。当第二阈值为25％时，通过上述清晰度的获取方式，分别获得第1帧预览图像的清晰度为20％，第2帧预览图像的清晰度为28％，第3帧预览图像的清晰度为19％，第4帧预览图像的清晰度为18％，第
5帧预览图像的清晰度为17％，第6帧预览图像的清晰度为19％，第7帧预览图像的清晰度为
27％，第8帧预览图像的清晰度为26％。通过对比第1帧至第8帧预览图像的清晰度与第二阈值，第2帧预览图像的清晰度、第7帧预览图像的清晰度、和第8帧预览图像的清晰度均大于第二阈值25％，则将第2帧预览图像、第7帧预览图像、及第8帧预览图像挑选出来。

[0082] 接着，将第2帧预览图像与初始图像进行匹配得到一个匹配值为95％，将第7帧预览图像与初始图像进行匹配得到一个匹配值为98％、及将第8帧预览图像与初始图像进行匹配得到一个匹配值为99％。假设预设匹配度为97％，由于第7帧预览图像与初始图像之间的匹配度(98％)大于设预设匹配度(97％)，第8帧预览图像与初始图像之间的匹配度(99％)也大于设预设匹配度(97％)，则既可将第7帧预览图像作为参考图像，也可将第8帧预览图像作为参考图像。优先地，可将与初始图像之间匹配度最大的第8帧预览图像作为参考图像。

[0083] 一般地，预览帧的角度、特征与当前场景下拍摄出的模糊图像(初始图像)的角度、特征等的匹配度非常高，但并不排除初始图像与预览帧之间存在差异较大的情况，而本申请实施方式的图像处理方法、图像处理装置100、及电子设备200不仅是从N帧预览图像中挑选任意清晰度大于第二阈值的一帧，更是要求该帧预览图像与初始图像的匹配度要大于预设匹配值，由此保证了挑选出作为参考图像的预览帧的角度、特征与当前场景下拍摄出的初始图像的角度、特征等的匹配度非常高，使得超分辨率图的重建结果较好，即目标图像品质较高。。

[0084] 请参阅图16和图17，在某些实施方式中，从N帧预览图像中获取一帧作为参考图像(步骤02)，还包括：

[0085] 021：对N帧预览图像均执行整形低通滤波以获取对应的N帧第二滤波图像；

[0086] 022：根据每帧预览图像与对应帧的第二滤波图像获取每帧预览图像中的第二高频信息；

[0087] 023：当第二高频信息的像素数量大于第二预设数量，则确定对应帧的预览图像的清晰度大于第二阈值。

[0088] 在本申请的某些实施方式中，选取模块12包括第四获取单元121、第五获取单元122和第四确定单元123。步骤021可由第四获取单元121执行，步骤022可由第五获取单元
122执行，步骤023可由第四确定单元123执行。也即是说，第四获取单元121用于对N帧预览图像均执行整形低通滤波以获取对应的N帧第二滤波图像；第五获取单元122用于根据每帧预览图像与对应帧的第二滤波图像获取每帧预览图像中的第二高频信息，其中，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述预览图像的细节信息；第四确定单元123用于当第二高频信息的像素数量大于第二预设数量，则确定对应帧的预览图像的清晰度大于第二阈值，将该对应帧的预览图像作为参考图像。

[0089] 在某些实施方式中，步骤021、步骤022和步骤023均可由处理器230实现，也即是说，处理器230可用于：对N帧预览图像均执行整形低通滤波以获取对应的N帧第二滤波图像；根据每帧预览图像与对应帧的第二滤波图像获取每帧预览图像中的第二高频信息，其中，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述预览图像的细节信息；当第二高频信息的像素数量大于第二预设数量，则确定对应帧的预览图像的清晰度大于第二阈值，将该对应帧的预览图像作为参考图像。

[0090] 具体地，在获取N帧预览图像后，对每帧预览图像执行整形低通滤波得到第二滤波图像，再将预览图像减去第二滤波图像，即可得到第二高频信息，第二高频信息为离散余弦变换系数中远离零频的部分，该部分用于描述预览图像的细节信息。得到第二高频信息后，可通过对第二高频信息的像素数量与第二预设数量进行对比，在第二高频信息的像素数量大于第二预设数量时，确定该帧预览图像的清晰度也大于第二阈值，说明该帧预览图像比较清晰，因此，可将该帧预览图像作为参考图像。

[0091] 第二阈值是指一帧预览图像中的第二高频信息的像素数量为第二预设数量，且该第二预设数量与该帧预览图像的所有像素数量的比值，第二阈值是用来衡量预览图像是否能够作为参考图像以做后续图像处理的临界值。例如，在一帧预览图像中，若第二高频信息的像素数量大于第二预设数量时，则说明该帧预览图像的清晰度大于第二阈值，该帧预览图像可能被作为参考图像。

[0092] 第二预设数量可与第二阈值相互对应，第二阈值大于第一阈值，第二预设数量也大于第一预设数量。第二预设数量与第二阈值为已知值，均可以根据多次实验获得，然后存储在图像处理装置100或电子设备200的存储元件中。当然，也可以在图像处理装置100或电子设备200中预先设定多个不同的第二预设数量，自动关联上与第二预设数量对应的第二阈值，然后由用户根据不同需求选择不同的第二阈值。

[0093] 以第二阈值为25％，一帧预览图像的所有像素数量为1600万，第二预设数量为400万为例进行说明，在获取到第二高频信息的像素数量大于400万时，则确定该帧预览图像的清晰度大于25％，并可将该帧预览图像作为参考图像。

[0094] 当从N帧预览图像中获取不到一帧作为参考图像，图像处理方法，还包括：

[0095] 获取预设标准人像以作为参考图像，预设标准人像的清晰度高于第三阈值，第三阈值大于等于第二阈值。

[0096] 从N帧预览图像中获取不到一帧作为参考图像的情况可以包括：(1)N帧预览图像中不存在清晰度大于第二阈值的预览图像；(2)尽管N帧预览图像中存在清晰度大于第二阈值的预览图像，但清晰度大于第二阈值的预览图像与初始图像的匹配度小于预设匹配值。当从N帧预览图像中获取不到一帧作为参考图像时，可通过获取一个预设标准人像，该标准人像可在网络上下载与用户同地区的任意一张高清人像，例如高清海报等。预设标准人像的清晰度都要大于第三阈值，第三阈值大于第二阈值，并可预先设置，只有大于第三阈值的图像才能作为参考图像(预设标准人像)，以达到更好的图像处理效果。

[0097] 在某些实施方式中，可以根据参考图像对初始图像进行图像超分辨率算法处理，以得到目标图像。需要指出的是，图像处理方法可为图像超分辨率算法，在本申请的其他实施例中还可以运用其他图像处理方法。其中，超分辨率算法处理的过程分为特征交换与纹理迁移两个步骤。特征交换就是将低分辨率图像的众多特征与参考图像的众多特征进行匹配，然后提取出能够使用的合理的特征图。纹理转换将提取出的特征图与低分辨率的特征图合并，最终得到目标图像。其中，上采样可理解为对初始图像或者参考图像进行放大处理，下采样可理解为对参考图像进行缩小处理。

[0098] 请参阅图18和图19，在某些实施方式中，根据参考图像对初始图像进行处理，以得到目标图像(即步骤04)，包括：

[0099] 041：获取初始图像经上采样后的第一特征图；

[0100] 042：获取参考图像经过上采样和下采样后的第二特征图；

[0101] 043：获取参考图像未经过上采样和下采样的第三特征图；

[0102] 044：获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参考特征；

[0103] 045：获取第三特征图中与参考特征相似度超过第二预设相似度的特征，以得到交换特征图；

[0104] 046：合并交换特征图与第一特征图，以得到第四特征图；

[0105] 047：将第四特征图放大预定倍数以得到第五特征图；

[0106] 048：将第五特征图作为初始图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

[0107] 在本申请的某些实施方式中，处理模块14包括第六获取单元141、第七获取单元142、第八获取单元143、第九获取单元144、第十获取单元145、合并单元146、放大单元147和处理单元148。步骤041可由第六获取单元141执行，步骤042可由第七获取单元142执行，步骤043可由第八获取单元143执行、步骤044可由第九获取单元144执行，步骤045可由第十获取单元145执行，步骤046可由合并单元146执行，步骤047可由放大单元147执行，步骤048可由处理单元148执行。也即是说，第六获取单元141用于获取初始图像经上采样后的第一特征图；第七获取单元142用于获取参考图像经过上采样和下采样后的第二特征图；第八获取单元143用于获取参考图像未经过上采样和下采样的第三特征图；第九获取单元144用于获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参考特征；第十获取单元145用于获取第三特征图中与参考特征相似度超过第二预设相似度的特征，以得到交换特征图。合并单元146用于合并交换特征图与第一特征图，以得到第四特征图。放大单元147用于将第四特征图放大预定倍数以得到第五特征图。处理单元148用于将具有目标放大倍数的第五特征图作为初始图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则第五特征图为目标图像。

[0108] 请结合图3，在某些实施方式中，步骤041、步骤042、步骤043、步骤044、步骤045、步骤046、步骤047、步骤048均可由处理器230实现，也即是说，处理器230可用于：获取初始图像经上采样后的第一特征图；获取参考图像经过上采样和下采样后的第二特征图；获取参考图像未经过上采样和下采样的第三特征图；获取第二特征图中与第一特征图相似度超过第一预设相似度的特征以作为参考特征；获取第三特征图中与参考特征相似度超过第二预设相似度的特征，以得到交换特征图；合并交换特征图与第一特征图，以得到第四特征图；将第四特征图放大预定倍数以得到第五特征图；将第五特征图作为初始图像并循环执行上述步骤，直至得到的第五特征图为目标放大倍数，则具有目标放大倍数的第五特征图为目标图像。

[0109] 具体地，请参阅图20，获取初始图像经上采样后的第一特征图(即步骤041)包括：

[0110] 0411：对初始图像进行上采样；

[0111] 0412：将上采样后的初始图像输入到卷积神经网络进行特征提取，得到第一特征图。

[0112] 获取参考图像过上采样和下采样后的第二特征图(即步骤042)包括：

[0113] 0421：对参考图像进行下采样；

[0114] 0422：对下采样后的参考图像进行上采样；

[0115] 0423：将上采样后的所参考图像输入到卷积神经网络进行特征提取，得到第二特征图。

[0116] 获取参考图像未经过上采样和下采样的第三特征图(即步骤043)包括；

[0117] 0431：将参考图像输入到卷积神经网络进行特征提取，得到第三特征图。

[0118] 通过对初始图像进行上采样(放大)处理，在将上采样后的初始图像输入到卷积神经网络中进行特征提取得到第一特征图，第一特征图可理解为初始图像中的人像区域进行放大后的图像，第一特征图中包括人像中的各个特征，例如五官、肤质、头发、轮廓等等。由于第一特征图为直接对初始图像进行放大导致第一特征图的清晰度较低，而参考图像的清晰度是比较高的，因此需要对参考图像先进行下采样(缩小)，在对下采样后的图像进行上采样，以实现参考图像的模糊化处理，提升第二特征图与第一特征图的相似度。第二特征图中也可包括例如五官、肤质、头发、轮廓等特征。直接将参考图像输入到卷积神经网络进行特征提取，得到第三特征图，需要说明的是，卷积神经网络为一个已经过深度学习后的网络，能对输入的图像进行高准确率的特征提取。详细地，卷积神经网络对于一个低分辨率的图像，首先采用双三次插值(bicubic)将低分辨率图像放大成目标尺寸，接着通过三层卷积网络拟合非线性映射，最后输出高分辨率图像结果。卷积神经网络直接学习低分辨率图像到高分辨率图像之间端对端映射，几乎没有优化后的前后期处理。

[0119] 更具体地，将第二特征图和第一特征图中的特征进行对比，判断两者的相似度，并将相似度与一个第一预设相似度进行比较，若相似度大于或等于第一预设相似度，说明第二特征图的该特征与第一特征图的对应特征很像，所以可将第二特征图上的该特征作为参照特征。再将第三特征图与参照特征进行对比，判断两者的相似度，并将相似度超过第二预设相似度进行比较，若相似度大于或等于第二预设相似度，则得到对应的交换特征图。再对交换特征图与第一特征图进行合并，得到第四特征图，再对第四特征图进行放大预定倍数得到第五特征图。对第五特征图的放大倍数进行判断，若放大倍数等于目标放大倍数时，就将该第五特征图作为目标图像(高分辨率图像)。

[0120] 请一并参阅图1、图2、图3和图21，本申请实施方式还提供一种计算机可读存储介质300，其上存储有计算机程序310，程序被处理器230执行的情况下，实现上述任意一种实施方式的图像处理方法的步骤。

[0121] 例如，程序被处理器230执行的情况下，实现以下图像处理方法的步骤：

[0122] 01，获取在预览模式下的N帧预览图像，其中，N为大于0的整数；

[0123] 02，从N帧预览图像中获取一帧作为参考图像；

[0124] 03，获取拍摄时的初始图像；

[0125] 04，根据参考图像对初始图像进行处理，以得到目标图像。

[0126] 计算机可读存储介质300可设置在图像处理装置100或者电子设备200内，也可设置在云端服务器内，此时，图像处理装置100或者电子设备200能够与云端服务器进行通讯来获取到相应的计算机程序310。

[0127] 可以理解，计算机程序310包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。

[0128] 处理器230可以是指驱动板。驱动板可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器230、数字信号处理器230(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。

[0129] 在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

[0130] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

[0131] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

[0132] 尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型，本申请的范围由权利要求及其等同物限定。

标题	发布/更新时间	阅读量
一种基于毫米波雷达和机器视觉的手语识别方法	2020-05-08	790
一种基于云端的模拟物理云台全景视频展示系统	2020-05-08	789
图像处理方法及其装置、电子设备和计算机可读存储介质	2020-05-08	1044
基于安全云数据定向排查安全隐患智能监管系统及其工作方法	2020-05-08	937
一种基于区块链的具有清洁功能的便捷型监控设备	2020-05-08	252
一种用于消防车辆自组网多车组网救援的控制系统	2020-05-08	0
交通信号控制系统	2020-05-11	148
一种基于NAS的人脸识别考勤装置	2020-05-08	367
适用于硬质河岸河流的一体式多维度水体实时监测装置	2020-05-08	969
一种全方位调节角度的网络摄像头	2020-05-08	251

图像处理方法及其装置、电子设备和计算机可读存储介质

图像处理方法及其装置、电子设备和计算机可读存储介质

技术领域

背景技术

具体实施方式

该功能需要专业版企业版VIP权限，您可以：