技术领域
[0001] 本
发明涉及
图像处理技术领域，特别是涉及一种图像超分辨率的方法、装置、电子设备及存储介质。
背景技术
[0002] 目前，
图像采集设备受环境影响以及成本控制等原因，可能采集到很多低分辨率图像，清晰度不高，用户的视觉体验较差。
[0003] 为了提高图像的清晰度，会采用图像超分辨率的方法，对分辨率较低的待处理图像进行处理，以获得分辨率大于该待处理图像分辨率的目标图像。
[0004] 相关技术中，图像超分辨率的方法主要是对待处理图像进行插值处理以获得分辨率大于该待处理图像分辨率的目标图像，例如：最近邻插值、线性插值和三次样条插值等方法对待处理图像进行处理，获得分辨率大于该待处理图像分辨率的目标图像。
[0005] 然而，采用上述图像超分辨率方法，获得的目标图像清晰度仍有待提高。
发明内容
[0006] 本发明
实施例的目的在于提供一种图像超分辨率的方法、装置、电子设备及存储介质，以获得清晰度更高的目标图像。具体技术方案如下：
[0007] 第一方面，本发明实施例提供了一种图像超分辨率的方法，所述方法包括：
[0008] 获取待处理图像；
[0009] 将所述待处理图像分别输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；所述第一超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的
卷积神经网络；所述第二超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的生成式对抗网络中包含的生成网络；所述第一超分辨率网络模型和所述第二超分辨率网络模型的网络结构相同；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
[0010] 获取所述第一超分辨率网络模型输出的第一图像和所述第二超分辨率网络模型输出的第二图像；所述第一图像的分辨率和第二图像的分辨率均大于所述待处理图像的分辨率；
[0011] 将所述第一图像和所述第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
[0012] 可选的，所述第一超分辨率网络模型的训练过程，包括：
[0013] 获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
[0014] 将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
[0015] 基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
[0016] 根据预设的第一损失函数的损失值，判断所述当前卷积神经网络是否收敛；如果是，则将当前卷积神经网络作为训练好的第一超分辨率网络模型；如果否，则调整当前卷积神经网络的网络参数，返
回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
[0017] 可选的，所述第二超分辨率网络模型的训练过程，包括：
[0018] 将所述第一超分辨率网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
[0019] 将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
[0020] 将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
[0021] 根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值；
[0022] 根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
[0023] 将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
[0024] 将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
[0025] 根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
[0026] 根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将
迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为第二超分辨率网络模型。
[0027] 可选的，所述将所述第一图像和所述第二图像进行融合后，获得目标图像的步骤，包括：
[0028] 将所述第一图像的
像素值和所述第二图像的像素值，按照权重进行融合，获得目标图像；所述权重为预先设置的，或所述权重为基于第一图像的分辨率和第二图像的分辨率确定的。
[0029] 可选的，所述将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得目标图像的步骤，包括：
[0030] 按如下公式，将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得融合后的图像作为目标图像：
[0031] img3＝alpha1*img1+(1-alpha1)*img2
[0032] 其中，alpha1为第一图像各个像素点对应的各个像素值的权重，img1为第一图像各个像素点对应的各个像素值，img2为第二图像各个像素点对应的各个像素值，img3为目标图像各个像素点对应的各个像素值；alpha1的取值范围为[0，1]。
[0033] 第二方面，本发明实施例提供了一种图像超分辨率的装置，所述装置包括：
[0034] 待处理图像获取单元，用于获取待处理图像；
[0035] 输入单元，用于将所述待处理图像分别输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；所述第一超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的卷积神经网络；所述第二超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的生成式对抗网络中包含的生成网络；所述第一超分辨率网络模型和所述第二超分辨率网络模型的网络结构相同；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
[0036] 获取单元，用于获取所述第一超分辨率网络模型输出的第一图像和所述第二超分辨率网络模型输出的第二图像；所述第一图像的分辨率和第二图像的分辨率均大于所述待处理图像的分辨率；
[0037] 目标图像获得单元，用于将所述第一图像和所述第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
[0038] 可选的，所述装置还包括：第一超分辨率网络模型训练单元；
[0039] 所述第一超分辨率网络模型训练单元，具体用于：
[0040] 获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
[0041] 将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
[0042] 基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
[0043] 根据预设的第一损失函数的损失值，判断所述当前卷积神经网络是否收敛；如果是，则将当前卷积神经网络作为训练好的第一超分辨率网络模型；如果否，则调整当前卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
[0044] 可选的，所述装置还包括：第二超分辨率网络模型训练单元；
[0045] 所述第二超分辨率网络模型训练单元，具体用于：
[0046] 将所述第一超分辨率网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
[0047] 将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
[0048] 将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
[0049] 根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值；
[0050] 根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
[0051] 将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
[0052] 将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
[0053] 根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
[0054] 根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为第二超分辨率网络模型。
[0055] 可选的，所述目标图像获得单元，具体用于：将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得目标图像；所述权重为预先设置的，或所述权重为基于第一图像的分辨率和第二图像的分辨率确定的。
[0056] 可选的，所述目标图像获得单元，具体用于：
[0057] 按如下公式，将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得融合后的图像作为目标图像：
[0058] img3＝alpha1*img1+(1-alpha1)*img2
[0059] 其中，alpha1为第一图像各个像素点对应的各个像素值的权重，img1为第一图像各个像素点对应的各个像素值，img2为第二图像各个像素点对应的各个像素值，img3为目标图像各个像素点对应的各个像素值；alpha1的取值范围为[0，1]。
[0060] 第三方面，本发明实施例提供了一种电子设备，包括处理器、通信
接口、
存储器和通信总线，其中，处理器，
通信接口，存储器通过通信总线完成相互间的通信；
[0062] 处理器，用于执行存储器上所存放的程序时，实现上述任一图像超分辨率的方法步骤。
[0063] 第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行上述任一图像超分辨率方法的步骤。
[0064] 第五方面，本发明实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的图像超分辨率方法。
[0065] 本发明实施例提供的图像超分辨率的方法、装置、电子设备及存储介质，可以获取待处理图像；将所述待处理图像分别输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；所述第一超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的卷积神经网络；所述第二超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的生成式对抗网络中包含的生成网络；所述第一超分辨率网络模型和所述第二超分辨率网络模型的网络结构相同；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；获取所述第一超分辨率网络模型输出的第一图像和所述第二超分辨率网络模型输出的第二图像；所述第一图像的分辨率和第二图像的分辨率均大于所述待处理图像的分辨率；将所述第一图像和所述第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
[0066] 可见，应用本发明实施例，可以将第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像进行融合后，获得目标图像，目标图像兼顾了第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像的优点，获得的目标图像清晰度较高。
[0067] 当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
[0068] 为了更清楚地说明本发明实施例或
现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0069] 图1为本发明实施例提供的图像超分辨率的方法的一种
流程图；
[0070] 图2为本发明实施例提供的第一超分辨率重建模型的训练方法的一种流程图；
[0071] 图3为本发明实施例提供的第二超分辨率重建模型的训练方法的一种流程图；
[0072] 图4为本发明实施例提供的图像超分辨率的装置的结构示意图；
[0073] 图5为本发明实施例提供的电子设备的结构示意图。
具体实施方式
[0074] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0075] 本发明实施例所提供的图像超分辨率的方法可以应用于任意需要对低分辨率图像进行处理以获得较高分辨率的目标图像的电子设备，如：电脑或移动终端等，在此不做具体限定。为了描述方便，以下简称电子设备。
[0076] 参见图1，为本发明实施例提供的图像超分辨率的方法，如图1所示，该方法的具体处理流程可以包括：
[0077] 步骤S101，获取待处理图像。
[0078] 步骤S102，将所述待处理图像分别输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；所述第一超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的卷积神经网络；所述第二超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的生成式对抗网络中包含的生成网络；所述第一超分辨率网络模型和所述第二超分辨率网络模型的网络结构相同；所述目标样本图像的分辨率大于所述原始样本图像的分辨率。
[0079] 步骤S103，获取所述第一超分辨率网络模型输出的第一图像和所述第二超分辨率网络模型输出的第二图像；所述第一图像的分辨率和第二图像的分辨率均大于所述待处理图像的分辨率。
[0080] 步骤S104，将所述第一图像和所述第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
[0081] 可见，应用本发明实施例，可以将第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像进行融合后，获得目标图像，目标图像兼顾了第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像的优点，获得的目标图像清晰度较高。
[0082] 可实施的，上述步骤S104具体可以为：将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得目标图像；所述权重为预先设置的，或所述权重为基于第一图像的分辨率和第二图像的分辨率确定的。
[0083] 即，至少包含以下两种实施方式。
[0084] 在第一种实施方式中，可以将所述第一图像的像素值和所述第二图像的像素值，按照预先设置的权重，进行加权融合，获得目标图像；
[0085] 具体可以为：按如下公式，将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得融合后的图像作为目标图像：
[0086] img3＝alpha1*img1+(1-alpha1)*img2
[0087] 其中，alpha1为第一图像各个像素点对应的各个像素值的权重，img1为第一图像各个像素点对应的各个像素值，img2为第二图像各个像素点对应的各个像素值，img3为目标图像各个像素点对应的各个像素值；alpha1的取值范围为[0，1]。
[0088] 在第二种实施方式中，可以基于第一图像的分辨率和第二图像的分辨率确定权重，按照所述权重，将所述第一图像的像素值和所述第二图像的像素值，进行融合，获得目标图像。
[0089] 具体的，可以对分辨率较大的图像，取较大的权重值。
[0090] 例如：计算第一图像的分辨率与第二图像的分辨率的目标差值，根据目标差值，按照预设的基于对分辨率较大的图像，取较大的权重值的规则，动态的调整权重。
[0091] 在一个更具体的例子中：可以在目标差值大于第一预设
阈值时，融合时，对第一图像的像素值取第一权重，对第二图像的像素值取第二权重；在目标差值不大于第一预设阈值，对第一图像的像素值取第三权重，对第二图像的像素值取第四权重。
[0092] 可实施的，上述实施例中的第一超分辨率重建模型的训练流程具体可以参见图2；上述实施例中的第二超分辨率重建模型的训练流程具体可以参见图3。
[0093] 参见图2，为本发明实施例提供的第一超分辨率重建模型的训练方法的一种流程图，如图2所示，该方法的具体处理流程可以包括：
[0094] 步骤S201，获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率。
[0095] 也就是说，原始样本图像是低分辨率样本图像，目标样本图像是高分辨率样本图像。
[0096] 可实施的，可以对目标样本图像通过下
采样等方法获得原始样本图像，将该目标样本图像和原始样本图像作为一个训练样本。也可以通过低清相机及高清相机对同一物体在同一
位置进行拍摄获得原始样本图像和对应的目标样本图像，在这里不做具体限定。
[0097] 步骤S202，将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像。
[0098] 本步骤中，第一原始样本图像，可以被称为第一低分辨率样本图像。获得的第一重建目标图像的分辨率大于第一原始样本图像的分辨率。因此，第一重建目标图像，可以被称为第一重建高分辨率图像。
[0099] 可实施的，将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络(Convolutional Neural Networks，CNN)中，获取第一重建目标图像。可实施的，第一预设个数可以为8、16和32等个数，在这里不做具体限定。
[0100] 步骤S203，基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值。
[0101] 本步骤中，第一目标样本图像，也可以被称为第一高分辨率样本图像。
[0102] 可实施的，第一损失函数具体可以为：
[0103]
[0104] 其中，L1为第一损失函数的损失值；
[0105] 为第一重建目标图像I1HR′(也就是第一重建高分辨率图像)的第k个通道的行序号为i和列序号为j的像素点的像素值；例如，一个第一重建高分辨率图像I1HR′用RGB
颜色空间模型表示，像素尺寸为128*128。则该第一重建高分辨率图像I1HR′有3个通道，表示第一个通道时k的值为1；包含128行和128列。如果要表示该第一重建高分辨率图像I1HR′的第一个通道的第一行，第一列的像素点的像素值，则可以表示为
[0106] 为第一目标样本图像I1HR，(也就是第一高分辨率样本图像)的第k个通道的行序号为i和列序号为j的像素点的像素值；
[0107] h1、w1和c1分别为第一重建高分辨率图像的高、宽和通道的个数；h1w1c1为第一重建高分辨率图像的高、宽和通道的个数的乘积。
[0108] 在其他实施例中可以使用其他损失函数，例如，可以用上述L1的公式，也可以用相关技术中的均方差损失函数等均可。本文对第一损失函数的具体公式不做限定。
[0109] 步骤S204，根据预设的第一损失函数的损失值，判断所述当前卷积神经网络是否收敛。
[0110] 如果判断的结果为否，即所述当前卷积神经网络不收敛，则执行步骤S205；如果判断的结果为是，即所述当前卷积神经网络收敛，则执行步骤S206。
[0111] 步骤S205，调整当前卷积神经网络的网络参数。返回执行步骤S202。
[0112] 步骤S206，将当前卷积神经网络作为训练好的第一超分辨率网络模型。
[0113] 对卷积神经网络进行训练获得第一超分辨率网络模型，第一超分辨率网络模型输出的第一图像较为稳定，一般不会出现伪影。
[0114] 进一步的，获得训练好的第一超分辨率网络模型后，可以对生成式对抗网络(Generative Adversarial Networks，GAN)进行训练，将训练好的生成式对抗网络中的生成网络作为第二超分辨率网络模型。具体的，第二超分辨率网络模型的训练流程可以参见图3。
[0115] 如图3所示，为本发明实施例提供的第二超分辨率网络模型的训练方法的一种流程图，可以包括：
[0116] 步骤S301，将所述第一超分辨率网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络。
[0117] 可实施的，对生成式对抗网络(Generative Adversarial Networks，GAN)中的判别网络可以为卷积神经网络，也可以为其它网络。在这里对判别网络的网络结构不做具体限定。对预设卷积神经网络、生成网络和判别网络的网络结构也不做具体限定，可以根据实际需要设置。
[0118] 步骤S302，将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像。
[0119] 本步骤中，第二原始样本图像，可以被称为第二低分辨率样本图像。第二重建目标图像的分辨率大于第二原始样本图像的分辨率，因此，第二重建目标图像，可以被称为第二重建高分辨率图像。
[0120] 可实施的，第二预设个数可以为8、16和32等个数，在这里不做具体限定。
[0121] 步骤S303，将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值。
[0122] 本步骤中，第二目标样本图像，可以被称为第二高分辨率样本图像。
[0123] 步骤S304，根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值。
[0124] 可实施的，预设的第二损失函数具体可以为：
[0125] Dloss＝∑[logD(I2HR)]+∑[1-logD(G(12LR))]；
[0126] 其中，D为判别网络；
[0127] D1oss为判别网络的损失值，即第二损失函数的损失值；
[0128] 12HR为第二目标样本图像，即第二高分辨率样本图像；
[0129] D(I2HR)为将第二高分辨率样本图像输入到当前判别网络中后，获得的第二当前预测概率值；
[0130] I2LR为第二原始样本图像，即第二低分辨率样本图像；
[0131] G(I2LR)为将第二低分辨率样本图像输入到当前生成网络中后，获得的第二重建高分辨率图像；
[0132] D(G(ILR))为将第二重建高分辨率图像输入到当前判别网络中，获得的第一当前预测概率值。
[0133] 步骤S305，根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络。
[0134] 步骤S306，将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像。
[0135] 本步骤中，第三原始样本图像，可以被称为第三低分辨率样本图像。第三重建目标图像的分辨率大于第三原始样本图像的分辨率，因此，第三重建目标图像，可以被称为第三重建高分辨率图像。
[0136] 可实施的，第三预设个数可以为8、16和32等个数，在这里不做具体限定。可实施的，第一预设个数、第二预设个数和第三预设个数可以相同，也可以不同，在这里不做具体限定。
[0137] 步骤S307，将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值。
[0138] 本步骤中，第三目标样本图像，可以被称为第三高分辨率样本图像。
[0139] 步骤S308，根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值。
[0140] 可实施的，预设的第三损失函数具体可以为：
[0141]
[0142] 其中，L1′、 和 分别为按照如下公式计算的损失值；α、β和γ分别为L1′、和 的权重系数；
[0143]
[0144] 其中，L1′为第三损失函数中L1′损失函数的损失值；
[0145] 为第三重建目标图像I3HR′，(也就是第三重建高分辨率图像)的第k个通道的行序号为i和列序号为j的像素点的像素值；
[0146] 为第三目标样本图像I3HR，(也就是第三高分辨率样本图像)的第k个通道的行序号为i和列序号为j的像素点的像素值；
[0147] h2、w2和c2分别为第三重建高分辨率图像的高、宽和通道的个数；h2w2c2为第三重建高分辨率图像的高、宽和通道的个数的乘积。
[0148]
[0149] 其中， 为第三损失函数中 损失函数的损失值；
[0151] i为滤波器位于相关技术中预先训练好的VGG网络模型的层数；j表示滤波器位于VGG网络模型中该层的第j个；
[0152] Wi,j为VGG网络模型中第i层的第j个滤波器的宽；
[0153] Hi,j为VGG网络模型中第i层的第j个滤波器的高；
[0154] 为相关技术中预先训练好的VGG网络模型的第i层第j个滤波器在第三高分辨率样本图像I3HR的行序号为x，列序号为为y对应位置处的特征值；
[0155] 为相关技术中预先训练好的VGG网络模型的第i层第j个滤波器在第三重建高分辨率图像G(I3LR)的横坐标为x，纵坐标为y对应位置处的特征值；I3LR为第三原始样本图像，也就是第三低分辨率样本图像。
[0156]
[0157] 其中， 为第三损失函数中 损失函数的损失值；
[0158] I3LR为第三原始样本图像，也就是第三低分辨率样本图像；
[0159] D(G(I3LR))为当前中间判别网络对第三重建高分辨率图像G(I3LR)进行判别后，输出的第三当前预测概率值。
[0160] 步骤S309，根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次。
[0161] 步骤S310，判断是否达到预设的迭代次数。
[0162] 可实施的，预设的迭代次数可以为100次、200次和1000次等迭代次数，在这里不做具体限定。
[0163] 如果判断的结果为否，即没达到预设的迭代次数，则返回执行步骤S302；如果判断的结果为是，即达到预设的迭代次数，则执行步骤S311。
[0164] 步骤S311，将训练后的当前生成网络作为第二超分辨率网络模型。
[0165] 对生成式对抗网络进行训练获得第二超分辨率网络模型，第二超分辨率网络模型输出的第二图像可以生成更多的高频信息，具有更多的图像细节。
[0166] 训练好的第一超分辨率网络模型的优点是生成的图像较为稳定，缺点是图像缺失部分高频信息，训练好的第二超分辨率网络模型的优点是生成的图像包含更多的高频信息，缺点是图像可能出现伪影，不够稳定。
[0167] 将第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像进行融合，融合后的目标图像可以包含更多的高频信息，具有更多的图像细节；又较为稳定，平衡了图像的伪影问题。因此，目标图像的清晰度较高。
[0168] 本发明实施例提供的图像超分辨率的装置的结构示意图，如图4所示，所述装置包括：
[0169] 待处理图像获取单元401，用于获取待处理图像；
[0170] 输入单元402，用于将所述待处理图像分别输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；所述第一超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的卷积神经网络；所述第二超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的生成式对抗网络中包含的生成网络；所述第一超分辨率网络模型和所述第二超分辨率网络模型的网络结构相同；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
[0171] 获取单元403，用于获取所述第一超分辨率网络模型输出的第一图像和所述第二超分辨率网络模型输出的第二图像；所述第一图像的分辨率和第二图像的分辨率均大于所述待处理图像的分辨率；
[0172] 目标图像获得单元404，用于将所述第一图像和所述第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
[0173] 可选的，所述装置还包括：第一超分辨率网络模型训练单元；
[0174] 所述第一超分辨率网络模型训练单元，具体用于：
[0175] 获取训练样本集；所述训练样本集中包含多个训练样本；其中，每个训练样本包含：原始样本图像和对应的目标样本图像；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
[0176] 将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像；
[0177] 基于所述各个第一重建目标图像、所述各个第一原始样本图像对应的各个第一目标样本图像和预设的第一损失函数，计算损失值；
[0178] 根据预设的第一损失函数的损失值，判断所述当前卷积神经网络是否收敛；如果是，则将当前卷积神经网络作为训练好的第一超分辨率网络模型；如果否，则调整当前卷积神经网络的网络参数，返回执行所述将所述训练样本集中的第一预设个数的第一原始样本图像输入到当前卷积神经网络中，获取各个第一原始样本图像对应的各个第一重建目标图像的步骤。
[0179] 可选的，所述装置还包括：第二超分辨率网络模型训练单元；
[0180] 所述第二超分辨率网络模型训练单元，具体用于：
[0181] 将所述第一超分辨率网络模型的网络参数作为生成式对抗网络中的生成网络的初始参数，获得当前生成网络；并设置生成式对抗网络中的判别网络的初始参数，获得当前判别网络；
[0182] 将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像；
[0183] 将所述各个第二重建目标图像输入到当前判别网络中，获得所述各个第二重建目标图像为第二目标样本图像的各个第一当前预测概率值；以及将所述各个第二原始样本图像对应的各个第二目标样本图像输入到当前判别网络中，获得所述各个第二目标样本图像为第二目标样本图像的各个第二当前预测概率值；
[0184] 根据所述各个第一当前预测概率值、所述各个第二当前预测概率值、是否为第二目标样本图像的真实结果和预设的第二损失函数，计算损失值；
[0185] 根据预设的第二损失函数的损失值，调整所述当前判别网络的网络参数，获得当前中间判别网络；
[0186] 将所述训练样本集中的第三预设个数的第三原始样本图像输入到当前生成网络中，获取各个第三原始样本图像对应的各个第三重建目标图像；
[0187] 将所述各个第三重建目标图像输入到所述当前中间判别网络中，获得所述各个第三重建目标图像为第三目标样本图像的各个第三当前预测概率值；
[0188] 根据所述各个第三当前预测概率值、是否为第三目标样本图像的真实结果、所述第三原始样本图像对应的各个第三目标样本图像、各个第三重建目标图像和预设的第三损失函数，计算损失值；
[0189] 根据第三损失函数的损失值，调整所述当前生成网络的网络参数，将迭代次数加1次，返回执行所述将所述训练样本集中的第二预设个数的第二原始样本图像输入到当前生成网络中，获取各个第二原始样本图像对应的各个第二重建目标图像的步骤，直到达到预设的迭代次数，将训练后的当前生成网络作为第二超分辨率网络模型。
[0190] 可选的，所述目标图像获得单元，具体用于：将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得目标图像；所述权重为预先设置的，或所述权重为基于第一图像的分辨率和第二图像的分辨率确定的。
[0191] 可选的，所述目标图像获得单元，具体用于：
[0192] 按如下公式，将所述第一图像的像素值和所述第二图像的像素值，按照权重进行融合，获得融合后的图像作为目标图像：
[0193] img3＝alpha1*img1+(1-alpha1)*img2
[0194] 其中，alpha1为第一图像各个像素点对应的各个像素值的权重，img1为第一图像各个像素点对应的各个像素值，img2为第二图像各个像素点对应的各个像素值，img3为目标图像各个像素点对应的各个像素值；alpha1的取值范围为[0，1]。
[0195] 可见，应用本发明实施例，可以将第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像进行融合后，获得目标图像，目标图像兼顾了第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像的优点，获得的目标图像清晰度较高。
[0196] 本发明实施例还提供了一种电子设备，如图5所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
[0197] 存储器503，用于存放计算机程序；
[0198] 处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
[0199] 获取待处理图像；
[0200] 将所述待处理图像分别输入到预先训练好的第一超分辨率网络模型和第二超分辨率网络模型；所述第一超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的卷积神经网络；所述第二超分辨率网络模型为用多个原始样本图像和对应的目标样本图像训练好的生成式对抗网络中包含的生成网络；所述第一超分辨率网络模型和所述第二超分辨率网络模型的网络结构相同；所述目标样本图像的分辨率大于所述原始样本图像的分辨率；
[0201] 获取所述第一超分辨率网络模型输出的第一图像和所述第二超分辨率网络模型输出的第二图像；所述第一图像的分辨率和第二图像的分辨率均大于所述待处理图像的分辨率；
[0202] 将所述第一图像和所述第二图像进行融合后，获得目标图像，其中，所述目标图像的分辨率大于所述待处理图像的分辨率。
[0203] 可见，应用本发明实施例，可以将第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像进行融合后，获得目标图像，目标图像兼顾了第一超分辨率网络模型输出的第一图像和第二超分辨率网络模型输出的第二图像的优点，获得的目标图像清晰度较高。
[0204] 上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线可以分为
地址总线、
数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0205] 通信接口用于上述电子设备与其他设备之间的通信。
[0206] 存储器可以包括
随机存取存储器(Random Access Memory，RAM)，也可以包括
非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
[0207] 上述的处理器可以是通用处理器，包括
中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字
信号处理器(Digital Signal Processing，DSP)、专用集成
电路(Application Specific Integrated Circuit，ASIC)、现场可编程
门阵列(Field-Programmable Gate Array，FPGA)或者其他
可编程逻辑器件、分立门或者晶体管逻辑器件、分立
硬件组件。
[0208] 在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一图像超分辨率方法的步骤。
[0209] 在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一图像超分辨率方法。
[0210] 在上述实施例中，可以全部或部分地通过
软件、硬件、
固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、
计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个
网站站点、计算机、
服务器或
数据中心通过有线(例如同轴
电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、
微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是
磁性介质，(例如，
软盘、
硬盘、磁带)、光介质(例如，DVD)、或者
半导体介质(例如固态硬盘Solid State Disk(SSD))等。
[0211] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0212] 本
说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质及计算机程序产品等实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0213] 以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何
修改、等同替换、改进等，均包含在本发明的保护范围内。
