一种基于双向对抗网络的图像超分辨率重建方法专利检索-图像比例显示技术专利检索查询-专利查询网

一种基于双向对抗网络的图像超分辨率重建方法

阅读：263发布：2020-05-11

专利汇可以提供一种基于双向对抗网络的图像超分辨率重建方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种基于双向对抗网络的图像超分辨率重建方法，首先对输入的图像数据进行数据增强；然后将数据增强后的图像数据进行预处理；接着搭建下采样网络与重建网络；然后训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；最后将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。本发明可以处理现实生活由于多种噪声及运动干扰产生的低分辨率图像，恢复出细节清晰的高分辨率图像。，下面是一种基于双向对抗网络的图像超分辨率重建方法专利的具体信息内容。

权利要求

1.一种基于双向对抗网络的图像超分辨率重建方法，其特征在于，包括以下步骤：
对输入的图像数据进行数据增强；
将数据增强后的图像数据进行预处理，将处理后的数据分为训练集与测试集；
搭建下采样网络与重建网络；
训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；
将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。
2.根据权利要求1所述的一种基于双向对抗网络的图像超分辨率重建方法，其特征在于，所述对输入的图像数据进行数据增强具体为：将原始训练图像集的图像切分成224x224的小图像，同时将小图像分别随机旋转90°、180°，再按比例分别缩放0.8、0.9倍，增强之后图片数量增加到原来的10倍。
3.根据权利要求1所述的一种基于双向对抗网络的图像超分辨率重建方法，其特征在于，所述将数据增强后的图像数据进行预处理具体为：将每一张图像的像素值减去所有图像像素的均值并除以所有图像像素的标准差，其公式为：
x＝(x-μ)/σ；
式中，x为一张图像的像素值，μ为所有图像像素的均值，σ为所有图像像素的标准差。
4.根据权利要求1所述的一种基于双向对抗网络的图像超分辨率重建方法，其特征在于，所述搭建下采样网络具体包括以下步骤：
构建下采样网络的生成器，该生成器由特征提取层、残差块、下采样层组成；
构建下采样网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。
5.根据权利要求1所述的一种基于双向对抗网络的图像超分辨率重建方法，其特征在于，所述搭建重建网络具体包括以下步骤：
构建重建网络的生成器，该生成器由特征提取层、残差块、亚像素卷积层组成；
构建重建网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。
6.根据权利要求1所述的一种基于双向对抗网络的图像超分辨率重建方法，其特征在于，所述训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络具体为：
将训练集中的高分辨率图片HR输入下采样网络的生成器，生成低分辨率图片LR，将生成的低分辨率图片LR输入重建网络的生成器得到重建的高分辨率图像SR，将生成的低分辨率图片LR与训练集中的低分辨率图片LR’输入下采样网络的判别器，将重建的高分辨率图像SR与训练集中的高分辨率图片HR输入重建网络的判别器；
其中，下采样网络采用对抗损失反向优化网络，其损失函数为：
式中，D表示下采样网络的判别器，G代表下采样网络的生成器，N代表了图像的数量，xi表示真实的标签高分辨率图片；
其中，重建网络采用像素损失及对抗损失反向优化网络，其损失函数为对抗损失与像素损失之和，其中像素损失函数L1与对抗损失函数L2分别为：
式中，N表示图像块数量，表示重建的超分辨率图像，xi表示真实的标签高分辨率图片，D表示重建网络的判别器，G代表重建网络的生成器；
当下采样网络的损失函数与重建网络的损失函数均达到最小时训练结束，得到优化后的下采样网络与重建网络。

说明书全文

一种基于双向对抗网络的图像超分辨率重建方法

技术领域

[0001] 本发明涉及图像处理技术领域，特别是一种基于双向对抗网络的图像超分辨率重建方法。

背景技术

[0002] 图像超分辨率(Super-Resolution，SR)重建技术旨在从一幅或多幅低分辨率图像重建出一幅高分辨率图像。超分辨率重建属于低层计算机视觉领域中的经典问题，对于给定的任何一个低分辨率像素图像存在多幅与之对应的高分辨率图像，这是一个典型的病态逆问题，具有严重不适定性，解决这个问题需要先验信息。

[0003] 卷积神经网络(Convolutional neural network,CNNs)能够获得图像的高频特征、强化细节信息，并且特别擅长获取图像像素在小领域范围内的相关性信息。将卷积神经网络应用与图像超分辨率重建中，并取得了很好的效果。

[0004] 基于深度学习的图像重建方法，如SRCNN、FSRCNN、VDSR等。这些方法生成的结果虽然都具有较高的PSNR等客观评测指标，但其生成的结果大多过于平滑致使缺少一些关键的图像细节信息，同时这些方法获取低分辨率图像的方法是简单的通过人为假定的下采样过程获得，比如双三次插值(Bicubic)，无法处理现实生活中由于各种模糊及运动干扰的低分辨率图像。

发明内容

[0005] 有鉴于此，本发明的目的是提出一种基于双向对抗网络的图像超分辨率重建方法，可以处理现实生活由于多种噪声及运动干扰产生的低分辨率图像，恢复出细节清晰的高分辨率图像。

[0006] 本发明采用以下方案实现：一种基于双向对抗网络的图像超分辨率重建方法，包括以下步骤：

[0007] 对输入的图像数据进行数据增强；

[0008] 将数据增强后的图像数据进行预处理，将处理后的数据分为训练集与测试集；

[0009] 搭建下采样网络与重建网络；

[0010] 训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；

[0011] 将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。

[0012] 进一步地，所述对输入的图像数据进行数据增强具体为：将原始训练图像集的图像切分成224x224的小图像，同时将小图像分别随机旋转90°、180°，再按比例分别缩放0.8、0.9倍，增强之后图片数量增加到原来的10倍。

[0013] 进一步地，所述将数据增强后的图像数据进行预处理具体为：将每一张图像的像素值减去所有图像像素的均值并除以所有图像像素的标准差，其公式为：

[0014] x＝(x-μ)/σ；

[0015] 式中，x为一张图像的像素值，μ为所有图像像素的均值，σ为所有图像像素的标准差。

[0016] 进一步地，所述搭建下采样网络具体包括以下步骤：

[0017] 构建下采样网络的生成器，该生成器由特征提取层、残差块、下采样层组成；

[0018] 构建下采样网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。

[0019] 进一步地，所述搭建重建网络具体包括以下步骤：

[0020] 构建重建网络的生成器，该生成器由特征提取层、残差块、亚像素卷积层组成；

[0021] 构建重建网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。

[0022] 进一步地，所述训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络具体为：

[0023] 将训练集中的高分辨率图片HR输入下采样网络的生成器，生成低分辨率图片LR，将生成的低分辨率图片LR输入重建网络的生成器得到重建的高分辨率图像SR，将生成的低分辨率图片LR与训练集中的低分辨率图片LR’输入下采样网络的判别器，将重建的高分辨率图像SR与训练集中的高分辨率图片HR输入重建网络的判别器；

[0024] 其中，下采样网络采用对抗损失反向优化网络，其损失函数为：

[0025]

[0026] 式中，D表示下采样网络的判别器，G代表下采样网络的生成器，N代表了图像的数量，xi表示真实的标签高分辨率图片；

[0027] 其中，重建网络采用像素损失及对抗损失反向优化网络，其损失函数为对抗损失与像素损失之和，其中像素损失函数L1与对抗损失函数L2分别为：

[0028]

[0029]

[0030] 式中，N表示图像块数量，表示重建的超分辨率图像，xi表示真实的标签高分辨率图片，D表示重建网络的判别器，G代表重建网络的生成器；

[0031] 当下采样网络的损失函数与重建网络的损失函数均达到最小时训练结束，得到优化后的下采样网络与重建网络。

[0032] 与现有技术相比，本发明有以下有益效果：本发明采用改进的双向生成对抗网络对低分辨率图片进行重建，使用下采样网络模拟生成现实生活的模糊低分辨率图片以取代人为假定的下采样过程，同时采用重建网络对生成的模糊低分辨率图片进行重建。本发明的方法可以处理现实生活由于多种噪声及运动干扰产生的低分辨率图像，恢复出细节清晰的高分辨率图像。附图说明

[0033] 图1为本发明实施例的方法流程示意图。

[0034] 图2为本发明实施例的训练过程图。

具体实施方式

[0035] 下面结合附图及实施例对本发明做进一步说明。

[0036] 应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。

[0037] 需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

[0038] 如图1所示，本实施例提供了一种基于双向对抗网络的图像超分辨率重建方法，包括以下步骤：

[0039] 对输入的图像数据进行数据增强；

[0040] 将数据增强后的图像数据进行预处理；

[0041] 搭建下采样网络与重建网络；

[0042] 训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络；

[0043] 将待测试的低分辨率图片输入到优化后的重建网络中，得到高分辨率输出图像。

[0044] 在本实施例中，所述对输入的图像数据进行数据增强具体为：将原始训练图像集的图像切分成224x224的小图像，同时将小图像分别随机旋转90°、180°，再按比例分别缩放0.8、0.9倍，增强之后图片数量增加到原来的10倍。

[0045] 在本实施例中，所述将数据增强后的图像数据进行预处理具体为：将每一张图像的像素值减去所有图像像素的均值并除以所有图像像素的标准差，其公式为：

[0046] x＝(x-μ)/σ；

[0047] 式中，x为一张图像的像素值，μ为所有图像像素的均值，σ为所有图像像素的标准差。

[0048] 在本实施例中，所述搭建下采样网络具体包括以下步骤：

[0049] 构建下采样网络的生成器，该生成器由特征提取层、残差块、下采样层组成；

[0050] 构建下采样网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。

[0051] 在本实施例中，所述搭建重建网络具体包括以下步骤：

[0052] 构建重建网络的生成器，该生成器由特征提取层、残差块、亚像素卷积层组成；

[0053] 构建重建网络的判别器，该判别器由卷积层组成，最后卷积层用了Sigmiod激活函数。

[0054] 如图2所示，在本实施例中，所述训练所述下采样网络与重建网络，基于对抗损失及像素损失反向优化下采样网络及重建网络具体为：

[0055] 将训练集中的高分辨率图片HR输入下采样网络的生成器，生成低分辨率图片LR，将生成的低分辨率图片LR输入重建网络的生成器得到重建的高分辨率图像SR，将生成的低分辨率图片LR与训练集中的低分辨率图片LR’输入下采样网络的判别器，将重建的高分辨率图像SR与训练集中的高分辨率图片HR输入重建网络的判别器；

[0056] 其中，下采样网络采用对抗损失反向优化网络，其损失函数为：

[0057]

[0058] 式中，D表示下采样网络的判别器，G代表下采样网络的生成器，N代表了图像的数量，xi表示真实的标签高分辨率图片；

[0059] 其中，重建网络采用像素损失及对抗损失反向优化网络，其损失函数为对抗损失与像素损失之和，其中像素损失函数L1与对抗损失函数L2分别为：

[0060]

[0061]

[0062] 式中，N表示图像块数量，表示重建的超分辨率图像，xi表示真实的标签高分辨率图片，D表示重建网络的判别器，G代表重建网络的生成器；

[0063] 当下采样网络的损失函数与重建网络的损失函数均达到最小时训练结束，得到优化后的下采样网络与重建网络。

[0064] 以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

标题	发布/更新时间	阅读量
一种人群表演评测系统	2020-05-08	73
半导体测试结构及测试方法	2020-05-08	171
一种基于深度学习的闸瓦插销丢失检测方法	2020-05-08	524
拍摄方法和电子设备	2020-05-08	136
一种基于北斗卫星导航定位的特种运输车报警系统	2020-05-08	262
一种基于双向对抗网络的图像超分辨率重建方法	2020-05-11	263
一种自动化在线学习智能辅助标注医学影像的方法和系统	2020-05-08	338
基于人工智能的多场景消化道内镜图像识别方法及系统	2020-05-08	296
一种针对多标签分类数据不均衡问题的采样方法	2020-05-11	882
一种基于深度学习的道路病害检测方法	2020-05-11	580

一种基于双向对抗网络的图像超分辨率重建方法

一种基于双向对抗网络的图像超分辨率重建方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：