技术领域
[0001] 本
发明涉及数字
图像处理领域，具体涉及一种基于双判别器的生成对抗网络的图像超分辨率方法。
背景技术
[0002] 图像是人类社会中传递信息的最主要载体，图像处理领域有着重大的研究价值。在数字成像应用里，拥有高分辨率的图像尤为必要。在实际应用中，由于种种内在限制或外在影响，可能难以获得高分辨率的图像。最直接的改进方法是从成像
硬件的
角度进行改进，但高分辨率的光学
传感器成本昂贵。从
软件的角度改进，使用超分辨率
算法高效、快速执行对低质图像的超分辨率具有普适性好、效率高的特点，有着广泛的使用前景。
[0003] 图像超分辨率方法主要有三类，分别是基于插值、基于建模和基于学习的方法，基于学习的方法可以分为基于稀疏表示的方法和基于
卷积神经网络的方法。基于插值的方法具有计算效率高的特点，但很容易丢失高频纹理细节信息。基于建模的方法利用先验信息约束解空间，效果相比基于插值的方法有一定的提升，但当输入图像尺寸较小时，能有效利用的先验信息较少，超分辨率效果比较差。基于学习的方法通过学习低、高分辨率图像之间内在关系，实现超分辨率。近年来，基于卷积神经网络的超分辨率方法取得了较高的
精度。然而，卷积神经网络的卷积核平等地对待特征图的每一通道和区域，降低了网络含有丰富高频信息的通道和区域的特征表达能
力。除此之外，常规卷积神经网络存在梯度消失和网络退化问题。
发明内容
[0004] 本发明的目的就是针对
现有技术的
缺陷，提供一种基于双判别器的生成对抗网络的图像超分辨率方法，生成式网络在残差神经网络中引入混合注意力机制，在降低网络训练难度的同时增强网络的特征表达能力，
加速网络收敛，提升网络性能；对抗网络通过两个分别工作在
像素域和特征图域中的判别器约束生成式网络训练，进一步提升超分辨率的精度。
[0005] 本发明提供了一种基于双判别器的生成对抗网络的图像超分辨率方法，其特征在于所述的基于双判别器的生成对抗网络包括基于残差神经网络和混合注意力机制的生成式网络和含有双判别器的对抗网络，该方法包括以下步骤：
[0006] a.训练阶段，构建训练样本；
[0007] b.将训练样本输入生成式网络，生成式网络输出高分辨率图像；
[0008] c.高分辨率图像输入对抗网络；对抗网络包括两个判别器，分别在像素域和特征图域中判别输入至判别器的图像是真实高分辨率图像还是生成式网络生成的高分辨率图像；
[0009] d.生成式网络和对抗网络中的两个判别器依次、交替对抗学习，联合生成式网络的基于L1范数的Charbonnier损失及对抗网络中的两个判断器分别对生成式网络的损失，约束生成式网络训练直至达到收敛；
[0010] e.测试阶段输入低分辨率的图像至训练好的生成式网络模型，超分辨重建出最终的高分辨率图像。
[0011] 上述技术方案中，所述生成式网络包括特征提取单元、非线性映射单元和亚像素卷积上
采样单元，特征提取单元通过卷积操作
抽取输入低分辨率图像的特征表示，再输入至后续的非线性映射单元；非线性映射单元通过级联的若干个基本单元，提取更深层次的特征如边缘特征、区域特征等，并进行特征的非线性映射，再输入后续的亚像素卷积单元；亚像素卷积单元对特征图进行快速像素重排操作，得到最终输出的高分辨率图像。
[0012] 上述技术方案中，所述生成式网络中的非线性映射单元包括32个级联的基本单元；每个基本单元由级联的卷积层、激活层、卷积层、混合注意力
块组成，还包括将基本单元的输入传输至基本单元的输出的局部跳连结构；非线性映射单元还包括全局跳连结构，将顶层的基本单元的输入传输至底层的基本单元的输出，使网络学习输入、输出特征图之间的残差，改善梯度消失和网络退化问题、降低训练深层网络的难度。
[0013] 上述技术方案中，所述混合注意力块由级联的卷积层、激活层组成；针对输入的特征图一步学习相应的描述符，描述符用于给不同通道和不同区域赋不同的权值，增强网络的特征表达能力。
[0014] 上述技术方案中，所述在像素域中判别指直接输入生成式网络的输出图像至一个判别器，判别是真实高分辨率图像还是生成式网络生成的高分辨率图像；
[0015] 在特征图域中判别指先将生成器网络的输出图像输入至 VGG-19网络，得到第五次最大
池化之前，第四次卷积之后的未激活的特征图，并以此作为另一个判别器的输入，判别当前的输入特征图属于真实高分辨率图像还是属于生成式网络生成的高分辨率图像。
[0016] 上述技术方案中，所述每个判别器通过神经网络拟合，由级联的8个基本单元、线性回归单元、激活单元、线性回归单元组成，每个基本单元内由级联的卷积层、批标准化单元、激活单元组成。
[0017] 上述技术方案中，所述每个判别器使用Wasserstein距离衡量真实数据分布与生成样本分布的相似度，相似度的表达式为：
[0018]
[0019] 其中，Pr为真实分布，Pg为样本分布，γ～Π(Pr,Pg)为真实与生成样本的联合分布， 为服从真实与生成样本分布的联合分布γ的条件下，将真实分布x变换为生成分布 所需要的代价，inf为取下界的符号，W(Pr,Pg)为这一“代价”的最小值； Wasserstein距离无法直接求解，根据Kantorovich-Rubinstein 对偶性，将Wasserstein距离的求解近似转换为寻找一个满足 Lipschitz连续条件的连续函数f(g)，使得：
[0020]
[0021] 其中f(g)为满足Lipschitz连续条件的连续函数，K为 Lipschitz常数。
[0022] 采用权值裁剪的方式保证f(g)满足Lipschitz连续条件。
[0023] 上述技术方案中，所述采用基于L1范数的Charbonnier 损失L1-Charbonnier-Loss，量化超分辨得到的高分辨率图像和真实高分辨率图像的相似程度，训练过程采用小批量 (mini-batch)学习；生成式网络采用的损失函数的表达式为：
[0024]
[0025] 其中 ε取10-6，IHR为真实的高分辨率图像，ISR为执行超分辨率得到的高分辨率图像，H,W,C分别为输入图像的尺寸和通道数，n为小批量(mini-batch)学习的数目，Iv,i,j,为第v张图像的第k通道的
位置为(i,j)的像素值；
[0026] 工作在像素域中的判别器对生成式网络的损失 与工作在特征图域中的判别器对生成器的损失 的表达式分别为：
[0027]
[0028]
[0029] 其中DWGAN为判别器的抽象函数，x～pg指样本x服从生成样本数据分布，其中x～pr指样本x服从真实数据分布，VGG(.)得到经过VGG-19网络第五次最大池化之前，第四次卷积之后的未激活的特征图；
[0030] 联合生成式网络的基于L1范数的Charbonnier损失及双判别器对生成式网络的损失，训练网络模型直至达到收敛，生成器的损失函数由三部分加权组成，表达式为：
[0031]
[0032] 其中λ1,λ2为平衡基于L1范数的Charbonnier损失和基于 Wasserstein距离的双判别器分别对生成式网络的损失因子，网络在训练阶段的目标是最小化损失函数LG，LG越小，执行超分辨率得到的高分辨率图像与真实高分辨率图像的差异越小，超分辨率的效果越好，精度越高。
[0033] 上述技术方案中，所述步骤a包括对输入图像进行裁剪，对裁剪得到的子图进行双三次
下采样操作，得到对应的低分辨率图像，使用旋转、镜像等数据增强手段获取更多的训练样本。
[0034] 本发明与现有技术相比的优点在于：
[0035] 本发明中生成式网络基于混合注意力机制，在网络结构中添加该单元可以加速网络收敛，增强特征表示能力，提升网络的性能；
[0036] 本发明中生成式网络基于残差神经网络，基本单元内添加了局部跳连结构，同时引入全局跳连结构直接将网络顶层和底层连接起来，学习残差，改善梯度消失和网络退化问题、降低训练深层网络的难度，提升网络性能；
[0037] 本发明中基于双判别器的对抗网络使用Wasserstein距离衡量真实数据分布与生成样本分布的相似度，相比原始生成式对抗网络收敛性好，改善了训练不稳定、梯度消失与模型坍塌问题。本发明在原始基于Wasserstein距离的生成式对抗网络的
基础上，新增了一个工作在特征图域中的判别器，该判别器在特征图域中判别当前的输入特征图属于真实高分辨率图像还是属于生成式网络生成的高分辨率图像，约束生成式网络的生成结果。
附图说明
[0038] 图1是本发明中混合注意力机制单元的结构图。
[0039] 图2是本发明提出的基于残差混合注意力机制的生成式网络的基本单元结构图。
[0040] 图3是本发明提出的基于残差混合注意力机制的生成式网络的整体网络结构图。
[0041] 图4是本发明提出的基于Wasserstein距离的双判别器生成式对抗网络的网络结构图。
[0042] 图5是本发明的整体网络结构图。
[0043] 图6是本发明超分辨率2倍得到的图像效果图。
具体实施方式
[0044] 下面结合附图和具体
实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。
[0045] 本发明提供了一种基于双判别器的生成对抗网络的图像超分辨率方法，超分辨率图像生成对抗网络包括基于残差混合注意力机制的生成式网络和基于双判别器的生成式对抗网络，该方法包括以下步骤：
[0046] 第一步，对输入图像进行预处理，数据增强，构建训练样本：
[0047] 所述的预处理、数据增强，具体实施方式为对输入图像进行裁剪，裁剪为大小为96×96的子图，使用Matlab的imresize 函数对裁剪得到的子图进行双三次下采样操作，得到对应的大小为48×48的低分辨率图像，使用数据增强如旋转、镜像等，获取更多的训练样本。
[0048] 第二步，将训练样本输入生成式网络，生成式网络输出高分辨率图像；
[0049] 所述生成式网络包括特征提取单元、非线性映射单元和亚像素卷积上采样单元，特征提取单元通过卷积操作抽取输入低分辨率图像的特征表示，再输入至后续的非线性映射单元；非线性映射单元通过级联的若干个基本单元，提取更深层次的特征如边缘特征、区域特征等，并进行特征的非线性映射，再输入后续的亚像素卷积单元；亚像素卷积单元对特征图进行快速像素重排操作，得到最终输出的高分辨率图像。
[0050] 本发明的整体网络结构图如图5所示，生成式网络分为五个阶段，分别为特征提取，特征非线性映射，特征
降维，亚像素卷积上采样，卷积得到最终的输出；输出的高分辨率图像输入至工作在像素域和工作在特征图域中的两个判别器，得到双判别器各自对生成式网络的损失
[0051] 上述技术方案中，所述非线性映射单元包括32个级联的基本单元；每个基本单元由级联的卷积层、激活层、卷积层、混合注意力块组成，还包括将基本单元的输入传输至基本单元的输出的局部跳连结构；非线性映射单元还包括全局跳连结构，将顶层的基本单元的输入传输至和底层的基本单元的输出，学习输入、输出特征图之间的残差，学习输入、输出特征图之间的残差，改善梯度消失和网络退化问题、降低训练深层网络的难度。所述混合注意力块由级联的卷积层、激活层组成；针对输入的特征图一步学习相应的描述符，描述符用于给不同通道和不同区域赋不同的权值，增强网络的特征表达能力。
[0052] 如图1所示，所述的混合注意力块内有2个级联的卷积层、激活层。提出的混合注意力块由级联的卷积、激活层组成，该机制单元针对输入的特征图一步学习相应的描述符，与分阶段针对不同通道和不同区域分别学习相应的描述符相比，参数更少，效率更高。
[0053] 输入、输出特征图的维度均为H*W*C，conv为卷积操作， RELU与Sigmoid为两种不同的激活函数，为Hadamard乘积。输入维度为H*W*C的特征图，经过两次级联的卷积、激活，得到维度为H*W*C的描述符：
[0054]
[0055] 其中W1为第一层卷积的参数，第一层卷积执行因子为16 的特征图通道数降维，得到维度为H*W*C/16的特征图，δ(g)为 RELU激活操作，W2为第二层卷积的参数，第二次卷积执行因子为16的特征图通道数升维，f(g)为Sigmoid激活操作。两次卷积、激活对通道维度进行通道数降维和升维，学习C个对应不同通道的描述矩阵 其中i＝0,1,2...C，自适应地将更稀疏的描述矩阵赋给含有大量冗余低频信息的通道，使得神经网络更加关注含有丰富高频信息的通道。每个描述矩阵τi的大小为H*W，对应原输入图像第i通道的每个元素。经过两次卷积、激活，原输入图像含有丰富高频信息的区域得以保留，含有大量冗余低频信息的区域被抑制，将得到的描述符τi与原输入第i通道进行Hadamard乘积，使得神经网络更加关注第i通道内含有丰富高频信息的区域。综上所述，将描述符τ与原输入Hadamard相乘，得到通过混合注意力块的特征表示。
[0056] 所述的基于残差混合注意力机制的生成式网络的基本单元结构图如图2所示，其中RELU与Sigmoid为两种不同的激活函数，为Hadamard乘积，为逐像素相加。基本单元由级联的卷积、激活、卷积、混合注意力块组成，基本单元内添加了局部跳连结构(Local skip connection)，改善梯度消失与网络退化问题。具体来说，输入基本单元的特征图，先进行卷积操作，获得更深层次的特征表示，卷积层的参数设置为3×3×256× 256，即256个大小为3×3的卷积核，每个卷积核的通道数为 256，卷积操作的步长为1，在边缘使用补零操作，用以保持输入输出特征图的尺寸一致。卷积得到的特征图再经过混合注意力块，再输出至级联的下一级基本单元提取更深层次的特征。
[0057] 所述的基于残差混合注意力机制的生成式网络的整体网络结构图如图3所示，整体网络结构由三个部分组成，分别是特征提取、非线性映射和亚像素卷积上采样。特征提取单元由卷积层组成，卷积核参数设置为3×3×3×256，即256个大小为3×3的卷积核，每个卷积核的通道数为3。非线性映射阶段单元由32个级联的基本单元组成，基本单元内添加了局部跳连结构，同时引入全局跳连结构直接将网络顶层和底层连接起来，学习残差，改善梯度消失和网络退化问题、降低训练深层网络的难度；最后使用亚像素卷积层和卷积完成上采样，得到最终输出的高分辨率图像。
[0058] 第三步，高分辨率图像输入生成式对抗网络；生成式对抗网络包括两个判别器，分别在像素域和特征图域中判别输入图像是真实高分辨率图像还是生成式网络生成的高分辨率图像。联合生成式网络损失、双判别器各自对生成式网络的损失，反向传播梯度信息，更新生成式网络和双判别器的参数。如图4 所示，其中LeakyRELU为激活函数，LeakyRELU的Negative_slope设置为 0.2，批标准化层批标准化每批次的输入数据使其服从均值为 0、方差为1的正态分布，Linear为线性回归函数。输入至判别器的图像数据经过级联的8个卷积、批归一化、激活层，提取输入图像的深层特征，再输入至级联的线性回归、激活、线性回归层，得到近似拟合的真实数据分布与样本数据分布的 Wasserstein距离。
[0059] 生成式对抗网络为基于Wasserstein距离的双判别器生成式对抗网络，每个判别器使用Wasserstein距离衡量真实数据分布与生成样本分布的相似度，相似度的表达式为：
[0060]
[0061] 其中，Pr为真实分布，Pg为样本分布，γ～Π(Pr,Pg)为真实与生成样本的联合分布， 为服从真实与生成样本分布的联合分布γ的条件下，将真实分布x变换为生成分布 所需要的代价，inf为取下界的符号，W(Pr,Pg)为这一“代价”的最小值； Wasserstein距离无法直接求解，根据Kantorovich-Rubinstein 对偶性，将Wasserstein距离的求解近似转换为寻找一个满足Lipschitz连续条件的连续函数f(g)，使得：
[0062]
[0063] 其中f(g)为满足Lipschitz连续条件的连续函数，K为 Lipschitz常数。
[0064] 采用权值裁剪的方式保证f(g)满足Lipschitz连续条件。每个判别器f(g)通过神经网络拟合，由级联的8个基本单元、线性回归、LeakyRELU激活、线性回归组成，每个基本单元内由级联的卷积、批标准化、LeakyRELU激活组成。
[0065] 所述双判别器由在像素域和在特征图域中分别进行判别的两个判别器f(g)组成，双判别器分别在像素域和特征图域中判别。在像素域中判别指直接判别生成式网络的输出图像是真实高分辨率图像还是生成式网络生成的高分辨率图像，在特征图域中判别指先将生成器网络的输出图像输入至VGG-19网络，得到第五次最大池化之前，第四次卷积之后未激活的特征图，并以此作为特征图域判别器的输入，判别当前的输入特征图属于真实高分辨率图像还是属于生成式网络生成的高分辨率图像。
[0066] 第四步，联合生成式网络的基于L1范数的Charbonnier 损失及两个判别器分别对生成式网络的损失，约束生成式网络训练，使生成式网络和两个判别器对抗学习，训练生成式网络模型直至达到收敛。
[0067] 生成器采用基于L1范数的Charbonnier损失和基于WGAN的GAN对生成器的损失量化超分辨得到的高分辨率图像和真实高分辨率图像的相似程度，指导网络学习。采用的基于L1范数的Charbonnier损失函数的表达式为：
[0068]
[0069] 其中 ε取10-6，IHR为真实的高分辨率图像，ISR为执行超分辨率得到的高分辨率图像，H,W,C分别为输入图像的尺寸和通道数，n为小批量(mini-batch)学习的数目，Iv,i,j,k为第v张图像的第k通道的位置为(i,j)的像素值。
[0070] 工作在像素域中的判别器对生成式网络的损失 与工作在特征图域中的判别器对生成器的损失 的表达式分别为：
[0071]
[0072]
[0073] 其中DWGAN为判别器的抽象函数，x～pg指样本x服从生成样本数据分布，其中x～pr指样本x服从真实数据分布，VGG(.) 用于得到经过VGG-19网络第五次最大池化之前，第四次卷积之后的特征图。
[0074] 联合生成式网络的基于L1范数的Charbonnier损失及双判别器对生成式网络的损失，训练网络模型直至达到收敛，生成器的损失函数由三部分加权组成，表达式为：
[0075]
[0076] 其中λ1,λ2为平衡基于L1范数的Charbonnier损失和基于 Wasserstein距离的双判别器分别对生成式网络的损失因子，网络在训练阶段的目标是最小化损失函数LG，LG越小，执行超分辨率得到的高分辨率图像与真实高分辨率图像的差异越小，超分辨率的效果越好，精度越高。
[0077] 第五步，输入低分辨率的图像至训练好的生成式网络模型，超分辨重建出最终的高分辨率图像。所述的超分辨率重建得到的图像相当于所述低分辨率图像放大 倍得到的。
[0078] 为了证明本发明的有效性，使用图像超分辨率研究领域中通用的DIV2K数据集作为训练集，使用Set5、Set14、BSD100、 Urban100和Manga109数据集作为测试集。实验中，选取双三次插值法和两种具有代表性的基于卷积神经网络的方法和仅使用本发明中生成成网络的方法进行对比。为保证对比的公正性，各方法均在相同的硬件环境下进行实验。
[0079] 选取的两种具有代表性的基于卷积神经网络的方法为：
[0080] 方法1：Dong等人提出的方法，参考文献为：Dong C,Loy C C,He K,et al.Image super-resolution using deep convolutional networks[J].IEEE transactions on pattern analysis and machine intelligence,2015,38(2):295-307.
[0081] 方法2：Lai等人提出的方法，参考文献为：Lai W S,Huang J B,Ahuja N,et al.Fast and accurate image super-resolution with deep laplacian pyramid networks[J].IEEE transactions on pattern analysis and machine intelligence,2018.
[0082] 选取的评价指标：广泛用于评价图像超分辨率效果的客观指标有峰值
信噪比(Peak Signal-to-Noise Ratio，PSNR)和结构相似性(Structural similarity，SSIM)，本发明选用PSNR和 SSIM作为客观评价的指标。除此之外，本发明将完成单张图像超分辨率所需的时间也作为参考的客观评价指标之一。
[0083] 评价时，首先将得到的高分辨率图像与真实的高分辨率图像进行裁剪，去掉图像边缘数量为放大因子的像素点；然后将图像由RGB色彩空间转换为YCbCr色彩空间，取出Y通道图像，只在Y通道上计算客观指标。PSNR的计算公式为：
[0084]
[0085] 其中W,H为图像尺寸，IHR为真实的高分辨率图像，ISR为执行超分辨率得到的高分辨率图像，Ii,j为位置为(i,j)的像素值， PSNR的值越大说明比较的图像
质量越好。
[0086] SSIM的计算公式为：
[0087]
[0088] 其中u,σ分别为两幅图像的像素均值和方差，C1,C2,C3为防止分母为0的常数。SSIM的取值范围为[0,1]，数值越接近1，表明对比的两幅图像越相似。
[0089] 各方法超分辨率2倍的客观评价结果对比：
[0090]
[0091] 从上表各方法的实验数据可以看出，本发明在
峰值信噪比 (PSNR)和结构相似性(SSIM)上相比对照方法有显著提升，且明显优于仅使用本发明中生成网络的方法。从图6展示的超分辨率2倍得到的图像效果图可以看出，本发明得到的高分辨率图像具有较好的图像锐度、依然能保留较多的纹理细节。综合所述，本发明是一种有效的图像超分辨率方法。
[0092] 本
说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
