基于自样例增强的超分辨率图像重建方法专利检索-误差反向传播算法人工智能专利检索查询-专利查询网

基于自样例增强的超分辨率图像重建方法

阅读：548发布：2020-05-08

专利汇可以提供基于自样例增强的超分辨率图像重建方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于自样例增强的超分辨率图像重建方法。利用外部训练集，设计两个卷积神经网络分别提取低分辨率和高分辨率图像的非设计特征。然后利用锚点近邻回归和最小二乘法，估计低分辨率和高分辨率非设计特征之间的映射关系，连接两个网络。针对连接网络的输出，设计一个残差神经网络来提高图像特征的表达。利用残差网络的输出，构建自样本训练集，根据图像的自相似信息，结合外部样本，仍然运用锚点近邻回归和最小二乘方法，估计特征表达增强的图像与高分辨率图像之间的映射关系，并利用求得的映射关系重建出高分辨率图像。本发明结合了深度学习与自学习的优点，可以避免图像细节信息的损失，重建出图像的复杂结构。，下面是基于自样例增强的超分辨率图像重建方法专利的具体信息内容。

权利要求

1.一种基于自样例增强的超分辨率图像重建方法，其特征在于：包括如下步骤：
先用独立的卷积网络分别提取低分辨率和高分辨率图像的非设计特征，然后利用残差网络对特征提取网络的输出图像进行增强，再建立自相似训练集，学习包含自样本的增强重建图像与高分辨率图像之间的映射关系，最终估计出重建的高分辨率图像。
2.根据权利要求1所述的基于自样例增强的超分辨率图像重建方法，其特征在于：更具体的步骤为：
a、给定外部训练集，确定放大系数u，设计两个独立的卷积神经网络，分别提取低分辨率图像和高分辨率图像的非设计特征；
b、根据步骤a得到的非设计特征，在低分辨率和高分辨率特征图上分别提取p×p的补丁块，并写成向量形式构建样本集；训练过完备的联合字典，在样本集中分别寻找每个低分辨率字典原子的的若干近邻样本，利用回归和最小二乘方法估计低分辨率非设计特征与高分辨率非设计特征之间的映射关系，连接两个非设计特征提取网络；
c、根据步骤b连接后的两个卷积网络的输出，设计一个残差卷积网络，对两个连接的非设计特征提取网络的输出图像进行特征表达增强，得到增强重建图像；
d、将待重建的低分辨率图像下采样u倍，对下采样图像，确定采样因子s，构建多尺度的自相似图像；对构建的自相似图像，应用步骤a训练的低分辨率非设计特征提取网络和步骤b的映射关系，得到连接网络输出图像，对该输出图像应用步骤c，获得对应的增强重建图像，组成自相似样本集；
e、对步骤d得到的自相似样本集，结合步骤c得到的外部样本集，在增强重建图像和高分辨率图像上分别提取p×p的补丁块；确定特征提取算子，分别对增强重建图像和高分辨率图像补丁块提取特征，运用锚点近邻回归和最小二乘算法估计包含自样本学习的映射关系；根据得到的映射关系，估计最终重建的高分辨率图像。
3.根据权利要求2所述的基于自样例增强的超分辨率图像重建方法，其特征在于：所述步骤a中，非设计特征提取网络的输出近似等于其输入；网络包含三个卷积层，每一层的卷积核大小分别为：64×9×9，32×1×1和1×5×5；网络学习与优化可以表示为：
其中I表示输入图像，l表示卷积层数索引，o表示输出层索引，参数更新迭代使用误差反向传播算法，最终每一张训练图像对应的非设计特征图共32张。
4.根据权利要求2所述的基于自样例增强的超分辨率图像重建方法，其特征在于：所述步骤b中，用于采集补丁块的低分辨率特征图为对应非设计特征提取网络提取的32张特征图的和，高分辨率特征图为对应非设计特征提取网络提取的32张特征图，补丁块大小p＝
3u；通过K-SVD方法学习不同特征图的过完备字典，每个低分辨率字典原子对应的最近邻样本个数为2048，映射关系公式为：
其中k表示高分辨率非设计特征图对应的字典索引，j表示每个低分辨率字典的原子索引，表示最近邻的低分辨率非设计特征的样本集，表示对应的高分辨率非设计特征的样本集，λu表示正则化系数。
5.根据权利要求2-4任意一项所述的基于自样例增强的超分辨率图像重建方法，其特征在于：所述步骤c中，残差网络包含三个卷积层，每一层的卷积核大小分别为：64×9×9，
32×1×1和1×5×5；网络学习与优化可以表示为：
其中Iz表示连接网络的输出图像，即残差网络的输入图像，l表示卷积层数索引，o表示输出层索引，ori表示原始高分辨率图像，参数更新迭代使用误差反向传播算法。
6.根据权利要求5所述的超分辨率图像重建方法，其特征在于：所述步骤d中，采样系数为0.98，多尺度参数为20。
7.根据权利要求5所述的超分辨率图像重建方法，其特征在于：所述步骤e中，补丁块大小p＝3u；增强重建图像的特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子，对增强重建图像补丁块进行卷积操作并写成向量形式，并利用主成分分析在去除数据中的冗余信息的同时进行降维；高分辨率特征提取是从高分辨率补丁块中去除相应的增强重建图像信息；基于提取的特征样本，训练大小为1024的过完备字典，确定每个增强重建图像字典原子的2048个最近邻样本，并利用回归和最小二乘法估计增强重建图像特征与高分辨率图像特征之间的映射关系，公式为：
其中j表示增强重建图像字典的原子索引，表示最近邻的增强重建图像特征的样本集，表示对应的高分辨率非设计特征的样本集，λc表示正则化系数。

说明书全文

基于自样例增强的超分辨率图像重建方法

技术领域

[0001] 本发明属于图像处理技术领域，特别涉及一种基于自样例增强的超分辨率图像重建方法。

背景技术

[0002] 超分辨率图像重建是数字图像处理领域的重要研究课题，其主要目的是改善图像质量以满足实际应用的需求。迄今为止，相关学者对基于插值的重建算法、基于统计模型的重建算法和基于样本学习的重建算法都进行了广泛的研究，取得了众多成果。然而，现存的重建方法依然存在诸如不能很好重建出复杂纹理等缺点，有可提升的空间。

[0003] 目前，较早提出的基于插值的重建算法在操作和实现方面都十分快捷，但是重建图像较为模糊，无法很好地表达图像细节。2006年，压缩感知理论问世后，为超分辨率图像重建提供了新的思路。Yang等人在此基础上提出了基于稀疏表示的重建算法。该算法学习过完备的字典，利用尽可能稀疏的系数来表示高分辨率图像信息。虽然提高了超分辨率重建的效果，但计算复杂度较高，图像边缘退化仍然存在。2014年，Timofte在前人研究成果的基础上，提出了基于改进锚点近邻回归的重建算法，利用协同表示提高了模型求解的效率，但却没有考虑图像本身的结构信息。随着深度学习的兴起，2014年Dong等人提出了基于卷积神经网络的图像超分辨率重建算法。该算法利用三层卷积网络学习低分辨率图像与高分辨率图像之间的映射关系。该算法学习的非线性映射关系相较于前人研究的线性映射关系取得了显著的重建效果。然而，训练卷积网络是在数量庞大的学习样本基础上进行的，没有足够的训练样本，卷积网络就不能达到理想的效果。

发明内容

[0004] 有鉴于此，本发明提供了一种实现高分辨率图像重建的基于自样例增强的超分辨率图像重建方法，有利于呈现复杂纹理。

[0005] 为了实现上述目的，本发明提供了如下技术解决方案：基于自样例增强的超分辨率图像重建方法，包括以下步骤：先用独立的卷积网络分别提取低分辨率和高分辨率图像的非设计特征，然后利用残差网络对特征提取网络的输出图像进行增强，再建立自相似训练集，学习包含自样本的增强重建图像与高分辨率图像之间的映射关系，最终估计出重建的高分辨率图像。

[0006] 可选的，更具体的方法为：

[0007] a、给定外部训练集，确定放大系数u，设计两个独立的卷积神经网络，分别提取低分辨率图像和高分辨率图像的非设计特征；

[0008] b、根据步骤a得到的非设计特征，在低分辨率和高分辨率特征图上分别提取p×p的补丁块，并写成向量形式构建样本集；训练过完备的联合字典，在样本集中分别寻找每个低分辨率字典原子的的若干近邻样本，利用回归和最小二乘方法估计低分辨率非设计特征与高分辨率非设计特征之间的映射关系，连接两个非设计特征提取网络；

[0009] c、根据步骤b连接后的两个卷积网络的输出，设计一个残差卷积网络，对两个连接的非设计特征提取网络的输出图像进行特征表达增强，得到增强重建图像；

[0010] d、将待重建的低分辨率图像下采样u倍，对下采样图像，确定采样因子s，构建多尺度的自相似图像；对构建的自相似图像，应用步骤a训练的低分辨率非设计特征提取网络和步骤b的映射关系，得到连接网络输出图像，对该输出图像应用步骤c，获得对应的增强重建图像，组成自相似样本集；

[0011] e、对步骤d得到的自相似样本集，结合步骤c得到的外部样本集，在增强重建图像和高分辨率图像上分别提取p×p的补丁块；确定特征提取算子，分别对增强重建图像和高分辨率图像补丁块提取特征，运用锚点近邻回归和最小二乘算法估计包含自样本学习的映射关系；根据得到的映射关系，估计最终重建的高分辨率图像。

[0012] 可选的，所述步骤a中，非设计特征提取网络的输出近似等于其输入；网络包含三个卷积层，每一层的卷积核大小分别为：64×9×9，32×1×1和1×5×5；网络学习与优化可以表示为：

[0013]

[0014] 其中I表示输入图像，l表示卷积层数索引，o表示输出层索引，参数更新迭代使用误差反向传播算法，最终每一张训练图像对应的非设计特征图共32张。

[0015] 可选的，所述步骤b中，用于采集补丁块的低分辨率特征图为对应非设计特征提取网络提取的32张特征图的和，高分辨率特征图为对应非设计特征提取网络提取的32张特征图，补丁块大小p＝3u；通过K-SVD方法学习不同特征图的过完备字典，每个低分辨率字典原子对应的最近邻样本个数为2048，映射关系公式为：

[0016]

[0017] 其中k表示高分辨率非设计特征图对应的字典索引，j表示每个低分辨率字典的原子索引，表示最近邻的低分辨率非设计特征的样本集，表示对应的高分辨率非设计特征的样本集，λu表示正则化系数。

[0018] 可选的，所述步骤c中，残差网络包含三个卷积层，每一层的卷积核大小分别为：64×9×9，32×1×1和1×5×5；网络学习与优化可以表示为：

[0019]

[0020] 其中Iz表示连接网络的输出图像，即残差网络的输入图像，l表示卷积层数索引，o表示输出层索引，ori表示原始高分辨率图像，参数更新迭代使用误差反向传播算法。

[0021] 可选的，所述步骤d中，采样系数为0.98，多尺度参数为20。

[0022] 可选的，所述步骤e中，补丁块大小p＝3u；增强重建图像的特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子，对增强重建图像补丁块进行卷积操作并写成向量形式，并利用主成分分析在去除数据中的冗余信息的同时进行降维；高分辨率特征提取是从高分辨率补丁块中去除相应的增强重建图像信息；基于提取的特征样本，训练大小为1024的过完备字典，确定每个增强重建图像字典原子的2048个最近邻样本，并利用回归和最小二乘法估计增强重建图像特征与高分辨率图像特征之间的映射关系，公式为：

[0023]

[0024] 其中j表示增强重建图像字典的原子索引，表示最近邻的增强重建图像特征的样本集，表示对应的高分辨率非设计特征的样本集，λc表示正则化系数。

[0025] 与现有技术相比，本发明的有益效果在于：

[0026] 利用深度卷积网络提取图像的非设计特征，并运用锚点近邻回归学习低分辨率和高分辨率非设计特征之间的映射关系。并运用残差网络学习特征提取网络的输出与高分辨率图像之间的非线性映射关系，更好地表达图像特征。最后结合多尺度的自相似图像，探索包含自样本信息的图像的重建方法。本发明则考虑通过卷积网络先提取图像自身的非设计特征，然后借助自相似图像包含的结构和纹理信息，重建出细节丰富的高分辨率图像，提高了重建效果和精度。附图说明

[0027] 图1连接两个非设计特征提取网络的流程示意图；

[0028] 图2构建自相似训练集的流程示意图；

[0029] 图3a放大倍数为2时的低分辨率图像；

[0030] 图3b放大倍数为2时本发明重建的高分辨率图像；

[0031] 图4a放大倍数为3时的低分辨率图像；

[0032] 图4b放大倍数为3时本发明重建的高分辨率图像；

[0033] 图5为本发明超分辨率图像重建算法总体流程示意图；

[0034] 图6为图像非设计特征与设计特征的示例。

具体实施方式

[0035] 本发明基于图像非设计特征学习和自相似样本学习，利用深度卷积网络提取图像非设计特征，利用锚点近邻回归连接低分辨率非设计特征和高分辨率非设计特征之间的映射关系。然后利用残差网络，学习特征提取网络的输出与高分辨率图像之间的非线性映射关系，对重建效果进行增强。再构建多尺度自相似训练集，仍然利用锚点近邻回归，学习包含自样本的增强重建图像与高分辨图像之间的线性映射关系，最终重建出高分辨率图像。

[0036] 本发明的基本思路为：

[0037] 首先，设计两个独立的卷积神经网络，分别提取低分辨率图像和高分辨率图像的非设计特征；

[0038] 其次，利用锚点近邻回归和最小二乘方法估计低分辨率非设计特征和高分辨率非设计特征之间的映射关系；

[0039] 再次，设计一个残差网络对非设计特征提取网络的输出进行增强；

[0040] 最后，建立多尺度的自相似训练集，学习增强的重建图像和高分辨率图形之间的映射关系。

[0041] 下面结合实施例对本发明进行进一步说明。

[0042] 本发明提供一种白细胞定位和迭代分割方法，包括如下步骤：

[0043] a、给定外部训练集，确定放大系数u，设计两个独立的卷积神经网络，分别提取低分辨率图像和高分辨率图像的非设计特征。

[0044] 其中，非设计特征提取网络的输出近似等于其输入。网络包含三个卷积层，每一层的卷积核大小分别为：64×9×9，32×1×1和1×5×5；网络学习与优化可以表示为：

[0045]

[0046] 其中I表示输入图像，l表示卷积层数索引，o表示输出层索引，参数更新迭代使用误差反向传播算法，最终每一张训练图像对应的非设计特征图共32张。

[0047] b、根据步骤a得到的非设计特征，在低分辨率和高分辨率特征图上分别提取p×p的补丁块，并写成向量形式构建样本集；训练过完备的联合字典，在样本集中分别寻找每个低分辨率字典原子的的若干近邻样本，利用回归和最小二乘方法估计低分辨率非设计特征与高分辨率非设计特征之间的映射关系，连接两个非设计特征提取网络。

[0048] 其中，用于采集补丁块的低分辨率特征图为对应非设计特征提取网络提取的32张特征图的和，高分辨率特征图为对应非设计特征提取网络提取的32张特征图，补丁块大小p＝3u；通过K-SVD方法学习不同特征图的过完备字典，其大小为1024，每个低分辨率字典原子对应的最近邻样本个数为2048，映射关系公式为：

[0049]

[0050] 其中k表示高分辨率非设计特征图对应的字典索引，j表示每个低分辨率字典的原子索引，表示最近邻的低分辨率非设计特征的样本集，表示对应的高分辨率非设计特征的样本集，λu表示正则化系数。

[0051] 连接两个非设计特征提取网络的过程如图1所示。

[0052] c、根据步骤b连接后的两个卷积网络的输出，设计一个残差卷积网络，对两个连接的非设计特征提取网络的输出图像进行特征表达增强，得到增强重建图像。

[0053] 其中，残差网络包含三个卷积层，每一层的卷积核大小分别为：64×9×9，32×1×1和1×5×5；网络学习与优化可以表示为：

[0054]

[0055] 其中Iz表示连接网络的输出图像，即残差网络的输入图像，l表示卷积层数索引，o表示输出层索引，ori表示原始高分辨率图像，参数更新迭代使用误差反向传播算法。

[0056] d、将待重建的低分辨率图像下采样u倍，对下采样图像，确定采样因子s，构建多尺度的自相似图像；对构建的自相似图像，应用步骤a训练的低分辨率非设计特征提取网络和步骤b的映射关系，得到连接网络输出图像，对该输出图像应用步骤c，获得对应的增强重建图像，组成自相似样本集。

[0057] 如图2所示，为构建自相似训练集的流程示意图，其中，采样系数为0.98，多尺度参数为20。

[0058] e、对步骤d得到的自相似样本集，结合步骤c得到的外部样本集，在增强重建图像和高分辨率图像上分别提取p×p的补丁块；确定特征提取算子，分别对增强重建图像和高分辨率图像补丁块提取特征，运用锚点近邻回归和最小二乘算法估计包含自样本学习的映射关系；根据得到的映射关系，估计最终重建的高分辨率图像。

[0059] 其中，补丁块大小p＝3u；增强重建图像的特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子，对增强重建图像补丁块进行卷积操作并写成向量形式，并利用主成分分析(PCA)在去除数据中的冗余信息的同时进行降维；高分辨率特征提取是从高分辨率补丁块中去除相应的增强重建图像信息；基于提取的特征样本，训练大小为1024的过完备字典，确定每个增强重建图像字典原子的2048个最近邻样本，并利用回归和最小二乘法估计增强重建图像特征与高分辨率图像特征之间的映射关系，公式为：

[0060]

[0061] 其中j表示增强重建图像字典的原子索引，表示最近邻的增强重建图像特征的样本集，表示对应的高分辨率非设计特征的样本集，λc表示正则化系数。

[0062] 如图3a所示，是放大倍数为2时的低分辨率图像，图3b所示，是用本发明重建的高分辨率图像。图4a所示，是放大倍数为3时的低分辨率图像，图4b所示，是用本发明重建的高分辨率图像。

[0063] 虽然以上将实施例分开说明和阐述，但涉及部分共通之技术，在本领域普通技术人员看来，可以在实施例之间进行替换和整合，涉及其中一个实施例未明确记载的内容，则可参考有记载的另一个实施例。

[0064] 以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

标题	发布/更新时间	阅读量
一种基于稀疏高斯伯努利受限玻尔兹曼机和循环神经网络的故障分类模型及方法	2020-05-14	974
一种图像分类方法、图像分类装置及终端设备	2020-05-16	586
一种基于迁移学习的锡铋合金性能预测方法	2020-05-17	115
基于卷积神经网络的遥感图像云雪检测方法	2020-05-08	269
基于深度学习和多层时空特征图的短时交通流预测方法	2020-05-18	576
一种基于dropout-SAE和Bi-LSTM的滚动轴承剩余寿命预测方法	2020-05-17	762
基于多模态深度学习的Sn-Bi合金延伸率和抗拉强度的预测方法	2020-05-12	1010
胶凝砂砾石配合比关键指标预测抗压强度的BP神经网络分析方法	2020-05-11	764
基于深度学习的配电低压台区负荷预测方法及装置	2020-05-14	781
基于长短时记忆网络的水泥成品比表面积预测方法及系统	2020-05-08	599

基于自样例增强的超分辨率图像重建方法

基于自样例增强的超分辨率图像重建方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：