基于邻域回归与局部信息的图像重建方法专利检索-补丁补丁管理电脑安全专利检索查询-专利查询网

基于邻域回归与局部信息的图像重建方法

阅读：556发布：2020-05-08

专利汇可以提供基于邻域回归与局部信息的图像重建方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于邻域回归与局部信息的图像重建方法。从图像上采集补丁块，设计一个搜索窗口，在补丁块上提取子补丁块。根据子补丁块的结构信息，利用结构相似对子补丁块聚类。将补丁块依照其子补丁块的聚类标签集合在一类中构建新的样本类。针对构建的样本类，分别训练过完备的联合字典。在相应的样本类中确定每个低分辨率字典原子的若干近邻样本，运用最小二乘算法计算低分辨率补丁块与高分辨率补丁块之间的映射关系。每个补丁块对应多个映射关系，这些映射关系的加权和，即为最终的高分辨补丁块，再按照像素位置索引进行整合即可得重建图像。本发明能够有效地避免图像复杂纹理和结构的损失，重建出包含更多细节的高分辨率图像。，下面是基于邻域回归与局部信息的图像重建方法专利的具体信息内容。

权利要求

1.一种基于邻域回归与局部信息的图像重建方法，其特征在于：包括如下步骤：
先根据图像补丁块的局部结构信息，对图像特征进行聚类，然后针对每一类特征样本训练过完备字典，利用回归模型和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系。
2.根据权利要求1所述的基于邻域回归与局部信息的图像重建方法，其特征在于：
更具体的步骤如下：
a、确定图像重建放大倍数r，将训练集中的低分辨率和高分辨率图像对按照重叠系数v分为大小为p×p的补丁块；设定搜索窗口q×q和搜索步长s，在低分辨率补丁块上提取大小q×q的子补丁块；
b、设定特征提取算子，分别提取低分辨率补丁块、低分辨率子补丁块和高分辨率补丁块的特征，并根据局部结构相似信息对子补丁块进行聚类，按照子补丁块的聚类标签对补丁块进行划分，构建新的子样本对集合；
c、根据步骤b得到的新的子样本对集合，分别训练过完备的联合字典；在字典对应的子样本集中，针对每个低分辨率字典原子寻找md个与其最近邻的样本，运用近邻回归方法计算低分辨率与高分辨率特征之间的映射关系；
d、根据低分辨率补丁块的子补丁块对应的聚类标签，每个低分辨率补丁块对应多个映射关系，其加权和即为重建的高分辨率补丁块特征。
3.根据权利要求2所述的基于邻域回归与局部信息的图像重建方法，其特征在于：在步骤a中，重叠系数v＝2r，补丁块大小p＝3r，搜索窗口大小为4×4，步长s＝1，每个补丁块上采集子补丁块数量为其中表示向下取整操作。
4.根据权利要求2所述的基于邻域回归与局部信息的图像重建方法，其特征在于：所述步骤b中，低分辨率特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子，对低分辨率补丁块及其子补丁块分别进行卷积操作，将四个微分算子提取的特征补丁块及特征子补丁块写成向量形式，并利用主成分分析去除数据中的冗余信息，对提取的子补丁块特征进行降维；高分辨率特征提取是从高分辨率补丁块中去除相应的低频信息；
对降维后的低分辨率子补丁块特征按照欧式距离进行聚类，聚类方法为K-means 算法，聚类中心个数为256；记录每个子补丁块特征的聚类标签，按照聚类标签，将相应的低分辨率补丁特征和高分辨率补丁特征分类，构建新的训练样本子集。
5.根据权利要求2所述的基于邻域回归与局部信息的图像重建方法，其特征在于：所述步骤c中，利用K-SVD算法来学习每一类样本集合对应的过完备联合字典，每个低分辨率字典原子对应的最近邻样本个数为md＝2048；
利用近邻回归和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系的公式为：
其中k表示聚类标签索引，j表示低分辨率字典原子索引，表示最近邻的低分辨率补丁块特征的样本集，表示对应的高分辨率补丁块特征的样本集，λ表示正则化系数。
6.根据权利要求2-5任意一项所述的基于邻域回归与局部信息的图像重建方法，其特征在于：所述步骤d中，利用本方法估计的高分辨率补丁块特征为：
其中u表示低分辨率子补丁块在其低分辨率补丁块上的位置索引，y表示降维的低分辨率补丁块特征，ωu表示权值，其取值为：
其中ys表示降维的低分辨率子补丁块特征，c表示聚类中心，k表示聚类标签索引，h是一个先验系数，通常取值为1。

说明书全文

基于邻域回归与局部信息的图像重建方法

技术领域

[0001] 本发明属于图像处理技术领域，特别涉及一种基于邻域回归与局部信息的图像重建方法。

背景技术

[0002] 图像超分辨率重建是图像处理领域中的一个重要内容，在遥感、监控、医疗等领域有着广泛的应用。由于采样设备、采样环境、信号传输等因素的影响，获取的图像通常是退化的。为了改善这些退化图像的质量，迄今许多研究学者提出了许多图像超分辨率重建方法。但是，现存的这些方法在重建效果上仍然存在不足，具备相当大的提升空间。

[0003] 目前，关于图像超分辨率重建算法主要有几个大类：基于插值的重建、基于统计模型的重建、基于样本学习的重建。最早的基于插值的重建算法例如双三次插值虽然十分快捷，但重建图像的视觉效果并不能满足应用的需求，仍然存在较严重的模糊。2008年，Yang等人在压缩感知的基础上提出了基于稀疏表示的重建算法。该算法利用外部样本学习过完备的字典，提高了图像超分辨率重建的效果。但对于纹理和结构复杂的图像，不能很好地重建出图像细节，而且l1范数的求解过程计算复杂度相对较高。在Yang的研究成果的基础上，基于协同表示和回归模型的重建算法得到了广泛的研究。这些算法虽然提高了模型求解的效率，但仍然忽视了图像本身的结构信息。随着人工神经网络的发展，2014年Dong等人提出了基于卷积神经网络的图像超分辨率重建算法。该算法利用多个卷积核提取图像的特征，并运用误差逆向传播算法训练相关参数。相较于基于稀疏表示、基于协同表示和基于回归等其他样本学习的重建算法，基于卷积神经网络的算法取得了显著的效果。然而，卷积神经网络的学习需要数量庞大的的学习样本，在学习样本数量不够多时，一些其他算法可以取得的重建效果，卷积神经网络却达不到。且对训练时间和空间的需求都相对较高，对程序运行的硬件设备也有较高的要求，例如GPU，执行的经济成本较大。

发明内容

[0004] 有鉴于此，本发明提供了一种图像细节重建效果好、执行成本低的基于邻域回归与局部信息的图像重建方法。

[0005] 为了实现上述目的，本发明提供了以下技术解决方案：基于邻域回归与局部信息的图像重建方法，包括以下步骤：先根据图像补丁块的局部结构信息，对图像特征进行聚类，然后针对每一类特征样本训练过完备字典，利用回归模型和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系。

[0006] 可选的，更具体的步骤如下：

[0007] a、确定图像重建放大倍数r，将训练集中的低分辨率和高分辨率图像对按照重叠系数v分为大小为p×p的补丁块。设定搜索窗口q×q和搜索步长s，在低分辨率补丁块上提取大小q×q的子补丁块；

[0008] b、设定特征提取算子，分别提取低分辨率补丁块、低分辨率子补丁块和高分辨率补丁块的特征，并根据局部结构相似信息对子补丁块进行聚类，按照子补丁块的聚类标签对补丁块进行划分，构建新的子样本对集合；

[0009] c、根据步骤b得到的新的子样本对集合，分别训练过完备的联合字典；在字典对应的子样本集中，针对每个低分辨率字典原子寻找md个与其最近邻的样本，运用近邻回归方法计算低分辨率与高分辨率特征之间的映射关系；

[0010] d、根据低分辨率补丁块的子补丁块对应的聚类标签，每个低分辨率补丁块对应多个映射关系，其加权和即为重建的高分辨率补丁块特征。

[0011] 可选的，在步骤a中，重叠系数v＝2r，补丁块大小p＝3r，搜索窗口大小为4×4，步长s＝1，每个补丁块上采集子补丁块数量为其中表示向下取整操作。

[0012] 可选的，所述步骤b中，低分辨率特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子，对低分辨率补丁块及其子补丁块分别进行卷积操作，将四个微分算子提取的特征补丁块及特征子补丁块写成向量形式，并利用主成分分析去除数据中的冗余信息，对提取的子补丁块特征进行降维；高分辨率特征提取是从高分辨率补丁块中去除相应的低频信息；

[0013] 对降维后的低分辨率子补丁块特征按照欧式距离进行聚类，聚类方法为K-means算法，聚类中心个数为256；记录每个子补丁块特征的聚类标签，按照聚类标签，将相应的低分辨率补丁特征和高分辨率补丁特征分类，构建新的训练样本子集。

[0014] 可选的，所述步骤c中，利用K-SVD算法来学习每一类样本集合对应的过完备联合字典，字典大小为1024，每个低分辨率字典原子对应的最近邻样本个数为；

[0015] 利用近邻回归和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系的公式为：

[0016]

[0017] 其中k表示聚类标签索引，j表示低分辨率字典原子索引，表示最近邻的低分辨率补丁块特征的样本集，表示对应的高分辨率补丁块特征的样本集，表示正则化系数。

[0018] 可选的，所述步骤d中，利用本方法估计的高分辨率补丁块特征为：

[0019]

[0020] 其中u表示低分辨率子补丁块在其低分辨率补丁块上的位置索引，y表示降维的低分辨率补丁块特征，ωu表示权值，其取值为：

[0021]

[0022] 其中ys表示降维的低分辨率子补丁块特征，c表示聚类中心，k表示聚类标签索引，h是一个先验系数，通常取值为1。

[0023] 与现有技术相比，本发明的有益效果在于：

[0024] 先根据图像补丁块的局部结构信息，对图像特征进行聚类，然后针对每一类特征样本训练过完备字典，利用回归模型和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系。利用图像补丁块的局部结构信息而非补丁块本身，对提取的图像特征进行聚类，对于包含不同局部结构信息的样本类，更有针对性的学习低分辨率和高分辨率字典和映射关系。背景技术中提及的算法没有考虑图像本身的局部结构相似信息。而本发明则考虑通过先提取图像补丁块的子补丁块，对补丁块的局部结构特征进行聚类，以此增强图像补丁块的局部信息表示，使得图像超分辨率重建过程能够包含更多复杂结构和纹理，重建出细节丰富的高分辨率图像。本发明运用图像补丁块的重建学习，同时有效重建出了图像较多的细节信息。附图说明

[0025] 图1构建子样本集的流程示意图；

[0026] 图2学习映射关系的流程示意图；

[0027] 图3a放大倍数为2时的低分辨率图像；

[0028] 图3b放大倍数为2时本发明重建的高分辨率图像；

[0029] 图4a放大倍数为3时的低分辨率图像；

[0030] 图4b放大倍数为3时本发明重建的高分辨率图像；

[0031] 图5为本发明超分辨率图像重建算法总体流程示意图；

具体实施方式

[0032] 本发明基于图像补丁块的局部特征，从低分辨率图像补丁块上先提取子补丁块，然后根据结构相似信息对子补丁块特征进行聚类。根据子补丁块特征的聚类标签，对低分辨率和高分辨率补丁块特征进行类别划分。针对包含不同局部结构信息的样本类的集合，分别训练过完备的联合字典。在每一个样本类集合中，寻找每个低分辨率字典原子的若干个最近邻的低分辨率补丁块特征样本，并整合与其对应的高分辨率补丁块特征样本，利用回归模型和最小二乘方法计算低分辨率补丁块特征和高分辨率补丁块特征之间的映射关系。最后通过求每个低分辨率补丁块特征对应的映射关系的加权和，即可得出重建的高分辨率补丁块特征。根据高分辨率补丁块特征在高分辨率图像中的像素位置索引，即可得到最终重建的高分辨率图像。

[0033] 本发明的基本思路为：

[0034] 首先，将训练集图像对分割为小的补丁块，在低分辨率补丁块上提取子补丁块，并分别提取各补丁块和子补丁块的特征；

[0035] 其次，对提取的低分辨率子补丁块特征进行聚类，按照聚类标签，将相对应的低分辨率补丁块特征和高分辨率补丁块特征进行类别划分，构建包含不同局部结构信息的样本类；

[0036] 再次，针对不同的样本类分别训练过完备字典，在相应样本集中寻找每个低分辨率字典原子的若干最近邻低分辨率补丁块特征，结合其对应的高分辨率补丁块特征，运用回归和最小二乘方法估计低分辨率与高分辨率之间的映射关系；

[0037] 最后，根据每个低分辨率子补丁块特征对应的聚类标签，求出低分辨率补丁块特征对应的多个映射关系的加权和，重建出高分辨率补丁块特征。

[0038] 下面结合实施例对本发明进行进一步说明。

[0039] 本发明提供一种图像超分辨率重建算法，包括如下步骤：

[0040] a、确定图像重建放大倍数r，将训练集中的低分辨率和高分辨率图像对按照重叠系数v分为大小为p×p的补丁块。设定搜索窗口q×q和搜索步长s，在低分辨率补丁块上提取大小q×q的子补丁块。

[0041] 其中，重叠系数v＝2r，补丁块大小p＝3r。优选地，搜索窗口大小为4×4，步长s＝1，由此确定的从每个补丁块上采集的子补丁块数量为其中表示向下
取整操作。

[0042] b、设定特征提取算子，分别提取低分辨率补丁块、低分辨率子补丁块和高分辨率补丁块的特征，并根据局部结构相似信息对子补丁块进行聚类，按照子补丁块的聚类标签对补丁块进行划分，构建新的子样本对集合。

[0043] 其中，低分辨率特征提取算子为水平方向和垂直方向的一阶微分和二阶微分算子，对低分辨率补丁块及其子补丁块分别进行卷积操作，将四个微分算子提取的特征补丁块及特征子补丁块写成向量形式，并利用主成分分析(PCA)去除数据中的冗余信息，对提取的子补丁块特征进行降维。高分辨率特征提取是从高分辨率补丁块中去除相应的低频信息；

[0044] 对降维后的低分辨率子补丁块特征按照欧式距离进行聚类，聚类方法为K-means算法，聚类中心个数为256。记录每个子补丁块特征的聚类标签，按照聚类标签，将相应的低分辨率补丁特征和高分辨率补丁特征分类，构建新的训练样本子集。

[0045] 训练样本子集的构建过程如图1所示。

[0046] c、根据步骤b得到的新的子样本对集合，分别训练过完备的联合字典。在字典对应的子样本集中，针对每个低分辨率字典原子寻找md个与其最近邻的样本，运用近邻回归方法计算低分辨率与高分辨率特征之间的映射关系。

[0047] 其中，训练过完备联合字典的方法为K-SVD算法，字典大小为1024，每个低分辨率字典原子对应的最近邻样本个数为md＝2048，利用近邻回归和最小二乘方法估计低分辨率特征与高分辨率特征之间的映射关系的公式为：

[0048]

[0049] 其中k表示聚类标签索引，j表示低分辨率字典原子索引，表示最近邻的低分辨率补丁块特征的样本集，表示对应的高分辨率补丁块特征的样本集；

[0050] 估算映射关系的过程如图2所示。

[0051] d、根据低分辨率补丁块的子补丁块对应的聚类标签，每个低分辨率补丁块对应多个映射关系，其加权和即为重建的高分辨率补丁块特征。

[0052] 其具体公式表示为：

[0053]

[0054] 其中u表示低分辨率子补丁块在其低分辨率补丁块上的位置索引，y表示降维的低分辨率补丁块特征，ωu表示权值，其取值为：

[0055]

[0056] 其中ys表示降维的低分辨率子补丁块特征，c表示聚类中心，k表示聚类标签索引，h是一个先验系数，通常取值为1。

[0057] 如图3a所示，是放大倍数为2时的低分辨率图像，图3b所示，是用本发明重建的高分辨率图像。图4a所示，是放大倍数为3时的低分辨率图像，图4b所示，是用本发明重建的高分辨率图像。

[0058] 虽然以上将实施例分开说明和阐述，但涉及部分共通之技术，在本领域普通技术人员看来，可以在实施例之间进行替换和整合，涉及其中一个实施例未明确记载的内容，则可参考有记载的另一个实施例。

[0059] 以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

标题	发布/更新时间	阅读量
基于代码变更历史的软件代码质量问题自动修复方法、系统及介质	2020-05-08	587
软件相似性度量方法及装置	2020-05-08	219
一种管理自组网设备的方法、装置以及电子设备	2020-05-11	922
安全补丁推送方法和装置	2020-05-11	990
基于大数据的软件第三方组件漏洞应急响应系统及方法	2020-05-11	239
一种容器镜像的替换方法	2020-05-11	964
一种基于jenkins的web项目更新补丁生成方法	2020-05-08	660
一种基于通用平台的多层共轭自适应光学的实时控制器	2020-05-08	649
一种消除EtherCAT通讯周期抖动的系统及方法	2020-05-08	632
数据同步方法及装置	2020-05-11	104

基于邻域回归与局部信息的图像重建方法

基于邻域回归与局部信息的图像重建方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：