一种基于局部回归模型的图像超分辨率重建方法专利检索-机器学习人工智能专利检索查询-专利查询网

一种基于局部回归模型的图像超分辨率重建方法

阅读：256发布：2024-01-15

专利汇可以提供一种基于局部回归模型的图像超分辨率重建方法专利检索，专利查询，专利分析的服务。并且本发明公开一种基于局部回归模型的图像超分辨率重建方法，首先，对输入低分辨率图像，高斯低通滤波得到其低频带图像，双立方插值得到输出高分辨率图像的近似低频带图像。其次，重建时对高分辨率图像的低频带图像中每个图像块应用一阶回归模型，回归模型中高/低图像间的映射函数可对输入图像通过机器学习的方法得到，即利用输入低分辨率图像及其低频带图像对应位置采样得到对应位样本图像块对进行字典训练。最后，重建图像块的非局部自相似块分别应用一阶回归模型，加权综合得到重建的高分辨率图像块。本发明所提出方法无需利用外部图像模型，而是利用输入图像自身学习得到先验模型，依此模型重建出的高分辨图像取得了较好的主客观重建效果。，下面是一种基于局部回归模型的图像超分辨率重建方法专利的具体信息内容。

权利要求

1.一种基于局部回归模型的图像超分辨率重建方法，其特征在于，包括如下步骤，步骤1：读入待重建低分辨率图像X0，放大因子s；
步骤2：对X0高斯低通滤波得到其低频带图像Y0，对X0双立方插值近似输出高分辨率图像的低频带图像Y；
步骤3：对Y划分成互相重叠的大小为a×a的图像块y；
步骤4：根据步骤3得到的图像块y的位置(i,j)找到其在Y0中的对应位(ir,jr)，其中得到y在Y0和X0中的对应位相似样本块对{y0,x0}；
步骤5：由一阶局部回归模型计算步骤3得到的图像块y的高分辨率图像块x，公式如下：
步骤6：计算步骤3得到的图像块y的非局部自相似块的对应位相似样本块对组分别执行步骤5，将计算结果加权求和，公式如下：
权值wp可通过共轭梯度法求解下列公式得到：
其中， w＝[w1,w2,...wp,...wJ]；
步骤7：对所有像素重叠的高分辨率图像块x叠加平均，得到高分辨率图像X。
2.根据权利要求1所述的基于局部回归模型的图像超分辨率重建方法，其特征在于，所述步骤5中映射梯度函数利用对应位图像块对通过机器学习的方法得到字典，来表示图像的先验模型，方法如下：
步骤501)从输入图像X0、其低频带图像Y0的对应位置采样得到Q个对应位样本图像块对步骤502)将x0与y0之间的残差作为字典训练中高分辨率样本块向量
字典训练中的低分辨率样本块向量是将两组训练样本联合起来同时训练，则用于字典训练的图像块对为其中norm(.)为归一化处理，M、N分
别为高、低图像特征块的矢量维数；
步骤503)目标字典为用高斯随机矩阵初始化字典D∈R(M+N)×K，其中Dh∈RM×K，Dl∈RN×K，K为字典中原子的个数，D的每列需作归一化处理；
步骤504)迭代直至收敛：
a)固定D，用线性规划方法更新Λ；
b)固定Λ，用Lasso 算法更新D：
步骤505)得到高低字典对{Dh,Dl}；
步骤506)对于待重建图像块y，由下式求出其对应位样本块对{y0,x0}在低分辨率字典Dl下的稀疏解向量
其中，F是特征提取算子，是将下列一维滤波器组应用到图像上得到的响应的综合；一维滤波器组函数为：
f1＝[-1,0,1],f2＝f1T,f3＝[-1,2,-1],f4＝f3T (7)
步骤507)对于待重建图像块y，其对应位样本块对{y0,x0}的映射梯度函数为：
3.根据权利要求1所述的基于局部回归模型的图像超分辨率重建方法，其特征在于，所述方法的步骤6中图像块y的非局部自相似块的搜索方法如下：
步骤601)以(ir,jr)为中心，在Y0上一个13*13大小的窗内对所有块计算其与待重建块间的欧式距离
步骤602)如有dp≤t，块被选为y的非局部相似块，其中t是预设的阈值,或者是与y最相似的前J个块。

说明书全文

一种基于局部回归模型的图像超分辨率重建方法

技术领域

[0001] 本发明涉及图像超分辨率重建的技术领域，特别是涉及一种基于局部回归模型的图像超分辨率重建方法。

背景技术

[0002] 大部分数字图像应用中都需要高分辨率图像来分析和处理。图像分辨率描述的是图像细节，所以更高分辨率的图像就具有更多的细节。获得高分辨率图像最直接的方法就是用具有更好的棱镜和光学处理器的相机，但由于物理原因，这种方法具有局限性有时甚至不可实现，而且常常需要对无法再次采集的已有图像提高分辨率。因而实用的方法是是基于信号处理和机器学习的方法做超分辨率图像重建。超分辨率图像重建意图冲破图像获取时的限制来增强图像的分辨率，并可以提高很多图像处理应用的性能。

[0003] 由于很多不同的高分辨率图像能产生相同的低分辨率图像，因此超分辨率图像重建问题是一个病态问题，必须依赖一些图像先验才能得到稳健的估计结果。常见的图像先验是简单的“平滑”先验，如，双立方插值。当一幅图像包含尖锐的不连续区域，如边缘、转角等，简单的“平滑”先验用于超分辨率重建是就会产生振铃、锯齿、模糊和重影等问题。因此，更理想的统计图像先验是从自然图像中学习得到的。纵然自然图像是稀疏信号，仅用少量参数来表示其丰富的特征也是不可能的，基于样本的非参数方法用训练样本低/高分辨率图像块整体来用于预测高分辨率图像中丢失的高频分量。但这些方法需要大量的训练块，使其计算的有效性不强。

[0004] 目前很多超分辨率算法利用图像具有大量自相似性的事实，即，局部图像结构会在不同的图像尺度重复出现，因此，图像超分辨率问题可以用这些样本而不是外部的数据库来做正则化。Glasner等就提出一种用不同图像尺度的自相似样本块来正则化超分辨率重建问题的框架。Yang等开发一种利用低分辨率图像建造的图像金字塔提取图像块对进行字典学习的超分辨率算法。Freedman则利用样本图像块的局部自相似假设和迭代上采样低分辨率图像扩展了基于样本超分辨率重建框架。

[0005] 目前这类利用局部图像结构自相似性的图像超分辨率重建方法大多需要额外的训练样本作为重建的先验模型，而训练样本中的局部图像结构与待重建图像的局部图像结构对重建的质量的影响较大，有一些超分辨率重建方法的模型框架过于复杂，计算复杂度也过高。

发明内容

[0006] 本发明的目的是提供一种基于局部回归模型的图像超分辨率重建方法，学习得到的字典可以更准确的反映出图像的先验模型，并将该模型应用到超分辨率重建中。

[0007] 一种基于局部回归模型的图像超分辨率重建方法，包括如下步骤，[0008] 步骤1：读入待重建低分辨率图像X0，放大因子s；

[0009] 步骤2：对X0高斯低通滤波得到其低频带图像Y0，对X0双立方插值近似输出高分辨率图像的低频带图像Y；

[0010] 步骤3：对Y划分成互相重叠的大小为a×a的图像块y；

[0011] 步骤4：根据步骤3得到的图像块y的位置(i,j)找到其在Y0中的对应位(ir,jr)，其中得到y在Y0和X0中的对应位相似样本块对{y0,x0}；

[0012] 步骤5：由一阶局部回归模型计算步骤3得到的图像块y的高分辨率图像块x，公式如下：

[0013]

[0014] 步骤6：计算步骤3得到的图像块y的非局部自相似块的对应位相似样本块对组分别执行步骤5，将计算结果加权求和，公式如下：

[0015]

[0016] 权值wp可通过共轭梯度法求解下列公式得到：

[0017]

[0018] 其中，

[0019] 步骤7：对所有高分辨率图像块x叠加平均，得到高分辨率图像X。

[0020] 所述步骤5中映射梯度函数▽f利用对应位图像块对通过机器学习的方法得到字典，来表示图像的先验模型，方法如下：

[0021] 步骤501)从输入图像X0、其低频带图像Y0的对应位置采样得到Q个对应位样本图像块对

[0022] 步骤502)将x0与y0之间的残差作为字典训练中高分辨率样本块向量字典训练中的低分辨率样本块向量是将两组训练样本联合起来同时训练，则用于字典训练的图像块对为其中norm(.)为归一化处理，M、N分别为高、低图像特征块的矢量维数；

[0023] 步骤503)目标字典为用高斯随机矩阵初始化字典D∈R(M+N)×K，其中Dh∈RM×K，Dl∈RN×K，K为字典中原子的个数，D的每列需作归一化处理；

[0024] 步骤504)迭代直至收敛：

[0025] a)固定D，用线性规划方法更新Λ；

[0026]

[0027] b)固定Λ，用Lasso算法更新D：

[0028]

[0029] 步骤505)得到高低字典对{Dh,Dl}；

[0030] 步骤506)对于待重建图像块y，由下式求出其对应位样本块对{y0,x0}在低分辨率字典Dl下的稀疏解向量

[0031]

[0032] 其中，F是特征提取算子，是将下列一维滤波器组应用到图像上得到的响应的综合；一维滤波器组函数为：

[0033] f1＝[-1,0,1],f2＝f1T,f3＝[-1,2,-1],f4＝f3T (7)

[0034] 步骤507)对于待重建图像块y，其对应位样本块对{y0,x0}的映射梯度函数▽f为：

[0035] ▽f(y0)＝Dhα* (8)。

[0036] 所述方法的步骤6中图像块y的非局部自相似块的搜索方法如下：

[0037] 步骤601)以(ir,jr)为中心，在Y0上一个13*13大小的窗内对所有块计算其与待重建块间的欧式距离

[0038] 步骤602)如有dp≤t，块被选为y的非局部相似块，其中t是预设的阈值,或者是与y最相似的前J个块。

[0039] 本发明在利用局部一阶回归模型，充分利用局部图像结构会在不同的图像尺度重复出现的事实，无需使用外部图像模型，直接对输入图像块用机器学习的方法学习得到先验模型，用于重建时该先验模型较外部图像模型更准确。在应用局部回归模型重建时，对图像中非局部自相似块分别重建，通过加权综合得到最终的重建结果。该发明的重建主客观质量上较现有算法都有提高。附图说明

[0040] 图1为基于局部回归模型的图像超分辨率重建方法实施例的整体流程图；

[0041] 图2为非局部自相似图像块的局部回归模型示意图。

具体实施方式

[0042] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

[0043] 如图1所示，本发明的一种基于局部回归模型的图像超分辨率重建方法，该方法具体实施步骤如下：

[0044] 步骤1：读入待重建低分辨率图像X0，放大因子s；

[0045] 步骤2：对X0高斯低通滤波得到其低频带图像Y0，对X0双立方插值近似输出高分辨率图像的低频带图像Y；

[0046] 步骤3：对Y划分成互相重叠的大小为a×a的图像块y。

[0047] 步骤4：根据步骤3得到的图像块y的位置(i,j)找到其在Y0中的对应位(ir,jr)得到其在Y0和X0中的对应位相似样本块对{y0,x0}。

[0048] 步骤5：由一阶局部回归模型计算步骤3得到的图像块y的高分辨率图像块x，公式如下：

[0049]

[0050] 步骤6：搜索步骤3得到的图像块y的非局部自相似块，以(ir,jr)为中心，在Y0上一个足够大的窗内对所有块计算如有dp≤t，块被选为y的非局部相似块，其中t是预设的阈值,或者是与y最相似的前J个块。对非局部自相似块的对应位相似样本块对组分别进行步骤5，将计算结果加权求和，公式如下：

[0051]

[0052] 权值wp可通过共轭梯度法求解下列公式得到：

[0053]

[0054] 其中，

[0055] 步骤7：对所有求出的高分辨率图像块x叠加平均得到高分辨率图像X。

[0056] 其中，所述方法的步骤5中映射梯度函数▽f利用对应位图像块对通过机器学习的方法得到字典，来表示图像的先验模型。方法如下：

[0057] 1)从输入图像X0、其低频带图像Y0的对应位置采样得到的对应位样本图像块对[0058] 2)将x0与y0之间的残差作为字典训练中高分辨率样本块向量字典训练中的低分辨率样本块向量是将两组训练样本联合起来同时训练，则用于字典训练的图像块对为其中norm(.)为归一化处理，M、N分别
为高、低图像特征块的矢量维数；

[0059] 3)目标字典为用高斯随机矩阵初始化字典D∈R(M+N)×K，其中Dh∈RM×K，Dl∈RN×K，K为字典中原子的个数，D的每列需作归一化处理；

[0060] 4)迭代直至收敛：

[0061] a)固定D，用线性规划方法更新Λ

[0062]

[0063] b)固定Λ，用Lasso(LEE H,BATTLE A,RAINA R,et al.Efficient sparse coding algorithms[C]//.NIPS 2007:Advances in Neural Information Processing Systems,pp.801--808.)算法更新D

[0064]

[0065] 5)得到高低字典对{Dh,Dl}

[0066] 6)对于待重建图像块y，可以由下式求出其对应位样本块对{y0,x0}在低分辨率字典Dl下的稀疏解向量

[0067]

[0068] 其中，F是特征提取算子，是将下列一维滤波器组应用到图像上得到的响应的综合。一维滤波器组函数为：

[0069] f1＝[-1,0,1],f2＝f1T,f3＝[-1,2,-1],f4＝f3T (7)7)对于待重建图像块y，其对应位样本块对{y0,x0}的映射梯度函数▽f为：

[0070] ▽f(y0)＝Dhα* (8)

[0071] 本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

标题	发布/更新时间	阅读量
超参数优化方法、装置、计算机设备和存储介质	2020-05-08	690
基于深度学习的操作系统的异常日志的处理方法及装置	2020-05-08	911
基于机器学习的直落式物料下料机控制方法	2020-05-11	49
一种用于智慧数据碰撞的机器学习方法及装置	2020-05-08	379
控制支援装置及方法、车辆、记录介质、用于使计算机发挥功能的已学习模型及生成方法	2020-05-11	179
一种基于机器学习的应收账款兑付风险控制方法及系统	2020-05-08	568
一种基于区块链的安全SVM训练方法	2020-05-08	630
用于支持盘故障预测的方法、设备和计算机程序产品	2020-05-08	122
一种海量数据库表快速分类的方法	2020-05-08	492
视频处理方法、装置、电子设备及存储介质	2020-05-08	217

一种基于局部回归模型的图像超分辨率重建方法

一种基于局部回归模型的图像超分辨率重建方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：