一种基于联合运动估计与超分辨率重建的图像重建方法专利检索-运动估计视听技术与设备专利检索查询-专利查询网

一种基于联合运动估计与超分辨率重建的图像重建方法

阅读：143发布：2021-02-28

专利汇可以提供一种基于联合运动估计与超分辨率重建的图像重建方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于联合运动估计与超分辨率重建的图像重建方法，包括：(1)对所有低分辨图像进行插值放大；(2)将待重建图像分别与参考图像进行运动估计；(3)对图像进行融合，获得融合图像；(4)对融合图像进行去噪处理，获得超分辨率重建图像。本发明通过把运动估计过程与超分辨率重建过程联合在一起，利用若干不同低分辨率的参考图像相对于待重建图像的运动估计参数之间的关系，在超分辨率重建过程中同时优化运动估计参数的精度，有效地提升了超分辨率重建的效果。因此，本发明方法被广泛应用于卫星遥感生物医学图像，图像修复等领域。，下面是一种基于联合运动估计与超分辨率重建的图像重建方法专利的具体信息内容。

权利要求

1.一种基于联合运动估计与超分辨率重建的图像重建方法，包括如下步骤：
(1)获取一帧待重建图像和N帧参考图像，对所述的待重建图像和所有参考图像进行插值放大，得到一帧待重建插值图像和N帧参考插值图像，N为大于等于4的自然数；
(2)将所述的待重建插值图像分别与N帧参考插值图像进行运动估计，得到N个初始运动估计参数；
(3)根据N帧参考插值图像，建立关于图像融合的数学模型，获取所述的待重建插值图像和N个初始运动估计参数，通过融合迭代算法对所述的数学模型进行迭代求解，得到待重建融合图像；
所述的关于图像融合的数学模型为：
式1中：Yk为第k帧参考插值图像；Fk为Yk对应的运动估计参数；Z为待重建融合图像；
k和i为参考插值图像的帧号，k和i为自然数，且1≤k≤N，1≤i≤N；ε和λ为权重参数；
所述的融合迭代算法由以下三式组成：
式2、3、4中：为Yk对应的初始运动估计参数第n次迭代后的运动估计参数，其初始n
值为Yk对应的初始运动估计参数；Z 为待重建插值图像第n次迭代后的融合图像，其初始值Z0为待重建插值图像；n为迭代次数；ξ和ζ为迭代步长参数；η为阈值参数；
其中，式4是为迭代终止条件，当式4成立，融合迭代算法终止，输出Zn+1，将Zn+1作为待重建融合图像；
(4)对所述的待重建融合图像进行去噪声，去模糊处理，得到超分辨率重建图像。
2.根据权利要求1所述的基于联合运动估计与超分辨率重建的图像重建方法，其特征在于：所述的步骤(1)中，对待重建图像和所有参考图像进行插值放大是通过采用最邻近插值法、双线性插值法、三线性插值法或三次卷积插值法实现的。
3.根据权利要求1所述的基于联合运动估计与超分辨率重建的图像重建方法，其特征在于：所述的步骤(2)中，将待重建插值图像分别与N帧参考插值图像进行运动估计是通过采用分级块匹配法或光流法实现的。
4.根据权利要求1所述的基于联合运动估计与超分辨率重建的图像重建方法，其特征在于：所述的步骤(4)中，对待重建融合图像进行去噪声，去模糊处理是通过采用梯度下降法实现的。

说明书全文

一种基于联合运动估计与超分辨率重建的图像重建方法

技术领域

[0001] 本发明属于图像处理技术领域，具体涉及一种基于联合运动估计与超分辨率重建的图像重建方法。

背景技术

[0002] 图像分辨率一直是人们衡量图像质量的一项重要指标。传统上人们采用图像插值法来提高图像的分辨率，比如双线性插值算法，三次线性插值算法等等。不过这些方法由于没有引入新的信息量，因此效果有限。为了进一步提高图像的分辨率，人们提出了超分辨率图像重建方法来解决这个问题。

[0003] 图像的超分辨率重建技术就是利用几幅低分辨率的图像，结合一些图像的先验信息，采用现代信号处理技术去除模糊，噪声等影响图像质量的因素，从而更加真实的还原原始图像。这种技术不仅成本低廉，可以用在各种成像场合，而且不需要对现有的成像设备作任何的修改。因此，超分辨率图像重建技术在卫星遥感生物医学图像，图像修复等领域都有广泛的应用。

[0004] 传统的超分辨率图像重建方法中，其运动估计过程和超分辨率重建过程是先后独立开来的两个步骤，这种方法由于运动估计过程本身并不完全精确，因此由运动估计过程产生的误差将会影响到超分辨率重建的效果。

发明内容

[0005] 本发明提供了一种基于联合运动估计与超分辨率重建的图像重建方法，通过把运动估计过程与超分辨率重建过程联合在一起，在超分辨率重建过程中同时优化运动估计参数的精度，有效地提升超分辨率重建的效果。

[0006] 一种基于联合运动估计与超分辨率重建的图像重建方法，包括如下步骤： [0007] (1)获取一帧待重建图像和N帧参考图像，对所述的待重建图像和所有参考图像进行插值放大，得到一帧待重建插值图像和N帧参考插值图像，N为大于等于4的自然数； [0008] (2)将所述的待重建插值图像分别与N帧参考插值图像进行运动估计，得到N个初始运动估计参数；

[0009] (3)根据N帧参考插值图像，建立关于图像融合的数学模型，获取所述的待重建插值图像和N个初始运动估计参数，通过融合迭代算法对所述的数学模型进行迭代求解，得到待重建融合图像；

[0010] 所述的关于图像融合的数学模型为：

[0011]

[0012] 式1中：Yk为第k帧参考插值图像；Fk为Yk对应的运动估计参数；Z为待重建融合图像；k和i为参考插值图像的帧号，k和i为自然数，且1≤k≤N，1≤i≤N；ε和λ为权重参数，且皆为实际经验值。

[0013] 所述的融合迭代算法由以下三式组成：

[0014]

[0015]

[0016]

[0017] 式2、3、4中：为Yk对应的初始运动估计参数第n次迭代后的运动估计参数，n其初始值为Yk对应的初始运动估计参数；Z 为待重建插值图像第n次迭代后的融合图像，其初始值Z0为待重建插值图像；n为迭代次数；ξ和ζ为迭代步长参数，η为阈值参数，且皆为实际经验值。

[0018] 其中，式4是为迭代终止条件，当式4成立，融合迭代算法终止，输出Zn+1，将Zn+1作为待重建融合图像。

[0019] (4)对所述的待重建融合图像进行去噪声，去模糊处理，得到超分辨率重建图像。 [0020] 优选的技术方案中，所述的步骤(1)中，对待重建图像和所有参考图像进行插值放大是通过采用最邻近插值法、双线性插值法、三线性插值法或三次卷积插值法实现的。 [0021] 优选的技术方案中，所述的步骤(2)中，将待重建插值图像分别与N帧参考插值图像进行运动估计是通过采用分级块匹配法或光流法实现的。

[0022] 优选的技术方案中，所述的步骤(4)中，对待重建融合图像进行去噪声，去模糊处理是通过采用梯度下降法实现的。

[0023] 本发明通过把运动估计过程与超分辨率重建过程联合在一起，利用若干不同低分辨率的参考图像相对于待重建图像的运动估计参数之间的关系，在超分辨率重建过程中同时优化运动估计参数的精度，有效地提升了超分辨率重建的效果，使得重建后的图像能够较好的保存图像的细节信息和高频分量，从而得到较优质的超分辨率重建图像。附图说明

[0024] 图1为本发明图像重建方法的具体实施流程示意图。

[0025] 图2为待重建图像的效果图。

[0026] 图3为超分辨率重建图像的效果图。

具体实施方式

[0027] 为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的图像重建方法进行详细说明。

[0028] 如图1所示，一种基于联合运动估计与超分辨率重建的图像重建方法的具体实施流程如下：

[0029] (1)对所有低分辨率图像进行三线性插值放大。

[0030] 获取低分辨率的一帧待重建图像和N帧参考图像，对所有低分辨率的图像进行三线性插值放大，得到一帧待重建插值图像和N帧参考插值图像。

[0031] 设i，j为非负整数，u，v∈[0，1)，f(i，j)为图像中点(i，j)处的像素值，则三线性插值法由以下五式组成：

[0032]

[0033] A＝[S(u+1)，S(u)，S(u-1)，S(u-2)] (9)

[0034]

[0035]

[0036] f(i+u，j+v)＝A*B*C (12)

[0037] 所求的f(i+u，j+v)即为三线性插值放大后的图像。

[0038] (2)将待重建插值图像分别与N帧参考插值图像进行运动估计，得到N个初始运动估计参数。

[0039] 对于整体运动一致的图像序列，采用分级块匹配法将待重建插值图像分别与N帧参考插值图像进行运动估计：首先，把参考插值图像划分为一个个图像块，假设每个图像块的运动估计参数是一致的，然后在待重建插值图像中寻找和当前参考图像块最匹配的图像块，常用的有三步搜索法、菱形搜索法、十字搜索法等，最优匹配块和当前参考图像块之间的位移就是需要估计的运动参数；其次，先使用传统方法得到整像素精度的运动估计参数，然后分别将参考插值图像和待重建插值图像上采样，长宽各放大2倍；最后，在放大后的图像间用传统方法求解运动估计参数，通过把上一级的运动估计参数作为初始值可以大大加快这个过程。

[0040] 这样得到的运动估计参数就是1/2级像素精度的了。如果精度不够，继续将参考插值图像和待重建插值图像上采样，长宽各放大2倍，通过运动估计算法后就可以得到1/4像素精度的运动估计参数了。反复这个过程，一直到满足需要的精度为止。 [0041] (3)建立并利用关于图像融合的数学模型，计算更新融合图像Z。 [0042] 联合运动估计与数据融合，把所有参考插值图像的信息都融合到待重建插值图像中，并建立关于图像融合的数学模型为：

[0043]

[0044] 式1中：Yk为第k帧参考插值图像；Fk为Yk对应的运动估计参数；Z为待重建融合图像；k和i为参考插值图像的帧号，k和i为自然数，且1≤k≤N，1≤i≤N；ε和λ为权重参数；本实施例中，ε为0.9，λ为0.25。

[0045] 利用式2对式1进行迭代求解，计算更新融合图像Z。

[0046]

[0047] 式2中：为Yk对应的初始运动估计参数第n次迭代后的运动估计参数，其n初始值为Yk对应的初始运动估计参数；Z 为待重建插值图像第n次迭代后的融合图像，其初始值Z0为待重建插值图像；n为迭代次数；ζ为迭代步长参数；本实施例中，ζ为
0.05。

[0048] (4)判断融合图像Z是否满足迭代终止条件，若满足则输出融合图像Z；若不满足则利用关于图像融合的数学模型，计算更新运动估计参数Fk，返回执行步骤(3)，重复计算更新融合图像Z。

[0049] 根据式4的迭代终止条件，判断是否终止式2的迭代算法，若式4成立，终止式2的迭代算法，输出Zn+1，将Zn+1作为待重建融合图像Z。

[0050]

[0051] 式4中：η为阈值参数；本实施例中，η为0.01。

[0052] 若式4不成立，则利用式3对式1进行迭代求解，计算更新运动估计参数Fk，返回执行步骤(3)，重复计算更新融合图像Z。

[0053]

[0054] 式3中：ξ为迭代步长参数；本实施例中，ξ为0.75。

[0055] 将经过式3的迭代算法求得的Fk代入式2中，进行关于融合图像Z的新一次迭代，反复这个过程，直到式4的迭代终止条件成立为止，输出待重建融合图像Z。 [0056] (5)对融合图像Z进行去噪声，去模糊处理。

[0057] 根据式5，采用梯度下降法对式5进行迭代求解，式6为梯度下降法的方程表达式，式7为梯度下降法的迭代终止条件。

[0058]

[0059]

[0060]

[0061] 式5、6、7中：X为超分辨率重建图像；Xn为待重建插值图像第n次迭代后的重建图像，其初始值X0为待重建插值图像；β为迭代步长参数；Bk为第k帧参考插值图像的模糊算子，为Bk的转置；S为平移算子，表示在x方向上向右平移l个像素，表示在y方向上向上平移m个像素；μ为权重参数；α、q均为参数；ρ为阈值参数。本实施例中，μ为0.5，α为0.9，q为2，ρ为0.01，β为0.03，模糊算子Bk为高斯算子，窗口大小为3*3，标准差为0.5。

[0062] 当式7的迭代终止条件成立，终止式6的梯度下降法，将Xn+1作为超分辨率重建图像X。

[0063] (6)输出超分辨率重建图像X。

[0064] 本实施例的实验结果如图2、图3所示。图2为待重建图像；利用14帧参考图像，经插值放大3倍后，超分辨率重建图像的像素为270*360，如图3所示。为了方便对比，把待重建图像放大到和超分辨率重建图像一样大小，对比可见，本实施例的方法能够清楚的把待重建图像中车牌里的“浙”字还原清楚，而且车牌数字的边缘也较为清晰，因此本发明的方法是一种有效的超分辨率图像重建方法。

标题	发布/更新时间	阅读量
支持闭环最优化的可分级视频编码方法和设备	2021-11-05	0
一种基于HEVC运动估计起始点确定方法	2020-09-26	5
用于视频捕获的方法、设备和系统	2020-08-15	6
参考数据载入的方法及装置	2021-08-27	5
一种基于惯性感知的视频防抖系统及其工作方法	2020-05-22	6
Reducing and correcting motion estimation artifacts during video frame rate conversion	2020-12-10	1
Hierarchical motion estimating method, and ultrasonic imaging device for which the method is applied	2021-11-06	1
Unit for and method of estimating a motion vector	2022-01-06	3
특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치	2022-09-11	3
움직임 추정 반복 탐색을 개선하기 위한 시스템, 다음 탐색 영역의 중심점 결정 방법 및 지역적 최소값을 회피하기 위한 시스템	2020-10-16	5

一种基于联合运动估计与超分辨率重建的图像重建方法

一种基于联合运动估计与超分辨率重建的图像重建方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：