首页 / 专利库 / 电脑图像 / 盲反卷积 / 大气湍流退化图像重建方法

大气湍流退化图像重建方法

阅读:994发布:2020-07-25

专利汇可以提供大气湍流退化图像重建方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种大气 湍流 退化图像重建方法,用于解决现有湍流图像重建和复原方法重建和复原图像清晰度差的技术问题。技术方案是首先进行多 帧 配准消除畸变图像,再重建基于 时空 近邻组合的衍射模糊图像,最后采用全局一致 盲反卷积 消除衍射模糊。由于该方法充分考虑了配准误差、配准插值造成的人造衍 生物 的影响以及空间和时间维度存在的冗余结构信息对重建观测物体的作用,利用建立时空中相似图像 块 以及图像块内 像素 与潜在高 质量 图像内容之间的统计依赖关系,并设计了相应的 采样 策略在时空中选取具有相似结构的高质量图像块。使用邻域合并方法求得衍射模糊图像。最后利用通用的全局一致反卷积方法对衍射模糊图像进行 去模糊 ,得到了清晰的重建图像。,下面是大气湍流退化图像重建方法专利的具体信息内容。

1.一种大气湍流退化图像重建方法,其特征在于包括以下步骤:
步骤一、使用基于B样条的非刚性配准方法估计畸变图像中像素点相对参考图像的运动场并对图像序列进行配准。用序列的平均图像做配准的参考图像R,在图像网格中选取均匀的距离相同的控制点,用控制点的运动参数通过B样条插值表示畸变图像全局的畸变场。使用双向投影误差估计每像素点的畸变场,优化目标函数C(p)为:
其中,G为畸变图像,R为参考图像,和 分别表示控制点处的由退化图像到参考图像与反方向的运动向量, 表示由位置x与运动向量 通过B样条插值得到的任一位置x处的运动向量。其中,约束项 表示前向与后向畸变运动场具有 特性,
优化求解目标p为 和 的组合,即 使用高斯-顿法迭代求解得到p,进而截取部分得到 用 求取G相对于R全局运动场,通过插值对G进行校正。
步骤二、使用经过配准对齐消除湍流畸变的图像序列{Rk}重建单帧仅包含衍射模糊的图像Z。重建的过程为分别估计衍射模糊图像的每一个像素的值。在每帧配准图像中,重建位于p位置的像素,以p为中心截取L×L大图像用于建立时间域组合权值,并限定之后的时空域近邻采样的范围,得到图像块序列。
(1)使用图像的方差值作为图像清晰程度的量化,求取图像块序列中每个图像块的方差{sk}。计算{sk}中位数η和平均绝对误差σ,判定不满足|sk-η|>ζσ的图像块作为外点,其中ζ为设定的外点剔除系数。得到剔除外点之后的以p为中心的图像块序列{Wk[p]},并在其中选取sk值最大的图像块作为参照图像块Wref[p]。
(2)将在以上剔除外点的L×L大图像块序列中截取较小的l×l(l2
图像块序列,进行列拉伸,得到尺寸为l×1的向量序列{Vk,j[p]}。其中,使用小图像块的欧氏距离和小图像块的梯度的欧氏距离的加权组合作为相似性衡量:
其中, ()表示梯度图像。
(3)计算采样得到的近邻向量序列{Vk,j[p]}中不同帧中截取得到的向量在组合中的比重,即样本在时间域上的链接关系。对于{Vk,j[p]}中从第k帧中采样得到的向量{Vk,1[p],...,Vk,J[p]},利用大图像块Wk[p]与Wref[p]之间的距离作为衡量k帧中的向量在组合中的权值,距离越小,表明Wk[p]的局部区域内成像质量最高,权值越大。使用高斯核函数作为Wk[p]与Wref[p]之间的距离的度量,则k帧中的向量在组合中的权值为:
(4)为了得到{Vk,j[p]}中每个向量中心的元素,通过线性组合得到隐含高质量衍射模糊图像中对应像素值Z[p]的值,建立线性组合模型:
T
Z[p]=cV[p] (4)
2
其中,Z[p]为V[p]中心位置对应的隐含清晰像素,V[p]为像素值构成的l×1列向量,c为空间域组合权值,c表示隐含衍射模糊图像像素值与观测到的图像领域像素之间的组合关系。假设采样得到的{Vk,j[p]}中每个向量满足以上线性组合模型。
第一步求解c′,定义Vk,j[p]中像素值元素构成集合 该集合除
去元素 后表示为{v}/t+1。相应地,除去中心像素的向量序列为{Vk′,j[p]},使用表示中心像素与邻域像素之间的关系,进而表示式(4)中权值向量c除中心元素意外元素的对向量组合中的作用。通过求解以下优化目标函数求得c′:
其中,κk[p]为步骤(3)中求得时间域组合权值。式(5)的求解具有封闭形式,解为:
2
其中,VM′为{Vk′,j[p]}排列组成的(l-1)×(K×J)的矩阵:
VM′=[V1,′1[p],...,V1,′J[p],...,Vk′,1[p],...,VK′,J[p]]
vc为向量中心像素 排列组成的(K×J)×1的列向量, rk,j[p]为向
量中心像素对应的原配准帧中的像素值:
Λ是KJ×KJ的对矩阵:
Λ=[κ1[p],...,κ1[p],...,κK[p],...,κK[p]]
2
Λ中每个κk[p]为每帧中的J个向量重复J次。求解得到的 为一个(l-1)×1的列向量。之后对 进行归一化,使 元素分布于0-1之间。
对 进行过归一化后,再次对 与ct+1进行统一归一化,得到空间线性组合权值向量c的最终估计值。
(5)得到以上的对应于位置p的时间域与空间域组合权值{κk,j[p]}与c之后,对步骤(2)中采样得到的时空域近邻向量进行组合得到衍射图像中位于p出的像素值的估计:
其中,tr()表示矩阵的迹,即矩阵对角线值的和。
对于潜在衍射模糊图像的每一个像素,重复步骤(1)-(5),重建得到高质量的衍射模糊图像。
步骤三、衍射模糊图像中的模糊仅包含全局一致的衍射模糊。其退化模型为:
其中,F为清晰的图像,h为衍射模糊点扩散函数,ε为加性噪声。为了进一步使结果图像清晰化,使用全局一致反卷积的方法去除衍射模糊。其优化目标函数为:
其中, 为式(8)引出的反卷积误差项,Rf(F)和Rh(h)分别为清晰图像F和模糊点扩散函数h的先验约束项,λ1和λ2为相应的权值参数,为可调参数。具体地,Rf(F)=||ρ(Fx)+ρ(Fy)|| (10)
其中,Fx和Fy分别为清晰图像F在平方向与竖直方向的梯度。而lt,θ1,θ2和θ3为固定参数。
使用交替迭代优化求解式(9),在迭代过程中,分别固定F或h来优化h与F。求解得到的 即为去除衍射模糊的最终清晰图像。

说明书全文

大气湍流退化图像重建方法

技术领域

[0001] 本发明涉及一种退化图像重建方法,特别涉及一种大气湍流退化图像重建方法。

背景技术

[0002] 文 献“Xiang Zhu;Milanfar,P.,"Removing Atmospheric Turbulence via Space-Invariant Deconvolution,"Pattern Analysis and Machine Intelligence,IEEE Transactions on,vol.35,no.1,pp.157,170,Jan.2013”提出一种基于B样条配准、时间域核回归去噪以及全局一致盲复原的多湍流图像重建和复原框架。该方法利用多帧平均图像作为参照图像,使用基于B样条的非刚性图像配准方法对大气湍流引起的图像扭曲进行消除。对于配准(对齐)后的图像序列,将每幅图像以每个像素点为中心分为具有相同大小重叠的图像,以此构建了与图像像素数目相同数量的图像块序列。进而使用序列核回归的方法使用每个图像块序列构建潜在衍射模糊图像(仅包含全局一致衍射模糊的图像)中相应位置的像素点。最后使用全局一致盲反卷积的方法对衍射模糊进行消除,从而得到清晰的最终重建结果图。文献所述方法框架中依赖B样条配准与插值对图像进行畸变矫正,但无法精确地消除大气湍流引起的图像扭曲,并会引入一定程度的人造衍生物;核心重建部分的时间序列核回归依赖配准精度,并且仅仅利用了相同位置的单像素点作为核回归的样本对象,没有充分利用时空领域的领域信息,损失了图像细节。

发明内容

[0003] 为了克服现有湍流图像重建和复原方法重建和复原图像清晰度差的不足,本发明提供一种大气湍流退化图像重建方法。该方法充分考虑了配准误差、配准插值造成的人造衍生物的影响以及空间和时间维度存在的冗余结构信息对重建观测物体的作用,利用建立时空中相似图像块以及图像块内像素与潜在高质量图像内容之间的统计依赖关系,并设计了相应的采样策略在时空中选取具有相似结构的高质量图像块。使用邻域合并方法求得衍射模糊图像。最后利用通用的全局一致反卷积方法对衍射模糊图像进行去模糊得到清晰的重建图像。
[0004] 本发明解决其技术问题所采用的技术方案是:一种大气湍流退化图像重建方法,其特点是包括以下步骤:
[0005] 步骤一、使用基于B样条的非刚性配准方法估计畸变图像中像素点相对参考图像的运动场并对图像序列进行配准。用序列的平均图像做配准的参考图像R,在图像网格中选取均匀的距离相同的控制点,用控制点的运动参数通过B样条插值表示畸变图像全局的畸变场。使用双向投影误差估计每帧像素点的畸变场,优化目标函数C(p)为:
[0006]
[0007] 其中,G为畸变图像,R为参考图像, 和 分别表示控制点处的由退化图像到参考图像与反方向的运动向量, 表示由位置x与运动向量 通过B样条插值得到的任一位置x处的运动向量。其中,约束项 表示前向与后向畸变运动场具有特性,优化求解目标p为 和 的组合,即 使用高斯-顿法迭代求解得
到p,进而截取部分得到 用 求取G相对于R全局运动场,通过插值对G进行校正。
[0008] 步骤二、使用经过配准对齐消除湍流畸变的图像序列{Rk}重建单帧仅包含衍射模糊的图像Z。重建的过程为分别估计衍射模糊图像的每一个像素的值。在每帧配准图像中,重建位于p位置的像素,以p为中心截取L×L大图像块用于建立时间域组合权值,并限定之后的时空域近邻采样的范围,得到图像块序列。
[0009] (1)使用图像的方差值作为图像清晰程度的量化,求取图像块序列中每个图像块的方差{sk}。计算{sk}中位数η和平均绝对误差σ,判定不满足|sk-η|>ζσ的图像块作为外点,其中ζ为设定的外点剔除系数。得到剔除外点之后的以p为中心的图像块序列{Wk[p]},并在其中选取sk值最大的图像块作为参照图像块Wref[p]。
[0010] (2)将在以上剔除外点的L×L大图像块序列中截取较小的l×l(l
[0011]
[0012] 其中, ()表示梯度图像。
[0013] (3)计算采样得到的近邻向量序列{Vk,j[p]}中不同帧中截取得到的向量在组合中的比重,即样本在时间域上的链接关系。对于{Vk,j[p]}中从第k帧中采样得到的向量{Vk,1[p],...,Vk,J[p]},利用大图像块Wk[p]与Wref[p]之间的距离作为衡量k帧中的向量在组合中的权值,距离越小,表明Wk[p]的局部区域内成像质量最高,权值越大。使用高斯核函数作为Wk[p]与Wref[p]之间的距离的度量,则k帧中的向量在组合中的权值为:
[0014]
[0015] (4)为了得到{Vk,j[p]}中每个向量中心的元素,通过线性组合得到隐含高质量衍射模糊图像中对应像素值Z[p]的值,建立线性组合模型:
[0016] Z[p]=cTV[p] (4)
[0017] 其中,Z[p]为V[p]中心位置对应的隐含清晰像素,V[p]为像素值构成的l2×1列向量,c为空间域组合权值,c表示隐含衍射模糊图像像素值与观测到的图像领域像素之间的组合关系。假设采样得到的{Vk,j[p]}中每个向量满足以上线性组合模型。
[0018] 第一步求解c′,定义Vk,j[p]中像素值元素构成集合 该集合除去元素 后表示为{v}/t+1。相应地,除去中心像素的向量序列为{Vk′,j[p]},使用表示中心像素与邻域像素之间的关系,进而表示式(4)中权值向量c除中心元素意外元素的对向量组合中的作用。通过求解以下优化目标函数求得c′:
[0019]
[0020] 其中,κk[p]为步骤(3)中求得时间域组合权值。式(5)的求解具有封闭形式,解为:
[0021]
[0022] 其中,VM′为{Vk′,j[p]}排列组成的(l2-1)×(K×J)的矩阵:
[0023] VM′=[V1,′1[p],...,V1,′J[p],...,Vk′,1[p],...,VK′,J[p]][0024] vc为向量中心像素 排列组成的(K×J)×1的列向量, rk,j[p]为向量中心像素对应的原配准帧中的像素值:
[0025]
[0026] Λ是KJ×KJ的对矩阵:
[0027] Λ=[κ1[p],...,κ1[p],...,κK[p],...,κK[p]]
[0028] Λ中每个κk[p]为每帧中的J个向量重复J次。求解得到的 为一个(l2-1)×1的列向量。之后对 进行归一化,使 元素分布于0-1之间。
[0029] 对 进行过归一化后,再次对 与ct+1进行统一归一化,得到空间线性组合权值向量c的最终估计值。
[0030] (5)时空域组合估计衍射图像像素值。
[0031] 得到以上的对应于位置p的时间域与空间域组合权值{κk,j[p]}与c之后,对步骤(2)中采样得到的时空域近邻向量进行组合得到衍射图像中位于p出的像素值的估计:
[0032]
[0033] 其中,tr()表示矩阵的迹,即矩阵对角线值的和。
[0034] 对于潜在衍射模糊图像的每一个像素,重复步骤(1)-(5),重建得到高质量的衍射模糊图像。
[0035] 步骤三、衍射模糊图像中的模糊仅包含全局一致的衍射模糊。其退化模型为:
[0036]
[0037] 其中,F为清晰的图像,h为衍射模糊点扩散函数,ε为加性噪声。为了进一步使结果图像清晰化,使用全局一致反卷积的方法去除衍射模糊。其优化目标函数为:
[0038]
[0039] 其中, 为式(8)引出的反卷积误差项,Rf(F)和Rh(h)分别为清晰图像F和模糊点扩散函数h的先验约束项,λ1和λ2为相应的权值参数,为可调参数。具体地,[0040] Rf(F)=||ρ(Fx)+ρ(Fy)|| (10)
[0041]
[0042] 其中,Fx和Fy分别为清晰图像F在平方向与竖直方向的梯度。而lt,θ1,θ2和θ3为固定参数。
[0043] 使用交替迭代优化求解式(9),在迭代过程中,分别固定F或h来优化h与F。求解得到的 即为去除衍射模糊的最终清晰图像。
[0044] 本发明的有益效果是:由于该方法充分考虑了配准误差、配准插值造成的人造衍生物的影响以及空间和时间维度存在的冗余结构信息对重建观测物体的作用,利用建立时空中相似图像块以及图像块内像素与潜在高质量图像内容之间的统计依赖关系,并设计了相应的采样策略在时空中选取具有相似结构的高质量图像块。使用邻域合并方法求得衍射模糊图像。最后利用通用的全局一致反卷积方法对衍射模糊图像进行去模糊,得到了清晰的重建图像。
[0045] 以下结合具体实施方式详细说明本发明。

具体实施方式

[0046] 1.多帧配准消除畸变图像。
[0047] 使用基于B样条的非刚性配准方法估计畸变图像中像素点相对参考图像的运动场并对图像序列进行配准。用序列的平均图像做配准的参考图像R,在图像网格中选取均匀的距离相同的控制点,用控制点的运动参数通过B样条插值表示畸变图像全局的畸变场。使用双向投影误差估计每帧像素点的畸变场,优化目标函数C(p)为:
[0048]
[0049] 其中,G为畸变图像,R为参考图像,和 分别表示控制点处的由退化图像到参考图像与反方向的运动向量, 表示由位置x与运动向量 通过B样条插值得到的任一位置x处的运动向量。其中,约束项 表示前向与后向畸变运动场具有特性,优化求解目标p为u 和 的组合,即 使用高斯-牛顿法迭代求解得
到p,进而截取部分得到 用 求取G相对于R全局运动场,通过插值对G进行校正。具体实现中,设定控制点在水平与垂直方向的间隔均为16个像素,设置约束项权值γ=5000。
[0050] 2.基于时空近邻组合的衍射模糊图像重建。
[0051] 使用经过配准对齐消除湍流畸变的图像序列{Rk}重建单帧仅包含衍射模糊的图像Z。重建的过程为分别估计衍射模糊图像的每一个像素的值。以重建位于p位置的像素进行讨论。首先在每帧配准图像中,以p为中心截取L×L大图像块用于建立时间域组合权值,并限定之后的时空域近邻采样的范围,因此得到了图像块序列,本实施例中选取L=9。在选取“幸运”高质量参照帧之前,为了减轻配准造成的人造衍生物的影响,首先对图像块序列中的外点进行剔除。
[0052] (1)图像块外点剔除并选取参照图像块。
[0053] 使用图像的方差值作为图像清晰程度的量化,求取图像块序列中每个图像块的方差{sk}。计算{sk}中位数η和平均绝对误差(MAD)σ,判定不满足|sk-η|>ζσ的图像块为外点,其中ζ为设定的外点剔除系数,本实施例中取值ζ=6。以此方法可以剔除图像块序列中由于配准引起的人造衍生物造成的方差值大但图像质量低的图像块。得到剔除外点之后的以p为中心的图像块序列{Wk[p]},并在其中选取sk值最大的图像块作为参照图像块Wref[p]。
[0054] (2)时空域采样相似小图像块采样。
[0055] 这一步将在以上剔除外点的L×L大图像块序列中截取较小的l×l(ll×l图像块序列,进行列拉伸,得到尺寸为l×1的向量序列{Vk,j[p]}。其中,使用小图像块的欧氏距离和图像块的梯度的欧氏距离的加权组合作为相似性衡量:
[0056]
[0057] 其中, ()表示梯度图像,本实施例中设定距离合并权值为α1=α2=0.5。以此截取得到的尽量向量序列保证了合并中能充分利用时空信息冗余,并使用清晰图像作为参照保证了结果的清晰与细节的保存。
[0058] (3)求得时间域组合权值。
[0059] 首先计算采样得到的近邻向量序列{Vk,j[p]}中不同帧中截取得到的向量在组合中的比重,即样本在时间域上的链接关系。对于{Vk,j[p]}中从第k帧中采样得到的向量{Vk,1[p],...,Vk,J[p]},利用大图像块Wk[p]与Wref[p]之间的距离作为衡量k帧中的向量在组合中的权值,距离越小,表明Wk[p]的局部区域内成像质量最高,权值应该越大。使用高斯核函数作为Wk[p]与Wref[p]之间的距离的度量,则k帧中的向量在组合中的权值为::
[0060]
[0061] (4)空间域组合权值计算。
[0062] 为了得到{Vk,j[p]}中每个向量中的元素(像素值)通过线性组合得到隐含高质量衍射模糊图像中对应像素值Z[p]的值,建立线性组合模型:
[0063] Z[p]=cTV[p] (4)
[0064] 其中,Z[p]为V[p]中心位置对应的隐含清晰像素,V[p]为像素值构成的l2×1列向量,c为空间域组合权值(列向量),c表示隐含衍射模糊图像像素值与观测到的图像领域像素之间的组合关系。本步骤假设采样得到的{Vk,j[p]}中每个向量满足以上线性组合模型。由于对于该重建问题并没有已知的对应的Z[p]与V[p]数据对,本实施例提出了一种基于贝叶斯理论的权值c近似估计方法,并且先验通过人工设定的单个参数给定。
[0065] 为方便描述,一般化地假设Z[p]=cTV[p]中每个向量有2t+1个元素。该方法分两部分求解c,a)第一步求解除中心元素ct+1之外的权值向量c',并归一化,b)第二步人工设定中心权值ct+1,并重新对c进行归一化。
[0066] 第一步求解c′,定义Vk,j[p]中像素值元素构成集合 该集合除去元素 后表示为{v}/t+1。相应地,除去中心像素的向量序列为{Vk′,j[p]},使用表示中心像素与邻域像素之间的关系,进而表示式(4)中权值向量c除中心元素意外元素的对向量组合中的作用。通过求解一下优化目标函数求得c′:
[0067]
[0068] 其中,κk[p]为步骤(3)中求得时间域组合权值。式(5)的求解具有封闭形式,解为:
[0069]
[0070] 其中,VM′为{Vk′,j[p]}排列组成的(l2-1)×(K×J)的矩阵:
[0071] VM′=[V1,′1[p],...,V1,′J[p],...,Vk′,1[p],...,VK′,J[p]][0072] vc为向量中心像素 排列组成的(K×J)×1的列向量( rk,j[p]为向量中心像素对应的原配准帧中的像素值):
[0073]
[0074] Λ是KJ×KJ的对角矩阵:
[0075] Λ=[κ1[p],...,κ1[p],...,κK[p],...,κK[p]]
[0076] Λ中每个κk[p]为每帧中的J个向量重复J次。因此,求解得到的 为一个(l2-1)×1的列向量。之后对 进行归一化,使 元素分布于0-1之间。
[0077] 由于 为去除中心元素后的空间组合权值c,为了得到完整的c,需要将ct+1作为先验信息人工设定,直观地可以理解为衍射模糊图像中像素点Z[p]与观测到的配准的图像之间的相近程度,体现了p处图像的退化程度。考虑到相比领域像素,观测向量中心像素与Z[p]之间相关性较大,而 已经进行过归一化,对于一般情况,本发明通过设定ct+1=1.5为估计提供先验。通过再次对 与ct+1进行统一归一化,得到空间线性组合权值向量c的最终估计值。
[0078] (5)时空域组合估计衍射图像像素值。
[0079] 得到以上的对应于位置p的时间域与空间域组合权值{κk,j[p]}与c之后,对步骤(2)中采样得到的时空域近邻向量进行组合得到衍射模糊图像中位于p出的像素值的估计:
[0080]
[0081] 其中,tr()表示矩阵的迹,即矩阵对角线值的和。
[0082] 对于潜在衍射模糊图像的每一个像素,重复步骤(1)-(5),重建得到高质量的衍射模糊图像。
[0083] 3.全局一致盲反卷积消除衍射模糊。
[0084] 衍射模糊图像中的模糊仅包含全局一致的衍射模糊。其退化模型为:
[0085]
[0086] 其中,F为清晰的图像,h为衍射模糊点扩散函数,ε为加性噪声。为了进一步使结果图像清晰化,使用全局一致反卷积的方法去除衍射模糊。其优化目标函数为:
[0087]
[0088] 其中, 为式(8)引出的反卷积误差项,Rf(F)和Rh(h)分别为清晰图
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈