首页 / 专利库 / 视听技术与设备 / 帧间位移误差 / 一种基于曲面拟合的图像超分辨率重建方法

一种基于曲面拟合的图像超分辨率重建方法

阅读:127发布:2020-05-17

专利汇可以提供一种基于曲面拟合的图像超分辨率重建方法专利检索,专利查询,专利分析的服务。并且本 发明 结合邻域扩展和曲面拟合技术来完成图像超 分辨率 重建方法,包括对每个高分辨率网格 节点 构建一系列嵌套的邻域;然后对每一个邻域根据 像素 强度值剔除异常低分辨率像素;对保留的低分辨率像素进行曲面拟合,得到待估计的高分辨率网格节点 位置 的一个 采样 值,最后运用最大后验概率,对这一系列的采样值估计该网格节点的高分辨率像素值。本方法不需要 迭代 ,不用考虑收敛问题,有效降低了计算复杂度。,下面是一种基于曲面拟合的图像超分辨率重建方法专利的具体信息内容。

1.一种基于曲面拟合的图像超分辨率重建方法,其特征在于,包括如下步骤:
(1)获取同一场景的低分辨率图像序列,通过相机阵列系统拍摄获得m幅低分辨率图像yp,p=1,2,...,m,采用的图像成像模型为:yp=DHpWpu+ep,p=1,2,...,m,其中m为正整数,yp为第p幅低分辨率图像,u为待估计高分辨率图像,Wp、Hp与D分别为形变矩阵、模糊矩阵和降采样矩阵,ep为加性噪声;
(2)图像配准,采用基于SURF(Speeded Up Robust Features)图像配准算法求解一系列低分辨率图像与预设参考之间的运动估计参数,然后利用所述运动估计参数,将一系列低分辨率图像插值映射到高分辨率网格上;
(3)超分辨率图像重建,对所述高分辨率网格上节点利用邻域扩展搜索一系列嵌套的邻域,在每个邻域剔除异常点后,利用曲面拟合技术,估计出列采样值,最后用最大后验概率估计出高分辨率像素值,获得高分辨率图像。
2.根据权利要求1所述的基于曲面拟合的图像超分辨率重建方法,其特征在于,所述图像配准,包括如下步骤:
21)选择参考图像,从所述低分辨率图像yp,p=1,2,...,m中选取一幅峰值信噪比(PSNR)最大的图像作为参考帧;
22)预设配准规则,采用SURF算法提取特征点集合表示如下:
其中,nm为低分辨率图像yp的特征点数目,p=1,2,...,m, k=1,
2,…,m,j=1,2,…,max(n1,n2,…,nm),并计算P1中每个特征点到P2,…,Pm中每个特征点的欧式距离:
其中,j1=1,2,…,n1,j2=1,2,…,n2,jm=1,2,…,nm;
根据预设的匹配规则判断特征点是否匹配,预设的匹配规则为:
其中r=d1/d2,η为预设阈值,d1为最近欧式距离,d2为次近欧式距离;当r>η时,则特征点匹配成功,反之,则特征点匹配失败;获取P1与P2,…,Pm之间的匹配特征点,并将P1与P2,…,Pm之间的匹配特征点表示为:
其中qm,n为第m幅低分辨率图像的第n个匹配特征点,n匹配特征点的数目,基于所述匹配特征点,通过仿射变换公式,求解第p幅待配准低分辨率图像与参考图像y0之间的仿射变换参数,即旋转度θp,横坐标和纵坐标的位移量Δxp和Δyp,仿射变换公式为:
Qp=RpQ1+ΔDp                           (5)
其中 p=2,3,...,m,
经过SURF图像配准后,得到待配准低分辨率图像yp,p=1,2,...,m与参考图像y0之间运动估计参数;
23)根据缩放因子的大小使用双三次插值技术,将低分辨率图像插值放大,然后根据所述运动估计参数,将所述低分辨率图像映射到高分辨率网格上,得到非均匀分布的空间采样图。
3.根据权利要求1所述的基于曲面拟合的图像超分辨率重建方法,其特征在于,所述超分辨率图像重建,包括如下步骤:
31)构造一系列嵌套的领域,以高分辨率网格节点为中心,搜索一个1×1大小的初始邻域,初始值b1=0.5,然后按步长l=0.1,扩大搜索半径最大搜索值设为b2=1.5,最终的邻域大小为3×3,邻域的数目为b=(b2-b1)/l+1;
32)将搜索的邻域表示为NBi(i=1,2,…,b),搜索邻域NBi内的低分辨率像素,记为:
LPij,i=1,2,…,b;j=1,2,…,bi,其中bi为邻域NBi内低分辨率像素的数目;
33)建立像素强度平面,以XOY平面为图像平面,以像素值的大小为Z轴构造坐标系,对邻域NBi(i=1,2,…,b)的每个低分辨率像素LPij,i=1,2,…,b;j=1,2,…,bi,以其像素值的大小为高,平行于XOY坐标平面做平面,建立像素强度平面,记为Pij平面,其中Pij平面表示为:
其中 是LPij的像素值,p(·)为生成平面的函数;
34)剔除异常数据,根据预设的判断准则判断领域NBi(i=1,2,…,b)中低分辨率像素是否为异常数据并获取剔除异常数据点后的低分辨率像素集合: 其中
Mi(Mi≤bi)是邻域NBi剩余的低分辨率像素个数;
35)对邻域NBi(i=1,2,…,b)内所述Mi个低分辨率像素LPij(j=1,2,…,Mi),使用一般二次曲面方程在LPij的相应坐标(xij,yij)拟合曲面:
为每个邻域拟合一个曲面,对每个低分辨率像素LPij,通过 1≤i
≤b,1≤j≤Mi估计它们的强度值,其中 为邻域NBi中低分辨率像素LPij的估计强度值;令ξij=0,可以得到如下一个方程组:
从公式(8)可以看出,只要Mi足够大,求解参数c0,c1,…,c5的值相当于求解一个超定方程组,采用最小二乘法来解该方程组,曲面拟合后,通过公式(7)计算得到每个低分辨率像素LPij的误差ξij,然后求解该曲面的均方误差 和估计在高分辨率网格节点的高分辨率像素HP值:
最后,采用最大后验概率模型来计算高分辨率像素值:
其中q(·)表示概率密度函数;
根据高斯假设,公式(11)等价于:
这里f0(HP)是f(HP)的先验估计,通过B-spline插值得到,λ是一个经验参数。令公式(12)的梯度值为0,得到高分辨率像素HP的最大后验估计值,即最终的的高分辨率像素估计值
其中 令λ=0,公式(13)实际上是一个加权和函数。
4.根据权利要求3所述的基于曲面拟合的图像超分辨率重建方法,其特征在于,所述剔除异常数据,包括如下步骤:将像素LPik到像素LPij的距离定义为平面Pik到平面Pij的距离,计算邻域NBi内每个像素LPik到LPij的距离为:
计算每个低分辨率像素LPij,j=1,2,…,bi的均方根误差:
记均方根误差的集合为:
对Wi进行升序排列,得到集合:
对排序后的Wi'相邻元素作差,得到集合
其中:
假设
得到Hi中最大元素 的索引ni,然后提取集合Wi'中第ni个元素 然后我们定义一个判断准则判断邻域NBi中低分辨率像素LPij是否为异常数据,准则如下:
最后得到邻域NBi内剔除异常点后的低分辨率像素集合为:
其中Mi(Mi≤bi)是邻域NBi剩余的低分辨率像素个数。
5.一种计算机可读写介质,其上存储有计算机程序,其特征在于,所述程序执行时实现如权利要求2-4任一项所述方法的步骤。

说明书全文

一种基于曲面拟合的图像超分辨率重建方法

技术领域

[0001] 本发明属于计算机图像处理领域,涉及一种应用于航空和卫星影像,特别是一种基于曲面拟合的图像超分辨率重建方法。

背景技术

[0002] 图像分辨率是图像质量评价关键性的一项指标,简单来说就是成像系统对图像细节分辨能的一种度量,也是图像中目标细微程度的指标,它表示景物信息的详细程度。然而,目前许多成像系统,如红外成像仪和CCD照相机等,在采集图像过程中,受其固有传感器阵列排列密度的限制,图像的分辨率不可能很高;同时欠采样效应又会造成图像的频谱交叠,使获取的图像因变形效应而发生降质。另一方面,由于大气扰动、景物与摄像机之间的相对运动等,也使成像产生模糊,降低了图像的分辨率。如果采用增加传感器阵列采样密度的办法来提高图像分辨率和消除变形效应,可能会付出昂贵的代价或者面临很难克服的技术困难。
[0003] 多图超分辨率重建的目的是利用多幅低分辨率观测图像获得高分辨率图像,大多数情况下,各幅图像之间的运动位移量是未知的,需要精确估计低分辨率图像之间的位移关系。估计位移关系的过程称为运动估计,或称为图像配准。低分辨率图像之间的运动估计是序列图像超分辨率重建的关键,运动估计精度直接影响重建效果。但在一些实际的应用中,要获取同场景的图像序列是比较困难的,如在局部战争条件下,战场环境瞬息万变,给军事侦察提出了更高的要求,在这种情况下,要想获得同一场景的序列图像非常困难。另一方面,由于多图超分辨率算法对低分辨率图像序列之间的运动位移往往有很高的要求(必须是亚像素级别的运动位移),而在许多实际应用中,即便获得同场景的图像序列,但由于不同图像间的重合部分少(如航空和卫星影像等),无法满足图与图之间存在微小差异的前提要求,故在这种情况下序列图像超分辨率算法也不具有可行性。

发明内容

[0004] 有鉴于此,本发明的主要目的在于提供一种应用于航空和卫星影像这类重合部分少的图像的超分辨率重建技术。
[0005] 为达到该目的,本发明采用如下技术方案,一种基于曲面拟合的图像超分辨率重建方法,包括以下步骤:
[0006] (1)获取低分辨率(Low-resolution,LR)图像序列,通过相机阵列系统拍摄获得m幅低分辨率图像yp,p=1,2,...,m,采用的图像成像模型为:yp=DHpWpu+ep,p=1,2,...,m,其中m为正整数,yp为第p幅低分辨率图像,u为待估计高分辨率图像,Wp、Hp与D分别为形变矩阵、模糊矩阵和降采样矩阵,ep为加性噪声;
[0007] (2)图像配准,采用基于SURF(Speeded Up Robust Features)图像配准算法求解一系列低分辨率图像与参考之间的运动估计参数,然后利用所述运动估计参数,将一系列低分辨率图像插值映射到高分辨率网格上;
[0008] (3)超分辨率图像重建,对所述高分辨率网格上节点利用邻域扩展搜索一系列嵌套的邻域,在每个邻域剔除异常点后,利用曲面拟合技术,估计出列采样值,最后用最大后验概率估计出高分辨率像素值,获得高分辨率图像。
[0009] 较佳的,所述图像配准,包括如下步骤:
[0010] 21)选择参考图像,从所述低分辨率图像yp,p=1,2,...,m中选取一幅峰值信噪比(PSNR)最大的图像作为参考帧;
[0011] 22)预设配准规则,采用SURF算法提取特征点集合表示如下:
[0012]
[0013] 其中,nm为低分辨率图像yp的特征点数目,p=1,2,...,m, k=1,2,…,m,j=1,2,…,max(n1,n2,…,nm),并计算P1中每个特征点到P2,…,Pm中每个特征点的欧式距离:
[0014]
[0015] 其中,j1=1,2,…,n1,j2=1,2,…,n2,jm=1,2,…,nm;
[0016] 根据预设的匹配规则判断特征点是否匹配,预设的匹配原则为:
[0017]
[0018] 其中r=d1/d2,η为预设阈值,d1为最近欧式距离,d2为次近欧式距离;当r>η时,则特征点匹配成功,反之,则特征点匹配失败;获取P1与P2,…,Pm之间的匹配特征点,并将P1与P2,…,Pm之间的匹配特征点表示为:
[0019]
[0020] 其中qm,n为第m幅低分辨率图像的第n个匹配特征点,n匹配特征点的数目,基于所述匹配特征点,通过仿射变换公式,求解第p幅待配准低分辨率图像与参考图像y0之间的仿射变换参数,即旋转度θp,横坐标和纵坐标的位移量Δxp和Δyp,仿射变换公式为:
[0021] Qp=RpQ1+ΔDp                          (5)
[0022] 其中 p=2,3,...,m,
[0023] 经过SURF图像配准后,得到待配准图像yp,p=1,2,...,m与参考图像y0之间运动估计参数;
[0024] 23)根据缩放因子的大小使用双三次插值技术,将低分辨率图像插值放大,然后根据所述运动估计参数,将所述低分辨率图像映射到高分辨率网格上,得到非均匀分布的空间采样图。
[0025] 较佳的,所述超分辨率图像重建,包括如下步骤:
[0026] 31)构造一系列嵌套的领域,以高分辨率网格节点为中心,搜索一个1×1大小的初始邻域,初始值b1=0.5,然后按步长l=0.1,扩大搜索半径最大搜索值设为b2=1.5,最终的邻域大小为3×3,邻域的数目为b=(b2-b1)/l+1;
[0027] 32)将搜索的邻域表示为NBi(i=1,2,…,b),搜索邻域NBi内的低分辨率像素,记为:LPij,i=1,2,…,b;j=1,2,…,bi,其中bi为邻域NBi内低分辨率像素的数目;
[0028] 33)建立像素强度平面,以XOY平面为图像平面,以像素值的大小为Z轴构造坐标系,对邻域NBi(i=1,2,…,b)的每个低分辨率像素LPij,i=1,2,…,b;j=1,2,…,bi,以其像素值的大小为高,平行于XOY坐标平面做平面,建立像素强度平面,记为Pij平面,其中Pij平面表示为:
[0029] Pij=p(fNBi(LPij))                         (6)
[0030] 其中 是LPij的像素值,p(·)为生成平面的函数;
[0031] 34)剔除异常数据;根据预设的判断准则判断领域NBi(i=1,2,…,b)中低分辨率像素是否为异常数据并获取剔除异常数据点后的低分辨率像素集合:其中Mi(Mi≤bi)是邻域NBi剩余的低分辨率像素个数;
[0032] 35)对邻域NBi(i=1,2,…,b)内所述Mi个低分辨率像素LPij(j=1,2,…,Mi),使用一般二次曲面方程在LPij的相应坐标(xij,yij)拟合曲面:
[0033]
[0034] 为每 个 邻域 拟合一 个曲 面 ,对 每个 低分 辨率 像素 LP ij ,通 过估计它们的强度值,其中 为邻域NBi中低分辨率像素LPij的估计强度值;令ξij=0,可以得到如下一个方程组:
[0035]
[0036] 从公式(8)可以看出,只要Mi足够大,求解参数c0,c1,…,c5的值相当于求解一个超定方程组,采用最小二乘法来解该方程组,曲面拟合后,可以通过公式(7)计算得到每个低分辨率像素LPij的误差ξij,然后求解该曲面的均方误差和估计在高分辨率网格节点的高分辨率像素HP值:
[0037]
[0038]
[0039] 最后,采用最大后验概率模型来计算高分辨率像素值:
[0040]
[0041] 其中q(·)表示概率密度函数;
[0042] 根据高斯假设,公式(11)等价于:
[0043]
[0044] 其中f0(HP)是f(HP)的先验估计,通过B-spline插值得到,λ是一个经验参数。令公式(12)的梯度值为0,得到高分辨率像素HP的最大后验估计值,即最终的的高分辨率像素估计值
[0045]
[0046] 其中 令λ=0,公式(13)实际上是一个加权和函数。
[0047] 较佳的,所述剔除异常数据,包括:
[0048] 将像素LPik到像素LPij的距离定义为平面Pik到平面Pij的距离,计算邻域NBi内每个像素LPik到LPij的距离为:
[0049]
[0050] 计算每个低分辨率LPij,j=1,2,…,bi的均方根误差:
[0051]
[0052] 记均方根误差的集合为:
[0053]
[0054] 对Wi进行升序排列,得到集合:
[0055]
[0056] 对排序后的Wi'相邻元素作差,得到集合
[0057] 其中:
[0058]
[0059] 假设
[0060]
[0061] 得到Hi中最大元素 的索引ni,然后提取集合Wi'中第ni个元素 然后我们定义一个判断准则判断邻域NBi中低分辨率像素LPij是否为异常数据。
[0062] 准则如下:
[0063]
[0064] 最后得到邻域NBi内剔除异常点后的低分辨率像素集合为:
[0065]
[0066] 其中Mi(Mi≤bi)是邻域NBi剩余的低分辨率像素个数。附图说明
[0067] 图1为本发明方法实现的框图

具体实施方式

[0068] 为了能够更清楚的描述本发明的技术内容,下面结合具体实施例来进一步描述。
[0069] 一种基于曲面拟合的图像超分辨率重建方法,如附图1所示,包括:
[0070] (1)获取低分辨率(Low-resolution,LR)图像序列,通过相机阵列系统拍摄获得m幅低分辨率图像yp,p=1,2,...,m,采用的图像成像模型为:yp=DHpWpu+ep,p=1,2,...,m,其中m为正整数,yp为第p幅低分辨率图像,u为待估计高分辨率图像,Wp、Hp与D分别为形变矩阵、模糊矩阵和降采样矩阵,ep为加性噪声;
[0071] (2)图像配准,采用基于SURF(Speeded Up Robust Features)图像配准算法求解一系列低分辨率图像与参考帧之间的运动估计参数,然后利用所述运动估计参数,将一系列低分辨率图像插值映射到高分辨率网格上;
[0072] (3)超分辨率图像重建,使用邻域扩展的方法,在每个高分辨率网格节点搜索多个嵌套的邻域,然后每个邻域使用曲面拟合的方法来估计高分辨率网格节点的高分辨率像素值。首先为高分辨率节点位置选定一个初始邻域,按步长扩大邻域范围,搜索出一系列嵌套的等步长邻域,由于搜索到的邻域中可能存在异常数(偏移邻域中心的点,或高或低),会对曲面拟合的效果造成影响,所以在本方法中先剔除每个邻域中的异常数据,然后对每个邻域使用二次曲面拟合,得到一系列预估高分辨率采样值,最后用最大后验概率方法估计这些采样值,得到最终的高分辨率像素估计值。具体实施过程如下:
[0073] 为了估计在高分辨率网格节点Hg处的高分辨率像素HP,先构造一系列嵌套的领域。首先以高分辨率网格节点为中心,搜索一个1×1块大小的初始邻域,初始值b1=0.5。然后按步长l=0.1,扩大搜索半径最大搜索值设为b2=1.5。最终的邻域大小为3×3,邻域的数目为b=(b2-b1)/l+1。
[0074] 假设搜索的邻域表示为NBi(i=1,2,…,b),搜索邻域NBi内的低分辨率像素,记为:LPij,i=1,2,…,b,j=1,2,…,bi,bi为邻域NBi内低分辨率像素的数目大小。
[0075] 建立像素强度平面,以XOY平面为图像平面,以像素值的大小为Z轴构造坐标系,对邻域NBi(i=1,2,…,b)的每个低分辨率像素LPij,i=1,2,…,b,j=1,2,…,bi,以其像素值的大小为高,平行于XOY坐标平面做平面,建立像素强度平面,记为Pij平面,如下式:
[0076]
[0077] 这里 是LPij的像素值,p(·)为生成平面的函数。
[0078] 剔除异常数据,将像素LPik到像素LPij的距离定义为:平面Pik到平面Pij的距离。计算邻域NBi内每个像素LPik到LPij的距离为:
[0079]
[0080] 计算每个低分辨率LPij,j=1,2,…,bi的均方根误差:
[0081]
[0082] 记均方根误差的集合为:
[0083]
[0084] 对Wi进行升序排列,得到集合:
[0085]
[0086] 对排序后的Wi'相邻元素作差,得到集合
[0087] 其中:
[0088]
[0089] 假设
[0090]
[0091] 得到Hi中最大元素 的索引ni,然后提取集合Wi'中第ni个元素 然后我们定义一个判断准则判断邻域NBi中低分辨率像素LPij是否为异常数据。
[0092] 准则如下:
[0093]
[0094] 最后我们得到邻域NBi内剔除异常点后的低分辨率像素集合为:
[0095]
[0096] 其中Mi(Mi≤bi)是邻域NBi剩余的低分辨率像素个数。
[0097] 对邻域NBi(i=1,2,…,b)内Mi个低分辨率像素LPij(j=1,2,…,Mi),使用一般二次曲面方程在LPij的相应坐标(xij,yij)拟合曲面:
[0098]
[0099] 为每 个 邻域 拟合一 个曲 面 ,对 每个 低分 辨率 像素 LP ij ,通 过估计它们的强度值。其中 为邻域NBi中低分辨率像素LPij的估计强度值。令ξij=0,可以得到如下一个方程组:
[0100]
[0101] 从公式(8)可以看出,只要Mi足够大,求解参数c0,c1,…,c5的值相当于求解一个超定方程组,这里我们用最小二乘法来解这样的一个方程组。
[0102] 为了拟合的曲面的精确度更好,要求有足够多的低分辨率像素,所以初始邻域值b1不能太小。但是,邻域太大会引入较多的噪声数据,同样影响拟合曲面的精确度,所以最大邻域值b2也不能太大。选择合理的b1和b2,将直接影响最终的重建图像的质量。曲面拟合后,可以通过公式 计算得到每个低分辨率像素LPij的误差ξij,然后求解该曲面的均方误差 和估计在高分辨率网格节点的高分辨率像素HP值:
[0103]
[0104]
[0105] 一个高分辨率像素与多个低分辨率像素在三个方面相关联。第一是低分辨率像素在高分辨率网格上的空间分布,可以每个高分辨率网格节点通过一系列嵌套的邻域表示。第二是低分辨率像素之间的相关性,可以通过曲面拟合表示。第三是高分辨率网格节点搜索邻域内的低分辨率像素的强度,可以通过像素值来表示。
[0106] 最后,高分辨率像素值可以用最大后验概率模型来计算:
[0107]
[0108] 这里q(·)表示概率密度函数。
[0109] 根据高斯假设,公式(11)等价于:
[0110]
[0111] 其中f0(HP)是f(HP)的先验估计,通过B-spline插值得到。λ是一个经验参数。令公式(12)的梯度值为0,得到高分辨率像素HP的最大后验估计值
[0112]
[0113] 其中 令λ=0,公式(13)实际上是一个加权和函数。
[0114] 通过以上实施例方式的描述,本领域的技术人员可以清楚地了解,各实施例方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案的实质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读写介质中,如U盘、移动硬盘、ROM、RAM、磁碟或者光盘等。包括若干指令,用以使得一台计算机设备(如个人计算机,服务器或者网络设备等)执行上述各方法实施例或者方法实施例的某些部分所述的方法。
[0115] 以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,其还可以对这些已描述的实施方式做出若干替代或变型,而这些替代或变型方式都应当视为属于本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈