技术领域
[0001] 本
发明涉及的是一种数字视频处理技术领域的方法，具体是一种基于多尺度的局部的图像内插方法。
背景技术
[0002] 图像内插是为了从一个低
分辨率图像获得一幅相对应的高分辨率图像。图像内插问题对于很多现实问题是很基本的，例如
生物测定学、监控和社会安全等等。这些实际问题中，由于使用的摄像头的感光器件分辨率不高，所获取的影响分辨率比较低。而且由于下
采样的效应，经常会出现明显的
频率混跌效应。根据乃奎斯特-香农抽样定理，在采样过程中，如果
采样频率低于高分辨率图像的最高频率的两倍时，图像中高于一半采样频率的信息将会丢失。这在时域
信号中会引起
混叠。现有的方法一般基于边沿一致的假设：高分辨率图像和低分辨率图像具有完全一致的结构信息，但是这个假设对于含有频域
混叠效应的低分辨率图像并不成立。因此，研究一种新的内插方法来不仅能够恢复锋利的边沿，而且能最大程度的去除频域混叠效应，仍然具有很大的挑战性。
[0003] 经过对
现有技术的文献检索发现，Xiangjun Zhang等人在《IEEE Transactions on ImageProcessing》(美国电气工程学会
图像处理杂志)2008年第17卷第887到第896页上发表的“Image interpolation by adaptive 2-d autoregressive modeling and soft-decision estimation”(基于二维自适应
自回归模型和
软判决估计的图像内插方法)文章中提出了一种基于二维自适应自回归模型和软判决估计的图像内插方法，该方法首先在低分辨率图像的每一个小的邻域中学习得到一个2-D的分段自回归模型，然后用它在高分辨率图像网格上估计待插值的
像素。此自回归模型在图像的小的区域内是固定的，因此在一定程度上可去除频率混叠效应。相比现有的最佳的图像内插方法，这种基于二维自适应自回归模型和软判决估计的图像内插方法速度提升了20倍，由峰值
信噪比(PSNR)衡量的图像
质量提高了近1dB，在低分辨率图像含有比较严重的频率混叠效应时，恢复的图像质量下降约10％-30％。这种方法没有完全避开频率混叠效应对于内插结果的干扰，在一定程度上影响了恢复的高分辨率图像的质量。这促使去寻找一种新的内插方法来不仅能够恢复锋利的边沿，而且能最大程度的去除频域混叠效应。
发明内容
[0004] 本发明针对现有技术存在的上述不足，提供一种基于多尺度的局部的图像内插方法，通过使用一系列相似的图像
块来估计待插值的像素值，其中图像块的大小随着
迭代次数的增长从大到小依次减小。为了进一步提升性能，在每次迭代运算时，输入是前面大尺度的所有迭代运算的输出。使用这样一种策略，在开始迭代的几步，使用大的图像块尺度，可以有效地减小低分辨率图像中的混叠效应对寻找相似块时的影响，大大增加了真实相似块找到的可能性。随后，在后面的迭代步骤里，逐渐减小图像块尺度，这样不仅可以滤除由大
尺度图像
块匹配带来的在纹理细致区域的误差，而且还能够在纹理细致区域避免过拟合。在每一步迭代中，对于高分辨率图像的每个需要插值的网格，将这个网格为中心的块从局部区域中寻找最相似的几个备选图像块，这几个备选图像块的中心必须属于低分辨率图像的像素。这样对于每个待插值的网格，就有几个备选像素值，然后利用备选像素的加权平均进行本次迭代中图像的内插。在与已有的图像内插方法进行对比的一系列实验结果中，验证了此方法在去除混叠效应时的有效性，同时此方法所恢复的高分辨率图像在主观视觉效果和客观
峰值信噪比值方面都优于已有的内插方法，其中峰值信噪比值提升了近1dB。
[0005] 本发明是通过以下技术方案实现的，本发明包括如下步骤：
[0006] 第一步、给定一幅原始图像Il，采用三次谐波内插方法对原始图像进行初始化得到迭代初始图像
[0007] 所述的三次谐波内插方法是指：对二维图像按照先行后列的顺序依次内插，对于每一个待插值的像素yj，采用的公式为： 在对每一行进行内插时， 为yj左侧第2个低分辨率像素值， 为yj左侧第1个低分辨率像素值， 为yj右侧第1个低分辨率像素值，为yj右侧第2个低分辨率像素值。在对每一列进行内插时，为yj上侧第2个已有的像素值， 为yj上侧第1个已有的像素值， 为yj下侧第1个已有的像素值，为yj下侧第2个已有的像素值。
[0008] 第二步、将迭代初始图像 作为输入图像，设置输入图像的图像块大小为(pmax-ps×(t-1))×(pmax-ps×(t-1))，其中：pmax为最大图像块大小，ps为块大小的迭代步长，t为迭代计数，从1开始，每次迭代加1。
[0009] 第三步、对于每个待插值像素yj，通过高斯核函数计算待插值像素与所有输入图像中局部邻域内的所有原始图像的像素x的相似度：
[0010] 其中：⊙表示矩阵点乘运算，其中G是一个高斯核，其标准方差为σg，u(·)表示以像素为中心的图像块，掩模H为q为像素的
位置，σd为标准方差，来调节图像块u(yj)与u(xi)的距离
到最后权值的映射。
[0011] 所述的待插值像素是指：即低分辨率图像的产生过程中由于
下采样所丢失的像素，需要用
算法进行内插的像素，原有的低分辨率像素和需要插值的像素组合在一起构成高分辨率图像。
[0012] 所述的高斯核函数根据图像块内像素距离中心像素的远近来给予不同的系数，距离中心越近，系数越大。
[0013] 第四步、为每一个待插值的像素yj，根据与局部邻域内的所有低分辨率像素之间的相似度，选取相似度最大的L个不同的低分辨率像素 并将对应的相似度 进行归一化： 然后通过加权平均作为需要插值的像素yj的更新值， 其中：l＝1，2，...，L，L为每一个待插值像素所选的备选低分辨率像素的个数。
[0014] 第五步、以第四步得到的像素yj的更新值组成的图像与迭代初始图像一并作为输入图像返回第二步并进行迭代计算，当迭代次数达到预设值时输出得到的像素yj的更新值组成的图像即为内插后的图像。
[0015] 本发明的原理可以归纳为两点来描述：
[0016] 1、因为一幅自然图像中含有大量的相似的图像块，对于高分辨率图像的下采样产生低分辨率图像的过程中，待插值像素的值可能存在于低分辨率图像的位于别处的相似块里面。所以采取的策略是：首先通过双三次谐波内插来恢复高分辨率图像的低频部分，对于每一个待插值的像素，在此像素周围邻域内的低频分量可以作为参考，来寻找纹理相似的低分辨率图像的像素。由于大部分自然图像有着指数下降形状的
功率谱，出现频域混叠效应的高频区域只占整个图像的小部分。而大部分的平滑低频区域可以由双三次内插方法很好的重建。
[0017] 所以，当选择的图像块的大小合适时，对于块中心的待插值像素，块内低频分量可以作为参考，来找到正确的纹理相似的低分辨率图像像素。
[0018] 2、从带有频域混叠效应的低分辨率图像中，很难来决定要使用的块的大小。因此提出了一种使用迭代的多尺度方法：在初次迭代中，使用最大的尺寸pmax×pmax进行块匹配，为每一个待插值的像素找到一系列纹理相似的低分辨率像素后，使用加权平均来得到本次迭代所产生的高分辨率图像；在后面的迭代过程中，逐次减小块的尺寸，并重复纹理相似的低分辨率像素的查找过程和最大后验概率估计，得到当次迭代的高分辨率图像。直到块的大小减小到最小pmin×pmin，最后一次迭代过程结束。有一点需要特别强调的是：对于每一次迭代过程，将双三次谐波初始内插图像和前面所有迭代过程的输出来作为本次迭代过程的输入，在这样多个输入里面，来为待插值的像素查找纹理相似的低分辨率像素。这样做的目的是将包括最大尺度和最小尺度的所有尺度的迭代过程有机的融合在一起，这样可以将所有尺度的优点综合起来，并丢弃各个尺度的缺点。
[0019] 与现有技术相比，本发明能够有效的去除混叠效应，同时能够恢复出高质量的高分辨率图像。在各种实验条件下，该方法所产生的高分辨率图像的峰值信噪比，能够超越当前最优秀方法大约1dB.
附图说明
[0021] 图2是实施块匹配时有效像素的说明图；
[0022] 图中：以待插值像素yj为中心的图像块和以低分辨率图像像素xi为中心的图像块的相似性度量，实线方框表示以像素为中心的图像块，虚线圆圈表示度量图像块相似性的有效像素。
[0023] 图3是本发明所取得的效果示意图；
[0024] 图中：(a)低分辨率图像。(b)双三次谐波内插。(c)NEDI方法。(d)多方向插值融合方法。(e)SAI方法。(f)的方法。(g)真实的高分辨率图像。
[0025] 图4是本发明所取得的效果示意图；
[0026] 图中：(a)双三次谐波内插。(b)NEDI方法。(c)多方向插值融合方法。(d)SAI方法。(e)的方法。(f)真实的高分辨率图像。
具体实施方式
[0027] 下面对本发明的
实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0028] 实施例
[0029] 第一步、给定一幅原始图像Il，采用三次谐波内插方法对原始图像进行初始化得到迭代初始图像 在本实施例中，我们对二维图像按照先行后列的顺序依次内插，对于每一个待插值的像素yj，采用的公式为： 在对每一行进行内插时， 为yj左侧第2个低分辨率像素值， 为yj左侧第1个低分辨率像素值， 为yj右侧第1个低分辨率像素值， 为yj右侧第2个低分辨率像素值。在对每一列进行内插时，为yj上侧第2个已有的像素值， 为yj上侧第1个已有的像素值，为yj下侧第1个已有的像素值，为yj下侧第2个已有的像素值。
[0030] 第二步、将迭代初始图像 作为输入图像，设置输入图像的图像块大小为(pmax-ps×(t-1))×(pmax-ps×(t-1))，其中：pmax为最大图像块大小，ps为块大小的迭代步长，t为迭代计数，从1开始，每次迭代加1。在本实施例中，最大图像块大小为12×12，最小图像块大小为6×6，块大小的迭代步长为2，总的迭代次数4。
[0031] 第三步、对于每个待插值像素yj，通过高斯核函数计算待插值像素与所有输入图像中局部邻域内的所有原始图像的像素x的相似度：
[0032] 其中：⊙表示矩阵点乘运算，其中G是一个高斯核，其标准方差为σg，u(·)表示以像素为中心的图像块，掩模H为q为像素的位置，σd为标准方差，来调节图像块u(yj)与u(xi)的距离
到最后权值的映射。在本实施例中σg设为6，σd设为0.12。
[0033] 第四步、为每一个待插值的像素yj，根据与局部邻域内的所有低分辨率像素之间的相识度，选取相似度最大的L个不同的低分辨率像素 并将对应的相似度 进行归一化： 然后通过加权平均作为需要插值的像素yj的更新值， 其中：l＝1，2，...，L，L是为每一个待插值像素所选的备选低分辨率像素的个数。本实施例中L＝8。
[0034] 第五步、以第四步得到的像素yj的更新值组成的图像与迭代初始图像一并作为输入图像返回第二步并进行迭代计算，当迭代次数达到预设值时输出得到的像素yj的更新值组成的图像即为内插后的图像。
[0035] 实施效果
[0036] 依据上述步骤，对加州大学伯克利分校的
图像分割数据库BSD进行图像内插实验。该数据库采集于2001年7月，包含300张灰度图像，内容涵盖自然图像中的内容，如大山、建筑、人物、草地、
植物、动物、远景、近景等等。将的方法与目前的图像内插方法进行了对比，本方法结果的峰值信噪比相对于目前最优秀的方法提升了近1dB。部分实验结果如图2、3所示。
[0037] 实验表明，较之与目前的图像内插方法，本实施例能够有效地去除混叠效应，同时能够恢复出视觉质量更好的高分辨率图像。
