在大多数电子图像应用中，都期望并要求具有高分辨率(HR)的图像。 HR意味着图像中的像素密度高，因此HR图像可提供更多的细节，这在 很多不同的应用中可能是非常关键的。例如，HR医学图像非常有助于医 生进行正确的诊断。使用HR卫星图像很容易将物体从类似物中分别出 来，而且，如果提供了HR图像，可提高计算机视觉中的模式识别的性 能。
自70年代以来，电荷耦合器件(CCD)和CMOS图像传感器广泛用于 捕捉数字图像。尽管这些传感器适用于多数图像应用，其目前的分辨率 水平和消费价格不能满足将来的需要。例如，人们想要便宜的HR数字 相机/可携式摄像机，或者想看到价格不断下降，科学家们通常需要接近 于模拟35mm胶片的HR水平，其在图像被放大时，也没有可见的非自 然信号。由此，需要找到一种能够提高当前分辨率的方法。
增加空间分辨率的最直接的方法是通过传感器制造技术减小像素大 小(即，增加单位面积的像素数)。然而，随着像素大小的减小，可得到 的光的数量也减小。所产生的散粒噪声严重降低了图像的质量。因此， 为了在不受散粒噪声的影响下减小像素的大小，存在对像素大小减少的 限制，对0.35微米的CMOS过程来说最优的有限像素大小预计约为40 平方微米。
目前的图像传感器技术几乎已经达到了这一水平。另一种提高空间 分辨率的方法是增加芯片大小，这导致了电容的增加。由于大电容使得 很难加速电荷转移速率，因而这种方法被认为是无效的。在很多关于HR 成像的商业应用中，高精度光学和图像传感器的高价格也是一个重要的 考虑因素。
因此，需要一种提高空间分辨率的新方法，以克服传感器和光学制 造技术的限制。一个有前途的方法是使用信号处理技术，以从观察到的 多个低分辨率图像得到HR图像(或序列)。近来，这样的分辨率增加方 法成为最为活跃的研究领域之一，被称为超分辨率(或HR)图像重构或 简单的称为分辨率增加。本发明中，我们使用了术语“SR图像重构”来 表示提高分辨率的信号处理方法，因为“超分辨率”中的“超级”很好 的表达了克服LR成像系统的固有分辨率限制的技术特征。
该信号处理方法的主要优点在于，它的成本低，且可以利用已有的 LR图像系统。该SR图像重构被证明在很多实际情形中都非常有用，包 括，医学图像，卫星图像，和视频应用，在这些实际情形中可得到同一 场景的多个画面。
一种应用是从用便宜的LR照相机/便携式摄像机所得到的LR图像重 构高质量的数字图像，以用于打印或画面冻结的目的。典型的，用一个 便携式摄像机，也可能成功的显示放大的画面。兴趣区(ROI)的综合放 大是监督，法庭，科学，医药和卫星图像等领域的另一重要应用。为了 监督或法庭的目的，数字录像机(DVR)取代了CCTV系统，且经常需 要放大场景中的物体，如罪犯的脸或汽车的牌照。
近来，对无人监视系统的需求增加，因而要求提高记录于数字录像 机的图像质量。由于无人监视系统所要求的摄像机的小型化所带来的光 学限制，记录的图像的图像质量显著降低，所述光学限制即，由便宜的 低性能CCD/CMOS图像传感器的像素数不足，和图像压缩，存储，和传 输过程中所产生的噪音等引起的空间分辨率的限制。
所述空间分辨率指的是图像中单位面积的像素数。由于原始图像中， 出现在HR图像中的高频成分和/或精细成分被破坏，使得低分辨率图像 的分析变得困难。
例如，在犯罪现场捕获的图像有时可能因为LR而变得毫无用处。换 句话说，当DVR系统中记录的图像为低分辨率时，可能造成包含有嫌疑 犯的脸部特征和/或衣服，涉及犯罪现场中的汽车牌照等的图像无法辨认。
也可以提出提高存储图像的图像质量的方法，其中，监视系统中使 用昂贵的高性能摄像机。然而，这种方法在某种意义上不适合于无人监 视系统的实际应用，因为购买这种无人监视系统中所需的HR摄像机的 费用太高。相应的，对允许从便宜的低性能摄像机捕获的LR图像获取 HR图像的数字图像处理算法的开发有强烈的需求。

本发明的主要目的是提供从由低分辨率图像捕获设备获得的低分辨 率图像恢复和重构超分辨率图像的方法。
本发明的另一目的是提供一种恢复方法，该方法去除由图像捕获装 置的镜头的小型化引起的光学限制带来的图像模糊，同时保护图像轮廓。
本发明的另一目的是提供一种重构方法，该方法通过消除由于图像 捕获设备的像素数不足引起的混叠效果，从低分辨率图像，即，具有少 量像素的图像，重构高分辨率图像，即，具有大量像素的图像。
本发明的另一目的是提供一种除去数据压缩过程中产生的压缩噪声 同时保护图像轮廓的方法，用于在数字录像机中存储图像，其中，所述 压缩噪声即方块假象和激振效应。
为了实现上述目的，本发明提供了一种方法，该方法从P个低分辨 率图像恢复一大小为L1N1×L2N2的超分辨率图像，所述每个低分辨率图像 的大小是N1×N2，所述方法对每个低分辨率图像的DCT系统的量化噪声 建模，所述低分辨率图像被分成多个独立的块，对其进行离散余弦变换 并量化成具有高斯分布的随机变量，并估计所述P个低分辨率图像中的 子像素位移，以便在所述P个低分辨率图像中确定一个参考图像，在所 述参考图像和其它图像间的运动参数的最小平方通过泰勒级数展开得 到，代表有关高分辨率图像的先验信息的平滑约束被模拟成一个非静态 高斯分布，以将使噪声均值为零的自适应平滑约束用于所述恢复过程， 从而在去除压缩噪声的同时，保护图像的轮廓。
必须理解的是，对本发明的前述的一般化描述和下面的详细描述都 是示范性的和说明性的，目的在于对保护的发明提供进一步的解释。
附图说明
所包括的附图用于提供对本发明进一步的理解，并构成本申请的一 部分，所述附图说明了本发明的实施例，与文字描述一起用来解释本发 明的原理。图中，
图1是一个示意图，说明了根据本发明，从多个低分辨率图像恢复 和重构超分辨率图像的算法。
图2是一个示意图，说明了根据本发明，获取低分辨率图像备用以 恢复并重构超分辨率图像的过程。
图3是一个示意图，说明了根据本发明执行的变形过程中的插值步 骤的必要性。
图4是一个示意图，说明了低分辨率传感器的点分布函数(PSF)；
图5是一个流程图，说明了根据本发明的迭代方法；
图6a，6b，6c和6d是示意图，说明了根据本发明应用对图像分辨率的 提高所得到的示范的仿真结果。
图7显示了根据本发明，使用恢复超分辨率图像的方法恢复超分辨 率图像的系统软件界面。
图8a显示了由现有技术得到的最邻近插入图像；
图8b显示了由本发明的算法得到的超分辨率图像。

下面将参考示于附图的本发明的优选实施例进行说明。
CODEC是数字录像机中的编码和译码设备，该设备将从图像捕获设 备传送来的数字视频序列压缩并存储。然而，应该注意的是，在对数字 视频序列进行上述压缩的量化过程中，可能丢失原始图像中的大量高频 成分。
由于丢失的高频信号通常具有原始图像的详细的重要信息(例如， 可疑汽车的牌照，嫌疑人的脸部特征，外貌等)，本发明的目的就是提供 恢复这些高频成分的方法。
本发明提供了一种从存储于DVR中的多个视频序列恢复高分辨率 (HR或SR)图像的方案，根据是所述图像的每个图像画面以独立的方式丢 失高频成分，由于每个画面的高频成分的丢失是独立的，从而能够从多 个LR图像恢复HR图像。
下面将参考图1至图8说明根据本发明的从低分辨率压缩图像恢复 和重构高分辨率图像的方法。
图1显示了根据本发明，从多个低分辨率图像恢复和重构超分辨率 图像的算法。
本发明提出的用于恢复和重构SR图像的图像处理技术采用了图像 恢复和插值。
所述图像恢复是复原退化的(例如，模糊的，有噪声的)图像的处 理，所述图像退化是由有限的快门速度，传感器或传输中的噪声和传感 器密度不足等引起的光学失真动作模糊(焦点没对准，衍射极限等)造 成的。
图像恢复是构成用于恢复和重构超分辨率图像的本发明中披露的方 法的基本要素。即，本发明的图像恢复是恢复和重构超分辨率图像同时 保持捕获的图像的空间分辨率不变的技术。
本发明的SR技术中提高空间分辨率的基本前提是可得到从同一场 景捕获的多个LR图像。SR中，典型的，LR图像表示相同场景的不同“外 表”。即，LR图像被子采样(混叠)，并且被以子像素精度移动。
如果将所述LR图像移动整数个单元，则每个图像含有相同的信息， 由此就没有新的信息可用于重构SR图像。如果LR图像具有互不同的子 像素位移并存在重叠，则每个LR图像都含有新信息，可用来获得SR图 像。
与SR重构有关的另一技术是增加图像像素数个数以放大图像的图 像插值。然而，尽管这种方法使用了理想的基于sinc函数的插值，由于 采用了在放大LR图像时会产生混叠的LR图像，其在图像质量方面具有 技术限制。即，应该注意到，插值不能恢复原始图像的高频成分，这些 高频成分在使用插值时，由于LR图像捕捉设备像素数的限制，被丢失或 损坏。由于这一原因，不把图像插值看作SR图像恢复/重构算法。
为了克服现有技术(从单一图像的图像插值)的限制，本发明披露 了一种方法，该方法从对LR图像的分析和恢复来恢复/重构超分辨率图 像，所述LR图像由于对同一场景的不同的子像素位移而具有不同的信 息。
图1显示了根据本发明的超分辨率图像恢复/重构方法的原理。
在根据本发明的超分辨率图像恢复/重构算法中，LR图像表示相同场 景的互不相同的图像。为了获得相同场景的不同画面，必须借助于多个 场景或视频序列在不同的画面之间存在一些相对的场景移动。多个场景 可通过一个像机的若干次捕捉或通过置于不同位置的多个摄像机来得 到。
总之，低分辨率图像定义为下述图像，这些图像具有不同的子像素 位移，以低于奈奎斯特采样速率的采样速率被采样，以使LR图像明显看 起来相同的同时具有混叠效果。
如果低分辨率图像具有整数像素位移，则图像具有相同的信息，且 由此无法重构比当前图像分辨率高的图像。当低分辨率图形具有不同的 子像素位移时，图像具有不同的信息，且一个图像不能代表其它图像。 这种情况下，如图1所示，如果低分辨率图像之间的位移已知或者可以 预估，则可使用每个低分辨率图像的信息重构一高分辨率图像。
根据本发明的所述SR图像恢复/重构方法是一个新算法，所述算法 根据图1中显示的基本原理从存储于数字摄像机的视频序列重构高分辨 率图像，且同时去除由镜头的限制产生的图像模糊和压缩过程中产生的 压缩噪声，同时保护图像的轮廓。
此外，本发明的一个特征是，模型化DCT域中由量化引起的压缩噪 声，使得这些噪声可在恢复/重构过程中被去除。
图2是一个示意图，模型化根据本发明的获取LR图像，用以恢复并 重构超分辨率图像的过程。
为了从LR图像恢复并重构HR图像，应定义一个它们之间关系的观 测模型。
考虑尺寸为L1N1×L2N2的期望的HR图像，用字典式符号写作所述高 分辨率图像的向量，用x表示。即，x是理想的SR图像，该图像没有被 模糊和/或噪声恶化，以高于奈奎斯特采样速率的采样速率进行采样以便 没有混叠。
当x被移动若干子像素并由系数L1和L2进行欠采样后，可将通过低 分辨率图像捕捉装置获得的第k个LR图像模型化成模糊的图像。获得第 k个LR图像的数学模型表示如下。
[式1]
yk＝DBkMkx+nk，k＝1，2，...，p
其中，p个低分辨率图像，每个的大小为N1×N2，其中的第k个低分 辨率图像用符号yk表示，Mk表示包含全局或局部平移，旋转等的几何变 形矩阵，Bk是表示模糊的矩阵。另外，D是表示从高分辨率图像欠采样) 到低分辨率图像的矩阵，nk表示包括压缩噪声的噪声。
更具体的说，变形矩阵Mk表示带有子像素移动的几何变形。这里， 要注意的是移动的单位是由LR图像的网格决定的。例如，当在LR图像 网格中水平移动一个像素时，移动的尺寸在水平方向为整数。在移动子 象素时，移动尺寸为小数。而且，如果基于子像素位移的移动的小数单 位与HR图像网格不一致，需要将它插值为一个超分辨率图像网格。
图3是一个示意图，说明了根据本发明执行的变形过程中的插值步 骤的必要性。参考图3，在水平和垂直方向上有两个欠采样系数(即，LR 图像的水平和垂直尺寸是HR图像的水平和垂直尺寸的一半)。
图3中，圆圈代表原始的(参考)HR图像x，三角形和菱形是x的 全局移动版本。如果下采样系数为2，则菱形在水平和垂直方向的子像素 移动为(0.5，0.5)，三角形的移动小于(0.5，0.5)。
菱形所代表的高分辨率图像分别在水平和垂直方向上各移动一个像 素。这样，基于低分辨率图像网格，高分辨率图像的运动向量变为(0.5， 0.5)。三角形所代表的高分辨率图像的运动向量小于(0.5，0.5)。
尽管菱形像素不需要插值，因为它们与高分辨率图像网格匹配，三 角形像素仍需要插值，因为它们与高分辨率图像网格不匹配。
模糊矩阵Bk代表由光学系统(例如，焦点没对准，衍射极限，失常 等)，成象系统和原始场景之间的相对移动，和LR传感器的点分布函数 (PSF)所引起的模糊。
图4说明了LR传感器PSF。所述LR传感器PSF被模型化为空间平 均算子(模糊)，代表图像传感器上SR像素和LR像素之间的关系，其 必然应当包含在超分辨率图像恢复和重构算法中。
根据本发明的SR图像恢复和重构算法包含估计LR图像间的移动向 量的步骤，接着使用贝耶斯方法估计由式1模型化的高分辨率图像x。
为了估计式1模型化的HR图像x，应该事先模型化反映噪声nk的概 率特性的概率密度函数。尽管噪声nk来自许多不同的源，这里仅考虑压 缩噪声，因为压缩过程中产生的压缩噪声最为显著。
传统的，假定压缩噪声是空间域中的白高斯噪声。然而，由于现实 中的压缩噪声不完全是空间域中的白高斯噪声，要求将压缩噪声的统计 特性用于图像的恢复/重构过程。
大多数运动图像的压缩算法包括将图像分成独立的块，并对这些块 执行DCT(离散余弦变换)以量化DCT系数的步骤。通常在压缩的图像 中产生的压缩噪声，如方块假象和激振假象，可被模型化为DCT域中量 化过程引起的量化噪声。
为了得到DCT域中量化噪声的概率密度函数，有必要确切知道图像 DCT系数的概率密度函数，这在现实中是不可能的。
尽管很难用直接的方式来模拟量化噪声的概率密度函数，如果图像 DCT系数的概率密度函数是对称的，则可以假定DCT系数的量化噪声也 是独立的。
由于空间域中的压缩噪声可用DCT域中量化噪声的逆DCT的线性 组合来表示，因此空间域中的压缩噪声可通过中央极限定理被模型化为 具有高斯分布的随机变量。结果，如果n是通过在图像块中字典安排压缩 噪声得到的向量，则n的概率密度函数定义如下。
[式2]
$P_N\left(n\right)=\mathrm{Zexp}(-\frac{1}{2}{n}^T{R}_n^{-1}n)$
其中，z是使概率为1的标准化常数，Rn是代表噪声向量n的相关性 的协方差矩阵。可以理解，由式2提出的压缩噪声的模型不依赖于图像 DCT系数的概率分布。
为完成式2所代表的空间域中压缩噪声的概率密度函数，必须得到 协方差矩阵的逆矩阵，Rn -1。Rn -1可通过估计DCT域中的量化噪声的方差， 并将该方差变换到所述空间域中的方法来得到。然而，这种方法不适用 于实际情况，因为假定图像的DCT系数在量化间隔内具有均匀分布。
而且，由于所有的图像块中，Rn -1具有相同的形式；它不能够适应性 的反映这些块的特征。为解决这一问题，本发明在空间域中直接如下模 型化Rn -1。
由于DCT域中的DCT系数的量化噪声是独立的，量化噪声的协方 差矩阵为一对角矩阵。相应的，必须用DCT基函数使空间域中的Rn -1对 角线化。本发明使用了这一特征将Rn -1模型化为一个矩阵，所述DCT拥 有所述矩阵作为特征向量。结果，Rn -1被模型化为如下特定形式的三对角 线雅可比矩阵的克罗内克积。
[式3]
$R_n^{-1}=\frac{10}{1-{\rho }^2}\left[\begin{array}{cccccc}{R}_1& -\rho R_1& 0& ···& 0& 0\\ -\rho R_1& (1+{\rho }^2)R_1& -\rho R_1& ···& 0& 0\\ ·& ·& ·& ·& ·& ·\\ 0& 0& ···& -{\mathrm{\rho R}}_1& (1+{\rho }^2)R_1& -{\mathrm{\rho R}}_1\\ 0& 0& ···& 0& -{\mathrm{\rho R}}_1& R_1\end{array}\right]$
其中，R1表示如下。
[式4]
$R_1=\frac{1}{1-{\rho }^2}\left[\begin{array}{cccccc}1& -\rho & 0& ···& 0& 0\\ -\rho & 1+{\rho }^2& -\rho & ···& 0& 0\\ ·& ·& ·& ·& ·& ·\\ 0& 0& ···& -\rho & 1+{\rho }^2& -\rho \\ 0& 0& ···& 0& -\rho & 1\end{array}\right]$
这里，ρ代表一阶马尔克夫过程中的一步相关参数，在每个块中使用 下面的有偏的采样算子对其进行估计。
[式5]
$\hat{\rho }=\frac{{\hat{R}}_n\left(\mathrm{1,0}\right)+{\hat{R}}_n\left(\mathrm{0,1}\right)}{2{\hat{R}}_n\left(\mathrm{0,0}\right)}$
[式6]
${\hat{R}}_n(k,l)=\frac{1}{L^2}\underset{i=0}{\overset{L-k-1}{\Sigma }}\underset{j=0}{\overset{L-l-1}{\Sigma }}n(i,j)n(i+k,j+l)$
其中，块的大小为L×L。
通过式2至式6估计压缩噪声的协方差矩阵的处理具有较高的适 应性响应超分辨率图像重构过程。即，估计压缩噪声的协方差矩阵的处 理考虑到光滑块中DCT系数的低频成分中的量化噪声的方差较大的情 况，和具有许多小成分的块中高频成分中的量化噪声的方差较大的情况。
换句话说，式3中的Rn -1用作高通滤波器，因为在光滑块中ρ被估计 为一正数，而Rn -1用作低通滤波器，因为在具有多个小成分的块中，ρ被 估计为一负数。这样，压缩噪声在重构过程中被适应性地白化。
为了恢复/重构超分辨率图像，应该知道低分辨率图像间的子像素移 动。一般的，事先并不知道低分辨率图像间的子像素移动，所以需要对 它们进行估计。该估计被称为配准(registration)。本发明使用泰勒级数 展开的方法来估计子像素移动。
为预测子像素移动，首先必须确定一个参考图像，然后得到参考 图像和其它图像之间的运动参数。当假定式1中的y1是参考图像，且只 考虑水平和垂直方向上的移动，则其它图像可表示如下：
[式7]
yk(x，y)＝y1(x+δh，k，y+δv，k)，for k＝2，...，p
可使用泰勒级数的前三项将式7简化如下：
[式8]
$y_k(x,y)\approx y_1(x,y)+{\delta }_{h,k}\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dx}}+{\delta }_{v,k}\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dy}}$
根据式8的关系，运动向量的最小平方可表示如下。
[式9]
MRk＝Vk
其中，M可表示如下：
[式10]
$M=\left[\begin{array}{cc}\Sigma {\left(\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dx}}\right)}^2& \Sigma \left(\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dx}}\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dy}}\right)\\ \Sigma \left(\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dx}}\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dy}}\right)& \Sigma {\left(\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dy}}\right)}^2\end{array}\right]$
[式11]
Rk＝[δh，k，δv，k]T
[式12]
$V_k=\left[\begin{array}{c}\Sigma (y_k(x,y)-y_1(x,y))\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dx}}\\ \Sigma (y_k(x,y)-y_1(x,y))\frac{{\mathrm{dy}}_1(x,y)}{\mathrm{dy}}\end{array}\right]$
相应的，运动估计参数Rk可表示如下：
[式13]
Rk＝M-1Vk
尽管式13中的运动估计仅考虑水平和垂直移动，也可考虑其它移 动，包括旋转。为了更加精确的估计移动，可重复执行式13中的运算， 直到误差变小。
本发明使用MAP方法以基于式1的模型和式13所估计的运动估 计参数来预测超分辨率图像x。x的MAP估计值 使后验概率分布最大， 定义如下。
[式14]
$\hat{x}=\arg \max P\left(x\right|y_1,y_2,....,y_p)=\arg \max P(y_1,y_2,....,y_p|x)P\left(x\right)$
其中，在假设属于yk的噪声是独立的情况下，P(y1，y2，....，yp|x)是 为P(y1|x)P(y1|x)…P(yp|x)。而且，由于P(yk|x)＝p(nk)，在图像的随机块 中，P(yk|x)与式2具有相同的概率分布。P(x)是显示图像先验信息的平 滑约束，它一般表示图像的高频成分的能量是有限制的。
如下所示，本发明能够将P(x)模型化为非静态高斯分布，以保护重 构的超分辨率图像的轮廓。
[式15]
$P_X\left(x\right)=\mathrm{Zexp}(-\frac{1}{2}{(x-\bar{x})}^T(x-\bar{x}))$
其中， x代表x的非静态均值，且是在噪声的均值为零的假设下预 测的，从而可用平滑约束，同时保护图像的轮廓。
[式16]

其中，h表示局部窗口的支持，wk，l表示加权函数。另外， 表示用 估计的运动参数表示从综合低分辨率图像而获得的初始的高分辨率图 像。而且，wk，l是防止图像块中图像轮廓被平滑的权值，其定义如下。
[式17]

其中，T是用于确定图像轮廓大小的阈值。由式16和17定义的图 像非静态均值的估计，使得能够在考虑压缩处理情况下进行平滑约束， 且具有以下意义。由于在式16中块的边界上的正方形窗口中估计了均值， 由压缩造成的方块假象被平滑。
另一方面，在不与轮廓交叉的一范围内的块中，估计均值。这样， 块中的小成分被微弱的平滑和保护。这样，通过使用根据本发明的自适 应平滑约束和式3的压缩噪声协方差矩阵，可以有效地去除压缩噪声， 同时保护图像的轮廓。
可通过寻找 来获得MAP估计值，其中，所述 基于式2和5的 概率密度函数，使以下价值函数最小化。
[式18]
$\hat{x}=\arg \min [\underset{k=1}{\overset{p}{\Sigma }}{\left|\right|y_k-{\mathrm{DB}}_k{M}_{k}x\left|\right|}_{K_k{\left(x\right)}^{-1}}^2+{\alpha }_k\left(x\right){\left|\right|x-\bar{x}\left|\right|}^2]$
其中，κk(x)-1是图像中压缩噪声的协方差矩阵，在随机块中的功能 如式3所示。式18中，αk(x)是正则化函数，其控制高分辨率图像相对于 低分辨率图像的保真度和平滑约束之间的平衡。
在使用预定的正则化参数来控制保真度和平滑约束之间平衡的情 况下，当正则化参数被设置为比适当的值小时，可能会从重构的图像恢 复噪声。而且，当正则化参数被设置为比适当的值大时，重构的图像可 能会被过度平滑。为了找到用于任意图像的最佳正则化参数，本发明使 用正则化函数αk(x)，该函数定义如下。
[式19]
${\alpha }_k\left(x\right)=\frac{{\left|\right|y_k-{\mathrm{DB}}_k{M}_{k}x\left|\right|}_{K_k{\left(x\right)}^{-1}}^2}{\frac{1}{{\gamma }_k}-{\left|\right|x-\bar{x}\left|\right|}^2}$
其中，γk是满足式18的价值函数的凸性(convexity)和收敛条件的 参数以保证全局极小值的参数。本发明使用了式19的正则化函数，在无 正则化参数的情况下，在每个迭代步骤中适应性的确定γk。
即，当在某一迭代步骤中与低分辨率图像相关的误差较大时(在噪 声量大时)，αk(x)增加，由此在下一步使图像更多地被平滑。相反，在误 差较小(在噪声量小)时，αk(x)减小，在下一步使图像较少地被平滑。
而且，当图像的高频成分的能量在某一迭代步骤中减小时，αk(x)减 小，图像在下一步较少地被平滑。本发明的特征在于使用了自适应的 αk(x)。
用于使式18的价值函数最小化的 可通过式18的微分得到，且其满 足下面的式子。
[式20]
$\underset{k=1}{\overset{p}{\Sigma }}\{{\left({\mathrm{DB}}_k{M}_k\right)}^T{K}_k{\left(\hat{x}\right)}^{-1}\left({\mathrm{DB}}_k{M}_k\right)+{\alpha }_k\left(\hat{x}\right)\}\hat{x}=\underset{k=1}{\overset{p}{\Sigma }}\{{\left({\mathrm{DB}}_k{M}_k\right)}^T{K}_k{\left(\hat{x}\right)}^{-1}{y}_k+{\alpha }_k\left(\hat{x}\right)\bar{x}\}$
式20的超分辨率的估计值 可通过以下迭代技术得到。
[式21]
$x^{n+1}=x^n+\beta \{\underset{k=1}{\overset{p}{\Sigma }}{\left({\mathrm{DB}}_k{M}_k\right)}^T{K}_k{\left(x^n\right)}^{-1}(y_k-{\mathrm{DB}}_k{M}_k{x}^n)-{\alpha }_k\left(x^n\right)(x^n-\bar{x})\}$
其中，β是控制收敛速率的参数。
图5是一个流程图，显示了根据本发明的迭代方法。
参考图5，第一步选择一个初始图像。例如，通过插值放大单个低分 辨率图像。在第二步S101，通过对第k个低分辨率图像yk所做的估计运 动参数，来对一高分辨率图像xn进行配准。
在第三步，在S102使配准图像模糊，在S103对其进行下采样，接 着在S104得到下采样图像和yk之间的差。
在第四步S105，针对通过步骤S102，S103，S104得到的差异图像 的每一个块，估计式5中的ρ。这里，简单地使用卷积来表示协方差矩阵 的相乘。
在第五步，在S106对步骤S105得到的图像上采样，在S107使其模 糊化。
在第六步S108，由yk的运动参数估计值对步骤S106得到的结果图 像进行逆配准。
在第七步S112，由式19得到正则化函数αk(x)。
在第八步，在S111得到xn和 x之间的差异图像，在S113将该差异 图像乘αk(x)。
在第九步S114，得到在第六步得到图像和第八步得到的图像之间的 差异图像。
在第十步S109，针对所有低分辨率图像(k＝1，......，p)中的每一个执行 2至9步，然后将得到的结果图像合并在一起。
在第十一步，使第十步得到的图像乘以β，然后将xn加至所述相乘 的结果。
在第十二步，重复第二至十一步，直到该迭代方法收敛。
图6a、6b、6c和6d显示了使用根据本发明的恢复一超级图像的方 法来提高分辨率的仿真结果。
图6a显示了尺寸均为128×128的压缩的低分辨率图像。基于所述图 像中的一个图像，这些低分辨率图像的子像素位移为{(0，0)，(0.5，0)，(0， 0.5)，(0.5，0.5)}。图6b显示了通过对图6a的一个低分辨率图像进行最邻 近取样插值得到的图像。图6c显示了通过对低分辨率图像中的一个进行 双线性插值得到的图像。
参考图6b和6c，因为内插无法发现低分辨率图像丢失或损坏的高频 成分，因此对分辨率的提高有限制。
图6d显示了通过根据本发明的算法得到的超分辨率图像。从图6d 可以肯定，在该图像中恢复了高频成分。此外，可以确认，已经从图6d 的图像中去除如图6b和6c中所示的压缩噪声，如方块假象和激振假象，， 同时保护了图像的轮廓。
图7显示了用于使用根据本发明的超分辨率图像恢复方法的系统软 件界面。可使用示于图7中的程序从低分辨率图像恢复超分辨率图像。
图8a和8b显示了使用根据本发明的超分辨率图像恢复方法从示于 图7中的低分辨率图像恢复的高分辨率图像。图8a显示了由现有技术得 到的最邻近插值图像，图8b显示了由本发明的算法得到的超分辨率图像。 在图8a中的图像中，无法清晰地看到为高频成分的汽车号牌的号码，因 为由于低分辨率图像的信息限制，没能去除混叠。相反的，在图8b的图 像中则可清晰地看到所述汽车号牌的号码，因为使用低分辨率图像的不 同信息项去除了混叠。
上述实施例仅仅是示范性的，不应当解释成是用来限制本发明的。 本发明的技术还可以容易地应用到其他类型的装置。本发明的描述是解 释性的，不是用来限制权利要求的范围。对本专业技术人员来说，很明 显可以进行许多替换、改进和变化。
尽管已经参考附图对本发明进行了解释和描述，本专业技术人员应 该理解，在不脱离本发明精神和范围的情况下，可以在其中或对其进行 各种其他改变、增删。
因此，本发明不应理解为仅限制于上面提出的具体实施例，而是包 括任何可能的实施例，这些实施例相对于附加的权利要求书中提出的特 征，在所包括的范围和其等价范围内可以实施。
如上所述，本发明可去除由以下因素引起的视频序列的模糊，这些 因素包括：由数字摄像机监视系统的小型化录相机引起的光学限制，由 于CCD/CMOS图像传感器的像素数不足产生的空间分辨率的限制，在图 像压缩、传送和存储过程中产生的噪声等，从而恢复低分辨率图像的高 频成分(例如，嫌疑犯的脸部和外貌或汽车号牌的号码)，以重构超分辨 率图像。结果，存储于数字摄像机中的低分辨率图像的重要部分在之后 可被放大成高分辨率图像，从而可从便宜的低性能摄像机得到昂贵的高 性能摄像机的效果。
对相关申请的交叉引用
本申请基于韩国专利申请No.2003-42350，根据巴黎公约要求优先 权，所述韩国专利申请的申请日为2003年6月27日，为本发明的目的， 在此从整体上对其内容加以参考引用。