随着信息和通信技术(包括互联网)的发展，基于图像的通信以及基于 本文的通信和基于语音的通信正在增加。现有的基于文本的通信不足以满足 消费者的各种需求。因此，对能够提供各种类型信息(诸如文本、图像和音 乐)的多媒体服务的供应正在增加。由于多媒体数据量大，因此多媒体数据 需要大容量存储介质并且传输时需要宽的带宽。因此，为了发送多媒体数据 (包括文本、图像和音频)，压缩数据是不可缺少的。
数据压缩的基本原理是消除数据中的冗余。可通过消除空域冗余(诸如 在图像中重复相同颜色或对象的情况)、时域冗余(诸如相邻帧之间存在微小 变化或重复相同音频声音的情况)或心理视觉(psychovisual)冗余(考虑人 类视觉和知觉能力对高频不敏感的事实)来压缩数据。在普通编码方法中， 基于运动补偿使用时域滤波来消除时域冗余，并且使用空域变换来消除空域 冗余。
为了在已经去除数据的冗余之后发送多媒体数据，传输介质是必需的。 性能根据传输介质而不同。当前使用的传输介质具有各种传输速度，其范围 从超高速通信网络的速度(能够以每秒几十兆的传输速率来传输数据)到移 动通信网络的速度(能够以每秒384K比特的传输速率来传输数据)。在这些 环境中，需要一种可分级视频编码方法，该方法能够支持具有各种速度的传 输介质，或者能够以适合每种传输环境的传输速度来传输多媒体。
这种可分级视频编码方法是指允许视频分辨率、帧速率、信噪比(SNR) 等通过根据周围的环境(诸如传输比特率、传输误差率、系统源等)截去已 经压缩的比特流的一部分被调整。
目前，为了实现基于H.264的多层类型的可分级性，联合视频编码组 (JVT)正在制定标准(以下被称为“H.264可分级扩展(SE)”)，JVT是运 动图像专家组(MPEG)和国际电信联盟(ITU)的工作组。
H.264 SE和基于多层的可分级视频编解码器主要支持四种预测模式，即， 帧间预测、定向帧内预测(以下被简称为“帧内预测”)、残差预测和帧内基 本(intra-base)预测。术语“预测”指示使用基于能够在编码器和解码器中 共同使用的信息而产生的预测数据来压缩地表示原始数据的技术。
在四种预测模式中，帧间预测是在具有现有单层结构的视频编解码器中 通常使用的预测模式。如图1所示，帧间预测是这样一种方法：在至少一幅 参考画面中搜索与当前画面的任意块(当前块)最接近的块，从搜索中获得 能够最好地表示当前块的预测块，并且量化当前块和预测块之间的差异。
根据参照参考画面的方法，帧间预测被分类为双向预测(使用两幅参考 画面)、前向预测(使用先前的参考画面)和后向预测(使用后来的参考画面)。
同时，帧内预测是即使在基于H.264的基于单层的视频编解码器中也能 够使用的预测方法。此外，帧内预测是使用与当前块相邻的像素来预测当前 块的方法。帧内预测与其它预测方法的不同之处在于：帧内预测仅使用关于 当前画面的信息，而不参照相同层的其它画面和其它层的画面。
帧内基本预测可用于具有与当前画面相同的时域位置的低层画面(以下 被称为“基本画面”)存在于具有多层结构的视频编解码器的情况。如图2所 示，可从与当前画面的宏块相应的基本画面的宏块有效地预测当前画面的宏 块。也就是说，当前画面的宏块与基本画面的宏块之间的差异被量化。
如果低层的分辨率和当前层的分辨率彼此不同，则在获得差异之前将基 本画面的分辨率必须上采样到当前层的分辨率。在帧间预测的效率不高的情 况下(例如，在运动非常快的图像中或者在出现场景变换的图像中)，这种帧 内基本预测非常有效。最终，带有残差预测的帧间预测(以下被简称为“残 差预测”)是将现有单层中的帧间预测扩展到多层形式的预测方法。根据图3 的残差预测方法，当前层帧间预测处理产生的差异不直接被量化，当前层产 生的差异和低层帧间预测处理产生的差异再彼此相减，并且将相减得到的结 果进行量化。
考虑各种视频序列的特性，将上述四种预测方法中最有效的预测方法用 于形成画面的各个宏块。例如，帧间预测和残差预测可主要用于运动慢的视 频序列。相反，帧内基本预测可主要用于运动快的视频序列。
与具有单层结构的视频编解码器相比，具有多层结构的视频编解码器具 有相对复杂的预测结构，并且具有多层结构的视频编解码器主要采用开环结 构，从而与具有单层结构的视频编解码器相比，出现了大量的块效应。具体 地说，上述残差预测使用低层画面的残差信号，从而在残差信号的特性与当 前层画面的帧间预测信号的特性大不相同的情况下，可能出现过多的失真。
相反，当执行帧内基本预测时，用于当前画面的宏块(即，基本画面的 宏块)的预测信号不是原始信号，而是量化之后被恢复的信号。因此，预测 信号是能够在编码器和解码器中共同获得的信号，从而不会出现编码器-解码 器失配。具体地说，使用用于预测信号的平滑滤波器来获得与当前画面的宏 块之间的差异，从而大大减少了块效应。

技术问题
根据如在当前H.264 SE的工作草稿(working draft)中已经采用低复杂 度解码条件，限制了帧内基本预测的使用。也就是说，H.264 SE允许在满足 特定条件的情况下使用帧内基本预测，从而尽管以多层形式执行编码，但是 也可仅以与具有单层结构的视频编解码器中的解码相似的方式执行解码。
根据低复杂度解码条件，帧内基本预测仅用于与当前层的任意宏块相应 的低层的宏块的类型是帧内预测模式或帧内基本预测模式的情况。这是为了 减小依赖运动补偿处理的操作量，所述运动补偿处理在解码处理中占据的操 作量最大。相反，因为限制使用帧内基本预测，所以出现了对于运动快的图 像性能降低的问题。
因此，在根据低复杂度解码条件或其它条件使用帧间预测或残差预测的 情况下，能够减少各种失真(诸如编码器-解码器失配和块效应)的技术是必 要的。
技术方案
因此，本发明的一方面涉及当在基于多层的视频编解码器中执行帧间预 测或残差预测时提高编码性能。
本发明提供一种基于多层的视频编码方法，所述方法包括步骤：(a)计 算用于与当前画面的任意块相应的低层画面的块的帧间预测块和低层画面的 块之间的差异；(b)将计算的差异与用于当前画面的块的帧间预测块相加； (c)使用平滑滤波器对通过相加产生的块进行平滑；以及(d)对当前画面 的块与通过平滑产生的块之间的差异进行编码。
另外，本发明提供一种基于多层的视频编码方法，所述方法包括步骤： (a)产生用于当前画面的任意块的帧间预测块；(b)使用平滑滤波器对产生 的帧间预测块进行平滑；(c)计算当前画面的块和通过平滑产生的块之间的 差异；以及(d)对所述差异进行编码。
为了实现上述，本发明提供一种基于多层的视频解码方法，所述方法包 括步骤：(a)基于当前画面的块的纹理数据，恢复包含在输入比特流中的当 前画面的任意块的残差信号；(b)恢复包含在比特流中且与当前画面的块相 应的低层画面的块的残差信号；(c)将在步骤(b)恢复的残差信号与用于当 前画面的帧间预测块相加；(d)使用平滑滤波器对通过相加产生的块进行平 滑；以及(e)将在步骤(a)恢复的残差信号与通过平滑产生的块相加。
本发明还提供一种基于多层的视频编码器，包括：用于产生用于当前画 面的任意块的帧间预测块的装置；用于使用平滑滤波器对产生的帧间预测块 进行平滑的装置；用于计算当前画面的块和通过平滑产生的块之间的差异的 装置；以及用于对差异进行编码的装置。
本发明还提供一种基于多层的视频编码器，包括：基于用于当前画面的 任意块的纹理数据恢复包含在输入比特流中的当前画面的所述块的残差信号 的装置；恢复包含在比特流中且与当前画面的块相应的低层画面的块的残差 信号的装置；将在步骤(b)恢复的残差信号与用于当前画面的帧间预测块相 加的装置；使用平滑滤波器对通过相加产生的块进行平滑的装置；以及将在 步骤(a)恢复的残差信号与通过平滑产生的块相加的装置。
附图说明
通过下面结合附图进行的详细描述，本发明的上述各方面将会变得更加 清楚地理解，其中：
图1是示出相关方法的示图；
图2是示出相关帧内基本预测方法的示图；
图3是示出相关残差预测方法的示图；
图4是示出根据本发明的示例性实施例的平滑预测方法的示图；
图5是示出将平滑滤波器应用于具有4×4像素大小的子块的纵向边界的 示例的示图；
图6是示出将平滑滤波器应用于具有4×4像素大小的子块的横向边界的 示例的示图；
图7是示出根据本发明的示例性实施例的视频编码器的结构的框图；
图8是示出根据本发明的示例性实施例的视频解码器的结构的框图；以 及
图9是示出用于实现图7的视频编码器和图8的视频解码器的系统的结 构的示图。

通过参照稍后结合附图详细描述的示例性实施例，本发明的各方面和实 现它们的方法将是清楚的。然而，本发明不限于下面公开的示例性实施例， 而是可以各种方式来实现。此外，提供示例性实施例以完成本发明的公开， 并且全面地将本发明的范围告知本领域的技术人员。本发明仅由权利要求来 限定。在不同的附图中，相同的标号始终指示相同或相似的部件。
假设当前画面的块是OF，通过对当前画面执行帧间预测获得的预测块是 PF，与当前画面的块相应的基本画面的块是OB，通过对基本画面执行帧间预 测获得的预测块是PB，则通过从块OB减去预测块PB来获得包含在块OB中的残 差信号RB。
在这种情况下，块OB、PB和RB是在已经被量化之后恢复的值，在开环方 法情况下，块OF和PF表示原始信号，并且在闭环方法的情况下表示在已经被 量化之后恢复的值。在这种情况下，假设当前画面中期望被编码的值是RF， 可通过下面的等式1来表示残差预测：
RF＝OF-PF-RB    (1)
同时，可通过下面的等式2来表示帧内基本预测：
RF＝OF-OB    (2)
当将等式1和等式2相互进行比较时，在第一眼它们好像没有共同点。 然而，当分别通过下面的等式3和等式4来表示所述等式时，可以找到它们 之间的相似性。
RF＝OF-(PF+RB)         (3)
RF＝OF-[U]·B(PB+RB)    (4)
在等式4中，符号U表示上采样函数，符号B表示去块(deblock)函数。 由于上采样函数用在当前层的分辨率与低层的分辨率彼此不同的情况，因此 通过符号[U]表示上采样函数以表明它可以选择性地被使用，
当将等式3和等式4进行比较时，RB是两个等式中共有的，并且最显著 的差别是：在等式3中使用当前层的帧间预测块PF，而在等式4中使用低层 的帧间预测块PB。此外，在帧内基本预测中，当使用去块函数和上采样函数 时，恢复的画面的图像被平滑，从而减少了块效应。
在等式3中，将使用PB获得的基本画面的残差信号RB与通过对当前画面 执行帧间预测获得的块PF相加，因此在层或块效应之间可发生失配。如果使 用了帧内基本预测尽管可以减轻这些问题，但是在相对于残差预测帧内基本 预测的效率不高的情况下，不能使用帧内基本预测。此外，在使用低复杂度 解码条件的情况下，即使在帧内基本预测有效的情形下，也增加不使用帧内 基本预测的块，从而性能被显著恶化。因此，必须考虑在将残差预测应用于 这种情况的同时减少块效应的方法。
在本发明中，另外将平滑函数F分配给等式3，因此，可补充现有残差 预测。根据本发明，通过以下的等式5来表示被量化的当前块的数据RF：
RF＝OF-F(PF+RB)    (5)
可不经过改变将基于等式5的预测模式应用于帧间预测。也就是说，预 测模式可被看作是在帧间预测中RB为0的情况，可通过下面的等式6来表示 RF：
RF＝OF-F(PF)    (6)
根据上述等式5和等式6，当执行现有残差预测或帧间预测时采用平滑 滤波的方法被定义为术语“平滑预测”。参照图4更加详细的描述执行平滑预 测的处理。在图4中，将对当前画面20的任意块(以下称为“当前块”)进 行编码的处理作为示例。与当前块20相应的基本画面中的块10被称为“基 本块”。
首先，在步骤S1，基于运动向量，使用基本块10和与基本块10相应的 低层的相邻参考画面(前向参考画面和后向参考画面)中的块11和块12， 来产生用于基本块10的帧间预测块13。以下，在步骤S2计算基本块10和 预测块13之间的差异(与等式5中的RB相应)。同时，在步骤S3，基于运动 向量，使用当前块20和与当前块20相应的当前层的相邻参考画面中的块21 和块22，来产生用于当前块20的帧间预测块23(与等式5中的PF相应)。可 在步骤S1和S2之前执行步骤S3。通常。术语“帧间预测”是指用于从在期 望被编码的画面内与任意块相应的参考画面中的一幅图像(或多幅图像)获 得的所述块的预测块。通过运动向量来指示块和图像之间的相应关系。通常， 在单个参考画面的情况下，帧间预测块是指相应图像本身，在多幅参考画面 的情况下，帧间预测块是指相应图像的加权和。
其后，在步骤S4，将预测块23与在步骤S2获得差异相加。在步骤S5， 使用平滑滤波器对作为相加的结果产生的块(与等式5中的PF+RB相应)进 行平滑。最终，在步骤S6计算当前块20和作为平滑的结果产生的块(与等 式5中的F(PF+RB)相应)之间的差异，接着在步骤S7对差异进行量化。
图4示出基于残差预测的平滑预测处理。如果基于帧间预测的平滑预测 处理比这种处理简单得多，则因为在等式5中省略了与低层上的计算相关的 RB，所以可省略结合图4描述的所有步骤S1、S2和S4。因此，使用平滑滤 波器对基于当前层产生的帧间预测块23进行平滑，接着将当前块20和通过 平滑产生的块(与等式6中的F(PF)相应)之间的差异量化。
同时，可使用实际应用于平滑预测的不同类型的平滑滤波器。首先，可 考虑基于等式4的平滑函数。以最简单的方式，可仅以去块函数(B)来形成 平滑函数(F)，或者平滑函数(F)包括去块函数(B)和函数(U·D)。
在当前层的分辨率与低层的分辨率彼此不同时，可应用函数(U·D·B)， 即，应用去块函数(B)，接着顺序应用下采样函数(D)和上采样函数(U)。 相反，在当前层的分辨率与低层的分辨率相同时，可仅应用去块函数(B)。 总之，等式7如下：
在当前层的分辨率与低层的分辨率彼此不同时：
F＝U·D·B
在当前层的分辨率与低层的分辨率相同时：
F＝B    (7)
由于F是应用于当前层的分辨率的函数，因此在应用上采样函数(U) 之前应用下采样函数(D)。这样，即使在帧间预测或残差预测中，也能如在 帧内基本预测一样有效地消除去块效应。
同时，由于去块函数(D)和上采样函数(U)中的每一个主要执行平滑 任务，因此任务彼此覆盖。此外，去块函数、上采样函数和下采样函数在应 用时需要相当大量的操作，下采样函数承担非常有力的低通滤波，从而当执 行预测时获得的图像的细节会被恶化。
因此，平滑函数(F)允许以线性耦合形式呈现边界像素和它们的相邻像 素，从而通过少量操作执行应用平滑滤波器的处理。
图5和图6是示出平滑滤波器的应用示例，并且显示将平滑滤波器应用 于子块的纵向边界和横向边界的示例，每个子块具有4×4的大小。在图5和 图6中，能够以边界像素和它们的相邻像素线性耦合的形式对边界像素x(n-1) 和x(n)进行平滑。如果当通过x’(n-1)和x’(n)来表示对像素x(n-1)和x(n)使用 平滑滤波器时获得的结果，则可通过下面的等式8来表示x’(n-1)和x’(n)：
x′(n-1)＝α*x(n-2)+β*x(n-1)+γ*x(n)
x′(n)＝γ*x(n-1)+β*x(n)+α*x(n+1)    (8)
其中，可以适当地选择α*、β*和γ*使得其和为1。例如，当在等式8 中α*＝1/4，β*＝1/2，γ*＝1/4时，可相对于相邻像素增加相应像素的权值。 在等式8中，还有一群像素可被选择为相邻像素。
当使用这种简单类型的平滑滤波器(F)时，可大大减少操作量，并且可 一定程度上防止当执行下采样时产生的图像细节恶化现象。
可选择性地与四种现有预测方法一起使用上述平滑预测方法。选择性地 使用平滑预测方法的原因是因为当平滑预测方法用于块PF和块RB的特性不 匹配的图像时，平滑预测方法产生效果，而当平滑预测方法用于块PF和块RB 的特性匹配的图像时，可能导致性能恶化。
因此，为每个宏块分别提供标记，并且允许编码器基于标记的值选择性 地使用平滑预测方法和现有预测方法。解码器读取标记，因此可确定是否已 经使用过平滑预测。通常，相对于所有块，出现效应的块的数量太多，从而 期望可通过消除块效应获得的图像质量改善效果优于从由于添加了标记出现 的附加位获得的图像质量改善效果。
图7是示出根据本发明的实施例的视频编码器100的结构的框图。在等 式1至等式8的描述中，基于构成画面的块(宏块或子块)进行描述。然而， 在下面的描述中，从包括块的画面的角度进行描述。为了表述统一，使用指 示画面下标字符“F”表示块标识符，例如，通过FRB表示包括块RB的画面。
视频编码器100执行的操作处理可被分为四步。操作处理包括：第一步， 计算用于与当前画面的任意块相应的低层画面的块的帧间预测块与低层的块 之间的差异；第二步，将计算的差异与用于当前画面的块的帧间预测块相加； 第三步，使用平滑滤波器对通过相加产生的块进行平滑；以及第四步，对当 前画面的块与通过平滑产生的块之间的差异进行编码。
首先，描述第一步，将当前画面FOF输入到运动估计单元105、缓冲器101、 减法器115和下采样器103。
下采样器103对当前画面FOF执行空域和/或时域下采样，并且产生低层 画面FOB。
运动估计单元205参照相邻画面FOB′对低层画面FOB执行运动估计，从而 获得运动向量MVB。上述相邻画面被称为“参考画面”。通常，块匹配算法 广泛用于执行运动估计。也就是说，当在移动以像素为基础或以子像素(2/2 像素、1/4像素等)为基础的参考画面的特定搜索区域内给出的块的同时最小 化误差时获得的位移被估计为运动向量。可使用固定大小的块匹配方法执行 运动估计，并且还可使用基于分级可变大小块匹配(HVSBM)的分级方法， 诸如H.264。
如果以开环编解码器的形式形成视频编码器100，则存储在缓冲器201 中的原始相邻画面FOB′不经过改变而被用作参考画面。相反，如果以闭环编解 码器的形式形成视频编码器100，则编码之后的解码的图像(未显示)被用 作参考画面。在本发明中，基于开环编解码器进行描述，但不限于此。
将运动估计单元205获得的运动向量MVB提供给运动补偿单元210。运 动补偿单元210使用运动向量MVB来补偿参考画面FOB′的运动，并且产生用 于当前画面的预测画面FPB。当使用双向参考时，可通过计算运动补偿的参考 画面的平均来获得预测画面。相反，当使用单向参考时，预测画面可与运动 补偿的参考画面相同。预测画面FPB包括多个帧间预测块PB。
同时，减法器215计算低层画面FOB和预测画面FPB之间的差异，并且产 生残差画面FRF。从以块为基础的观点来看，这种差异计算处理可被称为计算 包含在低层画面FOB中的块OB和包含在预测画面FPB中的残差块RB之间的差的 处理。将预测画面FPB。提供给加法器135。如果层的分辨率彼此不同，则通过 上采样器140将预测画面FPB上采样到当前层的分辨率，并且接着将其提供给 加法器135。
以下，描述第二步。将当前画面FOF输入到运动估计单元105、缓冲器101 和减法器115。运动估计单元105参照相邻画面参考对当前画面执行运动估 计，从而获得运动向量MVF。由于执行运动估计的处理与在运动估计单元205 中进行的处理相同，因此可省略重复的描述。
将通过运动估计单元105获得的运动向量MVF提供给运动补偿单元110。 运动补偿单元110使用运动向量MVF来补偿参考画面FOF′的运动，并且产生 用于当前画面的预测画面FPF。
其后，加法器135将预测画面FPF和从低层提供的残差画面FRB相加。从 以块为基础的观点来看，相加处理可被称为将包含在预测画面FPF中的帧间预 测块PF和包含在残差画面FRB中的残差块RB相加的处理。
以下，描述第三步。平滑滤波器单元130使用平滑滤波器对加法器135 的输出FPF+FRB进行平滑。
可以以各种形式实现平滑滤波器的平滑函数。例如，如等式7所述，当 层的分辨率相同时，可不经过改变将去块函数用作平滑滤波器的平滑函数。 相反，当层的分辨率不同时，可将去块函数、上采样函数和下采样函数的结 合用作平滑函数。
此外，如等式8所述，平滑函数可具有平滑的块和边界像素和它们的相 邻像素之间线性耦合的形式。具体地，如图5和图6所示，相邻像素是与边 界像素相邻的像素，每个边界像素的权值可被定义为1/2，并且每个相邻像素 的权值可被定义为1/4。
最后，描述第四步。减法器115产生当前画面FOF和通过平滑产生的画面 之间的差异FRF。从以块为基础的观点来看，产生差异的处理可被称为对包含 在当前画面FOF中的块OF和通过平滑产生的等式5的块F(PF+RB)执行减法的 处理。
变换单元120对deferential画面FRF执行空域变换，并且产生变换系数 FRF T。空域变换方法可采用离散余弦变换(DCT)，小波变换等。在使用DCT 的情况下，变换系数可以是DCT系数，在使用小波变换的情况下，变换系数 可以是小波系数。
量化单元125对变换系数进行量化。量化是指将由任意实数值表示的变 换系数转换为离散值的处理。例如，量化单元125以这样的方式执行量化： 以预定量化阶划分由任意实数值表示的变换系数，接着将划分的结果舍入 (round off)为整数值。
同时，经由变换单元220和量化单元225将低层的残差画面FRB转换为量 化系数FRB Q。
熵编码单元150对运动估计单元105估计的运动向量MVF、运动估计单 元205估计的运动向量MVB、量化单元125提供的量化系数FRF Q和量化单元 225提供的量化系数FRB Q进行无损失地编码，并且产生比特流。这种无损失编 码和采用Huffman编码、算术编码、可变长度编码和各种其它方法。
比特流还可包括指示是否已经通过本发明提出的平滑预测对量化系数 FRF Q进行编码(即，是否已经通过步骤1至4对量化系数FRF Q进行编码)的 标记。
目前为止，已经结合图7描述了实际实现等式5的数学公式的处理。本 发明不限于此，在考虑等式5中的RB被设置为“0”(即，单层特性)的情况 下，可基于等式6的数学公式来实现本发明。这是可以应用于单层的方法， 并且可按这样的方式来实现该方法：在图7中省略了低层的操作过程，并且 在不通过加法器135的情况下，将从运动补偿单元110输出的预测画面FPF直 接输入到平滑滤波器130。因此，不提供单独的附图。
根据上述示例性实施例的视频编码方法可包括步骤：对当前画面的任意 块产生帧间预测块，使用平滑滤波器对产生的帧间预测块进行平滑，计算当 前画面的块与通过平滑产生的块之间的差异，并且对所述差异进行编码。
图8是示出根据本发明的示例性实施例的视频解码器300的结构的框图。
可将视频编码器100执行的操作过程分为五步。操作过程包括：第一步， 基于用于当前画面的块的纹理(texture)数据，恢复包含在输入比特流中的 当前画面的任意块的残差信号；第二步，恢复包含在比特流中且与当前块的 块相应的低层画面的块的残差信号；第三步，将在第二步恢复的残差信号与 用于当前画面的帧间预测块相加；第四步，使用平滑滤波器对通过相加产生 的块进行平滑；以及第五步，将在第一步恢复的残差信号与通过平滑产生的 块相加。
首先，下面描述第一步。熵解码单元305无损失地对输入比特流、当前 画面的纹理数据FRF Q、低层画面的纹理数据FRB Q(具有与当前画面相同的时域 位置的画面)、当前画面的运动向量MVF和低层的运动向量MVB进行解码。 无损失解码是以与编码器的无损失编码处理的顺序相反的顺序执行的处理。
在这种情况下，可在视频编码器100的标记包含在比特流中的情况下执 行下面的操作步骤，所述标记指示已经使用本发明中提出的平滑预测执行编 码。
将当前画面的纹理数据FRF Q提供给逆量化单元310，并且将低层画面的 纹理数据FRB Q提供给逆量化单元410。将当前画面的运动向量MVF提供给运 动补偿单元350，并且将低层的运动向量MVB提供给运动补偿单元450。
逆量化单元310对提供的当前画面的纹理数据FRF Q进行逆量化。逆量化 处理是使用在量化处理中使用的量化表从通过量化处理产生的索引恢复匹配 值的处理。
逆变换单元320对逆量化结果执行逆量化。以与编码器的变换处理的顺 序相反的顺序执行逆变换处理，特别地，可采用逆DCT、逆小波变换等。
作为逆变换的结果，恢复关于当前画面的残差画面FRF。残差画面FRF包 括多个残差信号RF(即，多个残差块)。
同时，下面描述第二步。逆量化单元410对提供的低层画面的纹理数据 FRB Q进行逆量化，逆变换单元420对逆量化结果执行逆变换。作为变换结果， 恢复关于低层画面的残差画面FRB。残差画面FRB包括多个残差信号RB。
将恢复的残差画面FRB提供给加法器360。在这种情况下，当层的分辨率 彼此不同时，通过上采样器380将残差画面FRB上采样到当前层的分辨率，接 着将其提供给加法器360。
其后，下面描述第三步。
运动补偿单元350使用运动向量MVF对从缓冲器340提供的参考画面 FOF′执行运动补偿，因此产生帧间预测画面FPF。参考画面FOF′是指先前恢复并 接着存储在缓冲器340中的当前画面的相邻画面。
加法器360将预测画面FPF与从低层提供的残差画面FRB相加。从以块为 基础的观点来看，相加处理可被称为将包含在预测画面FPF中的帧间预测块PF 与包含在残差画面FRB中的残差块RB相加的处理。
其后，下面描述第四步。平滑滤波器370使用平滑滤波器对加法器360 的输出FPF+FRB进行平滑。
能够以各种方式实现用于平滑滤波器的平滑函数。例如，如等式7所述， 当层的分辨率相同时，可以不经过改变地将去块函数作为用于平滑滤波器的 平滑函数。相反，当层的分辨率不同时，可将去块函数、下采样函数和上采 样函数的结合用作平滑函数。
此外，如等式8所述，平滑函数可具有这样的形式：已平滑的块的边界 像素及其相邻像素线性耦合。具体地，如图5和图6所示，相邻像素是与边 界像素相邻的像素，每个边界像素的权值可被定义为1/2，并且每个相邻像素 的权值可被定义为1/4。
最后，下面描述第五步。加法器330将从逆变换单元320提供的残差画 面FRF与通过平滑产生的画面相加。从以块为基础的观点来看，相加处理可被 称为将通过平滑产生的块(等式5中的F(PF+RB))与包含在残差画面FRF中的 块RF相加的处理。作为加法器330的相加结果，最终恢复当前画面FOF。
目前为止，在图7和图8的描述中，已经描述了对由两个层形成的视频 帧进行编码的示例。然而，本发明不限于此，并且可将本发明应用于对具有 三层或更多层结构的视频帧的编码。
另外，在图7和图8的描述中，视频编码器100将MVF(当前层的运动 向量)和MVB(低层的运动向量)发送到视频解码器300。然而，视频编码 器100可以仅发送MVB，视频解码器300将MVB用作当前层的运动向量。
图9是示出用于实现视频编码器100或视频解码器300的系统的结构的 示图。所述系统包括：TV、机顶盒、桌上计算机、膝上型计算机、掌上计算 机、个人数字助理(PDA)或视频或图像存储装置(例如，录像机(VCR) 或数字录像机(DVR))。此外，所述系统可以以包括上述装置的结合的形式 来形成，或者以上述一个或多个装置作为在其它装置的一部分包含在其它装 置中的形式来形成。所述系统可包括至少一个视频源910、一个或多个输入/ 输出装置920、处理器940、存储器950和显示装置930。
视频源910可以是电视(TV)接收器或VCR或者其它视频存储装置。 此外，源910可以是一个或多个使用互联网、广域网(WAN)、局域网(LAN)、 地面广播系统、线缆网络、卫星通信网络、无线网络或电话网络从服务器接 收视频的网络连接。此外，所述源可以以上述网络的结合的形式来形成，或 者以上述一个或多个网络作为在其它网络的一部分包含在其它网络中的形式 来形成。
输入/输出装置920、处理器940、存储器950通过通信介质960来执行 通信。通信介质960可以是通信总线、通信网络或一个或多个内部连接电路。 可基于存储在存储器950中的一个或多个软件程序，通过处理器940处理从 源910接收的输入视频数据，并且通过处理器940处理从源910接收的输入 视频数据以产生提供给显示装置930的输出视频。
具体地，存储在存储器950中的软件程序可包括可分级视频编解码器以 执行根据本发明的方法。编码器或编解码器可被存储在存储器950中，或者 可从存储介质(诸如压缩盘(CD)、只读存储器(ROM)或软盘)中读取， 或者经由各种网络从预定服务器下载。编码器或编解码器可被软件程序或硬 件电路替代，或者可被软件程序和硬件电路的结合替代。
产业上的可利用性
本发明能够提高使用残差预测或帧间预测的编解码器的性能。
具体地，本发明能够根据低复杂度解码条件提高使用帧内基本预测的编 解码器的性能。
尽管已经为了示例性的目的公开了本发明的示例性实施例，但是本领域的技 术人员将理解，在不脱离权利要求中公开的本发明的范围和精神的情况下， 可以进行各种修改、添加和替换。