诸如因特网的通信技术的发展导致了对除文本和语音通信之外的视频通 信的增加。但是，消费者对于已有基于文本的通信方案并不满足。为了满足 不同消费者的需求，越来越多地提供了用于包含文本、图像、音乐等多媒体 数据的服务。多媒体数据通常数量庞大，因此需要大容量存储介质。而且， 还需要较宽的带宽来传送多媒体数据。因此，当传送多媒体数据时，需要压 缩编码方案。
数据压缩的基本原理是消除数据中的冗余。可以通过去除空间冗余、时 间冗余和视觉感知(perceptual-visual)冗余来压缩数据，所述空间冗余是图像中 颜色或者物体的重复，所述时间冗余是运动画面中相邻帧之间的微小或没有 变化或者在音频中相同声音的连续重复，所述视觉感知冗余是指人类视觉的 限制以及没有听见高频的能力。
迄今为止，已经建议了诸如MPEG-2、MPEG-4、和H.254的多种标准作 为视频压缩方法。此外，联合视频组(Joint Video Team，JVT)正致力于标 准化(以下称为“H.264 SE”(Scalable Extension，可缩放扩展))的工作，以 便在基于多层的H.264中实现可缩放性(scalability)，所述联合视频组是运动 图像专家组(MPEG)和国际电信联盟(ITU)的联合工作组。
图1示出了根据可缩放视频编码(SVC)标准的可缩放视频编码方法的 原理。作为可缩放视频编码的示例，基层(base layer)可以被设置为四分之 一公共中间格式(QCIF)，并具有15Hz的帧速率，第一增强层可以被设置为 公共中间格式(CIF)，并具有30Hz的帧速率，而第二增强层可以被设置为 标准定义(SD)，并具有60Hz的帧速率。
层间相关可以被用来编码多层视频帧。例如，通过从包括在基层的视频 帧中的相应区域13执行的预测(prediction)，可以有效地编码第一增强层的 视频帧中的特定(certain)区域12。类似地，通过从第一增强层的区域12执 行的预测，可以有效地编码第二增强层视频帧中的区域11。如果在多层视频 中每一层的分辨率不同，则在预测之前需要对基层的图像进行上采样 (up-sampled)。
在SVC标准中，支持对传统单一层的、参考具有类似时间位置的帧执行 的帧内预测、以及参考具有不同时间位置的帧执行的帧间预测。在帧内预测 中，支持参考要预测的帧中的其他区域执行的方向(directional)帧内预测、 以及参考与要预测的帧具有相同时间位置的低层帧(lower layer frame)执行 的帧内预测(也称为“intra-base-layer prediction，基层内预测”)。

技术问题
图2是示出三个预测方法的概念图。参考图2，通过使用关于相邻块的 信息，可以对当前帧1的特定块4执行方向帧内预测，或者通过使用具有不 同于当前帧1的时间位置的帧2(先前或将来的帧)，可以对块4执行帧间预 测。通过使用低层帧3中包括的相应区域6的信息，可以对块4执行基层内 预测(intra-base prediction)，其中所述低层帧3具有与当前帧1相同的时间 位置。
一般，预测意味着通过从要编码的帧或块(编码对象)中减去可在视频 编码器和视频解码器中获得的预测块、来减少要编码的信号的复杂度的过程。 从编码对象中减去预测块的结果被称为差别信号(difference signal)。最后， 在图2中三个预测方法之间的差别是获得预测块的方式。
技术方案
本发明提供用于改善视频编码器的压缩效率和由视频解码器再现的图像 的画面质量的方法和装置。
根据本发明的一个方面，提供一种编码具有多层的视频帧的方法，该方 法包括：获得在第一层的块与用于对该块执行帧内预测的第一预测块之间的 第一差别块；获得在对应于所述第一层的块的第二层的块与用于对该块执行 帧内预测的第二预测块之间的第二差别块；以及获得在第一差别块与第二差 别块之间的最终差别块。
根据本发明的另一个方面，提供一种解码视频的方法，该方法包括：从 包括在输入比特流中的第一层的编码数据中重建第一差别块；从包括在比特 流中的第二层的编码数据中重建最终差别块；通过将第一差别块加到最终差 别块来重建第二差别块；针对包括在视频帧中的第二层的块产生预测块，以 便通过帧内预测进行重建；以及通过将产生的预测块加到重建的第二差别块 来重建第二层的块。
根据本发明的再一个方面，提供一种用于编码具有多个块的视频帧的视 频编码器，该视频编码器包括：获得第一层的块与对该块执行帧内预测的第 一预测块之间的第一差别块的单元；获得对应于第一层的块的第二层的块与 对该块执行帧内预测的第二预测块之间的第二差别块的单元；以及获得在第 一差别块和第二差别块之间的最终差别块的单元。
根据本发明的又一个方面，提供一种视频解码器，包括：从包括在输入 比特流中的第一层的编码数据中重建第一差别块的单元；从包括在比特流中 的第二层的编码数据中重建最终差别块的单元；通过将第一差别块加到最终 差别块来重建第二差别块的单元；针对包括在视频帧中的第二层的块产生预 测块、以便通过帧内预测进行重建的单元；以及通过将产生的预测块加到重 建的第二差别块来重建第二层的块的单元。
附图说明
通过参考附图对本发明的示例实施例进行详细描述，本发明的上述和其 它方面将变得更加清楚，其中：
图1示出了根据SVC标准的可缩放视频编码方法的原理；
图2是描述三个预测方法的原理图；
图3描述了根据本发明的第一示例实施例的差别预测方法的原理；
图4是示出根据本发明的第一示例实施例的视频编码器的框图；
图5示出了根据方向帧内预测模式产生预测块的方法；
图6是示出根据本发明的第一示例实施例的视频解码器的配置的框图；
图7描述了根据本发明的第二示例实施例的差别预测方法的原理；
图8是示出根据本发明的第二示例实施例的视频编码器的配置的框图； 以及
图9是示出根据本发明的第二示例实施例的视频解码器的配置的框图。

本发明公开了执行通过帧内预测产生的每层的差别块的残差预测 (residual prediction)(以下称为“差别预测”)的方法。现在将参考其中示出 了本发明的示例实施例的附图更加全面地描述本发明。
如上所述，帧内预测意味着通过使用与要编码的块具有相同时间位置的 帧执行的预测方法，诸如方向帧内预测(directional-intra-prediction)或基层 内预测。以下，在本说明书中，将以应用针对方向帧内预测的差别预测的示 例实施例(以下称为“第一示例实施例”)和应用针对基层内预测的差别预测 的示例实施例(以下称为“第二示例实施例”)的次序进行描述。在示例实施 例中，块是视频帧的图像区域，并可以具有各种大小，如4×4、8×8和16 ×16。
图3描述了根据本发明的第一示例实施例的差别预测方法的原理。本发 明的目的是为了更有效地示(express)在当前层帧31中要编码的块33。
首先，产生针对低层帧32上与块33相对应的块34的预测块(预测信号) 36(S1)。预测块36通过针对块34的方向帧内预测来获得。然后，通过从块 34中减去预测块36来产生差别块38(S2)。
类似地，产生针对当前层帧的块33的预测块(预测信号)35(S3)。预 测块35通过针对块33的方向帧内预测来获得。然后，通过从块33中减去预 测块35来产生差别块(差别信号)37(S4)。在当前层中产生的差别块37和 在低层中产生的差别块38是不同于原始图像的图像，并且主要由高频分量组 成。但是，高频分量中的冗余(图像中的相似性)仍然会保留。
因此，为了去除冗余，通过执行从由当前层产生的差别块37中减去由低 层产生的差别块38的残差减法(residual subtracting)而产生的最终差别块39 (S5)，这意味着即使减法过程中存在的冗余也能够大部分被去除。最后，产 生的最终差别块39被量化(S6)。
图4是示出根据本发明的第一示例实施例的视频编码器100的框图。参 考图4，输入帧被输入减法器115、方向帧内预测单元110和下采样器105。
下采样器105基于分辨率、帧率(frame rate)和比特率(bit ratio)之一 对输入帧进行下采样。例如，下采样器105可以在分辨率方面(side)按照 1/2转换输入帧的大小，在帧方面按照1/2转换输入帧的数量，以及按照1/2 转换输入帧的比特率。照此，通过下采样器的输出被改变为原始输入帧的低 层帧。
下采样器105的输出能够被输入到减法器155和方向帧内预测单元150。 方向帧内预测单元150通过使用低层中要编码的块(图3的34)的相邻图像 (通过方向帧内预测)产生针对块34的预测块。
方向帧内预测是通过使用向上或向左方向的相邻像素、将单一块(4×4 块)复制到预定方向来预测当前块的值的方法。作为针对4×4块的预测模式， 在如图1所示的SVC标准中总共支持9种模式。在图5中，阴影区域表示要 编码的块的位置，A到M表示块的相邻像素，并且在各模式中所述块的预测 块可以通过向箭头方向的内插或外插来获得。
方向帧内预测单元150通过选择图5中的最佳模式、根据相应模式产生 预测块，并将预测块提供给减法器155。减法器155通过减去由块34提供的 预测块来产生第一差别块D1。
类似地，方向帧内预测单元110通过使用当前层中要编码的块(图3的 33)的相邻块(通过方向帧内预测)产生针对块33的预测块。减法器115通 过从块33中减去由方向帧内预测单元110产生的预测块来产生第二差别块 D2。
开关135根据是否使用依据本发明的差别预测、将第一差别块D1提供给 减法器120。如果使用了差别预测，减法器120从第二差别块D2中减去第一 差别块D1，以获得用于当前层的块33的最终差别块DF。
最终差别块DF通过变换器125和量化单元130被提供给熵编码单元145。 如果包括在最终差别块DF中的每个值低于特定阈值，则所述值被视为0，并 且它们不必通过变换器125和量化单元130。
变换器125针对最终差别块DF执行空间变换以产生变换系数。离散余弦 变换(DCT)或小波变换可以被用于空间变换方法。如果DCT被用于空间变 换，则该变换系数指示DCT系数。如果小波变换被使用，则变换系数指示小 波系数。
量化单元130量化变换系数。量化是指将具有预定实数值的变换系数表 示(express)为离散值、并将其与预定索引(index)进行匹配的过程。量化方法包 括标量量化和矢量量化。
第一差别块D1通过变换器160和量化单元165被提供给熵编码单元145。 类似于最终差别块DF，第一差别块D1不必通过变换器125和量化单元130。
标记设置单元140设置指示是否使用了根据本发明的差别预测的标记， 并将其提供给熵编码单元145。例如，如果标记的设置值为1，则其指示使用 了差别预测，如果为0，则其指示没有使用差别预测，而是使用了传统方法。 标记可以以宏块、片段(slice)或帧为单位进行设置。
熵编码单元145通过对分别由量化单元130和量化单元165量化的变换 系数Q2和Q1、以及由标记设置单元140设置的标记值F执行无损编码来产 生比特流。无损编码方法包括算术编码和可变长度编码。
图4的视频编码器100被实现为开环类型。一般，为了减小视频编码器 和视频解码器之间产生的漂移误差，视频编码器在两侧都使用对称结构(闭 环类型)。视频编码器100可以不像图4那样从原始帧、而是从通过量化和逆 量化重建的帧中获得用于执行经编码的块33、34的方向帧内预测的相邻图 像，以便具有闭环类型。
图6是示出根据本发明的第一示例实施例的视频解码器200的配置的框 图。熵解码单元205对输入比特流执行无损解码，以便提取当前层的量化系 数Q2、低层的量化系数Q1和标记F。与熵编码单元145中的无损编码逆向地 (inversely)执行无损解码。
逆量化单元250逆量化低层的量化系数Q1。逆量化过程对应于在量化单 元165中执行的量化过程的逆过程(inverse)，并且重建与表示为预定索引的 量化系数相对应的实系数(变换系数)。
逆变换器255逆变换去量化(de-quantization)的结果以重建第一差别块 D1。重建的第一差别块D1′是通过量化和逆量化产生的，它与第一差别块D1 并不完全相同。以下，每个符号(′)指示重建数据，意味着其可能与原始数 据不完全相同。逆变换对应于在变换器160中执行的变换过程的逆过程。
标记读取单元235读出提取的标记F以确定差别预测是否已经被应用到 输入比特流。如果应用了差别预测，则开关240将重建的第一差别块D1′提供 给减法器220。
逆量化单元210逆量化当前层的量化系数Q1，而逆变换器215逆变换去 量化的结果，并重建最终差别块DF′。
然后，减法器220通过将重建的最终差别块DF′加到重建的第一差别块 D1′来重建第二差别块D2′。
方向帧内预测单元245通过使用当前层中要解码的块的相邻图像(通过 方向帧内预测)产生针对该要解码的块的预测块。这时，相邻图像是存储在 预重建缓冲器230中的数据。
加法器225将重建的第二差别块D2′和产生的预测块相加，重建要解码 的块，并将其存储在缓冲器230中。在缓冲器230中，多个块被包括在单一 帧中，缓冲器230从它们中重建完整的帧。
图7描述了根据本发明的第二示例实施例的差别预测方法的原理。
基层内预测在两个层之间执行，并且作为结果，产生单一的差别块。本 发明的第二示例实施例用于针对冗余在从基层内预测的结果中获得的差别块 之间执行残差减法，并且需要至少三个层来应用第二示例实施例。因此，在 本发明中例示了由三层组成的视频帧，但是本领域的普通技术人员应当能够 完全理解，视频帧也可以由四层或更多层组成。
根据图7，当前层帧71的块74是要通过差别预测进行编码的块。块74 在时间和空间上对应于第二低层帧73的块76。
首先，使用相应的低层的块76作为预测信号来预测第一低层的块75。 也就是，通过从第一低层的块75中减去相应块76来产生第一差别块78(S1)。
类似地，使用相应第一低层的块75作为预测信号来预测当前层的块74。 也就是，通过从当前层的块75中减去相应块75来产生第二差别块77(S2)。
通过从第二差别信号77中减去第一差别信号78来产生最终差别块79， 以便去除第一差别信号78和第二差别信号77的冗余(S3)。最后，量化所产 生的最终差别块79(S4)。
图8是示出根据本发明的第二示例实施例的视频编码器的配置的框图。 参考图8，输入帧被输入到加法器310和下采样器305。
下采样器305基于分辨率、帧率和比特率之一将输入帧下采样到第一低 层帧的水平(level)。下采样器305的输出被输入到减法器350和下采样器345。 类似地，下采样器345基于分辨率、帧率和比特率之一将第一低层帧下采样 到第二低层帧的水平。
减法器350从由下采样器305提供的第一低层帧的块A中减去由下采样 器345提供的第二低层帧的块B。类似地，加法器310通过从要由当前层帧 编码的块O中减去由下采样器305提供的第一低层帧的块A来产生第二差别 块D2。
开关330根据是否使用依据本发明的差别预测来将第一差别块D1提供给 减法器315。当使用差别预测时，减法器315从第二差别块D2中减去第一差 别块D1以获得针对在本层中要编码的块O的最终差别块DF。
由下采样器345提供的第二低层帧的块B通过变换器365和量化单元370 Q0被提供给熵编码单元340，由减法器350提供的第一差别块D1通过变换器 355和量化单元Q1被提供给熵编码单元340，并且所获得的最终差别块DF通 过变换器320和量化单元325Q2被提供给熵编码单元340。如上所述，当输 入变换器320、355、365的值小时，其可能不通过变换器320、355、365和 量化单元325、360、370。
标记设置单元335设置指示是否使用根据本发明的差别预测的标记(一 比特标记)，并将其提供给熵编码单元340。
熵编码单元340通过对分别由量化单元325、360、370量化的变换系数 Q2、Q1、Q0和由标记设置单元335设置的标记值F执行无损编码来产生比特 流。
图8的视频编码器300通过开环类型来实现。但是，其可以通过闭环类 型来实现。为此，视频编码器300在加法器中使用A的重建图像A′而不是A， 而减法器350可以使用A的重建图像B′而不是B。
图9是示出根据本发明的第二示例实施例的视频解码器400的配置的框 图。
参考图9，熵解码单元405提取当前层的量化系数Q2、第一低层的量化 系数Q1、以及第二底层的量化系数Q0和标记F。
标记读取单元435读出提取的标记F，并确定差别预测是否被应用到输 入比特流。如果应用了差别预测，则开关440将重建的第一差别块D1′提供给 加法器420。
当前层的量化系数Q2通过逆量化单元410和逆变换器415被重建为最终 差别块DF，第一低层的量化系数Q1通过逆量化单元445和逆变换器450被 重建为第一差别块D1′，而第二底层的量化系数Q0通过逆量化单元445和逆 变换器460被重建为第二低层帧的块B′。
加法器465通过将重建的第二低层帧的块B′加到重建的第一差别块D1 来重建第一低层帧的块A′。此外，加法器420通过将重建的最终差别块DF′ 加到重建的第一差别块D1′来重建第二差别块D2′。然后，加法器425通过将 重建的第二差别块D2′加到第一低层帧的块A′来重建当前层帧的块O′，并将 其存储在缓冲器中。
在缓冲器430中，存储了包括在单一帧中的多个块，缓冲器430从它们 中重建完整的帧(当前层帧)。
以上参考图5和图8描述的每个元件可以通过在存储器的预定区域执行 的软件(诸如任务、类、子例程、进程、对象、执行线程、或程序)、硬件(诸 如现场可编程门阵列(FPGA)或专用集成电路(ASIC))或这样的软件和硬 件的组合来实现。这些元件可以包括在计算机可读的存储介质中，或者分布 在多个计算机中。
工业实用性
根据本发明的示例实施例，视频编码器的压缩效率和具有相同比特率的 视频的画面质量能够得到改善。
为了说明的目的已经描述了本发明的示例实施例，本领域技术人员将理 解，在不脱离所附权利要求书中公开的本发明的原理和精神的情况下，能够 进行各种修改、添加和替换。因此，本发明的范围应当由所附权利要求书及 其合法等同物来限定。