随着信息和通信技术的发展，除了文本和语音通信之外，多媒体通信正 在增长。现有的以文本为中心的通信系统不足以满足客户的各种需求，并由 此，可容纳各种形式信息(例如文本、图像、音乐、和其它)的多媒体服务 正在增长。由于多媒体数据很大，所以需要大容量存储介质和宽带宽来存储 和发送多媒体数据。因此，需要压缩编码技术来发送多媒体数据。
数据压缩的基本原理是去除数据冗余。可通过去除例如图像中同一颜色 或对象的重复的空间冗余、例如活动图像中的相似相邻帧或声音的连续重复 的时间冗余、和考虑到人对高频的敏感度的可视/知觉冗余，而压缩数据。
在一般视频编码方法中，通过基于运动补偿的时间滤波而去除时间冗余， 并通过空间变换而去除空间冗余。
其中去除了冗余的结果数据在量化处理中根据特定量化操作被有损耗编 码。量化结果最终通过熵编码被无损耗编码。
如在联合视频组(JVT)已正式发布的当前可伸缩视频编码草案(下面 称为SVC草案)中提出的，正对基于现有H.264标准实现多层视频编解码器 进行研究，其中该联合视频组是国际标准化组织/国际电工委员会(ISO/IEC) 和国际电信联盟(ITU)的视频专家组。
图1图示了利用多层结构的可伸缩视频编码结构。在该视频编码结构中， 第一层被设置为15Hz(帧频)的四分之一公共中间格式(Quarter Common Intermediate Format：QCIF)，第二层被设置为30Hz的公共中间格式(CIF)， 而第三层被设置为60Hz的标准定义(SD)。如果需要CIF的0.5Mbps的流， 那么该比特流可被截短，使得在具有CIF、帧频30Hz、和比特率0.7Mbps的 第二层中的比特率为0.5Mbps。以这种方式，可实现空间、时间和信噪比(SNR) 可伸缩性。由于在各层之间存在一些相似性，所以，在对相应层进行编码时， 经常使用用于利用来自另一层的预测信息来提高某一层(例如纹理数据、运 动数据等)的编码效率的方法。
另一方面，在可伸缩视频编码中，存在与是否使用层间信息相关的各种 标记，该标记可以由码片(slice)、宏块、子块、或者甚至系数来设置。因此， 在视频编码中，不能忽视由这些标记增加的开销。
然而，现在，与纹理数据或运动数据不同，在不考虑层间相关性的情况 下，标记还没有被单独编码或从未被编码。

本发明的示例性非限制性的实施例克服了上述缺点和上面未描述的其他 缺点。而且，不要求本发明克服上述缺点，并且本发明的示例性非限制性的 实施例可以不克服任何上述问题。
本发明提供了一种用于基于层间相关性而有效编码在基于多层的可伸缩 视频编解码器中使用的各种标记的方法和设备。
根据本发明的一个方面，提供了一种利用与基本层的对应标记的相关性 而对在基于多层的视频中使用的当前层的标记进行编码的方法，该方法包括： 判断在指定单元区域中包括的当前层的标记是否全部等于基本层的标记；根 据该判断结果而设置预测标记；和如果判断当前层的标记等于基本层的标记， 则跳过当前层的标记，并将基本层的标记和预测标记插入到比特流中。
根据本发明的另一方面，提供了一种利用与基本层的对应标记的相关性 而对在基于多层的视频中使用的当前层的标记进行编码的方法，该方法包括： 获得当前层的标记和基本层的标记的异或值；对获得的异或值执行熵编码； 和将熵编码的结果和基本层的标记插入到比特流中。
根据本发明的另一方面，提供了一种在基于多层的视频中利用与基本层 的标记的相关性而对编码后的当前层的标记进行解码的方法，该方法包括： 从输入比特流中读取预测标记和基本层标记；如果预测标记具有第一比特值， 则在预测标记所被分配到的特定单元区域中，用所读取的基本层的标记替换 当前层的标记；和输出所替换的当前层的标记。
根据本发明的另一方面，提供了一种在基于多层的视频中利用与基本层 的标记的相关性而对编码后的当前层的标记进行解码的方法，该方法包括： 从输入比特流中读取基本层的标记和编码后的当前层的标记；对编码后的当 前层的标记进行熵解码；对熵解码的结果和所读取的基本层的标记执行异或 运算；和输出异或运算的结果。
附图说明
通过结合附图对示范实施例的以下详细描述，本发明的以上和其它方面 将变得更明显，其中：
图1是图示了利用多层结构的可伸缩视频编码结构的图；
图2是图示了包括离散层和至少一个FGS层的FGS编码结构的图；
图3是解释在可伸缩视频编码中提供的三种预测技术的概念视图；
图4是图示了根据本发明示范实施例的标记编码设备的构造的方框图；
图5是图示了细分(refinement)系数的例子的图；
图6是图示了根据本发明示范实施例的标记解码设备的构造的方框图；
图7是图示了根据本发明示范实施例的标记编码方法的流程图；
图8是图示了根据本发明另一示范实施例的标记编码方法的流程图；
图9是图示了根据本发明示范实施例的标记解码方法的流程图；
图10是图示了根据本发明另一示范实施例的标记解码方法的流程图；
图11是图示了可应用图4的标记编码设备的示范性的基于多层的视频编 码器的构造的方框图；和
图12是图示了可应用图6的标记解码设备的示范性的基于多层的视频解 码器的构造的方框图。

下面，将参考附图来详细描述本发明的示范实施例。通过参考要结合附 图详细描述的示范实施例，本发明的各个方面和特征以及实现这些方面和特 征的方法将更明显。然而，本发明不限于下面公开的示范实施例，而可以以 各种形式实现。例如详细构造和元件的在描述中定义的内容只是用来帮助本 领域普通技术人员全面理解本发明的特定细节，并且本发明仅被限定在所附 权利要求的范围内。在本发明的整体描述中，相同的附图标记用于各图中的 相同元件。
在第16届JVT会议中由J Ridge和M.Karczewicz所提交的论文“Variable length code for SVC”(JVT-P056，波兹南，第16届JVT会议；下面称为 “JVT-P056”)中，提出了考虑可伸缩视频编码(SVC)特性的上下文自适应 可变长度编码(CAVLC)技术。JVT-P056在离散层中遵循与现有H.264标准 相同的处理，但是在细粒度可伸缩性层(fine granular scalability layer：FGS 层)中使用按照统计特性的分离VLC技术。FGS层是FGS编码中的等于或 高于第二层的层，而离散层是FGS编码中的第一层。
如图2所示，在对组成一个离散层和至少一个FGS层的系数执行熵编码 时，使用三个扫描阶段(passes)，即有效(significance)阶段、细分阶段、 和剩余阶段。不同的方法根据他们的统计特性被应用到相应的扫描阶段。特 别是，对于细分阶段，使用在熵编码中基于值“0”优于其他值的事实而获得 的VLC表格。一般来说，对应离散层系数为“0”的FGS层系数被称为有效 系数，而对应离散层系数不为“0”的FGS层系数被称为细分系数。该有效 系数由有效阶段编码，而该细分系数由细分阶段编码。
在JVT-P056中，已提出了FGS层的VLC技术。根据该技术，在离散层 中使用传统CAVLC技术，而在FGS层中使用利用统计特性的分离技术。具 体来说，在三个扫描阶段中的细分阶段中对细分系数进行编码时，JVT-P056 按照4个一组对细分系数的绝对值进行分组，利用VLC表格对分组的细分系 数进行编码，并与分组的细分系数分离地、对用于区分细分系数的正/负符号 的符号标记进行编码。由于为每一细分系数给出了细分系数的符号标记(除 了细分系数为“0”的情况)，所以由此引起的开销增大。因此，为了降低符 号标记的开销，向该符号标记应用例如运行水平(run-level)编码的熵编码。 然而，这是仅利用对应FGS层中的信息进行的，而没有利用其他FGS层的信 息。
然而，作为观察各种视频样本的结果，可以知道第一FGS层中的细分系 数的符号与离散层中的对应细分系数的符号相同。尽管如此，在对第一FGS 层中的细分系数的符号标记进行编码时仅使用对应层的信息，这还是效率很 低的。
根据当前可伸缩视频编码草案，除了符号标记之外，在执行FGS层的熵 编码时，使用例如残留预测标记、基本层内(intra base)标记、运动预测标 记、基本模式标记等的各种标记。这些标记被包括在比特流中，并被发送到 视频解码器侧。
残留预测标记是表示是否使用残留预测的标记。残留预测是可通过利用 基本层的对应残留信号预测某一层的残留信号、而降低残留信号的层间冗余 的技术。由于基本层是为了另一层的有效编码而提到的某一层，所以其不限 于第一层，并不必意味着更低层。
是否使用残留预测由传递到视频解码器侧的残留预测标记表明。如果该 标记为“1”，则这表明使用了残留预测，而如果该标记为“0”，则这表明没 有使用残留预测。
基本层内标记是表明是否使用基本层内预测的标记。根据当前可伸缩视 频编码草案，除了已在现有H.264标准中使用的层间预测(①)和层内预测 (②)之外，还支持通过利用基本层图像预测当前层的帧而降低要编码的数 据的基本层内预测(③)，如图3所示。在该草案中，基本层内预测被视为一 种层内预测。在该层内预测中，如果该基本层内标记为“0”，则其表明传统 层内预测，而如果该基本层内标记为“1”，则其表明基本层内预测。
运动预测标记是这样的标记，其表明在通过预测当前层的运动向量获得 运动向量差(MVD)的过程中、是使用了同一层的另一运动向量还是使用了 基本层的运动向量。如果该标记为“1”，则表明使用了基本层的运动向量， 而如果该标记为“0”，则表明使用了同一层的另一运动向量。
基本模式标记是这样的标记，其表明在表明当前层的运动信息的过程中、 是否使用了基本层的运动信息。如果基本模式标记为“1”，则基本层自己的 运动信息被用作当前层的运动信息，或者使用基本层的以某种方式细分的运 动信息。如果基本模式标记为“0”，则其表明当前层的运动信息被单独恢复 和记录，而与基本层的运动信息无关。运动信息包括宏块类型mb_type、层 间预测期间的画面参考方向(即前向、后向、和双向)、和运动向量。
上述标记稍微具有相应层之间的相关性。也就是说，很可能当前层的标 记与基本层的对应标记具有相同的值。而且，在典型的熵编码中，随着在要 编码的值中包括的值“0”的数目的变大，可改进压缩效率，这是公知的。这 是因为在熵编码中，一串值“0”被处理为一个游程(run)，或参考偏置到“0” 的表格而被处理。考虑到这些因素，通过在基本层的标记与当前层的对应标 记相等的情况下将标记设置为“0”、否则将标记设置为“1”，可改进执行熵 编码时的压缩效率。
图4是图示了根据本发明示范实施例的标记编码设备的构造的方框图。 该标记编码设备100可包括标记读出单元110、预测标记设置单元120、运算 单元130、熵编码单元140、和插入单元150。
标记读出单元110读取在特定存储区中存储的标记值。一般来说，标记 值由1比特(“1”或“0”)表明，但不限于此。这些标记包括当前层的标记 FC和基本层的对应标记FB。
预测标记设置单元110在特定单元区中判断当前层的标记FC是否全部与 基本层的对应标记FB相等，如果是，则将预测标记P_flag设置为“0”，否则， 将预测标记P_flag设置为“1”。单元区可以是帧、码片、宏块、或子块。如 果单元区中包括的标记在各层中彼此相等，则可跳过当前层的标记FC，而不 是被设置为“1”。在该情况下，仅较低层的标记FB和预测标记P_flag被插入 到比特流中，并被发送到视频解码器侧。
在预测标记被设置为“0”的情况下，运算单元130对当前层的标记FC 和基本层的对应标记FB执行异或运算。异或运算是这样的逻辑运算，如果两 个输入的比特值彼此相等，则输出“0”，而如果它们彼此不等，则输出“1”。 如果对应层的标记FC和FB很可能彼此相等，则由该运算所获得的大多数输 出变为“0”，并由此可改进熵编码效率。
例如，如果假设第一FGS层是当前层，则第一FGS层的每一子块的细分 系数如图5的阴影部分所示。如果这些细分系数按照图5的虚线箭头(按照 Z字形方式)的顺序排列，则当前层的符号标记变为{10101}，而基本层(即 离散层)的对应符号标记变为{10100}，其中正号被表示为“0”，而负号被表 示为“1”。通过对一组标记执行异或运算，该运算结果变为{00001}。在该情 况下，对当前层的运算结果{00001}执行熵编码(而不是对符号标记{10101} 执行熵编码)，这对于压缩效率是有利的。
再次参考图4，熵编码单元140对从运算单元130输出的运算结果执行 无损耗编码。可变长度编码(包括CAVLC)、算术编码(包括基于上下文的 自适应二进制算术编码)、霍夫曼编码等可用作无损耗编码方法。
在预测标记P_flag为“1”的情况下，插入单元150将该预测标记和基本 层的标记FB插入到比特流(BS)中。相反，如果预测标记P_flag为“0”， 则插入单元150将该预测标记、基本层的标记FB、和熵编码后的运算结果RC’ 插入到比特流(BS)中。比特流(BS)是已由多层视频编码器进行有损耗编 码的数据，并且最终比特流作为插入结果被输出。
图6是图示了标记解码设备的构造的方框图。该标记解码设备200可包 括比特流读出单元210、预测标记读出单元220、替换单元230、熵解码单元 240、和运算单元250。
比特流读出单元210通过对该最终比特流进行语法分析(parsing)而提 取基本层的标记FB和预测标记P_flag。如果该比特流中存在熵编码后的运算 结果RC’，则比特流读出单元210也提取它。
预测标记读出单元220读取所提取的预测标记P_flag，并且如果预测标 记值为“0”，则其操作运算单元250，而如果预测标记值为“1”，则其操作 替换单元230。
如果预测标记读出单元220通知该预测标记为“1”，则替换单元230用 基本层的标记FB替换当前层的标记FC。因此，所输出的基本层的标记FB和 当前层的标记FC变得彼此相等。
熵解码单元240对运算结果RC’执行无损耗解码。该解码操作与熵编码单 元140执行的无损耗编码操作互逆。
如果预测标记读出单元220通知该预测标记为“0”，则运算单元250对 基本层的标记FB和无损耗编码的结果RC执行异或运算。初始地，运算单元 130通过下述等式(1)的运算而计算RC(其中，^是异或运算的标志)，并且 通过在等式(1)的两侧代入“^FB”，等式(1)的右侧的“^FB^FB”被删除， 从而产生下述等式(2)的结果。
RC＝FC^FB    …(1)
RC^FC＝FC    …(2)
因此，运算单元250可通过对于RC和FB执行异或运算，而恢复当前层 的标记FC。最后，标记解码设备200的输出变为基本层的标记FB和当前层的 标记FC。
可通过在存储器的特定区域中执行的任务、类、子例程、过程、对象、 执行线程、例如程序的软件、例如FPGA(现场可编程门阵列)或ASIC(特 定用途集成电路)的硬件、或软件和硬件的组合，而实现图4和6的相应组 成元件。这些组成元件可被包括在计算机可读存储介质中，或者它们的部件 可分布在多个计算机中。
图7是图示了根据本发明示范实施例的标记编码方法的流程图。
首先，标记读出单元110读取基本层的标记FB和当前层的标记FC(S11)。 然后，预测标记设置单元120判断在单元区域中读取的标记FB和对应标记FC 是否彼此相等(S12)。
如果作为判断结果的标记FB和FC彼此相等(操作S12中的“是”)，则 预测标记设置单元120将预测标记P_flag设置为“1”(S17)，并且插入单元 150将预测标记P_flag和FB插入到比特流中(S18)。
如果作为判断结果的标记FB和FC彼此不相等(操作S12中的“否”)， 则预测标记设置单元120将预测标记P_flag设置为“0”(S13)。然后，运算 单元130对FB和FC执行异或运算(S14)。在本发明的另一示范实施例中， 可省略操作S14的处理(在该情况下，FC将直接被熵编码)。
熵编码单元140对运算结果RC执行熵编码(S15)。最终，插入单元150 将预测标记P_flag、基本层的标记FB、和熵编码的结果RC’插入到比特流中 (S16)。
图8是图示了根据本发明另一示范实施例的标记编码方法的流程图。该 标记编码方法排除了预测标记设置处理。在图8所示方法中，执行异或运算， 而不管FB和FC在单元区域中是否彼此相等。
首先，标记读出单元110读取基本层的标记FB和当前层的标记FC(S21)。 然后，运算单元130对FB和FC执行异或运算(S22)。熵编码单元140对运 算结果RC执行熵编码(S23)。最终，插入单元150将预测标记P_flag、基本 层的标记FB、和熵编码的结果RC’插入到比特流中(S24)。
图9是图示了根据本发明示范实施例的标记解码方法的流程图。
首先，比特流读出单元210读取最终比特流(BS)，并提取基本层的标记 FB、熵编码后的运算结果RC’、和预测标记P_flag(S31)。然后，预测标记读 出单元220判断所提取的预测标记P_flag是否为“0”(S32)。
如果作为判断结果的预测标记P_flag为“1”(操作S32中的“否”)，则 替换单元230用所提取的基本层的标记FB替换当前层的标记FC(S35)，并输 出所替换的当前层的标记FC(S36)。单元区域可对应于帧、码片、宏块、或 子块。
如果作为判断结果的预测标记P_flag为“0”(操作S32中的“是”)，则 熵解码单元240通过对熵编码后的运算结果RC’进行解码而恢复运算结果RC (S33)。该解码运算与熵编码运算互逆。
运算单元250通过对基本层的标记FB和无损耗编码的结果RC执行异或 运算，而恢复当前层的标记FC(S34)。然后，运算单元250输出所恢复的当 前层的标记FC(S36)。
图10是图示了根据本发明另一示范实施例的标记解码方法的流程图。该 标记解码方法排除与预测标记相关的处理。在图10所示方法中，应用了熵解 码处理(S42)和异或运算(S43)，而不考虑预测标记P_flag的值。
首先，比特流读出单元210读取最终比特流(BS)，并提取基本层的标记 FB和熵编码后的运算结果RC’(S41)。然后，熵解码单元240通过对熵编码 的运算结果RC ’进行解码而恢复运算结果RC(S42)。运算单元250通过对基 本层的标记FB和无损耗编码的结果RC执行异或运算而恢复当前层的标记FC (S43)，并然后输出所恢复的当前层的标记FC(S44)。
图11是图示了可应用图4的标记编码设备的基于多层的视频编码器的构 造的方框图。
原始视频序列被输入到当前层编码器400，并(仅在各层之间的分辨率 改变的情况下)由下采样单元350进行下采样，以输入到基本层编码器300。
预测单元410通过以特定方法从当前宏块中减去预测图像，而获得残留 图像。定向层内预测、层间预测、基本层内预测、和残留预测可用作该预测 方法。
变换单元420利用例如离散余弦变换(DCT)和小波变换的空间变换技 术而变换所获得的残留信号，并生成变换系数。
量化单元430通过特定量化操作而量化该变换系数(随着量化操作的变 大，数据损耗或压缩率也变大)，并生成量化系数。
熵编码单元440执行量化系数的无损耗编码，并输出当前层比特流。
标记设置单元450根据各种操作中获得的信息而设置标记。例如，通过 从预测单元410获得的信息而设置残留预测标记和基本层内标记，并通过从 熵编码单元440获得的信息而设置细分系数的符号标记。如上所述设置的当 前层的标记FC被输入到标记编码设备100。
以与当前层编码器400相同的方式，基本层编码器300包括：预测单元 310、变换单元320、量化单元330、熵编码单元340、和标记设置单元350， 它们与当前层编码器400的组件具有相同的功能。熵编码单元340将基本层 比特流输出到多路复用器(mux)360，而标记设置单元350将基本层标记FB 提供到标记编码设备100。
多路复用器360组合当前层比特流和基本层比特流，以生成比特流(BS)， 并将所生成的比特流提供到标记编码设备100。
标记编码设备100利用FB和FC之间的相关性而对FC进行编码，并将所 编码的FC和FB插入到所提供的比特流中，以输出最终比特流(最终BS)。
图12是图示了可应用图6的标记解码设备的基于多层的视频解码器的构 造的方框图。
输入最终比特流(最终BS)被输入到标记解码设备200和解多路复用器 (demux)650。解多路复用器650将最终比特流分离为当前层比特流和基本 层比特流，并将当前层比特流和基本层比特流分别提供到当前层解码器700 和基本层解码器600。
熵解码单元710通过执行与熵编码单元440执行的无损耗编码对应的无 损耗解码，而恢复量化系数。
逆量化单元720通过在量化单元430中使用的量化操作而执行所恢复的 量化系数的逆量化。
逆变换单元730使用例如逆DCT和逆小波变换的逆空间变换技术而对逆 量化的结果执行逆变换。
逆预测单元740以相同方式获得预测单元410所获得的预测图像，并通 过将逆变换的结果添加到所获得的预测图像中而恢复视频序列。
以与当前层解码器700相同的方式，基本层解码器600包括熵解码单元 610、逆量化单元620、逆变换单元630、和逆预测单元640。
另一方面，标记解码设备200从最终比特流中提取基本层标记FB和当前 层标记FC的所编码的值，并根据FB和所编码的值而恢复当前层标记FC。
所提取的基本层标记FB用于基本层解码器600的组成元件610、620、630 和640的对应操作，而所恢复的当前层标记FC用于当前层解码器700的组成 元件710、720、730和740的对应操作。
如上所述，根据本发明，可改进在基于多层的可伸缩视频编解码器中使 用的各种标记的编码效率。
已为了示意性的目的而描述了本发明的示范实施例，并且本领域普通技 术人员将理解，在不脱离所附权利要求中公开的本发明的范围和精神的情况 下，各种修改、添加和替换都是可能的。所以，本发明的范围应该由所附权 利要求及其法定等同限定。
相关申请的交叉引用
本申请要求2006年1月13日向韩国知识产权局提交的韩国专利申请第 10-2006-0004139号以及2005年10月19日向美国专利和商标局提交的美国 临时专利申请第60/727851号的优先权，通过引用而在这里全部合并其公开。