技术领域

本发明涉及一种预测编码/解码器、一种预测编码/解码方法、以及一种在 其上记录有用于实现该预测编码/解码方法的程序的计算机可读记录介质，以 用于对运动图像编码。

                         背景技术

在2003年在视频压缩领域中出现了称为运动图像专家组(MPEG)-4部分 10AVC(先进视频编码)或国际电信联盟电信标准化部门(ITU-T)H.264的新 标准。随着诸如移动网络的新通信信道的快速扩展，加速这一出现的是从传 统电路切换到包切换的变化以及对各种通信基础结构的共存的需要。

在AVC/H.264中，使用了直观上与用于运动图像编码的传统国际标准不 同的空间估计编码方法，诸如MPEG-1、MPEG-2、和MPEG-4部分2。在传 统的运动图像编码中，在离散余弦变换(DCT)域中变换的系数被帧内预测以提 高编码效率，导致低通带传输比特率上的主观质量的降低。另一方面，在 AVC/H.264中，空间帧内预测不是在变换域中而是在空间域中被执行。

传统的空间帧内预测编码以这样一种方式被执行，这种方式是：使用关 于已经被编码和再现的块的信息来预测关于将被编码的块的信息，并且只有 指示关于将被编码的实际块和预测的块的信息之间的差别的差别信息被编码 并被发送到解码器。此时，可以将预测所需的参数发送到解码器，或者可以 通过将编码器和解码器同步来执行预测。使用关于已经被解码和再现的相邻 块的信息来预测关于将被解码的块的信息，计算预测的信息与从编码器发送 的差别信息之和，并且再现期望的结构信息。此时，如果预测所需的参数从 编码器被接收，那么它也被解码以用于使用。

在传统的基于块或基于宏块的视频编码中使用的帧内预测使用关于块 A、B、C、和D的信息，块A、B、C、和D在传统的光栅扫描方向上与将 被编码的块E相邻，如图1所示。关于图1中的标记有X的块的信息将在完 成块E的编码之后被处理，因此对编码处理不可用。当计算预测值时，标记 有0的块可被使用，但是它在空间上远离块E。其结果是，标记有O的块不 具有与块E高的相关，并且几乎不被使用。

同样地，大多数传统的帧内预测使用关于块D、B、和C的信息的一部 分以及关于块A的信息，块D、B、和C在紧接在包括块E的一行之上的一 行中的块中与块E相邻，块A在对块E编码之前刚刚被编码。在MPEG-4部 分2的情况下，使用8×8DCT域中的块A、D和B的DC(离散系数)值之间 的差来预测块E的DC值。另外，在AVC/H.264的情况下，一帧被分为4×4 块或16×16宏块，并且不是在DCT域中而是在空间域中的像素值被预测。

以下将简要描述AVC/H.264的16×16空间帧内预测。

图3A-3D显示了传统16×16空间帧内预测的四种模式。

在图3A-3D中，E表示将被编码的宏块。使用与宏块E相邻的宏块A和 B来执行空间帧内预测。在图3A-3D中，用于空间帧内预测的一组像素包括 由V表示的位于宏块A的最右行的16个像素、以及由H表示的位于宏块B 的最底行的16个像素。使用该四种模式执行16×16空间帧内预测，现在将描 述这四种模式中的每一种。

在每种模式中使用的像素值如图2所示被定义。

假设将被帧内预测的宏块E的像素值是P[x][y](x＝0...15并且y＝ 0...15)，宏块B的行H可被表示为P[x][-1](x＝0...15)，并且宏块A的行V 可被表示为P[-1][y](y＝0...15)。

在图3A中示出了模式0(垂直模式)。

参照图3A，通过使用宏块B的行H中的16个像素，通过将宏块E中的 一列的所有像素的值设置为等于直接在该列之上的行H中的像素的值，来执 行空间帧内预测。

即，在模式0中，当P′[x][y]被定义为实际像素值P[x][y]的帧内预测值并 且宏块B的行H的所有16个像素(P[x][-1]，x＝0...15)存在时，通过使用P′[x][y] ＝P[x][-1]，x＝0...15，y＝0...15，基于逐像素来执行外插(extrapolation)。

在图3B中示出了模式1(水平模式)。

参照图3B，通过使用宏块A的行V中的16个像素，通过将宏块E中的 一列的所有像素的值设置为等于紧接在该列左侧的行V中的像素的值，来执 行空间帧内预测。

即，在模式1中，当P′[x][y]被定义为实际像素值P[x][y]的帧内预测值并 且宏块A的行V的所有16个像素(P[-1][y]，y＝0...15)存在时，通过使用P′[x][y] ＝P[-1][y]，x＝0...15，y＝0...15，基于逐像素来执行外插。

在图3C中示出了模式2(DC模式)。

参照图3C，由平均值(Sumx＝0..15P[x][-1]+Sumy＝0..15P[-1][y]+16)/32)定 义的值被映射给宏块E的所有像素值。平均值被定义为如下。

当行V的所有16个像素和行H的所有16个像素存在时，P′[x][y]＝ (Sumx＝0..15P[x][-1]+Sumy＝0..15P[-1][y]+16)＞＞5，x＝0...15，y＝0...15。

当只有宏块A的行V的所有16个像素存在时，P′[x][y]＝ (Sumx＝0..15P[x][-1]+8)＞＞4，x＝0...15，y＝0...15。

当只有宏块B的行H的所有16个像素存在时，P′[x][y]＝ (Sumy＝0..15P[-1][y]+8)＞＞4，x＝0...15，y＝0...15。

另外，当宏块A的行V的所有16个像素和宏块B的行H的所有16个 像素都不存在时，P′[x][y]＝128，x＝0...15，y＝0...15。

在图3D中示出了模式3(平面模式)。

参照图3D，只有当宏块A的行V的所有16个像素和宏块B的行H的 所有16个像素都存在时模式3才操作，并且使用下面的方程执行映射。

P′[x][y]＝Clip1((a+b.(x-7)+c.(y-7)+16)＞＞5

a＝16.(P[-1][15]+P[15][-1])；b＝(5*H+32)＞＞6；c＝(5*V+32)＞＞6

H＝Sumx＝1...8(x.(P[7+x][-1]-P[-1][7-y]))

V＝Sumy＝1...8(y.(P[-1][7+y]-P[-1][7-y]))

模式3适合于缓慢变化的图像的像素值的预测。

同样地，传统上，在16×16宏块空间帧内预测中存在总共四种模式。因 此，根据概率分布使用2比特固定长度编码(FLC)或可变长度编码(VLC)来执 行编码和解码。

在四种模式的每一种中获得了将被编码的块的预测的像素值之后，与将 被编码的块的实际像素值最相似的预测像素值被发送到解码器。此时，为了 获得一组(块)与实际像素值最相似的像素值，绝对差之和(SAD)被计算，并且 具有最小SAD的模式被选择。当P[x][y]是图像的实际像素值并且P′[x][y]是 在每种模式中确定的预测像素值时，SAD由SADMode＝Sumx＝0...15， y＝0...15|P[x][y]-P′[x][y]|给出。

一旦接收到选择的帧内预测模式并且在该帧内预测模式中完成解码，解 码器在同一帧内预测模式中以与编码器相同的方式基于逐像素来创建相应宏 块的预测值。

AVC/H.264视频编码被设计为具有作为视频编码相关的国际标准化的重 要条件的高的网络友善性(network friendliness)。为此，AVC/H.264使用基于 像条(slice)的独立编码作为其主要功能中的一种。这是因为经过压缩编码的数 据对传输错误非常敏感，传输错误导致将损失比特流的一部分的很高的可能 性，并且这种损失不仅对具有损失的比特流的一部分有显著影响，而且对参 照相应图像的图像的恢复有显著影响，导致获得无缺陷恢复的失败。具体地 讲，当使用广泛用于因特网或移动通信的基于包的传输时，如果在传输期间 发生包错误，那么跟在损坏的包之后的数据不能用于图像帧的恢复。此外， 如果具有头部信息的包被损坏，那么图像帧的整个数据不能被恢复，导致图 像质量的显著降低。为了解决这种问题，AVC/H.264将比帧单位小的像条确 定为能够被独立解码的数据的最小单位。更具体地讲，像条被确定，从而每 个像条能够被完全地解码，而不考虑相应于在该像条之前或跟在该像条之后 的其它像条的数据。因此，即使当几个像条的数据被损坏，也存在使用无错 误地被解码的像条的图像数据来恢复或隐藏图像的损坏部分的很高的可能 性，这将图像质量的降低最小化。

AVC/H.264被设计为不仅支持由光栅扫描方向上的多组宏块组成的像条 结构，也支持由可变宏块排序(FMO)定义的新的像条结构。该新的像条结构 被采用作为用于基本框架(baseline profile)和扩展框架(extended profile)的实质 算法。具体地讲，如图4所示，FMO模式3方格外散(box-out)扫描具有在其 中扫描在顺时针方向和逆时针方向上被执行的模式。

在AVC/H.264中使用的诸如方格外散扫描的扫描对于对感兴趣区(ROI) 编码非常有用。如图4所示的这种扫描从ROI的中心或图像的中心开始，然 后继续以方形环的形状向外环绕已经扫描的像素、块、或宏块。换句话说， 扫描从起始区开始并继续，从而方形环层叠于在该当前方形环之前被处理的 另一方形环之上。当使用面向ROI的扫描时，不能使用为光栅扫描而设计的 传统帧内预测。

AVC/H.264仔细地考虑错误弹性和网络友善性，以跟上快速改变无线环 境和因特网环境。具体地讲，设计方格外散扫描以用于ROI编码。方格外散 扫描可以基于人视觉特性提高压缩效率，或者执行改进的防错，并且最优先 执行ROI处理。

但是，由于诸如AVC/H.264的传统视频编码使用基于与面向ROI的扫描 有很大不同的传统光栅扫描的帧内预测编码，所以当用于提高编码效率的技 术应用于基于面向ROI的扫描的技术时，传统视频编码不能被使用。

                         发明内容

本发明提供一种预测编码/解码器、一种预测编码/解码方法、以及一种在 其上记录有用于实现该预测编码/解码方法的程序的计算机可读记录介质，所 提供的这些用于对ROI进行编码/解码。

根据本发明的一方面，提供一种包括预测编码单元的预测编码器。该预 测编码单元在视频帧的感兴趣区的原点宏块开始预测，以由环绕原点宏块的 宏块组成的方形环的形状向外螺旋地继续预测，并且通过使用关于在包括将 被编码的宏块的方形环中的刚刚被编码的宏块以及在前一方形环中的并与该 宏块相邻的宏块的信息执行帧内预测，来将视频编码。

在示例性的实施例中，预测编码器包括帧内预测模式选择单元和帧内预 测单元。帧内预测模式选择单元使用关于在包括将被编码的宏块的方形环中 的刚刚被编码的宏块以及在前一方形环中的并与将被编码的宏块相邻的宏块 的信息，来选择最适合于将被编码的宏块的预测模式。帧内预测单元使用选 择的预测模式来产生用于将被编码的宏块的预测宏块。

在示例性的实施例中，帧内预测模式选择单元包括参考宏块搜索单元、 参考宏块位置确定单元、和帧内预测模式确定单元。参考宏块搜索单元搜索 包括在包括将被编码的宏块的方形环中的参考宏块、以及包括在前一方形环 中的并与将被编码的宏块相邻的参考宏块。如果仅原点宏块存在，那么参考 宏块位置确定单元将原点宏块确定为A，如果包括在同一方形环中的宏块和 包括在前一方形环中的宏块存在，那么参考宏块位置确定单元将包括在同一 方形环中的宏块确定为A，并且将包括在前一方形环中的宏块确定为D，如 果在将被编码的宏块之前刚刚被编码的宏块被包括在同一方形环中并且至少 两个宏块被包括在前一方形环中，那么参考宏块位置确定单元将包括在同一 方形环中的并刚刚被编码的宏块确定为A，将在前一方形环中的并与将被编 码的宏块相邻的宏块确定为B，将与宏块A和B相邻的并包括在前一方形环 中的宏块确定为D。帧内预测模式确定单元计算使用预测模式获得的预测宏 块和确定的宏块A、B、和D之间的SAD，并且将具有最小SAD的帧内预测 模式确定为帧内预测模式。

在示例性的实施例中，如果仅宏块A存在作为参考宏块或者仅宏块A和 D存在作为参考宏块，那么帧内预测模式确定单元将模式0和模式1中的具 有最小SAD的那一个确定为帧内预测模式，在模式0中，与将被编码的宏块 相邻的宏块A的最底行的像素值被映射给只使用关于宏块A的信息将被编码 的宏块的像素值，并且，在模式1中，与将被编码的宏块相邻的宏块A的最 底行的像素值的平均值被映射给只使用关于宏块A的信息将被编码的宏块的 像素值。

在示例性的实施例中，如果宏块A、B、和D存在作为参考宏块，那么 帧内预测模式确定单元将模式2、模式3、模式4、和模式5中的具有最小SAD 的那一个确定为帧内预测模式。

在模式2中，与将被编码的宏块相邻的宏块A的最底行的像素值和宏块 B的最底行的像素值的平均值被映射给将被编码的宏块的像素值。

在模式3中，宏块A、B、和D之间的相似性被测量，并且如果宏块A 和D彼此相似，那么与将被编码的宏块相邻的宏块B的最底行的像素值的平 均值被映射给将被编码的宏块的像素值，或者如果宏块B和D彼此相似，那 么与将被编码的宏块相邻的宏块A的最底行的像素值的平均值被映射给将被 编码的宏块的像素值。

在模式4中，宏块A、B、和D之间的相似性被测量，并且如果宏块A 和D彼此相似，那么与将被编码的宏块相邻的宏块B的最底行的像素值被映 射给将被编码的宏块的像素值，或者如果宏块B和D彼此相似，那么与将被 编码的宏块相邻的宏块A的最底行的像素值被映射给将被编码的宏块的像素 值。

当将被编码的宏块的视频特性逐渐从宏块A向宏块B变化时，模式5被 使用。

在示例性的实施例中，预测编码器包括离散余弦变换(DCT)单元、量化 单元、波动扫描单元、和熵编码单元。DCT单元对帧内预测的宏块和将被编 码的宏块之间的差执行DCT。量化单元量化变换的DCT系数。波动扫描单 元从由量化的DCT系数组成的帧的原点宏块开始扫描，并且以方形环的形状 向外螺旋地继续扫描宏块。熵编码单元对波动扫描的数据样本和由帧内预测 模式选择单元选择的帧内预测模式信息进行熵编码。

根据本发明的另一方面，提供一种包括预测解码单元的预测解码器。该 预测解码单元在视频帧的感兴趣区的原点宏块开始预测，以由环绕原点宏块 的宏块组成的方形环的形状向外螺旋地继续预测，并且通过使用关于在包括 将被解码的宏块的方形环中的刚刚被解码的宏块以及在前一方形环中的并与 将被解码的宏块相邻的宏块的信息执行帧内预测，来将视频解码。

在示例性的实施例中，预测解码器包括帧内预测模式选择单元和帧内预 测单元。帧内预测模式选择单元使用关于在包括将被解码的宏块的方形环中 的刚刚被解码的宏块以及在前一方形环中的并与将被解码的宏块相邻的宏块 的信息，来选择最合适于将被解码的宏块的帧内预测模式。帧内预测单元使 用选择的预测模式来产生用于将被解码的宏块的预测宏块。

在示例性的实施例中，帧内预测模式选择单元包括参考宏块搜索单元、 参考宏块位置确定单元、和帧内预测模式确定单元。参考宏块搜索单元搜索 包括在包括将被解码的宏块的方形环中的参考宏块、以及包括在前一方形环 中的并与将被解码的宏块相邻的参考宏块。如果仅原点宏块存在，那么参考 宏块位置确定单元将原点宏块确定为A，如果包括在同一方形环中的宏块和 包括在前一方形环中的宏块存在，那么参考宏块位置确定单元将包括在同一 方形环中的宏块确定为A，并且将包括在前一方形环中的宏块确定为D，如 果在将被解码的宏块之前刚刚被解码的宏块被包括在同一方形环中并且至少 两个宏块被包括在前一方形环中，那么参考宏块位置确定单元将包括在同一 方形环中的并刚刚被解码的宏块确定为A，将在前一方形环中的并与将被解 码的宏块相邻的宏块确定为B，将与宏块A和B相邻的并被包括在前一方形 环中的宏块确定为D。帧内预测模式确定单元计算使用预测模式获得的预测 宏块和确定的宏块A、B、和D之间的SAD，并且将具有最小SAD的帧内预 测模式确定为帧内预测模式。

在示例性的实施例中，如果接收到的帧内预测模式信息指示模式0，那 么帧内预测单元将与将被解码的宏块相邻的宏块A的最底行的像素值映射给 只使用关于宏块A的信息将被解码的宏块的像素值。

在示例性的实施例中，如果接收到的帧内预测模式信息指示模式1，那 么帧内预测单元将与将被解码的宏块相邻的宏块A的最底行的像素值的平均 值映射给只使用关于宏块A的信息将被解码的宏块的像素值。

在示例性的实施例中，如果接收到的帧内预测模式信息指示模式2，那 么帧内预测单元将与将被解码的宏块相邻的宏块A的最底行的像素值和宏块 B的最底行的像素值的平均值映射给将被解码的宏块的像素值。

在示例性的实施例中，如果接收到的帧内预测模式信息指示模式3，那 么帧内预测单元测量宏块A、B、和D之间的相似性；并且如果宏块A和D 彼此相似，那么帧内预测单元将与将被解码的宏块相邻的宏块B的最底行的 像素值的平均值映射给将被解码的宏块的像素值；或者如果宏块B和D彼此 相似，那么帧内预测单元将与将被解码的宏块相邻的宏块A的最底行的像素 值的平均值映射给将被解码的宏块的像素值。

在示例性的实施例中，如果接收到的帧内预测模式信息指示模式4，那 么帧内预测单元测量宏块A、B、和D之间的相似性；并且如果宏块A和D 彼此相似，那么帧内预测单元将与将被解码的宏块相邻的宏块B的最底行的 像素值映射给将被解码的宏块的像素值；或者如果宏块B和D彼此相似，那 么帧内预测单元将与将被解码的宏块相邻的宏块A的最底行的像素值映射给 将被解码的宏块的像素值。

在示例性的实施例中，如果接收到的帧内预测模式信息指示模式5，那 么帧内预测单元执行当将被解码的宏块的视频特性逐渐从宏块A向宏块B变 化时所使用的预测。

在示例性的实施例中，预测解码器包括熵解码单元、波动扫描单元、逆 量化单元、逆离散余弦变换(DCT)单元、和加法器。熵解码单元将从预测编码 器接收到的比特流熵解码，并且从熵解码的比特流抽取帧内预测模式信息。 波动扫描单元从由熵解码的数据样本组成的帧的原点宏块开始扫描，并且以 方形环的形状向外螺旋地继续扫描宏块。逆量化单元逆量化波动扫描的数据 样本。逆DCT单元对逆量化的数据样本执行逆DCT。加法器将由逆量化的 DCT系数组成的宏块和帧内预测的宏块相加。

根据本发明的另一方面，提供一种预测编码方法。该预测编码方法包括： 在视频帧的感兴趣区的原点宏块开始预测，以由环绕原点宏块的宏块组成的 方形环的形状向外螺旋地继续预测，并且通过使用关于在包括将被编码的宏 块的方形环中的刚刚被编码的宏块以及在前一方形环中的并与将被编码的宏 块相邻的宏块的信息执行帧内预测，来将视频编码。

根据本发明的另一方面，提供一种预测解码方法。该预测解码方法包括： 在视频帧的感兴趣区的原点宏块开始预测，以由环绕原点宏块的宏块组成的 方形环的形状向外螺旋地继续预测，并且通过使用关于在包括将被解码的宏 块的方形环中的刚刚被解码的宏块以及在前一方形环中的并与将被解码的宏 块相邻的宏块的信息执行帧内预测，来将视频解码。

根据本发明的另一方面，提供一种在其上记录有用于实现预测编码方法 的程序的计算机可读记录介质，该预测编码方法包括：在视频帧的感兴趣区 的原点宏块开始预测，以由环绕原点宏块的宏块组成的方形环的形状向外螺 旋地继续预测，并且通过使用关于在包括将被编码的宏块的方形环中的刚刚 被编码的宏块以及在前一方形环中的并与将被编码的宏块相邻的宏块的信息 执行帧内预测，来将视频编码。

根据本发明的另一方面，提供一种在其上记录有用于实现预测解码方法 的程序的计算机可读记录介质，该预测解码方法包括：在视频帧的感兴趣区 的原点宏块开始预测，以由环绕原点宏块的宏块组成的方形环的形状向外螺 旋地继续预测，并且通过使用关于在包括将被解码的宏块的方形环中的刚刚 被解码的宏块以及在前一方形环中的并与将被解码的宏块相邻的宏块的信息 执行帧内预测，来将视频解码。

                         附图说明

通过结合附图，从实施例的下面描述中，本发明以上和其它特点及优点 将会变得清楚，其中：

图1显示根据现有技术的光栅扫描方向上的帧内预测编码所需的参考 块；

图2是解释根据现有技术的在空间预测中确定像素值的方法的视图；

图3A-3D示出根据现有技术的16×16空间帧内预测的四种模式；

图4A和图4B是解释根据现有技术的FMO模式3方格外散扫描的视图；

图5是解释当执行首先在方形的中心并且以方形环继续向外的帧内预测 编码时在当前方形环中的宏块的位置的视图；

图6A-6D示出了根据本发明实施例的空间帧内预测模式0，当参考宏块 的数量为1或2时可使用该模式；

图7A-7D示出了根据本发明实施例的空间帧内预测模式1，当参考宏块 的数量为1或2时可使用该模式；

图8A和图8B是解释当参考宏块的数量为3时参考宏块中的参考像素的 行的定义的示图；

图9A-9H是解释当参考宏块的数量大于3时在ROI扫描中的参考宏块的 可能位置的示图；

图10是解释用于当如图9A至图9H所示的参考宏块的数量大于3时用 于帧内预测的背景(ground)的示图；

图11示出了根据本发明实施例的当宏块A位于宏块E的左侧并且宏块 B位于宏块E之上时的帧内预测模式2；

图12A和图12B示出了根据本发明实施例的当宏块A位于宏块E的左 侧并且宏块B位于宏块E之上时的帧内预测模式3；

图13A和图13B示出了根据本发明实施例的当宏块A位于宏块E的左 侧并且宏块B位于宏块E之上时的帧内预测模式4；

图14示出了根据本发明实施例的当宏块A位于宏块E的左侧并且宏块 B位于宏块E之上时的帧内预测模式5；

图15是根据本发明实施例的帧内预测编码器的示意方框图；

图16是根据本发明实施例的帧内预测解码器的方示意框图；

图17是图15和图16所示的帧内预测模式选择单元的详细方框图；

图18是示出根据本发明实施例的帧内预测编码方法的流程图；

图19是表示图18所示的帧内预测过程的详细流程图；

图20是示出根据本发明实施例的帧内预测解码的流程图；和

图21A和图21B是示出图20所示的帧内预测过程的详细流程图。

                        具体实施方式

以下将描述根据本发明实施例的适合于面向ROI的扫描的基于宏块的帧 内预测方法和设备。

图5是解释当执行首先在方形的中心并且以方形环中继续向外的帧内预 测编码时在当前方形环中的宏块的位置的视图。

为了通过首先对中心的宏块扫描并且以方形环中继续向外来以块或宏块 为单位自适应地执行帧内预测编码，预测所需的参考块或参考宏块的位置取 决于方形环的行，即顶行、底行、左行、或右行，并且根据扫描的方向将帧 内预测编码分为两种方法。

根据在其中方形环从内到外层叠的面向ROI的扫描，参考宏块不可能位 于将被编码的像条、视频对象平面(VOP)、或一帧的外部。因此，可以发生下 列情况： 仅存在一个能够被参照的宏块； 仅存在两个能够被参照的宏块， 一个在比将被编码的宏块更靠近中心的相邻方形环中，另一个刚刚被编码， 并且与将正编码的宏块存在于同一当前方形环中；和存在至少三个能够被 参照的宏块，一个在扫描的方向上刚刚被编码，并且与正被编码的宏块在同 一当前方形环中，至少两个在比具有正被编码的宏块的方形环更靠近中心的 相邻方形环。

参照图5，标有①、②、③、和④的宏块对应于情况 和 标有⑤、 ⑥、⑦、⑧、⑨、⑩、、和的宏块对应于情况。 在 的情况下，在面向ROI的扫描中，在将位于初始原点(其可位于图像 帧的中心)的原点宏块编码或解码之后，第一块或宏块被编码或解码。在 的 情况下，即，当仅存在两个能够被参照的宏块，一个在比将被编码的宏块更 靠近原点宏块的相邻方形环中，另一个刚刚被编码并与正被编码的宏块存在 于同一当前方形环中，同一当前方形环中的刚刚被编码的宏块由于扫描的方 向总是比当前宏块更靠近原点宏块。其结果是，相应的信息不可靠。因此， 只有关于位于具有将被编码的宏块的方形环中的并且刚刚被编码的宏块的信 息是可靠的，并且可用于帧内预测。因此，可以使用相同的模式，即，图6 和图7所示的两种模式中的一种，来执行情况 和 下的基于宏块的空间帧 内预测。

图6示出了根据本发明实施例的空间帧内预测模式0，当参考宏块的数 量为1或2时可使用该模式。

在图6A至图6D中，将被帧内预测编码的宏块被定义为宏块E，并且在 宏块E之前刚刚被编码的并能够被参照的宏块或在图像帧中首先被编码的原 点宏块被定义为宏块A。在宏块A中，与宏块E紧相邻的16个像素的一行 被定义为行R。行R的像素的位置根据宏块E和A的相对位置被定义为如下。 宏块E的像素值被定义为P[x][y](x＝0，...，15，y＝0，...，15)，并且P′[x][y]被定 义为帧内预测的值。

(1)当宏块A位于宏块E的左侧时，行R的像素值被定义为P[-1][y] (y＝0，...15)。

(2)当宏块A位于宏块E的右侧时，行R的像素值被定义为P[16][y] (y＝0，...15)。

(3)当宏块A位于宏块E之上时，行R的像素值被定义为P[x][-1] (x＝0，...15)。

(4)当宏块A位于宏块E之下时，行R的像素值被定义为P[x][16] (x＝0，...15)。

对于模式0和模式1，可使用1比特来表示模式信息。1比特的模式信息 可以被发送给解码器并以随后将被描述的帧内预测模式或其它模式被处理。

在模式0中，通过将关于宏块A的行R的像素的信息映射到宏块E的帧 内预测值来执行外插。

如图6A所示，当宏块E位于宏块A的右侧时，宏块E的帧内预测值被 定义为：P′[x][y]＝P[-1][y](x＝0，...15，y＝0，...15)。

如图6B所示，当宏块E位于宏块A的左侧时，宏块E的帧内预测值被 定义为：P′[x][y]＝P[16][y](x＝0，...15，y＝0，...15)。

如图6C所示，当宏块E位于宏块A之上时，宏块E的帧内预测值被定 义为：P′[x][y]＝P[x][16](x＝0，...15，y＝0，...15)。

如图6D所示，当宏块E位于宏块A之下时，宏块E的帧内预测值被定 义为：P′[x][y]＝P[x][-1](x＝0，...15，y＝0，...15)。

图7示出了根据本发明实施例的空间帧内预测模式1(列平均值模式)，当 参考宏块的数量为1或2时可使用该模式。

在模式1中，宏块E的帧内预测值是宏块A的行R的像素值的平均值。

如图7A所示，当宏块E位于宏块A的右侧时，宏块E的帧内预测值被 定义为：P′[x][y]＝(Sumx＝0，...，15P[-1][y]+8)＞＞4(x＝0，...15，y＝0，...15)。

如图7B所示，当宏块E位于宏块A的左侧时，宏块E的帧内预测值被 定义为：P′[x][y]＝(Sumx＝0，...，15P[16][y]+8)＞＞4(x＝0，...15，y＝0，...15)。

如图7C所示，当宏块E位于宏块A之上时，宏块E的帧内预测值被定 义为：P′[x][y]＝(Sumx＝0，...，15P[x][16]+8)＞＞4(x＝0，...15，y＝0，...15)。

如图7D所示，当宏块E位于宏块A之下时，宏块E的帧内预测值被定 义为：P′[x][y]＝(Sumx＝0，...，15P[x][-1]+8)＞＞4(x＝0，...15，y＝0，...15)。

在使用模式0和模式1获得宏决E的帧内预测值之后，实际像素值和预 测像素值之间的SAD(＝Sumx＝0，...，15，y＝O，...，15|P[x[y]-P′[x][y]|)被计算，具 有最小SAD的模式被选择，并且关于被选择的模式的信息被发送到解码器。 为了区别模式0和模式1，必须发送最少1比特。一旦选择的帧内预测模式 被发送并且解码被完成，宏块E的预测像素值以与编码器相似的方式被产生。 随后将描述该细节。

图8A和图8B是解释当参考宏块的数量为3时参考宏块中的参考像素的 行的定义的示图。

如上所述，在情况下，存在三个能够被将被编码的被定义为宏块E的 宏块参照的宏块，这三个宏块包括一个刚刚被编码并与宏块E存在于同一方 形环中的宏块、和至少两个在与具有宏块E的方形环相邻的方形环中的宏块， 这两个宏块更靠近原点宏块并能够被参照以用于以块为单位的宏块E的帧内 预测。在面向ROI的扫描的情况下，除了情况 和 外，存在至少两个相邻 宏块，它们在与具有宏块E的方形环相邻的方形环中，并且更靠近原点宏块。

存在于具有宏块E的同一方形环中并且在宏块E之前刚刚被编码的宏块 被定义为宏块A。

与宏块E相邻并且存在于刚刚被编码的前一方形环中的宏块被定义为宏 块B。

与宏块A和宏块B相邻并且存在于刚刚被编码的前一方形环中的宏块被 定义为宏块D。

在面向ROI的扫描中，能够导致情况的条件总数为8，并且在图9A 至图9H中示出。

图9A-9H是解释当参考宏块的数量大于3时在面向ROI的扫描中的参考 宏块的可能位置的示图。

为了解释帧内预测模式，宏块A、B、和D所涉及到的多组像素被定义 为如下。

行R是一行包括在宏块A中的紧相邻于宏块E的16个像素。行R的像 素的位置根据宏块E和宏块A的相对位置而不同。如果宏块E的像素值被定 义为P[x][y](x＝0，...，15，y＝0，...，15)，那么行R的像素值被定义为如下。

当宏块A位于宏块E的左侧时，行R的像素值被定义为P[-1][y]，y＝0，...， 15。

当宏块A位于宏块E的右侧时，行R的像素值被定义为P[16][y]，y＝0，...， 15。

当宏块A位于宏块E之上时，行R的像素值被定义为P[x][-1]，x＝0，...， 15。

当宏块A位于宏块E之下时，行R的像素值被定义为P[x][16]，x＝0，...， 15。

行L是一行包括在宏块B中的紧相邻于宏块E的16个像素。行L的像 素的位置根据宏块E和宏块B的相对位置而不同。如果宏块E的像素值被定 义为P[x][y](x＝0，...，15，y＝0，...，15)，那么行L的像素值被定义为如下。

当宏块B位于宏块E的左侧时，行L的像素值被定义为P[-1][y]，y＝0，...， 15。

当宏块B位于宏块E的右侧时，行L的像素值被定义为P[16][y]，y＝0，...， 15。

当宏块B位于宏块E之上时，行L的像素值被定义为P[x][-1]，x＝0，...，15。

当宏块B位于宏块E之下时，行L的像素值被定义为P[x][16]，x＝0，...， 15。

行M是一行包括在宏块D中的紧相邻于宏块A的16个像素。行M的 像素的位置根据宏块A、宏块B、和宏块E的相对位置而不同。如果宏块E 的像素值被定义为P[x][y](x＝0，...，15，y＝0，...，15)，那么行M的像素值被定 义为如下。

参照图9A，当宏块A位于宏块E的左侧并且宏块B位于宏块E之上时， 行M的像素值被定义为P[x-16][-1]，x＝0，...，15。

参照图9B，当宏块A位于宏块E的右侧并且宏块B位于宏块E之上时， 行M的像素值被定义为P[x+16][-1]，x＝0，...，15。

参照图9C，当宏块A位于宏块E的左侧并且宏块B位于宏块E之下时， 行M的像素值被定义为P[x-16][16]，x＝0，...，15。

参照图9D，当宏块A位于宏块E的右侧并且宏块B位于宏块E之下时， 行M的像素值被定义为P[x+16][16]，x＝0，...，15。

参照图9E，当宏块A位于宏块E之上并且宏块B位于宏块E的右侧时， 行M的像素值被定义为P[16][y-16]，y＝0，...，15。

参照图9F，当宏块A位于宏块E之下并且宏块B位于宏块E的右侧时， 行M的像素值被定义为P[16][y+16]，y＝0，...，15。

参照图9G，当宏块A位于宏块E之上并且宏块B位于宏块E的左侧时， 行M的像素值被定义为P[-1][y-16]，y＝0，...，15。

参照图9H，当宏块A位于宏块E之下并且宏块B位于宏块E的左侧时， 行M的像素值被定义为P[-1][y+16]，y＝0，...，15。

行N是一行包括在宏块D中的紧相邻于宏块B的16个像素。行N的像 素的位置根据宏块A、宏块B、和宏块E的相对位置而不同。如果宏块E的 像素值被定义为P[x][y](x＝0，...，15，y＝0，...，15)，那么行N的像素值被定义 为如下。

参照图9A，当宏块A位于宏块E的左侧并且宏块B位于宏块E之上时， 行N的像素值被定义为P[-1][y-16]，y＝0，...，15。

参照图9B，当宏块A位于宏块E的右侧并且宏块B位于宏块E之上时， 行N的像素值被定义为P[16][y-16]，y＝0，...，15。

参照图9C，当宏块A位于宏块E的左侧并且宏块B位于宏块E之下时， 行N的像素值被定义为P[-1][y+16]，y＝0，...，15。

参照图9D，当宏块A位于宏块E的右侧并且宏块B位于宏块E之下时， 行N的像素值被定义为P[16][y+16]，y＝0，...，15。

参照图9E，当宏块A位于宏块E之上并且宏块B位于宏块E的右侧时， 行N的像素值被定义为P[x+16][-1]，x＝0，...，15。

参照图9F，当宏块A位于宏块E之下并且宏块B位于宏块E的右侧时， 行N的像素值被定义为P[x+16][16]，x＝0，...，15。

参照图9G，当宏块A位于宏块E之上并且宏块B位于宏块E的左侧时， 行N的像素值被定义为P[x-16][-1]，x＝0，...，15。

参照图9H，当宏块A位于宏块E之下并且宏块B位于宏块E的左侧时， 行N的像素值被定义为P[x-16][16]，x＝0，...，15。

在情况下，四种模式可用于帧内预测，并且使用这四种模式可表达总 共6个函数。

这四种模式包括全平均值模式、选择平均值模式、选择外插模式、和平 面模式。作为示例，图11至图14显示了宏块A位于宏块E的左侧并且宏块 B位于宏块E之上的情况。

图11示出了根据本发明实施例的当宏块A位于宏块E的左侧并且宏块 B位于宏块E之上时的帧内预测模式2，即全平均值模式。

参照图11，使用宏块A的行R的16个像素和宏块B的行L的16个像 素来对宏块E中的所有像素值进行帧内预测。

在图11中，由于行R被定义为P[-1][y](y＝0，...，15)，并且行L被定义 为P[x][-1](x＝0，...，15)，所以P′[x][y]＝(Sumx＝0，...，15P[x][-1]+Sumy＝0，...， 15P[-1][y]+16)＞＞5(x＝0，...，15，y＝0，...，15)。

图12A和图12B示出了根据本发明实施例的当宏块A位于宏块E的左 侧并且宏块B位于宏块E之上时的帧内预测模式3，即选择平均值模式。

在帧内预测模式3中，如果除了宏块E之外的两个或三个其它宏块，即 宏块A、B、和D彼此相似，那么剩余的宏块用于宏块E的预测。换句话说， 如果宏块D的视频特性与宏块A的视频特性相似，那么使用宏块B的视频特 性来预测宏块E的视频特性。另外，如果宏块D的视频特性与宏块B的视频 特性相似，那么使用宏块A的视频特性来预测宏块E的视频特性。当视频特 性的相似性被测量时，宏块D的行M的视频特性和宏块A的行R的视频特 性被比较，并且宏块D的行N的视频特性和宏块B的行L的视频特性被比 较。

同样地，如果四个宏块中的两个的视频特性彼此相似，那么由于如图10 所示的视频特性，所以使用其它剩余的非相似的宏块的视频特性来预测将被 编码的宏块。换句话说，如图10所示，取决于视频，如果宏块A和宏块B 相似，那么存在宏块X和宏块C相似的很高的可能性。

参照图12A，由于宏块D的行M的视频特性与宏块A的行R的视频特 性相似，所以使用宏块B的行L的像素值的平均值来预测宏块E的视频特性。

参照图12B，由于宏块D的行N的视频特性与宏块B的行L的视频特 性相似，所以使用宏块A的行R的像素值的平均值来预测宏块E的视频特性。

这可被表示为：如果|Mean(R)-Mean(M)|＜|Mean(L)-Mean(N)|，那么 P′[x][y]＝Mean(L)，否则P′[x][y]＝Mean(R)。

在图12A和图12B中，由于行R的像素值被定义为P[-1][y](y＝0，...，15)， 行L的像素值被定义为P[x][-1](x＝0，...，15)，行M的像素值被定义为 P[x-16][-1](x＝0，...，15)，并且行N的像素值被定义为P[-1][y-16](y＝0，...，15)， 所以

Mean(R)＝Sumy＝0，...，15(P[-1][y])＞＞4

Mean(L)＝Sumx＝0，...，15(P[x][-1])＞＞4

Mean(M)＝Sumx＝0，...，15(P[x-16][-1])＞＞4

Mean(N)＝Sumy＝0，...，15(P[-1][y-16])＞＞4

如果(|Mean(R)-Mean(M)|＜|Mean(L)-Mean(N)|)，那么P′[x][y]＝Mean(L)， x＝0，...，15，y＝0，...，15，否则P′[x][y]＝Mean(R)，x＝0，...，15，y＝0，...，15。

图13A和图13B示出了根据本发明实施例的当宏块A位于宏块E的左 侧并且宏块B位于宏块E之上时的帧内预测模式4，即选择外插模式。

参照图13A，由于宏块D的行M的视频特性与宏块A的行R的视频特 性相似，所以使用宏块B的行L的像素值来预测宏块E的视频特性。

帧内预测模式4使用的方法与帧内预测模式3中使用的方法相同。但是， 在帧内预测模式4中，通过对宏块A的行R的像素值或宏块B的行L的像素 值执行内插，来确定宏块E的预测像素值。

参照图13B，由于宏块D的行N的视频特性与宏块B的行L的视频特 性相似，所以使用宏块A的行R的像素值来预测宏块E的视频特性。

这可被表示为：如果|Mean(R)-Mean(M)|＜|Mean(L)-Mean(N)|，那么P′[x][y]＝ ＝Pixel(L)，否则P′[x][y]-＝Pixel(R)。

在图13中，由于行R的像素值被定义为P[-1][y](y＝0，...，15)，行L的 像素值被定义为P[x][-1](x＝0，...，15)，行M的像素值被定义为P[x-16][-1] (x＝0，...，15)，并且行N的像素值被定义为P[-1][y-16](y＝0，...，15)，所以

Mean(R)＝Sumy＝0，...，15(P[-1][y])＞＞4

Mean(L)＝Sumx＝0，...，15(P[x][-1])＞＞4

Mean(M)＝Sumx＝0，...，15(P[x-16][-1])＞＞4

Mean(N)＝Sumy＝0，...，15(P[-1][y-16])＞＞4

如果(|Mean(R)-Mean(M)|＜|Mean(L)-Mean(N)|)，那么P′[x][y]＝P[x][-1]， x＝0，...，15，y＝0，...，15，否则P′[x][y]＝P[-1][y]，x＝0，...，15，y＝0，...，15。

图14示出了根据本发明实施例的当宏块A位于宏块E的左侧并且宏块 B位于宏块E之上时的帧内预测模式5，即平面模式。

当宏块E的视频特性逐渐从宏块A向宏块B变化时，帧内预测模式5 是有用的。例如，与图14所示的像素预测所需的映射相关的方程可被表示为 如下。

P′[x][y]＝Clip1((a+b.(x-7)+c.(y-7)+16)＞＞5

A＝16.(P[-1][15]+P[15][-1])；b＝(5*H+32)＞＞6；c＝(5*V+32)＞＞6

H＝Sumx＝1，...，8(x.(P[7+x][-1]-P[-1][7-y]))

V＝Sumy＝1，...，8(y.(P[-1][7+y]-P[-1][7-y]))

用于应用于情况的空间帧内预测的过程如下。

在使用模式2、模式3、模式4、和模式5获得了用于宏块E的像素的预 测值之后，实际像素值和预测像素值之间的SAD被计算，产生最小SAD的 模式被选择，并且相应于选择的模式的信息被发送到解码器。为了区别这四 种模式，进行传输所需的最小比特是2比特。

SADMode＝Sumx＝0，...，15，y＝0，...，15|P[x][y]-P′[x][y]|

在接收到选择的帧内预测模式并且完成了解码之后，宏块E的预测像素 值以与编码器中相同的方式被产生。

图15是根据本发明实施例的帧内预测编码器的方框图。

参照图15，帧内预测编码器包括帧内预测模式选择单元1、帧内预测单 元2、运动估计单元3、运动补偿单元4、减法单元5、DCT单元6、量化单 元7、波动扫描(ripple scanning)单元8、熵编码单元9、逆量化单元10、逆 DCT单元11、加法器12、和滤波器13。

帧内预测编码器包括两个数据流路径。一个是以当前帧Fn开始并以量化 单元7的计算结束的前向路径，另一个是在量化单元7开始并以重构的帧F′n 结束的重构路径。

首先将描述前向路径。

输入帧Fn被提供以用于预测编码。以宏块为单位来处理帧，每个宏块相 应于原始图像的16×16个像素。每个宏块以帧内或帧间模式被编码。在帧内 或帧间模式中，基于重构的帧来创建预测宏块P。在帧内模式中，从先前已 经被编码、解码、然后被重构的当前帧Fn的样本(重构的宏块uF′n)创建预测 宏块P。换句话说，帧内预测模式选择单元1基于重构的宏块uF′n来选择最 适合于将被编码的宏块的模式，并且帧内预测单元2根据选择的预测模式来 执行帧内预测。在帧间模式中，在基于至少一个参考帧F′n-1由运动估计单元 3执行运动估计并且由运动补偿单元4执行运动补偿之后，通过运动补偿预 测来创建预测宏块P。参考帧F′n-1先前已经被编码。但是，可以使用一个或 两个先前已经被编码并被重构的前面的帧来执行每个宏块的预测。

预测宏块P被减法单元5从当前宏块中减去，并因此差宏块Dn被创建。 差宏块Dn被DCT单元6DCT变换，然后被量化单元7量化，由此产生量化 的变换系数X。量化的变换系数X被波动扫描单元8波动扫描，然后被熵编 码单元9熵编码。熵编码的系数X和解码宏块所需的另外的信息一起用于产 生压缩比特流。另外的信息包括帧内预测模式信息、量化操作大小信息、和 运动矢量信息。具体地讲，根据本实施例，帧内预测模式信息包含关于由帧 内预测模式选择单元1选择的帧内预测模式的信息，并且可由3比特表示以 指示在本实施例中使用的6种模式。压缩比特流被发送到网络提取层(NAL) 以用于传输或存储。

现在将描述重构路径。

量化的变换系数X被解码以重构用于编码另一宏块的帧。换句话说，量 化的变换系数X被逆量化单元10逆量化，并且被逆DCT单元11逆DCT变 换。其结果是，由于信号损失的影响而与原始差宏块Dn不同的差宏块D′n被 产生。

预测宏块P被加法器12加到差宏块D′n，并因此产生重构的宏块uF′n。 重构的宏块uF′n是原始宏块Fn的失真版本。为了降低这种失真的影响，使用 了滤波器13，并且从宏块F′n创建重构的参考帧。

图16是根据本发明实施例的帧内预测解码器的方框图。

参照图16，帧内预测解码器包括熵解码单元21、波动扫描单元22、逆 量化单元23、逆DCT单元24、加法器25、运动估计单元26、滤波器27、 帧内预测模式选择单元1、和帧内预测单元2。

帧内预测解码器从NAL接收压缩比特流。压缩比特流被熵解码单元21 熵解码。此时，解码宏块所需的另外的信息，具体地讲，根据本发明实施例 的帧内预测模式信息，被抽取。帧内预测模式信息被发送到帧内预测模式选 择单元1并且用于选择帧内预测模式。被如上所述熵解码的数据样本被波动 扫描单元22重新排列，以创建一组量化的变换系数X。重新排列的数据被逆 量化单元23逆量化，并且被逆DCT单元24逆DCT变换，由此产生差宏块 D′n。

帧内预测模式选择单元1使用由熵解码单元21抽取的头部信息，即根据 本实施例的帧内预测模式信息，来选择帧内预测模式。帧内预测单元2使用 选择的帧内预测模式来执行帧内预测，并且创建预测宏块P。预测宏块P与 由帧内预测编码器创建的原始的预测宏块P相同。预测宏块P被加法器25 加给差宏块D′n，并因此重构的宏块uF′n被产生。重构的宏块uF′n被滤波器27 滤波，并因此解码的宏块F′n被创建。

图17是图15和图16所示的帧内预测模式选择单元1的详细方框图。

参照图17，帧内预测模式选择单元1包括参考宏块搜索单元14、参考宏 块位置确定单元15、和帧内预测模式确定单元16。

参考宏块搜索单元14参照面向ROI的扫描的方向，搜索与将被编码的 宏块相邻并与该将被编码的宏块位于同一当前方形环中的参考宏块、以及与 将被编码的宏块相邻并位于前一方形环中的参考宏块。

参考宏块位置确定单元15确定用于预测将被编码的宏块的参考宏块的 位置。如果只有原点宏块存在，那么该原点宏块由A表示。如果两个宏块存 在，一个与宏块E包括在同一方形环中并刚刚被编码，另一个在前一方形环 中，那么包括在同一方形环中的宏块由A表示，另一个由D表示。如果一个 宏块与宏块E包括在同一方形环中并紧接在宏块E之前被编码，并且至少两 个宏块包括在前一方形环，那么与宏块E包括在同一方形环中的宏块由A表 示，与宏块E相邻并且包括在刚刚被解码的方形环中的宏块由B表示，与宏 块A和B相邻并且包括在刚刚被解码的方形环中的宏块由D表示。

帧内预测模式确定单元16使用确定的参考宏块A、B、和D，将具有最 小SAD的模式确定为预测模式。换句话说，当参考宏块A存在或者参考宏 块A和D存在时，帧内预测模式确定单元16通过使用两种模式，即模式0 和模式1，将具有较小SAD的模式确定为帧内预测模式，在模式0和模式1 中，只有关于宏块A的信息被使用。如果参考宏块A、B、和D存在，那么 帧内预测模式确定单元16根据模式2、模式3、模式4、和模式5计算宏块E 和预测的宏块之间的SAD，并且将具有最小SAD的模式确定为预测模式， 在模式2、模式3、模式4、和模式5中，参考宏块A、B、和D的信息被使 用。

包括在帧内预测编码器和包括在帧内预测解码器中的帧内预测模式选择 单元1彼此相似，但是帧内预测编码器的帧内预测模式选择单元1确定帧内 预测模式并且将帧内预测模式信息发送到熵编码单元9，以将帧内预测模式 信息发送到帧内预测解码器。另一方面，帧内预测解码器的帧内预测模式选 择单元1从熵解码单元21接收帧内预测模式信息，并且使用接收到的帧内预 测模式信息来执行帧内预测。

图18是示出根据本发明实施例的帧内预测编码方法的流程图。

参照图18，在操作110中，在面向ROI的扫描期间从帧的中心接收将被 编码的宏块。

在操作121中，选择帧内预测模式。在操作122中，以选择的帧内预测 模式来执行帧内预测。将参照图19详细地描述帧内预测。

在操作130中，帧内预测的帧被DCT变换。

在操作140中，DCT变换的帧被量化。

在操作150中，量化的帧从该帧的中心被波动扫描。

在操作160中，波动扫描的数据被熵编码。在熵编码中，关于帧内预测 模式的信息被插入波动扫描的数据中，被熵编码，并且被发送到帧内预测解 码器。

图19是表示图18所示的帧内预测的详细流程图。

参照图19，在操作201中，基于面向ROI的扫描的扫描方向，搜索与将 被编码的宏块相邻并且与该将被编码的宏块位于同一当前方形环中的参考宏 块。另外，在操作201中，基于面向ROI的扫描的扫描方向，搜索与将被编 码的宏块相邻并且包括在前一方形环中的参考宏块。

在操作202中，参考宏块的位置被确定。

如果在中心存在原点宏块，那么该原点宏块由A表示。

换句话说，如果存在两个参考宏块，一个被包括在同一方形环中，另一 个在前一方形环中，那么被包括在同一方形环中的参考宏块由A表示，包括 在前一方形环中的参考宏块由D表示。

如果一个宏块与宏块E包括在同一方形环中并紧接在宏块E之前被编 码，并且至少两个宏块包括在前一方形环，那么与宏块E包括在同一方形环 中的宏块由A表示，与宏块E相邻并且包括在刚刚被解码的方形环中的宏块 由B表示，与宏块A和B相邻并且包括在刚刚被解码的方形环中的宏块由D 表示。

在操作203中，一旦参考宏块的位置被确定，那么确定所有参考宏块A、 B、和D是否存在。如果参考宏块A、B、和D中的任一个不存在，那么执 行操作204。

如果只有参考宏块A存在或者只有参考宏块A和D存在，那么在操作 204中关于参考宏块A的信息用于帧内预测。

换句话说，在操作205中，使用两种模式，即模式0和模式1，来获得 用于宏块E的预测宏块，这两种模式只使用关于参考宏块A的信息。

在操作206中，宏块E和预测宏块之间的SAD被计算。换句话说，宏 块E和以模式O获得的预测宏块之间的SAD以及宏块E和以模式1获得的 预测宏块之间的SAD被计算。

在操作207中，具有较小SAD的模式被确定为预测模式。

在操作212中，帧内预测以确定的预测模式被执行。实际上，帧内预测 是指产生已经在操作205中获得的预测宏块。

如果所有参考宏块A、B、和D存在，那么在操作208中，使用关于参 考宏块A、B、和D的信息对宏块E执行空间帧内预测。

在操作209中，使用四种模式，即模式2、模式3、模式、4和模式5， 来获得用于宏块E的预测宏块，这四种模式使用关于所有参考宏块A、B、 和D的信息。

在操作210中，宏块E和预测宏块之间的SAD被计算。换句话说，计 算宏块E和以模式2获得的预测宏块之间的SAD、宏块E和以模式3获得的 预测宏块之间的SAD、宏块E和以模式4获得的预测宏块之间的SAD、以及 宏块E和以模式5获得的预测宏块之间的SAD。

在操作211中，具有四个SAD中的最小SAD的模式被确定为预测模式。

在操作212中，帧内预测以确定的预测模式被执行。实际上，帧内预测 是指产生已经在操作209中获得的预测宏块。

图20是示出根据本发明实施例的帧内预测解码的流程图。

参照图20，在操作310中，熵解码被执行。在熵解码中，帧的头部信息 和关于帧内预测模式的信息被抽取。

在操作320中，从通过熵解码而创建的帧的中心执行波动扫描。

在操作330中，波动扫描的帧被逆量化。

在操作340中，逆量化的帧被逆DCT变换。

在操作350中，对逆DCT变换的帧执行帧内预测。换句话说，在操作 351中确定帧内预测模式，并且在操作352中执行帧内预测。将参照图21A 和图21B详细描述帧内预测。

然后，在操作360中，从帧内预测的帧重构帧。

图21A和图21B是示出图20所示的帧内预测的详细流程图。

参照图21A，在操作401中，参照面向ROI的扫描的扫描方向，搜索与 将被解码的宏块相邻并与该将被解码的宏块包括在同一当前方形环中的参考 宏块。另外，在操作401中，基于面向ROI的扫描的扫描方向，搜索与将被 解码的宏块相邻并包括在前一方形环中的参考宏块。

在操作402中，参考宏块的位置被确定。

换句话说，如果只存在原点宏块，那么该原点宏块由A表示。如果存在 两个宏块，一个被包括在同一方形环中，另一个在前一方形环中，那么被包 括在同一方形环中的宏块由A表示，另一个宏块由D表示。

如果一个宏块与宏块E包括在同一方形环中并紧接在宏块E之前被解 码，并且至少两个宏块包括在前一方形环中，那么与宏块E包括在同一方形 环中的宏块由A表示，与宏块E相邻并且包括在刚刚被解码的方形环中的宏 块由B表示，与宏块A和B相邻并且包括在刚刚被解码的方形环中的宏块由 D表示。

一旦参考宏块被确定，那么在操作403中检查来自解码器的帧内预测模 式信息。

如果在操作404中帧内预测模式被确定为模式0，那么在操作405中， 宏块A的行R的像素值被映射给预测宏块的像素值。

如果在操作406中帧内预测模式被确定为模式1，那么在操作407中， 宏块A的行R的像素值的平均值被映射给预测宏块的像素值。

如果在操作408中帧内预测模式被确定为模式2，那么在操作409中， 宏块A的行R的像素值和宏块B的行L的像素值的平均值被映射给预测宏块 的像素值。

如果在操作410中帧内预测模式被确定为模式3，那么在操作411中， 宏块A、B、和D之间的相似性被测量。

如果宏块B和D彼此相似，那么在操作412中，宏块A的行R的像素 值的平均值被映射给预测宏块的像素值。

如果宏块A和D彼此相似，那么在操作413中，宏块B的行L的像素 值的平均值被映射给预测宏块的像素值。

如果在操作414中帧内预测模式被确定为模式4，那么在操作415中， 宏块A、B、和D之间的相似性被测量。

如果宏块B和D彼此相似，那么在操作416中，宏块A的行R的像素 值被映射给预测宏块的像素值。

如果宏块A和D彼此相似，那么在操作417中，宏块B的行L的像素 值被映射给预测宏块的像素值。

如果帧内预测模式被确定为模式5，那么在操作418中，使用宏块A的 行R和宏块B的行L来执行平面配合(plane fitting)。

如上所述，根据本发明，可以实现基于面向ROI的扫描而不是传统光栅 扫描的视频编码/解码方法。

帧内预测编码/解码方法也可以被实施为计算机可读记录介质上的计算 机可读代码。计算机可读记录介质是任何能够存储其后可由计算机系统读出 的数据的数据存储装置。计算机可读记录介质的例子包括只读存储器(ROM)、 随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置、和载 波。计算机可读记录介质也可以分布在连接计算机系统的网络上，从而计算 机可读代码以分布式方式被存储和执行。另外，本领域的程序员能够容易地 理解用于实现该帧内预测编码/解码方法的功能程序、代码、和代码段。

虽然本发明是参照其示例性的实施例被具体显示和描述的，但是本领域 的普通技术人员应该理解，在不脱离由下面的权利要求限定本发明的精神和 范围的情况下，可以对其进行形式和细节的各种改变。

本申请要求于2004年5月25日在韩国知识产权局提交的第 10-2004-0037542号韩国专利申请的优先权，该申请公开于此以资参考。