用于帧内预测的最可能模式（MPM）重新排序的方法和装置
阅读：128发布：2023-12-31
专利汇可以提供用于帧内预测的最可能模式（MPM）重新排序的方法和装置专利检索，专利查询，专利分析的服务。并且为了构造用于编码或解码 帧 内预测 模式的MPM集合，可以使用多个邻近 块 。在一个实现方式中，两个上侧中间邻近块(诸如由在等于高度或宽度的一半的距离处的样本 位置 指定 的那些)可以用于扁平长方形块，或两个左侧中间邻近块(诸如由等于宽度或高度的一半的距离处的样本位置指定的那些)可以用于高的长方形块。搜索邻近块的顺序可以基于当前块的形状，或者基于邻域的帧内预测模式与垂直或 水 平帧内预测模式之间的距离。 编码器 和 解码器 二者遵循相同的MPM集构建处理。因此，不需要额外的语法元素来发 信号 通知邻近块和搜索顺序。，下面是用于帧内预测的最可能模式（MPM）重新排序的方法和装置专利的具体信息内容。
1.一种用于视频编码的方法，包括：
访问画面的块；
确定(1210)所述块的帧内预测模式；
访问(1030、1110)所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧相邻；
确定(1205)所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和
在所述MPM集合中编码(1145)与所确定的帧内预测模式对应的索引。
2.一种用于视频解码的方法，包括：
从比特流访问指示画面的块的数据；
访问(1030、1110)所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧相邻；
确定(1305)所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和
解码(1390)所述MPM集合中的索引；
确定(1395)与所述MPM集合中的索引对应的所述块的帧内预测模式；和
基于所确定的帧内预测模式解码所述块。
3.一种用于视频编码的装置(1400)，包括至少一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：
访问画面的块；
确定所述块的帧内预测模式；
访问所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧相邻；
确定所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和
在所述MPM集合中编码与所确定的帧内预测模式对应的索引。
4.一种用于视频解码的装置(1400)，包括至少一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：
从比特流访问指示画面的块的数据；
访问所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧相邻；
确定所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和
解码所述MPM集合中的索引；
确定与所述MPM集合中的索引对应的所述块的帧内预测模式；和
基于所确定的帧内预测模式解码所述块。
5.如权利要求1或2所述的方法，或者如权利要求3或4所述的装置，其中，所述第一邻近块的其他三个侧都不沿着所述块的任何侧布置或超出所述块的任何侧布置。
6.如权利要求1、2和5中任一项所述的方法，或者如权利要求3-5中任一项所述的装置，其中，所述第一邻近块和所述第二邻近块在所述块的上侧，并且其中，所述第二邻近块与所述第一邻近块相邻。
7.如权利要求1、2、5和6中任一项所述的方法，还包括，或如权利要求3-6中任一项所述的装置，其中，所述一个或多个处理器还被配置为执行：
沿着所述块的较长侧选择与所述块相邻的样本，其中，所述样本位于小于所述块的较长侧的长度的距离处，并且其中，
所述第一邻近块由所选择的样本指定。
8.如权利要求7所述的方法，或者如权利要求7所述的装置，其中，所述样本位于等于所述块的高度的距离处或者所述块的宽度的一半的距离处，所述块的高度小于所述块的宽度。
9.如权利要求7所述的方法，或者如权利要求7所述的装置，其中，所述样本位于等于所述块的宽度的距离处或者所述块的高度的一半的距离处，所述块的宽度小于所述块的高度。
10.如权利要求1、2和5-9中任一项所述的方法，还包括，或者如权利要求3-9中任一项所述的装置，其中，所述一个或多个处理器还被配置为执行：
确定所访问的所述块的多个邻近块中的每一个的帧内预测模式与垂直和水平帧内预测模式之一之间的距离，
其中，所述MPM集合使用来自所述多个邻近块中的多达N个块的帧内预测模式，其中，N是整数，并且其中，与所述多个邻近块中的其他邻近块相比，所述N个邻近块对应于更小的距离。
11.如权利要求1、2和5-10中的任一项所述的方法，或者如权利要求5-10中的任一项所述的装置，其中，沿着所述块的较长侧的邻近块的子集在沿着所述块的较短侧的邻近块的另一子集之前被选择。
12.如权利要求1、2和5-11中任一项所述的方法，或者如权利要求5-11中任一项所述的装置，其中，基于所述块的形状，将所述索引分配给为所述第一邻近块选择的帧内预测模式。
13.如权利要求1、2和5-12中任一项所述的方法，或者如权利要求5-12中任一项所述的装置，其中，所述MPM集合包括平面帧内预测模式和DC帧内预测模式中的至少一个。
14.一种视频信号，被格式化为包括表示画面的块的编码的数据，其中，所述编码的数据通过以下被格式化：
确定(1210)所述块的帧内预测模式；
访问(1030、1110)所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧相邻；
确定(1205)所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和
在所述MPM集合中编码(1145)与所确定的帧内预测模式对应的索引。
15.一种计算机程序，包括软件代码指令，当由一个或多个处理器执行计算机程序时，用于执行根据权利要求1、2和5-13中的一项所述的方法。
用于帧内预测的最可能模式(MPM)重新排序的方法和装置
技术领域
背景技术
[0002] 为了实现高压缩效率，图像和视频编码方案通常采用预测和变换来利用视频内容中的空间和时间冗余。一般地，使用帧内或帧间预测而利用帧内或帧间相关性，然后变换，量化和熵编码原始图像和预测的图像之间的差异(经常表示为预测误差或预测残差)。为了重构视频，通过与预测，变换，量化和熵编码对应的逆处理来解码压缩的数据。发明内容
[0003] 根据本原理的一般方面，呈现一种用于视频编码的方法，包括：访问画面的块；确定所述块的帧内预测模式；访问所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧紧邻；确定所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和在所述MPM集合中编码与所确定的帧内预测模式对应的索引。
[0004] 根据本原理的另一一般方面，呈现用于视频解码的方法，包括：从比特流访问指示画面的块的数据；访问所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧紧邻；确定所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；
和解码所述MPM集合中的索引；确定与所述MPM集合中的索引对应的用于所述块的帧内预测模式；和基于所确定的帧内预测模式解码所述块。
和解码所述MPM集合中的索引；确定与所述MPM集合中的索引对应的用于所述块的帧内预测模式；和基于所确定的帧内预测模式解码所述块。
[0005] 根据本原理的另一方面，呈现一种用于视频编码的装置，包括至少一个存储器和一个或多个处理器，所述一个或多个处理器配置为：访问画面的块；确定所述块的帧内预测模式；访问所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧紧邻；确定所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和在所述MPM集合中编码与所确定的帧内预测模式对应的索引。
[0006] 根据本原理的另一个一般方面，呈现用于视频解码的装置，包括至少一个存储器和一个或多个处理器，所述一个或多个处理器被配置为：从比特流访问指示画面的块的数据；访问所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧紧邻；确定所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和解码所述MPM集合中的索引；确定与所述MPM集合中的索引对应的用于所述块的帧内预测模式；和基于所确定的帧内预测模式解码所述块。
[0007] 在一个示例性实施例中，所述第一邻近块的其他三个侧中没有沿着所述块的任一侧布置或超出所述块的任一侧。
[0008] 在另一个示例性实施例中，所述第一邻近块和所述第二邻近块可以沿着所述块的较长侧而紧邻所述块。所述第一邻近块和所述第二邻近块也可以彼此紧邻。
[0009] 为了选择所述第一邻近块，可以沿着所述块的较长侧选择与所述块相邻的样本，其中，所述样本位于小于所述块的所述较长侧的长度的距离处，并且其中，所述第一邻近块由所选择的样本指定。在一个示例中，所述样本可以位于等于所述块的高度的距离处或者所述块的宽度的一半的距离处，用于扁平块(所述块的高度小于所述块的宽度)。在另一个示例中，所述样本可以位于等于所述块的宽度的距离处或所述块的高度的一半距离处，用于高的块(所述块的宽度小于所述块的高度)。
[0010] 为了选取所述MPM集合，可以确定所访问的所述块的多个邻近块中的每一个的帧内预测模式与垂直和水平帧内预测模式之一之间的距离，其中，所述MPM集合使用来自所述多个邻近块中的多达N个块的帧内预测模式，其中，N是整数，并且其中，所述N个邻近块与比所述多个邻近块中的其他邻近块更小的距离对应。
[0011] 在一个实施例中，可以在访问的所述块的多个邻近块中的每一个与所述垂直和水平帧内预测模式中的较近一个之间确定所述距离。沿着所述块的较长侧的邻近块的子集可以在沿着所述块的较短侧的邻近块的另一子集之前被选择。
[0012] 在另一个实施例中，对于高的块(所述块的宽度小于所述块的高度)，可以在访问的所述块的多个邻近块中的每一个与所述垂直帧内预测模式之间确定所述距离，并且对于扁平块(所述块的宽度大于所述块的高度)，可以在访问的所述块的多个邻近块中的每一个与所述水平帧内预测模式之间确定所述距离。
[0013] 除了邻近块的帧内预测模式之外，所述MPM集合可以包括平面帧内预测模式和DC帧内预测模式中的至少一个。可以基于所述块的形状对所述MPM集合中的帧内预测模式编排索引。
[0014] 根据本原理的另一个一般方面，视频信号被格式化为包括表示画面的块的编码的数据，其中，所述编码的数据通过以下被格式化：确定所述块的帧内预测模式；访问所述块的多个邻近块，所述块的多个邻近块包括第一邻近块和第二邻近块，其中，所述第一邻近块的第一侧和所述第二邻近块的第一侧与所述块的一侧紧邻；确定所述块的最可能模式(MPM)集合，所述MPM集合包括所述多个邻近块的帧内预测模式；和在所述MPM集合中编码与所确定的帧内预测模式对应的索引。
[0015] 本实施例还提供一种计算机可读存储介质，具有存储在其上的用于根据上面描述的方法编码或解码视频数据的指令。本实施例还提供一种计算机可读存储介质，具有存储在其上的根据上面描述的方法生成的比特流。本实施例还提供一种用于发送根据上面描述的方法生成的比特流的方法和装置。附图说明
[0017] 图2A是描绘HEVC参考样本生成的图示示例，并且图2B是描绘HEVC中的帧内预测方向的图示示例。
[0018] 图3例示示例性HEVC视频解码器的框图。
[0019] 图4A和图4B是分别描绘(1)正方形块和(2)长方形块的在JVET中的二叉树分割的图示示例。
[0020] 图5例示JVET MPM集合构造中的当前编码单元(CU)的五个因果邻近块。
[0021] 图6(a)和图6(b)是分别描绘根据本原理的实施例的(1)平坦块和(2)高块的邻域的预测模式的搜索顺序的图示示例。
[0022] 图7(a)-7(1)是描绘块的上侧邻近块的图示示例。
[0023] 图8(a)-8(d)是描绘根据本原理的各种实施例的邻近块选择的图示示例。
[0024] 图9是描绘块的因果邻近块的图示示例。
[0025] 图10例示根据本原理的实施例的用于获得MPM集合的方法。
[0026] 图11例示根据本原理的实施例的用于获得MPM集合的另一方法。
[0027] 图12例示根据本原理的编码帧内预测模式的示例性方法。
[0028] 图13例示根据本原理的解码帧内预测模式的示例性方法。
[0029] 图14例示其中可以实现本原理的示例性实施例的各个方面的示例性系统的框图。
具体实施方式
[0030] 图1例示示例性HEVC编码器100。为了编码具有一个或多个画面的视频序列，将画面划分为一个或多个条带，其中每个条带可以包括一个或多个条带段。条带段被组织为编码单元、预测单元和变换单元。
[0031] 在本申请中，术语“重构”和“解码”可以互换使用，术语“画面”和“帧”可以互换使用，并且术语“MPM列表”和“MPM集合”可以互换使用。通常但并非必须，术语“重构”在编码器侧使用，而“解码”在解码器侧使用。
[0032] HEVC规范区分“块”和“单元”，其中“块”针对样本阵列(例如，亮度，Y)中的特定区域，而“单元”包括所有编码的颜色分量(Y，Cb，Cr或单色)的并置块、语法元素和与块相关联的预测数据(例如，运动矢量)。
[0033] 对于编码，将画面划分为具有可配置大小的正方形的编码树块(CTB)，并且将编码树块的连续集合分组为条带。编码树单元(CTU)包含编码的颜色分量的CTB。CTB是将四叉树划分为编码块(CB)的根，并且可以将编码块划分为一个或多个预测块(PB)，并且形成将四叉树划分为变换块(TB)的根。与编码块，预测块和变换块对应，编码单元(CU)包括变换单元(TU)的树状结构的集合和预测单元(PU)，PU包括所有颜色分量的预测信息，并且TU包含每个颜色分量的残差编码语法结构。亮度分量的CB，PB和TB的大小应用于对应的CU，PU和TU。在本申请中，术语“块”可以用来指代CTU，CU，PU，TU，CB，PB和TB中的任何一个。另外，“块”也可以用于指代H.264/AVC或其他视频编码标准中指定的宏块和分区，并且更一般地指代各种大小的数据的阵列。
[0034] 在示例性编码器100中，如下面描述，通过编码器元件编码画面。以CU为单位处理要编码的画面。使用帧内或帧间模式编码每个CU。当以帧内模式编码CU时，其执行帧内预测(160)。在帧间模式下，执行运动估计(175)和补偿(170)。编码器决定(105)使用帧内模式或帧间模式中的哪一个用于编码CU，并且通过预测模式标志指示帧内/帧间决定。通过从原始图像块中减去(110)预测的块来计算预测残差。
[0035] 为了利用空间冗余，从相同条带内的重构的邻近样本中预测帧内模式下的CU。当考虑当前CU的编码/解码时，因果邻近CU已经被编码/解码。为了避免不匹配，编码器和解码器具有相同的预测。因此，编码器和解码器二者使用来自重构的/解码的邻近因果CU的信息来形成当前CU的预测。
[0036] HEVC中的帧内预测处理包括三个步骤：(1)参考样本生成，(2)帧内样本预测和(3)预测的样本的后处理。示例性HEVC参考样本在图2A中例示，其中，关于当前块的左上角的坐标(x，y)处的像素值由P(x，y)表示。对于大小NxN的CU，从解码的CU在顶部形成2N个解码的样本的行。类似地，从解码的CU形成左侧的2N个样本的列。来自左上的解码的CU的角像素用于填充上侧行和左侧列参考之间的间隙。如果某些样本不可用，例如，当对应的CU不在相同条带中或当前CU在帧边界处时，则执行参考样本替代，其中以顺时针方向从可用样本中复制丢失的样本。然后，取决于当前CU大小和预测模式，使用指定的滤波器来滤波参考样本。
[0037] 下一步骤，即帧内样本预测，包括基于参考样本预测目标CU的像素。为了有效地预测不同种类的内容，HEVC支持多种预测方法。特别地，平面和DC预测模式用于预测平滑且逐渐改变的区域，而角度预测模式(也称为“方向预测模式”)用于捕获不同的方向结构。HEVC支持索引从2到34的33个方向预测模式。这些预测模式对应于不同的预测方向，如图2B中例示，其中数字表示帧内预测模式索引。一些预测模式，诸如DC模式和直接水平模式(即，模式10)和直接垂直模式(即，模式26)，可能导致预测样本的CU边界处的不连续。因此，这样的预测模式之后是后处理步骤，其中使用低通滤波器来平滑预测的样本的边界。这里，直接水平模式指代当目标块的左侧上的参考样本向右水平重复用于帧内预测时的预测模式。类似地，直接垂直模式指代当目标块的顶部上的参考样本向下垂直重复用于帧内预测时的预测模式。
[0038] 因为存在多个可用的帧内预测模式，所以解码器需要模式信息以形成帧内编码的CU的预测。编码器使用亮度分量的最可能模式(MPM)集合来编码该信息。HEVC指定包括三个不同模式的MPM集合，其由当前CU的顶部和左侧上的帧内编码的CU的预测模式、平面模式，DC模式和直接垂直模式构建。
[0039] 具体地，HEVC在预测地编码亮度帧内预测模式时考虑三个最可能模式：MPM0，MPM1和MPM2，如表1所示，其中“L”表示邻近左侧块的帧内预测模式，并且“A”表示邻近上侧块的帧内预测模式。邻近块可以具有与当前块不同的大小。在三个最可能的模式中，如果上侧PB和左侧PB可用，并且使用帧内预测模式编码，则通过上侧和左侧PB的亮度帧内预测模式初始化前两个。任何不可用的帧内预测模式均视为DC模式。
[0040] 表格1
[0041]
[0042] 在前两个最可能的模式不相等时，第一最可能的模式(MPMO)设置为L，第二最可能的模式(MPM1)设置为A，第三最可能的模式(MPM2)设置等于平面模式，DC或垂直模式(根据这些模式中的哪一个以该顺序不是前两个模式之一的重复)。在前两个最可能的模式相同时，如果该第一模式具有值为平面或DC，则以该顺序将三个最可能的模式分配为平面，DC和垂直。在前两个最可能的模式相同并且第一模式具有角度值时，将第二和第三最可能的模式选取为第一MPM的两个相邻角度预测模式。
[0043] 当前块的适用亮度帧内预测模式可以使用两个不同的选项编码。如果当前块的预测模式包括在三个最可能的模式的构建的列表中，则使用可变长度编码通过MPM集合中的模式的索引来发信号通知该模式。具体地，将单个比特标志prev_intra_luma_pred_flag设置为1，以指示当前块的预测模式等于这三个MPM模式之一，其中，索引0用比特‘0’发信号通知用于MPM0，索引1用比特‘10’发信号通知用于MPM1，并且索引2用比特‘11’发信号通知用于MPM2。如果预测模式不等于MPM集合中的任何模式，则将标志prev_intra_luma_pred_flag设置为0，并使用5比特固定长度代码指示当前亮度预测模式的索引(排除三个MPM)。对于色度分量，通过使用一个比特发信号通知预测模式为亮度的相同模式(称为推导的模式)或使用三个比特发信号通知四个模式(平面，DC，直接垂直，直接水平)之一。如果这四个模式中的任何一个等于推导的模式，则将其替换为具有与最初分配的相同的三比特信令的模式34。
[0044] 对于帧间CU，将对应的编码块进一步划分为一个或多个预测块。在PB级别上执行帧间预测，并且对应的PU包含关于如何执行帧间预测的信息。运动信息(即，运动矢量和参考画面索引)可以通过两个方法来发信号通知，即“合并模式”和“高级运动矢量预测(AMVP)”。
[0045] 在合并模式中，视频编码器或解码器基于已编码的块来组装候选列表，并且视频编码器发信号通知候选列表中的候选之一的索引。在解码器侧，基于发信号通知的候选来重构运动矢量(MV)和参考画面索引。
[0046] 在AMVP中，视频编码器或解码器基于从已经编码的块确定的运动矢量来组装候选列表。然后，视频编码器发信号通知候选列表中的索引以标识运动矢量预测器(MVP)，并发信号通知运动矢量差(MVD)。在解码器侧，运动矢量(MV)被重构为MVP+MVD。适用的参考画面索引也在AMVP的PU语法中显式编码。
[0047] 然后变换(125)和量化(130)预测残差。熵编码(145)量化的变换系数以及运动矢量和其他语法元素以输出比特流。编码器还可以跳过变换，并以4x4 TU为基础将量化直接应用于未变换的残差信号。编码器还可以绕过变换和量化两者，即，在不应用变换或量化处理的情况下直接编码残差。在直接PCM编码中，不应用任何预测，并且将编码单元样本直接编码到比特流中。
[0048] 编码器对编码的块进行解码，以提供进一步预测的参考。去量化(140)和逆变换(150)量化的变换系数以解码预测残差。组合(155)解码的预测残差和预测块，重构图像块。环路滤波器(165)被应用于重构的画面，以例如执行去块/SAO(样本自适应偏移)滤波以减少编码伪像。滤波的图像被存储在参考画面缓冲器(180)中。
[0049] 图3例示示例性HEVC视频解码器300的框图。在示例性解码器300中，如下面描述，由解码器元件解码比特流。视频解码器300一般执行与图1中描述的编码通道互倒的解码通道，其执行视频解码作为编码视频数据的一部分。
[0050] 特别地，解码器的输入包括视频比特流，其可以由视频编码器生成。比特流首先被熵解码(330)以获得变换系数，运动矢量和其他编码信息。去量化(340)和逆变换(350)变换系数以解码预测残差。组合(355)解码的预测残差和预测块，重构图像块。可以从帧内预测(360)或运动补偿的预测(即，帧间预测)(375)获得(370)预测块。如上面描述，AMVP和合并模式技术可以用于推导运动补偿的运动矢量，其可以使用内插滤波器来计算参考块的亚整数(sub-integer)样本的内插值。环路滤波器(365)被应用于重构的图像。滤波的图像被存储在参考画面缓冲器中(380)。
[0051] 如上面描述，在HEVC中，视频序列的帧的编码基于块结构。帧被划分为正方形编码树单元(CTU)，其可以基于率失真标准将四叉树(QT)分割为多个编码单元。每个CU被帧内预测(即，从因果邻近CU在空间上预测)，或被帧间预测(即，从已解码的参考帧在时间上预测)。在I条带中，所有CU被帧内预测，而在P和B条带中，CU可以被帧内或帧间预测。对于帧内预测，HEVC定义35种预测模式，其包括一个平面模式(索引为模式0)，一个DC模式(索引为模式1)和33个角度模式(索引为模式2-34)。
[0052] 在联合视频探索小组(JVET)为设计下一代视频压缩标准而研究的JEM(联合探索模型)中，QTBT(四叉树加二叉树)结构去除了HEVC中多个分区类型的概念，即，去除CU，PU和TU概念的分离。
[0053] 如果CU从块的四叉树分割产生，则CU是正方形形状。如果CU从块的二叉树分割产生，则取决于父块的形状和分割的类型，CU可以是正方形或长方形。在二叉树中，块可以被水平或垂直分割，如图4A中被例示。对称地完成分割，产生两个完全相同的CU。在水平分割中，产生的CU具有与父块相同的宽度，但它们的高度是父块的高度的一半，并且在垂直分割中，产生的CU具有与父块相同的高度，但它们的宽度是父块的宽度的一半。如果父块是正方形形状，则产生的CU是长方形。如果父块是长方形，则产生的CU可以是长方形或正方形，如图4B所示。
[0054] 编码树单元(CTU)首先由四叉树结构划分。四叉树叶节点进一步由二叉树结构划分。二叉树叶节点被称为编码单元(CU)，其在不需要进一步划分的情况下用于预测和变换。因此，在新编码QTBT块结构中，CU，PU和TU具有相同的块大小。在JEM中，CU由不同颜色分量的编码块(CB)组成。为了便于表示，由二叉树分区产生的CU或块也称为二叉树(BT)CU或块，并且由四叉树分区产生的CU或块也称为四叉树CU或块。QT CU都是正方形形状，而BT CU可以是长方形或正方形形状。
[0055] 作为对HEVC的可能改进，JEM 2.0除了平面和DC模式外，还使用65个方向帧内预测模式。65个方向预测模式包括HEVC中指定的33个方向模式，以及与两个原始角度之间的角度对应的32个其他方向模式。预测模式的数量被增加，以适应增加的CTU块大小，当前设置为128x128像素。对于QTBT结构，基本预测与HEVC中完成类似地执行，而与CU大小无关，但是添加诸如参考样本自适应滤波(RSAF)和位置相关帧内预测组合(PDPC)之类的工具。
[0056] 为了编码亮度的帧内预测模式，在JEM 2.0中保留使用MPM集合的概念。但是，MPM集合中的候选的数量增加到六个。在JEM 2.0中，左侧和上侧帧内模式利用DC帧内模式初始化。初始化之后，分析来自所有上侧可用的邻域的帧内模式，并选择最频繁的模式作为上侧帧内模式(即，“A”)。对于左侧邻域重复相同的处理，并且将最频繁的帧内模式选择为左侧模式(即，“L”)。基于因果邻近块的帧内预测模式选择六个不同的模式，如表2中描述，其中“Max”表示具有较大模式索引的L和A之一。
[0057] 在JEM和HEVC参考软件中，当CU具有某个帧内模式时，该CU内的所有4x4块都被标记为该模式。为了选取邻近块，选取样本位置，并且覆盖选取的样本位置的4×4块的帧内模式用作邻域帧内块，而对应的CU可以向左侧或右侧跨越比4×4更大的区域。
[0058] 表2
[0059]
[0060] 在JEM 3.0中，使用带有修改的MPM列表推导的帧内模式编码以简化JEM 2.0中的推导处理，如V.Seregin等人在标题为“Neighbor based intra most probable modes list derivation”(JVET第3次会议，瑞士日内瓦，2016年5月26日至6月1日)中描述。具体地，只有五个邻域帧内预测模式：左侧(L)，上侧(A)，左下(BL)，右上(AR)和左上(AL)(如图5中所示)被考虑用于MPM列表构造。
[0061] 首先，检查左侧邻近块(“Left”)。如果左侧块可用并且被帧内预测，则其预测模式将被包括在集合中作为第一候选。然后，检查上侧邻近块(“上侧”)用于可用性和帧内预测。如果两个条件都满足，则比较上侧块的帧内预测模式与该集合中已经包括的帧内预测模式。如果尚未包括在集合中，则上侧帧内预测模式被包括作为MPM集合中的第二候选。然后，检查平面和DC预测模式以包括在集合中。此后，将以该顺序检查左下侧(“左下侧”)，右上侧(“右上侧”)和左上侧(“左上侧”)块用于可用性，如果尚未包括，则包括在集合中。由于将模式包括在集合中，它们的顺序被保持。
[0062] 因此，通过将五个邻域帧内预测模式，平面模式和DC模式添加到MPM集合中来初始形成MPM集合。但是，仅唯一模式可以被包括在MPM集合中。包括初始模式的顺序为左侧，上侧，平面，DC，左下侧，右上侧和左上侧。在某些情况下，五个邻近块中的一个或多个可能不存在或可能不使用帧内模式。在JEM 3.0中，编解码器从邻域检查帧内模式的可用性，并且如果邻域不可用或不使用帧内模式，则跳过该邻域。在本申请中，还可以将检查邻域的顺序称为“搜索顺序”。如果在添加邻域帧内模式、平面模式和DC模式后，MPM集合不完整，即，列表中的模式的数量仍少于6，则添加推导的模式，其中推导的帧内模式通过添加相邻模式(即MPM集合中已经存在的角度模式的-1或+1)获得。应当注意，推导不应用于非角度模式(即，DC或平面)。
[0063] 如果MPM集合仍包含少于六个不同的模式，则检查来自默认集合中的模式用于包含在MPM集合中。默认集合包含六个不同的模式，即，DC，平面，垂直，水平，2和对角线。由于DC模式和平面模式已经包括在MPM集合中，所以仅以该顺序检查剩余的四个模式，即，垂直，水平，2和对角线，用于包括在集合中。如果尚未包括，则检查的模式被包括在该集合中。重复该处理，直到MPM集合包含六个不同的模式为止。默认集合是作为默认的集合，即，即正在建立的MPM集合中没有任何成员的情况下，因为该集合的所有成员将被复制到MPM集合，其将是MPM集合。
[0064] 编码器和解码器二者以完全相同的方式构造MPM集合，并且作为结果，任何给定帧内预测的CU的MPM集合在编码器和解码器端完全相同。
[0065] 为了在JEM 3.0中编码帧内预测的CU的帧内预测模式，首先，编码器检查帧内预测模式是否属于当前CU的MPM集合。如果是这样，则启用标志(即，MPM标志)，并且用信号通知MPM集合中候选MPM模式的索引(即，等于当前CU的帧内预测模式的MPM模式)。如表3所示，使用截断一元(TU)码来发信号通知索引。
[0066] 表3
[0067]候选索引 代码
0 0
1 10
2 110
3 1110
4 11110
5 11111
0 0
1 10
2 110
3 1110
4 11110
5 11111
[0068] 如果预测模式不属于MPM集合，则MPM标志设置为0。剩余的61个模式分为两个集合。首先，剩余的模式根据其索引以升序排序。第一集合，即“选择的集合”包含排序列表中的每个第四模式，因此包含16个模式。第二集合包含剩余的45个模式。发信号通知集合选择标志以指示当前CU的预测模式属于选择的集合还是第二集合。然后，如果该模式属于选择的集合，则使用4比特固定长度代码发信号通知候选。否则，使用截断一元码来发信号通知第二集合中的候选。
[0069] MPM模式的截断一元编码的设计(如JEM 3.0中使用的那样)假定索引较低的MPM模式比索引较高的MPM模式更有可能被选择。一般地，如果当前CU为正方形形状，则左侧CU和上侧CU的预测模式比其他三个邻近块的预测模式与当前块的预测模式更相关。如果当前块不是正方形形状，则上面的假设一般可能不正确。当当前CU的高度和宽度相差很大因子时(例如，大于3的因子)时，情况更是如此。在QTBT结构中，CU可以是长方形，其中一侧比另一侧大得多。例如，如果BT从四叉树深度2开始(深度0对应于128x128 CTU)，也就是，QT CU大小32x32，并且BT深度至少为3，则可以有大小32x4和4x32的CU。在这种情况下，截断一元码可能不是最佳码，并且因此压缩效率可能被损害。因此，更好的方法可能是根据当前CU的配置对因果邻域进行排序，如下面更详细描述。
[0070] 本实施例针对编码和解码帧内预测模式。一般地，在构造当前块的MPM集合时，考虑当前块的形状，以提高压缩效率。此外，提出选取邻近块的各种方法用于构造MPM集合。在下文中，使用JEM 3.0中的帧内预测模式编码作为对帧内编码的各种修改的示例性基础。但是，本原理可以应用于其他视频编解码器。
[0071] 在一个实施例中，对于扁平的长方形块(即，其宽度大于高度的块)，图6(a)示出其MPM集合构造的五个邻近块。与邻近块相关联的数字指示将考虑其预测模式用于包括在MPM集合中的顺序。注意，数字不表示MPM集合中的预测模式的索引。对于图6(a)中示出的长方形块，考虑到上侧邻近块(“2”)比左侧邻近块(“1”)离当前块的左上角(“5”或中心)的距离远并且右上侧邻域(“4”)比“左下侧”邻域(“3”)更远，该顺序可以良好地工作。因此，如数字所示，当前的搜索顺序，即{左侧，上侧，左下侧，右上侧，左上侧}可以保持与JEM 3.0中的相同。
[0072] 现在考虑高的长方形块(即，其宽度小于高度的块)。其MPM集合构造的五个邻近块在图6(b)中示出。在该情况下，上侧邻近块(“1”)比左侧邻近块(“2”)距离当前块的左上角(“5”或中心)更近，并且右上侧邻域(“3”)比左下侧邻域(“4”)更近。
[0073] 因此，我们可以取决于块形状构造MPM集合。如果CU是正方形(即，宽度＝高度)或扁平的(即，宽度>高度)，则使用现有的搜索顺序。如果CU具有高的长方形形状(即，宽度<高度)，则我们在左侧邻域和上侧邻域之间交换搜索顺序。即，搜索顺序变为{上侧，左侧，左下侧，右上侧，左上侧}。在另一个实施例中，对于具有高长方形形状的CU，我们也在左下侧和右上侧邻域之间交换搜索顺序。即，如图6(b)所示，搜索顺序变为{上侧，左侧，右上侧，左下侧，左上侧}。剩余的搜索处理可能保持不变，这最终将导致六个最可能模式的集合。编码器和解码器二者遵循相同例程，以具有当前CU的完全相同的MPM集合。随着宽度和高度的长度之间的差异增加，更有可能的是以上顺序在MPM集合中在更少可能的模式之前包含更大可能的模式。
[0074] 一般地，MPM集合将由与当前块的预测模式最相关的模式组成，这可能增加在MPM集合中找到与当前CU的预测模式相等的元素的可能性，并且因此可以更有效地编码预测模式。在典型的视频序列中，对象或背景区域跨越若干块，并且因此它们在这些块上的方向或结构通常是相关的。因此，我们可以选取因果邻近块的模式，这是因为它们可立即用于当前块。另外，由于平面和DC是在许多序列中非常频繁出现的两个特殊模式，我们也考虑它们。
[0075] 邻近块可能不具有与当前块相同的大小。例如，当前块可能具有在顶部跨越其宽度的两个或三个或更多块。它们的预测模式可以不同或相同。同样的情形适用于左侧上的邻近块。一般地，如果我们可以选取彼此远离(以使它们彼此不同，并且因此我们可能具有找到一个等于当前块的预测模式的很大的机会)，但靠近当前块的位置(以使得它们与当前块的预测模式相关)的候选邻域，则在MPM集合中具有当前块的帧内模式的可能性可能是好的。如果上侧邻域具有与当前块相同的宽度，例如，则选取右上侧，中间或与当前块的左原点距离相等的候选对象没有区别，因为它们都给出相同的模式。
[0076] 图7例示当前CU上侧的邻近CU的各种示例。这里，我们将一部分像素与当前块在顶部紧邻的邻近块视为上侧邻近块。当前CU可以在顶部和某侧具有多个邻近CU，并且它们的预测模式可以全部不同或相同。如果当前CU宽度是可能的最小尺寸，例如HEVC中的4x4，则顶部上可以不多于一个邻近块。相反，仅在顶部有一个CU并且右上侧上有一个，如图7(a)所示，或者，在上侧和右上侧两者可能只有一个CU，如图7(b)所示。如果当前CU的宽度是8，则可以有两个宽度为4的上侧邻近CU，如图7(c)所示，宽度为8的一个CU，如图7(d)所示，或者宽度为16的一个CU，如图7(e)所示。如果当前CU的宽度是16，则可以有宽度为4的四个上侧邻近CU，如图8(f)所示，宽度分别为4、4和8的三个CU，如图7(g)，宽度分别为4、8和4的3个CU，如图7(h)，宽度分别为8、4和4的三个CU，如图7(i)，宽度为8的两个CU，如图7(j)，宽度为16的一个CU，如图7(k)，以及宽度为32的一个CU，如图7(l)。应该注意，如图7所示的邻近块用于示例性目的，并且存在其他可能的布局，例如，邻近块可以具有与图7所示不同的高度。
为了便于表示，在图7中将上侧邻近块表示为T1，T2，T3和T4。
为了便于表示，在图7中将上侧邻近块表示为T1，T2，T3和T4。
[0077] 对于沿某侧具有多个邻近块的当前块，我们可以在例如沿着当前块的较长侧选取邻域时采用更大的灵活性，。例如，在扁平CU的情况下，我们可以如图8(a)或图8(b)所示选取邻域，并且在高CU的情况下，我们可以如图8(c)或图8(d)所示选取邻域。这里，对于扁平CU，替代选取右上角处的邻近块，我们可以选取在其顶部上的宽度的距离内的任何位置处的块，例如，在等于高度的距离处或沿着宽度的一半距离处；对于高CU，替代选取左下角处的邻近块，我们可以选取左侧的其高度的距离内的任意位置处的块，例如，在等于宽度的距离处或等于高度的一半的距离处。对于搜索顺序，我们可以保持用于正方形CU的相同搜索顺序，或者遵循上面描述的各种顺序，例如，图6B所示的顺序。
[0078] 这里应该注意，在上侧邻近块中的至少一个像素与当前块中的像素紧邻(即，像素距离＝1个像素)。因此，图7(d)所示的右上块“AR”不被视为上侧邻近块。类似地，对于左侧邻近块，左侧邻近块中的至少一个像素紧邻于当前块中的像素。为了便于说明，我们将上侧邻近块的底侧称为紧邻当前块的上侧，并且将左侧邻近块的右侧称为紧邻当前块的左侧。
[0079] 更具体地，选取图8(a)的上侧邻近块可以被看作选取覆盖样本P(CUH，-1)的块和覆盖样本P(CUH+1，-1)的另一块，其中，“CUH”是当前CU的高度。单个块覆盖样本位置P(CUH，-1)和P(CUH+1，-1)二者是可能的。类似地，选取图8(b)的上侧邻近块可以被看作选取覆盖样本P(CUw/2，-1)的块和覆盖样本P(CUw/2+1，-1)的另一块，其中，“CUw”是当前CU的宽度。单个块覆盖样本位置P(CUw/2，-1)和P(CUw/2+1，-1)二者是可能的。类似地，对于高块，可以通过沿垂直方向的两个样本位置来指定选取新的左侧邻域，如图8(c)和8(d)所示。
[0080] 使用图7(f)-7(1)的示例，我们基于图8(a)和图8(b)分别示出等于高度或宽度的一半的距离在表4中列出可以包括在MPM集合中的两个上侧邻近块。对于图7(f)和7(g)，根据图8(a)或8(b)的选择除了图4示出的五个邻域，还带来两个新邻域。对于图7(h)或7(i)，该选择带来一个或两个新邻域。对于图7(j)，当存在两个上侧邻域时，该选择带来一个新邻域(T1)。当存在仅一个上侧邻近块时，如图7(k)和7(l)所示，根据图8的上侧邻域的选择没有带来任何新邻域。注意图7(f)-7(l)，因为高度是当前CU的宽度的一半，所以基于高度或宽度的一半选取上侧邻近块产生相同的新邻域。
[0081] 表4
[0082] 宽度的一半 评述
FIG.7(f) T2，T3
FIG.7(g) T2，T3 T3是上侧
FIG.7(h) T2，T2 T3是上侧
FIG.7(i) T1，T2 T3是上侧
FIG.7(j) T1，T2 T2是上侧
FIG.7(k) T1，T1 T1是上侧
FIG.7(l) T1，T1 T1是上侧，右上侧
FIG.7(f) T2，T3
FIG.7(g) T2，T3 T3是上侧
FIG.7(h) T2，T2 T3是上侧
FIG.7(i) T1，T2 T3是上侧
FIG.7(j) T1，T2 T2是上侧
FIG.7(k) T1，T1 T1是上侧
FIG.7(l) T1，T1 T1是上侧，右上侧
[0083] 当当前CU的宽度和高度之间的差异变大时，例如，如图9所示，基于高度或宽度的一半选取上侧邻近块可能产生不同的新邻域。具体地，当基于高度选取上侧邻近块时，如图8(a)所示，选取T2，并且当基于宽度的一半选取上侧邻近块时，如图8(b)所示，选取T3和T4。
[0084] 在上面，我们描述基于两个样本位置选取一个或两个上侧邻近块，如图8(a)-8(d)所示。在另一实施例中，我们还可以使用因果邻域的全部或子集来生成初始MPM集合用于其预测模式，并且然后消除是重复的或更不可能选择的那些。参考回图9，例如，首先，我们可以在去除重复之后将邻域的预测模式(“T1-T5”，“LI”，“L2”)包括在MPM集合中。如果角度模式的数量仍然少于四个，我们可以在去除重复的同时包括右上侧，左下侧和左上侧邻域预测模式。然后可以例如使用距离度量来排序角度模式。如果模式的数量现在大于6，则我们去除一些插入的角度模式。因为右上侧和左下侧块超出当前CU的范围，所以我们不查看超出它们的其他因果块，诸如右上侧块的右侧和左下侧块的下面的块。
[0085] 从统计数据中，我们观察到，一般接近直接水平模式(HEVC中的模式10和JEM中的模式18)和直接垂直模式(HEVC中的模式26和JEM中的模式50)的预测模式比远离它们的角度模式更可能被使用。此外，对于扁平长方形块，接近直接水平模式的模式比距离直接垂直模式相同距离的模式更有可能。类似地，对于高长方形块，接近直接垂直模式的预测模式比距离直接水平模式相同距离的模式更有可能。注意，可以将帧内预测模式之间的距离计算为帧内预测模式索引之间的差。
[0086] 因此，在一个实施例中，我们提出基于角度模式与直接水平模式或直接垂直模式的距离对角度模式进行排序。也就是，如果模式是水平取向(即，相对于直接垂直模式更接近直接水平模式的模式，例如，模式索引在HEVC中的2-17范围内并且在JEM中的2-33范围内)，我们计算其与直接水平模式(例如，HEVC中的模式10和JEM中的模式18)的距离，并且如果该模式是垂直取向的(即，相对于直接水平模式更接近直接垂直模式的模式，例如，模式索引在HEVC中的18-34范围内并且在JEM中的34-66范围内)，我们计算其与直接垂直模式(例如，HEVC中的模式26和JEM中的模式50)的距离。然后基于计算的距离排序角度模式。如果角度模式的数量大于四，则我们仅保持具有最短距离的四个角度模式。可以对于所有CU完成排序，而不管它们的形状如何。
[0087] 在另一实施例中，以上选择方法仅用于正方形CU。如果CU是扁平长方形，则我们计算角度模式与直接水平模式的距离，并且如果CU是高长方形，则我们计算角度模式与直接垂直模式的距离。然后，我们根据计算出的距离排序角度模式。如果角度模式的数量大于4，则仅选择具有最短距离的四个模式。
[0088] 排序角度模式的各种布置可用在其他实现方式中，例如，当以不同方式选取邻近块时，修改JEM 2.0或JEM 3.0。
[0089] 因为平面模式和DC模式是建模缓慢变化强度区域的典型视频序列中的最可能模式，所以在检查重复项之后我们通常将以首先平面，然后DC的顺序将它们包括在MPM集合中。这两种模式都可以插入MPM集合中，例如，在MPM集合的开始，或者在从上侧和左侧邻近块的排序的模式之后。
[0090] 在上面，我们描述可以被修改的MPM的搜索顺序，以及还可以修改邻近块的选取。在各种实施例中，搜索顺序和邻近块的选取的修改可以分开地或组合地实现。
[0091] 图10例示根据本原理的实施例的用于获得MPM集合的示例性方法1000。方法1000可以在编码器和解码器处实现。一般地，获得MPM集合的相同方法应该用于编码器和解码器二者处，使得由编码器生成的比特流可以由解码器适当解码。
[0092] 在方法1000中，当当前CU是正方形(即，CU高度＝宽度)(1010)时，可以使用邻近块(即，当前CU的角周围的块)的现有JEM 3.0选取用于获得MPM(1020)。否则，如果当前CU是高的或扁平的(即，CU高度>宽度，或CU高度<宽度)，则可以修改邻近块的选取(1030)。在一个示例中，对于扁平块，可以从以下中选择邻近块：左下侧，左侧，左上侧，在当前CU上侧并且沿着宽度维度位于小于宽度的距离处的两个邻近块。在各种实施例中，CU上侧的一个邻近块由位置(x，-1)处的样本指定，并且CU上侧的另一邻近块由位置(x+1,-1)处的样本指定，其中，样本位置是相对于当前CU的左上侧角，x
[0093] 因为我们意图选择远离角的这些邻近块，所以我们也可以将这样的邻近块称为沿上侧的上侧中间邻近块和沿左侧的左侧中间邻近块。在一些特定和非限制性示例中，x可以被设置为CUH或CUw/2。在不同实施例中，两个上侧中间邻近块中的仅一个被用于MPM集合构造。类似地，对于高的块，可以从以下选取邻近块：上侧，右上侧，左上侧，当前CU左侧并且沿着高度维度位于小于高度的距离处的一个或两个左侧中间邻近块。
[0094] 对于上侧中间邻近块，其左侧和右侧(分别在x坐标xL和xR处)可能停留在当前块的边界内，即，没有达到(即，与之对齐)或超出当前块的边界(xL>0且xR
[0095] 在步骤1040，例如可以基于如图8(a)或图8(b)所示的块形状或基于上面描述的与垂直或水平模式的距离来确定邻近块的搜索顺序。在步骤1050，可以获得MPM集合，包括来自邻近块的帧内模式，其中可以消除邻近块中的一些，并且还可以包括其他模式，诸如平面或DC模式，
[0096] 图11例示根据本原理的实施例的构造MPM集合的另一方法1100。方法1100可以分别在编码器和解码器处用于获得MPM集合。在步骤1110，我们搜索当前CU的左侧和上侧的所有帧内编码的邻近块。如果这样的块可用，我们将其预测模式包括在初始MPM集合中。在不同的实现方式中，初始MPM集合可以仅搜索编码器和解码器已知的邻近块的子集。
[0097] 然后排序(1120)初始MPM集合中的角度帧内预测模式。例如，我们可以以它们与直接水平方向或直接垂直方向(哪个更近)的距离递增的顺序排序它们。在另一示例中，我们可以根据当前CU形状计算距离。如果当前CU是正方形形状，则从直接水平或直接垂直(哪个更近)计算角度模式的距离(用于排序目的)。但是如果当前CU是扁平长方形，则在排序之前相对于直接水平模式计算角度模式的距离。如果当前CU是高长方形，则在排序之前相对于直接垂直模式计算角度模式的距离。
[0098] 如果角度模式的数量大于四个，我们只保留(1130)排序的集合中的前四个模式，并且去除剩余的模式。如果初始MPM集合中的模式全部是角度(1140)，则我们在剩余的角模式之后以那样的顺序包括平面模式和DC模式(1150)，以使MPM模式的数量为六个。
[0099] 否则，如果初始MPM集合包括平面或DC，但不是都包括(1160)，则我们形成(1155)具有DC或平面模式以及之后的剩余的排序的角度模式的MPM集合，并且然后我们将平面或DC模式(未被包括的那一个)包括在集合中，以使MPM模式的数量为六个。如果初始MPM集合包括平面和DC二者，我们在集合的开始使用这两个模式(首先平面然后DC)以及之后的排序的角度模式来形成(1165)MPM集合。
[0100] 此时，如果集合中的模式的总数量仍少于六个(1170)，则我们考虑(1175)MPM集合中的右上侧，左下侧和左上侧块的模式，以排除重复项。我们根据它们与水平方向或垂直方向的距离(哪个更近)排序它们，并将它们放在已经包括的模式之后。如果模式的数量大于六个，则我们从排序的列表中去除多余的模式。否则，如果模式的总数量仍少于六个(1180)，则我们首先考虑推导的模式，然后，如果需要，则考虑默认模式来完成(1185)集合。获得MPM集合之后，可以执行帧内预测模式的编码。
[0101] 在不同的实施例中，我们还考虑当前CU的所有因果邻近块，但是我们单独考虑左侧邻域和上侧邻域。如果当前CU是正方形形状，则我们遵循方法1100中描述的处理。但是，如果当前CU是扁平长方形，则我们首先搜索左侧邻近块，并将其预测模式包括在集合中(排除重复项)并且排序角度模式，将平面和DC(如果存在)放在前面。我们将帧内预测模式的结果列表称为左侧子列表。然后我们搜索上侧邻近块，并对它们的预测模式进行相同的操作。这提供另一子列表，我们将其称为上侧子列表。我们将上侧子列表附加到左侧子列表中(排除重复项)。在该阶段，如果模式的数量大于六个，则我们从列表的末尾去除多余的角度模式，以使大小为六个。否则，我们遵循关于方法1100描述的类似的步骤，首先附接平面模式和DC模式到列表中，然后是右上侧，左下侧，左上侧块的排序的模式，然后推导的模式，最后默认模式，以得到六个模式的MPM集合。这里可以使用上面描述的不同的排序方法。
[0102] 图12例示根据本原理的实施例的用于编码当前块的帧内预测模式的示例性方法1200。对于要以帧内模式编码的当前块，例如使用方法1000或1100，获得(1205)MPM集合。例如基于率失真标准选择帧内预测模式，例如DC，平面或方向模式用于当前块(1210)。然后编码帧内预测模式和预测残差。
[0103] 为了编码帧内预测模式，编码器检查(1220)选择的帧内预测模式是否包括在MPM集合中。如果帧内预测模式在MPM集合中，则将MPM标志设置(1235)为1，并且将选择的帧内预测模式的MPM标志和MPM索引二者编码(1245)到比特流中。
[0104] 如果选择的帧内预测模式不在MPM集合中，则MPM标志设置(1230)为0，并且编码到比特流。然后，剩余的模式根据其索引以升序排序。建立(1240)第一集合(称为选择的集合)以包括排序的列表中的每个第四模式，并且因此包含十六个模式。如果预测模式属于选择的集合(1250)，则集合选择标志设置(1265)为1，以发信号通知该模式属于选择的集合，并且使用第一集合中选择的帧内预测模式的索引的4比特固定长度代码编码(1285)预测模式。否则，如果预测模式不属于选择的集合，则集合选择标志设置(1260)为0，以发信号通知模式属于第二集合。建立(1270)第二集合以包括剩余的45个模式，并且使用截断一元码来编码(1280)预测模式以发信号通知第二集合中的索引。
[0105] 图13例示根据本原理的实施例的用于解码当前块的帧内预测模式的示例性方法1300。方法1300的输入可以是例如使用方法1200编码的比特流。对于要以帧内模式解码的当前块，例如使用方法1000或1100获得MPM集合(1305)。然后解码帧内预测模式和预测残差。
[0106] 为了解码帧内预测模式，解码器解码(1310)MPM标志，并检查(1320)解码的值是1还是0。解码的值1指示选择的帧内预测模式包括在MPM集合中。如果帧内预测模式在MPM集合中，即，将MPM标志解码为1，则从比特流中解码(1390)与帧内预测模式对应的MPM索引。随后，可以解码(1395)帧内预测模式。
[0107] 如果帧内预测模式不在MPM集合中，即，如果MPM标志解码为0，则根据其索引以升序排序剩余的模式(排除MPM集合中的模式)。建立(1330)第一集合或“选择的集合”以将每个第四模式包括在排序的列表中，并且因此包含十六个模式。解码器从比特流中解码(1340)集合选择标志。如果预测模式属于选择的集合(1350)，即，如果集合选择标志解码为1，则解码(1365)选择的集合中的帧内预测模式的索引的4比特固定长度代码。随后，可以解码(1385)帧内预测模式。
[0108] 否则，如果预测模式不属于选择的集合，即，如果集合选择标志解码为0，则建立(1360)第二集合以包括剩余的45个模式。使用截断一元码解码(1370)第二集合中的索引。随后，解码(1380)帧内预测模式。基于解码的帧内预测块，可以解码该块。
[0109] 如上面描述，当在考虑邻域或推导的帧内预测模式之后存在少于预定义的数量的MPM(例如，如JEM 3.0中的6)时，可以使用默认MPM集合。在JEM 3.0中，默认MPM集合包含以下六个模式：平面，DC，直接垂直(模式50)，直接水平(模式18)，对角线向上(模式2)和对角线向下(模式34)。在一个实施例中，我们根据BT CU形状来适配默认集合。如果CU具有扁平长方形形状(即，高度<宽度)，则我们修改默认MPM集合为以以下顺序包含以下模式：平面，DC，纯水平(模式18)，纯垂直(模式50)，对角线向上(模式2)和对角线向下(模式34)。但是，如果CU具有高长方形形状(即，宽度<高度)，我们使用以下默认集合，其中模式以以下顺序：平面，DC，纯垂直(模式50)，纯水平(模式18)，右对角线向下(模式66)和对角线向下(模式
34)。清楚地，如果我们在构造MPM集合时不需要默认MPM集合，也就是，如果我们能够使用左侧和上侧邻近块的模式，平面和DC模式，右上侧，左下侧和左上侧块的模式以及推导的模式构造六个不同预测模式的MPM集合，那么本实施例将不产生与前面实施例的那些不同的MPM集合。编码器和解码器二者遵循该例程以具有完全相同的MPM集合。
34)。清楚地，如果我们在构造MPM集合时不需要默认MPM集合，也就是，如果我们能够使用左侧和上侧邻近块的模式，平面和DC模式，右上侧，左下侧和左上侧块的模式以及推导的模式构造六个不同预测模式的MPM集合，那么本实施例将不产生与前面实施例的那些不同的MPM集合。编码器和解码器二者遵循该例程以具有完全相同的MPM集合。
[0110] 在上面，我们使用基于HEVC编解码器的JEM 3.0编解码器作为基础来例示不同的实施例。除了帧内预测的MPM集合构建之外，其他工具可能保持不变。提出的帧内预测工具，诸如PDPC，RSAF和NSST(不可分二次变换)也可能保持不变。应该注意，根据本实施例，不需要额外的语法来发信号通知搜索顺序的修改或邻近块的选取的修改；编码器和解码器两者基于当前CU的上下文，特别是当前CU的形状来推导提出的MPM顺序或邻近块。
[0111] 如上面描述，本实施例目的在于改进具有QTBT结构的亮度分量的帧内预测模式编码。提出根据BT块的块大小配置(即，块高度和块宽度)重新排序MPM模式。这样做增加了找到具有较低索引的最佳候选模式的可能性，这导致较短长度的代码和由此的更好的编码性能。而且，因为更多可能的模式具有较低的索引，并且由于搜索以第一索引开始执行，在MPM集合中搜索候选预测模式将花费较少的时间。因此，这将导致编码器和解码器处的较低复杂性。
[0112] 另外，还提出选取角之间而不是角周围的邻近块。因为如果存在当前CU的上侧或左侧的多个CU，则中间的块的预测模式可能与当前块的预测模式更相关，所以选取中间的邻近块用于MPM集合构造可能是有利的。例如，如果当上侧CU的宽度至少是当前CU的宽度时在顶部仅有一个CU，如图7(a)，7(b)，7(d)，7(e)，7(k)和7(1)所示，实际上选择同一邻近块，尽管可能意图选择中间或角处的邻域。
[0113] 在上面，我们使用JVET 3.0作为改进的基础描述帧内预测模式的编码和解码。当MPM以不同方式编码时，可以应用本原理。例如，假设MPM以可能性严格降低的顺序布置，设计表3中的MPM的编码。可以基于类似的直觉来设计其他编码表，并且仍然可以具有MPM的可变长度代码。而且，表3中的二进制代码经历CABAC编码。在JEM 3.0中，代码的前三个比特被上下文编码，其中上下文基于前三个MPM模式以各自的顺序决定。如果候选MPM具有大于3的索引，则旁路编码前三个比特之后的比特，也就是，在不需要任何上下文信息但是具有0和1相等可能性的情况下，它们被编码。可以通过其他方法代替该特定CABAC编码方法，例如，通过不需要改变MPM的顺序(如这里提出的)的更复杂的上下文编码方法。邻近块的选取也可以在其他版本的JVET或其他标准中工作。例如，可以如所述的在中间选取当前CU的上侧或左侧的邻近块，而与上面描述的不同地选取其他邻近块。
[0114] 上面描述各种方法，并且每个方法包括实现描述的方法的一个或多个步骤或动作。除非步骤或动作的特定顺序要求用于方法的适当操作，否则可以修改或组合特定步骤和/或动作的顺序和/或使用。
[0115] 在本申请中使用各种数值，例如，MPM集合中的MPM的数量，六个，沿着选取的邻近块的水平或垂直维度的距离。应该注意，特定值用于示例性目的，并且本原理不限于这些特定值。
[0116] 在上面，基于HEVC标准关于JVET描述各种实施例。例如，当如上面描述构造MPM集合时选取邻近块的各种方法可以用于修改图1和图3中示出的JVET或HEVC编码器和解码器的帧内预测模块(160、360)。然而，本原理不限于JVET或HEVC，并且可以应用于其他标准，推荐及其扩展。
[0117] 图14例示其中可以实现本原理的示例性实施例的各种方面的示例性系统的框图。系统1400可以体现为包括以下描述的各种组件的设备，并被配置为执行上面描述的处理。
这样的设备的示例包括但不限于个人计算机，膝上型计算机，智能电话，平板计算机，数字多媒体机顶盒，数字电视接收器，个人视频记录系统，连接的家用电器和服务器。系统1400可以可通信地耦合到其他类似的系统，并且经由通信信道耦合到显示器，如图14所示并且由本领域技术人员已知，以实现上面描述的示例性视频系统。
这样的设备的示例包括但不限于个人计算机，膝上型计算机，智能电话，平板计算机，数字多媒体机顶盒，数字电视接收器，个人视频记录系统，连接的家用电器和服务器。系统1400可以可通信地耦合到其他类似的系统，并且经由通信信道耦合到显示器，如图14所示并且由本领域技术人员已知，以实现上面描述的示例性视频系统。
[0118] 系统1400可以包括至少一个处理器1410，配置为执行其中加载的指令用于实现上面描述的各种处理。处理器1410可以包括嵌入式存储器，输入输出接口和本领域已知的各种其他电路。系统1400也可以包括至少一个存储器1420(例如，易失性存储设备，非易失性存储设备)。系统1400可以另外包括贮存设备1420，其可以包括非易失性存储器，包括但不限于EEPROM，ROM，PROM，RAM，DRAM，SRAM，闪存，磁盘驱动器和/或光盘驱动器。作为非限制性示例，贮存设备1440可以包括内部贮存设备，附接的贮存设备和/或网络可访问贮存设备。系统1400还可以包括编码器/解码器模块1430，配置为处理数据以提供编码的视频或解码的视频。
[0119] 编码器/解码器模块1430表示可以被包括在设备中以执行编码和/或解码功能的模块。众所周知，设备可以包括编码和解码模块之一或两者。另外，编码器/解码器模块1430可以被实现为系统1400的单独元件，或者可以作为硬件和软件的组合并入处理器1410内，如本领域技术人员已知的。
[0120] 要被加载到处理器1410上以执行本文上面描述的各种处理的程序代码可以被存储在贮存设备1440中，并且随后被加载到存储器1420上用于由处理器1410执行。根据本原理的示例性实施例，一个或多个处理器1410，存储器1420，贮存设备1440和编码器/解码器模块1430可以在执行本文上面描述的处理期间存储各种项中的一项或多项，包括：但不限于输入视频，解码视频，比特流，方程式，公式，矩阵，变量，运算和运算逻辑。
[0121] 系统1400还可以包括使得能够经由通信信道1460与其他设备通信的通信接口1450。通信接口1450可以包括但不限于被配置为从通信信道1460发送和接收数据的收发器。通信接口可以包括但不限于调制解调器或网卡，并且通信信道可以在有线和/或无线介质内实现。系统1400的各种组件可以使用各种合适的连接来连接或通信耦合在一起，包括但不限于内部总线，电线和印刷电路板。
[0122] 根据本原理的示例性实施例可以通过由处理器1410实现的计算机软件或通过硬件，或者通过硬件和软件的组合来实施。作为非限制性示例，根据本原理的示例性实施例可以由一个或多个集成电路来实现。存储器1420可以是适合于技术环境的任何类型，并且可以使用任何适当的数据贮存技术(诸如，作为非限制性示例，光学存储器设备，磁存储器设备，基于半导体的存储器设备，固定存储器和可移动存储器)来实现。处理器1410可以是适合技术环境的任何类型，并且可以包括作为非限制示例的微处理器，通用计算机，专用计算机和基于多核架构的处理器中的一个或多个。
[0123] 本文描述的实现方式可以例如以方法或处理，装置，软件程序，数据流或信号来实现。即使仅在单一形式的实现方式中讨论(例如，仅作为方法讨论)，讨论的特征的实现方式也可以以其他形式(例如，装置或程序)来实现。装置可以例如以适当的硬件，软件和固件来实现。该方法可以在例如诸如处理器(一般指代处理设备，包括例如计算机，微处理器，集成电路或可编程逻辑器件)之类的装置中实现。处理器还包括通信设备，诸如例如，计算机，蜂窝电话，便携式/个人数字助理(“PDA”)和其他有助于最终用户之间信息通信的设备。
[0124] 指代本原理的“一个实施例”或“实施例”或“一个实现方式”或“实现方式”，以及其其他变型，意味着结合实施例描述的特定特征，结构，特性等包括在本原理的至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”或“在实施例中”或“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定全部指代相同的实施例。
[0126] 此外，本申请或其权利要求可以指代“访问”各种信息。访问信息可以包括以下一个或多个：例如，接收信息，取回信息(例如从存储器中)，存储信息，处理信息，传输信息，移动信息，复制信息，擦除信息，计算信息，确定信息，预测信息或估计信息。
[0127] 此外，本申请或其权利要求可以指代“接收”各种信息。接收与“访问”一样，意图是广义的术语。接收信息可以包括例如访问信息或取回信息(例如，从存储器)中的一个或多个。此外，在诸如例如存储信息，处理信息，传输信息，移动信息，复制信息，擦除信息，计算信息，确定信息，预测信息或估算信息之类的操作期间，典型以一个或另一方式涉及“接收”。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 使用基于图案的块滤波进行视频编码和解码的方法和装置 | 2020-05-08 | 442 |
| 视频处理方法、装置、终端设备及存储介质 | 2020-05-08 | 67 |
| 在基于网络功能虚拟化(NFV)的通信网络和软件定义的网络(SDNS)中提供安全性的系统、方法和计算机程序 | 2020-05-08 | 486 |
| 内容推荐方法、装置、电子设备及存储介质 | 2020-05-08 | 438 |
| 在可逆键盘组件上显示可改变的图标 | 2020-05-08 | 370 |
| 管理冗余磁盘阵列的方法、设备和计算机可读存储介质 | 2020-05-11 | 876 |
| 用于DC偏移降级的方法和装置 | 2020-05-08 | 839 |
| 基于区块链的传票送达 | 2020-05-08 | 697 |
| 用于管理存储系统的方法、设备和计算机程序产品 | 2020-05-11 | 728 |
| 管理输入/输出操作的方法、装置和计算机程序产品 | 2020-05-11 | 30 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈