技术领域
[0001] 本
申请总体涉及用于对与视频编码有关的信息进行编码和解码的方法和设备。
背景技术
[0002] 视频编码可以以
帧内模式和/或帧间模式执行。帧内模式利用
视频帧内的冗余，帧间模式利用视频帧之间的冗余。在帧间模式下，根据被称为参考图像的已编码/解码图像来获得
像素亮度/
色度预测。根据用于预测的参考图像的数目，将帧间模式分类为单向预测模式(或单向模式)、双向预测模式(B模式)、以及可能的三向预测模式等等，其中分别使用1个、2个和3个参考图像。在本文中，将这些不同模式(即，单向预测、双向预测等等)称为“参考模式”。
[0003] 高级视频编码(AVC)(也称为H.264和MPEG-4第10部分)是来自ITU-T(国际电信联盟-电信标准组织)和MPEG(运动图像专家组)的用于2D视频编码的现有标准。AVC编
解码器是一种混合编解码器，利用了消除帧之间以及帧内的冗余。
[0004] 在AVC中，定义了两个参考列表，其中相关参考图像的标识符按照特定顺序排列。在AVC中，这些指示符用参考索引表示，并且从0到N编号，例如(0，1，…，N)。第一列表(List 0(L0))主要管理过去参考图像(即，在时间上处于当前图像之前的参考图像)，第二列表(List 1(L1))通常管理未来参考图像(即，在时间上处于当前图像之后的参考图像)。
对于低延迟视频编码，L1也可以管理过去参考图像。每一个列表可以保持多达15个参考图像的指示符，即，索引的数目N为N＝14。
[0005] 此外，在AVC中，在宏
块(MB)模式/子-MB模式中，利用分区结构将
指定对参考图像列表之一的选择(例如，用于单向预测)或对两个参考图像列表的选择(例如，用于双向预测)的指示符或参考模式索引编码在一起，而将指定各个列表中的所选参考图像的指示符或参考图像索引编码为分离的语法元素。“分区结构”指的是诸如16×16MB的16×16、16×8或8×16之类的分区。诸如16×16的分区在使用单向预测时通常与一个运动向量(MV)和一个参考索引相关联，而在使用双向预测时通常与两个MV和两个参考索引相关联。
MV具有
水平分量MVx和垂直分量MVy，描述如何从相应的参考图像中产生当前分区的像素。
[0006] 与图像或分区相关联的参考图像的数目取决于与同一个分区相关联的参考模式，即，参考模式是单向预测或双向预测等等。当在解码器中解码参考信息时，为了解码器能够正确地解码出图像或分区，必须正确地解码与图像或分区相关联的参考模式索引和一个或多个参考图像索引。参考模式索引和一个或多个参考图像索引之中任何一个的不正确解码可能导致参考信息的错误解译。
[0007] 当前的参考信息编码方法(例如以上所描述的AVC方法)需要相对大量的比特，用以表达与每一个块相关联的参考信息。在编码效率方面，这被认为是低效率的。
发明内容
[0008] 希望针对参考信息(即，识别用于预测当前帧的一个或多个参考图像的信息)实现改进的编码效率。本发明的目的是实现针对参考信息的改进的编码效率。此外，本发明的目的是提供一种用于实现针对参考信息的改进预测的方法和设备。这些目的可以通过根据所附独立
权利要求所述的方法和设备来实现。
从属权利要求限定了可选
实施例。以下描述的预测、编码和解码可以在相同的实体或
节点内执行，或者可以在不同的实体或节点内执行。
[0009] 根据第一方面，提供了一种视频解码实体中的方法。该方法包括：获得编码块Be和编码块Be的相邻块的集合，每一个相邻块与一个或多个参考图像相关联。该方法还包括确定与相邻块的集合相关联的参考图像之中的多个参考图像或参考图像组合的出现
频率。该方法还包括选择与相邻块相关联的参考图像之中所确定的出现频率最高的参考图像或参考图像组合，作为要在对编码块Be进行解码时使用的参考图像或参考图像组合C的预测Cpred。该方法还包括获得指定所述预测Cpred是否对应于C的指示。当指示所述预测Cpred对应于C时，基于所述预测Cpred对编码块Be进行解码。由此，获得解码的像素块B。
[0010] 根据第二方面，提供了一种视频解码实体中的设备。该设备包括一功能单元，适配为获得编码块Be和编码块Be的相邻块的集合，每一个相邻块与一个或多个参考图像相关联。该设备还包括一功能单元，适配为确定与相邻块的集合相关联的参考图像之中的多个参考图像或参考图像组合的出现频率。该设备还包括一功能单元，适配为选择与相邻块相关联的参考图像之中所确定的出现频率最高的参考图像或参考图像的组合，作为要在对编码块Be进行解码时使用的参考图像或参考图像组合C的预测Cpred。该设备还包括一功能单元，适配为获得指定所述预测Cpred是否对应于C的指示。该设备还包括一功能单元，适配为：当指示所述预测Cpred对应于C时，基于所述预测Cpred对编码块Be进行解码，由此提供解码的像素块B。
[0011] 根据第三方面，提供了一种视频编码实体中的方法。该方法包括：确定与像素块B的相邻块的集合相关联的参考图像之中的多个参考图像或参考图像组合的出现频率。该方法还包括：选择与相邻块相关联的参考图像之中所确定的出现频率最高的参考图像或参考图像组合，作为在对块B进行编码时使用的参考图像或参考图像组合C的预测Cpred。该方法还包括：确定所述预测Cpred是否对应于C，以及向该块的解码器提供指定所述确定的结果的指示。
[0012] 根据第四方面，提供了一种视频编码实体中的设备。该设备包括一功能单元，适配为：对于块B，确定与相邻块的集合相关联的参考图像之中的多个参考图像或参考图像组合的出现频率，其中所述块B具有编码相邻块的集合，每一个相邻块与在对所述相邻块进行编码时使用的一个或多个参考图像相关联。该设备还包括一功能单元，适配为选择与相邻块相关联的参考图像之中所确定的出现频率最高的参考图像或参考图像组合，作为在对块B进行编码时所使用的参考图像或参考图像组合C的预测Cpred。该设备还包括一功能单元，适配为确定所述预测Cpred是否对应于C。该设备还包括一功能单元，适配为向该块的解码器提供指定所述确定的结果的指示。
[0013] 上述方法和设备可以用于改进编码效率。由于能够使用较少的比特来识别用于预测当前帧的一个或多个参考图像，因而可以改进编码效率。上述方法和设备还可以实现改进的容错性能。此外，上述方法和设备允许以简单的方式来执行参考图像索引预测。
[0014] 上述方法和设备可以在不同实施例中实现。在一些实施例中，与相邻块相关联的参考图像由参考模式参数和一个或多个参考图像参数的组合来识别。在其他实施例中，与相邻块相关联的参考图像由单个语法元素来识别。通过将参考模式与索引
捆绑在一起以形成单个语法元素，可以简单地处理参考索引编号。
[0015] 在一些实施例中，参考图像和/或参考图像组合的出现频率包括：与相邻块相关联的参考图像和/或参考图像组合的计数。可以基于不同准则(例如，与相邻块相关联的变换系数的数目，该相邻块与所考虑的出现相关联)，给参考图像或参考图像组合的不同出现分配不同的权重。
[0016] 可以将关于Cpred是否对应于C的指示作为比特流中的语法元素发
信号通知或者隐式地发信号通知。在指示所述预测Cpred不对应于C时，可以传送进一步信息，以能够确定要在对编码块Be进行解码时使用哪个或哪些参考图像。
[0017] 所确定的参考图像和/或参考图像组合的出现频率可以用于将参考图像或参考图像组合的指示符映射到变长码字。关于Cpred是否对应于C的指示可以是这种码字。也可以使用这种码字来发信号通知在指示Cpred不对应于C时所需要的进一步信息。因此，可以确保将最短的码字用于最可能的备选。
[0018] 此外，在一些实施例中，可以基于隐式信息来识别与多向预测相关联的某一块的一个或多个子区域，对于所述一个或多个子区域，多向预测参考块中的各个相应区域之间具有较对低的相关。针对所识别的子区域，可以使用备选预测代替该多向预测。该备选预测可以是单向预测或加权的多向预测。该备选预测可以是仅利用与所述多向预测相关联的参考块之一的预测。
[0019] 以上实施例主要是就方法进行描述的。然而，以上描述也旨在包括设备的实施例，该设备适于执行以上描述的特征。上述示例实施例的不同特征可以根据需要、需求或偏好以不同方式合并。
[0020] 根据另一方面，提供了一种
计算机程序，包括计算机可读代码装置，所述计算机可读代码装置在一个或多个处理单元上执行时，使得以上描述的任意设备执行根据以上描述的任意方法所述的相应过程。
[0021] 根据另一方面，提供了一种计算机程序产品，包括上述计算机程序。
附图说明
[0022] 现在将借助于示例实施例并参照附图来更加详细地描述本发明，在附图中：
[0023] 图1和2是示意了根据示例实施例的确定与当前块的相邻块相关联的参考模式和一个或多个参考图像的不同组合的出现频率的示意图。
[0024] 图3是示意了根据
现有技术将指示符(码字)分配给不同索引符号的示意图。
[0025] 图4是示意了根据示例实施例的对指示符(码字)的分配的示意图。
[0026] 图5是根据示例实施例将码字分配给参考信息的示意。
[0027] 图6是示意了根据示例实施例的用于对与参考模式和一个或多个参考图像相关的信息进行编码的过程的
流程图。
[0028] 图7是示意了根据示例实施例的视频编码实体中的适配为对与参考模式和一个或多个参考图像相关的信息进行编码的设备的
框图。
[0029] 图8是示意了根据示例实施例的用于对与参考模式和一个或多个参考图像相关的信息进行解码的过程的流程图。
[0030] 图9是示意了根据示例实施例的视频解码实体中的适配为对与参考模式和一个或多个参考图像进行解码的设备的框图。
[0031] 图10是示意了根据示例实施例的视频编码/解码实体中的设备的示意图。
[0032] 图11是示意了从根据现有技术的参考信息表示到根据示例实施例的参考信息表示的转换的示意图。
[0033] 图12是示出了AVC参考索引表示与根据示例实施例的参考索引表示之间的区别的表。
[0034] 图13是示意了根据示例实施例的对参考信息指示符的分配的示意图。
[0035] 图14是示意了根据示例实施例的基于隐式信息的分区的示意图。
具体实施方式
[0036] 已经认识到，现有视频编码技术的一个问题在于没有定义或应用令人满意的参考模式和/或参考图像预测方案。已经认识到，在例如镜头切换/淡入/闪光场景中，使用相同的例如参考模式和参考图像的组合来预测相邻或邻近的MB是极其常见的。此外，认识到，当前的编码方法没有利用用于相邻MB的参考模式/参考图像之间的相关。在先前方案中，独立地对识别MB参考信息的单独分量进行编码，并将其传送至视频解码器。
[0037] 在本文中，假设将对在编码像素块时所使用的参考模式和一个或多个参考图像的指示符进行
联合编码，并且因此将由单个语法元素来表示对编码块进行解码所必需的所有参考信息，例如表示为“参考指示符”、“参考索引”、“参考索引符号”或“RIS索引”，其中“RIS”代表“参考索引信令”或“参考信息指示符信令”，下面将对其进行详细描述。这种联合编码提供了针对使用单个参考图像的单向预测和使用多个参考图像的预测(例如，双向预测、三向预测等等)均执行参考信息预测的有用可能性。然而，应当注意，以下描述的参考信息预测过程也可以用于现有的参考信息表示，例如在AVC中使用的参考模式索引和参考图像列表索引。
[0038] 在本文中，使用术语“块X的相邻块”来指代块X的相邻块(即，位于与块X相邻的
位置或邻近块X的位置的块)。此外，在本文中，使用术语“块”来指代像素单元。使用术语“参考图像”或“参考块”来指代先前编码/解码的图像、块、图像中的区域(region)或区块(area)，其中该图像、块、区域等用作预测的参考。
[0039] 下面可以描述对于MB级的示例预测方案。该示例预测方案应用于
编码器和解码器二者，并且可以应用于任何块大小。
[0040] 与对当前MB的编码/解码相关联地，编码器/解码器被布置用于对周围的编码MB(也称为MB的“上下文”)的参考指示符进行分析。这些周围块也可以称为当前块的“相邻块”。编码器/解码器对候选指示符或索引的集合中的每一个在相邻块之中出现的次数进行计数，并例如根据预定方案选择具有最高计数的那一个作为预测或估计。所选参考指示符应当与帧间预测相关。将所选参考指示符设置为对适于在对当前MB进行编码/解码时使用的参考图像(以及参考模式)的预测或估计。该预测是通过对与MB的编码/解码相邻块相关的信息进行分析(而不是对当前MB自身进行分析)而导出的。在编码器中，由于在本示例中，预测不是要用于选择在对当前MB进行编码时使用的参考图像(以及参考模式)，因此在预测的选择期间，MB可以是编码的，也可以是未编码的。在解码器中，当前MB在预测期间处于编码状态。
[0041] 图1示意了示例相邻块参考指示符分析和对估计的选择。在图1所示意的示例中，考虑了当前块的4个相邻块。然而，该方法也可以应用于所考虑的相邻块的其他集合或子集。相邻块的示例集合可以由关于当前块的左块、左上方块和正上方块构成。另一示例集合可以只包括左块和正上方块。在图1中，当前块的相邻块与各个参考指示符或索引(1、1、2以及0)相关联。因此，参考指示符“1”由于在相邻块之中出现两次而具有最高计数，即最高出现频率。因此，选择参考指示符“1”来表示在编码当前块时所使用(或要使用)的参考图像(以及模式)的预测或估计，或者在该预测发生在解码器中时，表示要在解码当前块时使用的参考图像(以及模式)的预测。
[0042] 图2示意了通过对与当前块的相邻块相关联的参考指示符进行计数来确定当前块的特定参考指示符的出现频率的另一示例实施例。这里，当前块是较大的MB，以及相邻块在大小上比当前块要小。在一些情况下，可能对在上下文中具有相同数目的相邻块而无论所考虑的块的块大小的情况感兴趣。
[0043] 当对特定参考指示符在相邻块之中的出现次数进行计数时，不止一个候选可能具有相同的最高计数数目。这在图2中示出，其中参考指示符“1”和“2”均出现4次。这可以例如通过根据预定排序方案选择参考指示符来解决。例如，当参考指示符由编号0～2来表示时，如图1和2所示，可以选择由最高或最低编号所表示的参考指示符作为预测。
[0044] 通过变换编码(例如，DCT(离散余弦变换))来对预测像素值的块与原始像素值(即，被编码之前的源)的块之间的差值进行编码。变换的输出包括变换系数，然后变换系数被量化。针对给定量化，与某一个块相关联的变换系数的数目反映预测块和原始块之间的匹配程度。相对少的变换系数指示匹配良好。因此，可以认为与具有较少变换系数的相邻块相关联的参考指示符更加可靠。
[0045] 因此，也可以根据例如与参考块相关联的编码变换系数来对出现计数进行加权。如以上所述，与具有较少编码变换系数的相邻块相关联的参考索引可以被认为比与具有很多变换系数的相邻块相关联的参考索引更加可靠，并且因而可以被分配有较大权重以用于参考索引预测。在另一示例中，具有编码系数的块的权重可以比不具有编码系数的块(即被跳过的块)的权重更大。在另一示例中，与具有较大MV分区的相邻块(例如较大的MB)相关联的参考索引可以被认为比具有较小MV分区的相邻块更加可靠，并且因此可以被分配有较大权重以用于参考索引预测。使用2的倍数的权重在复杂度方面是有益的。加权的计数也可以通过使用查找表来实现。
[0046] 与其他参考标识符相比，一些参考标识符可以更好地彼此相关。例如，当使用联合编码的参考信息时，与例如表示使用参考帧ref2的单向预测的参考指示符相比，表示使用参考帧ref0和ref1的双向预测的参考指示符将与表示使用ref0和ref1之一的单向预测的参考指示符更为相关。因此，在对双向预测指示符进行计数时，可以利用一些较小计数值(即，小于针对“完全匹配”的计数值)来对表示使用相同参考帧的单向预测的相应指示符进行更新。类似地，与其他双向预测参考指示符相比，表示使
用例如ref0和ref1的单向预测的参考指示符与表示使用ref0和ref1的双向预测的相应参考指示符更加相关。因此，在对单向参考指示符进行计数时，也可以使用某个较小的值来对与使用所考虑的参考帧的多向预测相对应的参考指示符的计数进行更新。
[0047] 引入参考指示符预测或参考索引预测的一个好处是允许VLC(变长编码)表的更有效的映射。通过将预测和VIC表一起考虑，可以获得更大程度的压缩。例如，当假设在不使用预测的情况下对3个索引(例如0、1、2)进行编码时，可以如图3所示意的来分配固定的VLC表。假设索引符号“2”出现得最为频繁，则图3所示的表具有次优的设计，这是因为“2”是使用具有2个比特(即，“11”)的码字来编码的，而较不频繁的“0”是使用1个比特(即，“0”)来编码的。
[0048] 在添加了预测的情况下，能够实现更好的VLC表设计。图4示意了这种改进的VLC表设计的示例。在这种改进的VLC设计中，用于对参考指示符或索引符号进行编码所花费的比特可以基于该预测(并因此基于当前块的上下文)来适配。在图4所示的表中，当前块的上下文中的最频繁出现的参考指示符使用单个比特的码字(在本示例中为“0”)来编码。可以将包括2个比特的码字“10”和“11”定义为分别识别例如具有次高出现频率的参考指示符和具有第三高出现频率的参考指示符。参考指示符的编码器和解码器都应当知道并且同意如何执行预测以及如何解译码字。
[0049] 以上所述的示例仅仅是一个简单的示例，并且应当注意，可能的设计不局限于此。存在各种方式来给参考指示符或索引符号分配不同的VLC表，例如当包括更多参考指示符或索引符号时。一个示例方法可以是随索引的出现概率而改变索引编制，以便给频繁出现的参考指示符分配较低的索引编号，反之亦然，以及使得较低的索引编号比较高索引编号花费更少的比特来进行编码。基于上下文的自适应二进制算术编码(CABAC)可以用于实现改变的比特代价，以用于根据参考指示符或索引的概率来表示参考指示符或索引。例如，不同上下文的一些示例是如上所述的与相邻块相关联的参考指示符、参考指示符的计数数目、或参考指示符的加权的计数数目。
[0050] 另一方法是在表示参考指示符的索引或编号出现时对该索引或编号采用所谓的“冒泡排序法”。在本示例中，VLC冒泡表是固定的VLC表，其中码字的长度随着VLC表索引(例如，在ALV UVLC(通用变长编码)表中)的增大而增大，但是表示参考指示符的索引符号或编号与VLC表索引之间的映射是自适应的。该自适应是通过交换相邻“映射位置”(很像冒泡排序中的机制)来完成。图5示意了这种交换的一个示例，其中符号“A”映射到VLC表504a中的索引4，以及符号“B”映射到VLC表中的索引5。现在假设对VLC索引5(符号B)进行解码。在对符号B进行解码之后，符号A的索引映射(在表502中映射到VLC索引4)与符号B交换位置，以使得如表506所示的，符号A映射到VLC索引5，以及符号B映射到VLC索引4。利用这种相邻索引交换策略，VLC表被适配，以使得最可能的符号最终映射到低VLC索引，并因此映射到短码字，从而提供了改进的压缩效率。
[0051] 现在将参照图6来描述参考指示符预测过程中的编码部分的实施例。该过程可以在视频编码实体中执行，该视频编码实体可以是视频编码器，或者可以是除了视频解码器之外还包括其他功能单元的实体(例如，计算机、移动终端或视频专用设备)。
[0052] 该过程将被描述为针对像素块B来执行，该块B具有编码的相邻块的集合，其中每一个相邻块与在对所述相邻块进行编码时使用的一个或多个参考图像相关联。在动作602中确定与相邻块的集合相关联的参考图像之中的多个参考图像或参考图像组合的出现频率。
[0053] 然后，在动作604中选择与相邻块相关联的参考图像之中所确定的出现频率最高的参考图像或参考图像组合，作为在对块B进行编码时使用的参考图像或参考图像组合C的预测Cpred。块B可以在这个阶段是已编码的，或者它仍然是待编码的。
[0054] 当块B已被编码时，例如在可以被当做或者不被当做上述过程的一部分的动作606中使用参考图像或参考图像组合C被编码时，在动作608中确定预测Cpred是否对应于在通过对块B进行编码而提供编码块Be时使用的C。在动作610或612中，向块Be的解码器提供该确定动作的结果。例如，当确定Cpred对应于C时，可以将比特流中的预定比特设置为“0”，以及当确定Cpred不对应于C时，可以将预定比特设置为“1”。此外，在确定Cpred不对应于C的情况下，可以在动作614中向Be的解码器提供识别C的进一步信息。
[0055] 下面，将参照图7来描述示例设备700，设备700适配为能够执行参考指示符预测的上述过程。该设备被示意为位于视频编码实体701中，视频编码实体701可以是视频编码器，或者可以是除了视频编码器之外还包括其他功能单元的实体(例如，计算机、移动终端或视频专用设备)。设备700还被示意为经由通信单元702与其他实体通信，通信单元702可以被认为包括用于任意类型的有线或无线通信的传统装置。假设由获得单元704从通信单元702或
存储器中获得待编码的未编码视频，并且假设在编码单元712中对视频块进行编码，其中功能单元712使用传统方法。
[0056] 设备700包括确定单元706，适配为：对于从获得单元704接收的块B(块B具有编码的相邻块的集合，每一个相邻块与在对所述相邻块进行编码时使用的一个或多个参考图像相关联)，确定与相邻块的集合相关联的参考图像之中的多个参考图像或参考图像组合的出现频率。设备700还包括选择单元708，适配为选择与相邻块相关联的参考图像之中所确定的出现频率最高的参考图像或参考图像组合，作为在通过对块B进行编码来提供编码块Be时使用的参考图像或参考图像组合C的预测Cpred。
[0057] 确定单元706还适配为确定预测Cpred是否对应于C。该设备700还包括提供单元710，适配为向块Be的解码器提供指定所述确定的结果的指示。
[0058] 现在将参照图8来描述参考指示符预测的过程中的解码部分的实施例。该过程可以在视频解码实体中执行，该视频解码实体可以是视频解码器，或者可以是除了视频解码器之外还包括其他功能单元的实体。在动作802中获得编码块Be和编码块Be的相邻块的集合。编码块Be已经由视频编码器例如采取上述方式在某一点编码，并且例如通过使用适当传输协议的有线和/或无线传输提供给解码实体。每一个相邻块与一个或多个参考图像或帧相关联，所述一个或多个参考图像或者帧在编码器中对块进行编码时使用过。
[0059] 在动作804中确定与相邻块的集合相关联的参考图像之中的多个参考图像的出现频率。也可以是确定参考图像组合(例如，用于双向预测或三向预测的特定参考图像的组合)的出现频率。参考图像可以由与相邻块相关联的参考模式参数(例如参考模式索引)和一个或多个参考图像参数(例如参考图像索引)的组合来表示或识别。此外，可以对参考模式参数和一个或多个参考图像参数的组合联合编码，例如联合编码为由单个语法元素表示或识别，例如如先前所描述的表示为“参考指示符”、“参考索引”或“参考索引符号”。
[0060] 在确定各个参考图像或参考图像组合(典型地由参考模式参数和一个或多个参考图像参数来表示，也可能由参考指示符来表示)的出现频率时，选择出现频率最高的参考图像或参考图像组合之一，作为或表示在编码器中对块Be进行编码时使用的一个或多个参考图像或帧C的预测Cpred，从而要在对块Be进行解码时使用。
[0061] 此外，在动作808中获得指定预测Cpred是否对应于要在对块Be进行解码时使用的一个或多个实际参考图像C的指示。动作808可以在动作802-806之前、期间或之后执行。该指示可以例如作为比特流中的一个比特的码字或标记来获得。当指定了所述预测Cpred对应于C时(这可以例如通过预
定位置的码字“0”的到达(参见图4)来表现)，则在动作812中基于预测Cpred对编码块Be进行解码。也就是说，Be是使用与相邻块相关联的参考图像之中出现频率最高的、并且被选择作为预测Cpred的一个或多个参考图像来进行解码的。通过对Be进行解码，获得或提供了解码的像素块B。
[0062] 指定Cpred是否对应于C的指示还可以是隐式的，例如通过省略执行某个动作(例如，向计数器添加1)或者通过抑制某个标记的转换来表现。
[0063] 当指示预测Cpred不对应于C时，可以在动作814中获得进一步信息，以确定要在对编码块Be进行解码时使用哪个或哪些参考图像。在已经获得了识别适当的一个或多个参考图像的进一步信息时，在动作816中利用所述信息来对块Be进行解码。
[0064] 下面将参照图9来描述适配为能够执行参考指示符预测的上述过程的示例设备900。该设备被示意为位于视频解码实体901中，视频编码实体901可以是视频解码器，或者可以是除了视频解码器之外还包括其他功能单元的实体(例如，计算机、移动终端或视频专用设备)。设备900还被示意为经由通信单元902与其他实体通信，通信单元902可以被认为包括用于任意类型的有线或无线通信的传统装置。
[0065] 设备900包括获得单元904，适配为获得待解码的编码块Be和编码块Be的相邻块的集合，其中每一个相邻块与一个或多个参考图像(即，在对该块进行编码时使用、也将在对该块进行解码时使用的图像)相关联。与相邻块相关联的参考图像可以基于与该块相关联的参考模式参数和一个或多个参考图像参数的组合，或者备选地例如基于与该块相关联的单个语法元素，来识别。获得单元904也可以被视为通信单元902的一部分。
[0066] 设备900还包括确定单元906，适配为确定与相邻块的集合相关联的参考图像之中的多个参考图像或参考图像组合的出现频率。例如，通过对与例如参考图像A和B二者相关联的、仅与D相关联的、仅与A相关联等等的相邻块的相应数目进行计数。这也可以描述为对与相邻块之中的特定参考图像或参考图像组合相关联的出现次数进行计数，或者描述为对相邻块的集合之中的例如某一参考图像的出现次数进行计数。
[0067] 可以给不同的关联的参考图像和组合分配不同的权重。例如，在对参考图像A和B的组合的出现次数(或与参考图像A和B的组合相关联的出现次数)进行计数时，仅与参考图像B相关联的出现可以被分配有低权重，并因此在较小程度上对“A+B”的出现总数作出贡献。此外，可以给与参考图像D相关联的一次出现分配比与参考图像D相关联的另一次出现要高的权重，例如当在前一次出现时，D与具有例如较少数目的变换系数的块相关联。
[0068] 设备900还包括选择单元908，适配为选择与相邻块相关联的参考图像或参考图像组合之中所确定的出现频率最高的参考图像或参考图像组合，作为要在对编码块Be进行解码时使用的参考图像或参考图像组合C的预测Cpred。可能有若干个参考图像或参考图像组合的出现频率相同。在这种情形下，应当基于定义如何选择参考图像的预定方案或规则来选择这些图像或组合之一。
[0069] 获得单元904还适配为获得指定预测Cpred是否对应于C的指示。例如，当Cpred对应于C时，从比特流中获得的预定比特可以是“0”，以及当Cpred不对应于C时，预定比特可以是“1”。设备900还包括解码单元910，适配为：当指示预测Cpred对应于C时，基于预测Cpred对编码块Be进行解码。解码单元910由此提供了解码的像素块B，解码块可以例如存储或显示。
[0070] 设备900还可以适配为：当指示预测Cpred不对应于C时(即，当需要进一步信息来识别真实C时)，获得进一步信息，以确定要在对编码块Be进行解码时使用哪个或哪些参考图像。这种信息可以例如采用VLC码字的形式。
[0071] 图10示意性地示出了视频解码实体中的设备1000的实施例，这也可以是公开图9所示意的视频解码实体中的用于参考指示符预测的设备的实施例的备选方式。这里，设备1000包括处理单元1006，例如具有DSP(
数字信号处理器)。处理单元1006可以是执行这里所描述的过程中的不同动作的单个单元或多个单元。设备1000还可以包括：输入单元
1002，用于接收来自其他实体的信号；以及输出单元1004，用于将信号提供给其他实体。输入单元1002和输出单元1004可以被布置为一个集成的实体。
[0072] 此外，设备1000包括至少一个计算机程序产品1008，采取
非易失性存储器的形式，例如EEPROM(电可擦除
只读存储器)、闪存以及
硬盘驱动器。计算机程序产品1008包括计算机程序1010，计算机程序1010包括代码装置，代码装置在设备1000的处理单元1006中执行时使得该设备和/或视频解码实体执行早先结合图8所描述的过程中的动作。
[0073] 计算机程序1010可以被配置为以计算机程序模块构造的计算机程序代码。因此，在所描述的示例实施例中，设备1000的计算机程序1010中的代码装置包括获得模块1010a，用于例如从源自数据发送实体或存储设备(例如存储器)的比特流中获得编码块Be和编码块Be的相邻块的集合。获得模块1010a还用于获得对比较结果的指示。计算机程序还包括确定模块1010b，用于确定与相邻块的集合相关联的参考图像之中的多个参考图像或参考图像的组合的出现频率。
[0074] 计算机程序1010还包括选择模块1010c，用于选择与相邻块相关联的参考图像之中所确定的出现频率最高的参考图像或参考图像组合，作为要在对编码块Be进行解码时使用的参考图像或参考图像组合C的预测Cpred。计算机程序1010还包括解码模块1010d，用于在预测Cpred被指示为与C相对应时，基于预测Cpred对编码块Be进行解码。
[0075] 模块1010a-d本质上可以执行图8所示意的流程中的动作，以模拟图9所示意的视频解码实体中的设备。换言之，当不同的模块1010a-d在处理单元1006中执行时，它们对应于图9中的单元904-910。
[0076] 类似地，对于图7所示意的设备的相应备选也是可能的。
[0077] 尽管以上结合图10所描述的实施例中的代码装置被实现为计算机程序模块，该计算机程序模块在处理单元中执行时使得该设备和/或视频解码实体执行结合上述附图所描述的动作，然而在备选实施例中，代码装置中的至少一个可以至少部分地实现为
硬件电路。
[0078] 处理器可以是单个CPU(中央处理单元)，但也可以包括两个或多个处理单元。例如，处理器可以包括通用
微处理器、指令集处理器和/或相关芯片集和/或专用微处理器(例如，ASIC(
专用集成电路))。处理器还可以包括在板存储器，例如用于高速缓存目的。计算机程序可以由与处理器相连的计算机程序产品来承载。计算机程序产品包括其上存储有计算机程序的计算机可读介质。例如，计算机程序产品可以是闪存、RAM(
随机存取存储器)、ROM(只读存储器)或EEPROM，以及在备选实施例中，可以将以上所描述的计算机程序模块分布在解码实体内的采取存储器形式的不同的计算机程序产品上。
[0079] 如先前所描述的，在本公开中假设对在编码像素块时所使用的参考模式的指示符和一个或多个参考图像进行联合编码，并且因此将由单个语法元素表示对编码块进行解码所必需的所有参考信息，例如可以表示为“参考指示符”、“参考索引”、“参考索引符号”、或“RIS索引”。现在将对联合编码进行进一步的描述。联合编码是用于表示和传达要用于帧间预测编码和解码的参考信息(即，参考模式和参考图像)的过程。该过程可以称为参考索引信令或参考信息指示符信令(RIS)。
[0080] 当使用RIS时，将参考模式的指示符以及与编码块相关联的参考图像的指示符“一起捆绑在一个位置”(即，联合编码)，而不是例如象在AVC中那样地，独立地例如对与分区结构的指示符密切关联的参考模式(即，MB/子MB模式)的指示符进行编码以及对参考图像的指示符进行编码。对参考模式和参考图像的指示符(即，参考信息)的联合编码导致单个语法元素或指示符表示关于所需的参考模式和参考图像的所有信息，以便以符合要求的方式对编码块进行解码。也就是说，一旦针对编码块给出了单个语法元素，则解码器应当能够识别解码块所需要的参考图像。“语法元素”也可以表示为例如“语法单元”、“联合指示单元”或“联合识别单元”。
[0081] 对这种语法元素的使用可以为语法元素所识别的参考信息提供增强的容错性。进一步地，对这种语法元素的使用将使得参考索引和参考模式的一些组合能够比其他组合更有可能被利用(通过使得能够更有效地对这些组合进行编码)。例如，可以给参考索引和参考模式的更有可能的组合分配较短的码字。
[0082] 描述RIS的一种方式是描述从传统表示(例如，使用两个分离列表的参考信息的AVC表示)到根据RIS的参考信息的示意表示的“转换”或映射。到RIS表示的这种转换基本上可以按照如图11所示意的3个步骤来进行。
[0083] 第一步骤1102可以是由多个索引列表构成单个参考索引列表。例如，代替如在AVC中那样地管理两个参考索引列表，可以按照特定顺序将所有参考图像索引
整理到单个联合列表中，作为对AVC的两个列表的备选或补充。这在图11中示意，在图11中，图像参考索引列表L0和L1以交叉的方式合并或复用到新的列表LRIS中。进一步地，在第二步骤1104中，可以相应地重新分配索引编号，以遵循连续顺序，即新列表LRIS中的0-5。
[0084] 步骤1104之后的列表LRIS中的索引编号或条目表示与参考模式(后向或前向的单向预测)和参考图像二者有关的信息。LRIS中的条目的索引可以表示为例如“RIS索引”或“RIS参数”。在本示例中的步骤1104之后，LRIS中的RIS索引编号0-5表示根据四个过去图像(最初在L0＝(0，1，2，3))和两个未来图像(最初在L1＝(0，1))的单向预测。
[0085] 进一步地，可以例如通过插入或附加来向LRIS添加表示双向预测的一个或多个列表条目。因此，指示表示双向预测的条目的RIS索引不是指向单个参考图像，而是指向两个参考图像。因此，RIS索引可以识别参考模式和一个或多个参考图像的组合。
[0086] 因此，在最后步骤1106中，可以将与双向预测模式(其中，使用两个参考图像进行预测)有关的条目连续地添加到LRIS，并且可以由RIS索引来指示或表示。例如，可以将RIS索引编号为7的条目设置用于发信号通知或暗示当前图像正在使用0号图像和1号图像作为双向预测参考。因此，该信息是RIS索引7中固有的。可以以类似的方式将8号索引设置用于暗示当前图像正在使用0号图像和2号图像作为双向预测参考。类似地，列表LRIS还可以利用表示三向预测、识别三个参考图像等的条目来扩展。
[0087] 备选地，步骤1104和1106可以按照反向顺序执行，以便首先添加(即，插入或附加)与双向预测模式有关的条目，然后相应地重新分配索引编号。如先前所描述的，作为步骤1104的补充或备选，还可以例如在与单向预测有关的条目之间插入与双向预测模式有关的条目，这可能需要在插入之后执行对索引编号的重新分配。在本示例中，映射由单个参考列表表示，在该参考列表中，不同条目的索引表示参考模式和一个或多个参考图像。应注意，这只是一个可选的示例，映射可以涉及若干个步骤，并且不需要示例类型的显式列表或记录来执行映射。
[0088] 在图12的表中示出了AVC参考索引表示与根据示例实施例的RIS索引表示之间的差别的示例。在本示例中，假设有4个参考图像可用于对当前图像进行编码，其中两个参考图像是过去参考图像，两个参考图像是未来的参考图像。在本示例的RIS表示中，索引0、1、3和4被设置为指示根据4个参考图像中的相应一个的单向预测。索引2和5被设置为指示根据4个参考图像中的相应两个参考图像的双向预测。应注意，参考索引的AVC信令还可以包括与分区相关的信息，这是因为该信息是与参考模式索引一同编码的，例如“INTER_16x16_L0”。然而，这没有在图12中示出。
[0089] 在图12的表中所示的示例中，指示或表示双向预测的一些RIS索引紧跟在“最近的”单向预测RIS索引之后，即，与表示单向预测的索引交叉。该RIS索引表示在图13中进一步示意，图13示出了所谓的7B分层的图像组(BGOP)。在该图中，所谓的“当前帧”(即，待编码的帧)是7B GOP中的帧3。图13中所示的RIS索引对应于图12的表中的RIS索引0-7。如图11所示意的示例中的那样，备选RIS表示可以是使得RIS索引0-3指示单向预测，并且接着的RIS索引指示双向预测。
[0090] 在例如使用H.264的现有技术中，使用两个MV/参考图像、块或区块产生双向预测块包括在两个参考区块上求平均。当MV指向参考区块中的子像素位置时，在求平均之前需要先产生子像素位置像素值。子像素位置像素值的产生称为“空间滤波”，即，该产生过程包括对各个参考区块进行空间滤波。因此，现有技术中使用两个参考区块来产生双向预测块的过程包括：对第一区块进行空间滤波；对第二区块进行空间滤波；以及最后在经滤波的区块上求平均。空间滤波在计算复杂度方面的要求相对较高。
[0091]
发明人认识到该计算复杂度可以降低，下面将对此进行描述。为了降低复杂度，可以首先基于整体化动作，例如通过将两个参考块(在不执行空间滤波的情况下)相加，来构建块。相加是在计算复杂度方面代价相对较低的操作。然后，可以对所产生的块进行滤波，例如内插，以便获得例如一半或四分之一的像素
分辨率。子像素调整可以根据MV之一或基于例如单独编码/解码的附加信息来执行。
[0092] 当某一个块与多于一个MV和参考索引相关联时(这里称为“多向预测”)，可以确定多向预测的各个单向预测分量。单向预测可以称为“单一预测”，也可以称为例如
帧内预测。认识到可以基于这些单向预测之间的绝对差值来导出分区信息。为了避免在传达细粒度的分区信息时的开销，在编码器和解码器中均可以导出分区信息。
[0093] 在单向预测之间的绝对差值相对较大的区域中，可以使用单个单向预测或特定双向预测。可以根据针对双向预测(或多向预测)的单向预测分量之一的比特流中所指示的参考索引和MV来进行单个单向预测。在块中的其他区域中(其中单向预测之间的绝对差值相对较小)，可以如针对该块的比特流中所指示地使用双向预测。关于针对某一区域使用单个双向预测/特定双向预测还是使用比特流中指示的双向预测的判定可以基于例如与该区域相关联的单向预测之间的绝对差值与预定
阈值的比较。
[0094] 假设与2个MV和2个参考区域相关联的双向预测块。在这一阶段，该块通常不会进一步划分，而是依现状加以编码。然而，应当认识到，在编码器和解码器中均可以使用根据分析绝对差值或“差值图”所获得的“隐式”信息来将该块划分为进一步的分区。
[0095] 在计算2个参考区块或预测的绝对差值时，在差值图中有一些区域的绝对值较高，而有一些的绝对值较低。区域中的绝对差值的较低值通常表示在两个参考区块中在该区域中描绘相同的对象。如果在各个参考区块中在该区域中描绘不同的对象，则绝对差值可能相对较大。如果在各个参考领域中的相应区域中描绘相同对象，则对该区域进行平均是适当的。如果相应的区域描绘不同的对象，则对其进行平均没有意义。
[0096] 例如，可以定义阈值，其中高于阈值的差值表示“不同的对象区域”，以及低于阈值的差值表示“相同的对象区域”。可以根据预定方案，依照这些区域来对块进行分区。如先前所阐述的，分区可以基于隐式信息(即，不具有描述分区的显式信令)来执行。这样做的另一个好处在于可以支持“非方形分区”。例如，当在一个块中描绘球的一半时，对该块的分区可以非常精确地在球的轮廓线或轮廓周围。
[0097] 编码器可以发信号通知解码器是否应当使用以上所描述的分区方案。在已经发信号通知了应当使用分区方案时，针对具有相对高的绝对差值的区域，编码器可以可选地发信号通知使用哪一种单向预测或使用哪一种特定的双向预测。例如，可以使用加权的双向预测(而不是平均的，且可能具有DC偏移)。在一些情况下，可能需要对某些附加信息进行编码/解码，以确定能够产生特定的双向预测的局部参数。所获得的分区信息还可以用于预测分区信息，以及编码器可以对与要由解码器解码并使用的经预测的分区相比的改变进行编码。基于参考区块之间的差异来导出分区信息可以提供对于应当如何进行分区的大致指示。还可以通过发送经预测的分区信息的细化来实现进一步的细化。
[0098] 如何获得分区信息的一个示例是将块划分为例如4个同样大小的子块。然后，如果子块的归一化SAD(绝对差值和(除以所计算的像素的数目))例如等于或大于“母”块4倍大的归一化SAD，则可以
迭代地将具有最大归一化SAD的子块划分为4个同样大小的区域。归一化SAD指代每一像素的SAD或者每一特
定子块大小的SAD。可以备选地使用像素差值的其他度量来代替SAD。一个示例是关于强局部图像结构(例如，边缘/线)具有更大权重的度量。然后，将没有进一步划分的剩余的子块设置为应当使用例如双向预测或多向预测的某一
修改的分区。
[0099] 图14示出了分区方案的示例实施例。左侧的块(1402：a)是双向预测的。执行SAD计算，并且识别、选出以及相应地处理高SAD区块。在本示例中，高SAD区块通过改变为仅具有后向MV的单向预测来处理。因此，原始块可以划分为两个分区，其中一个使用在比特流中指示的双向预测，而一个(示意为包括圆圈)使用单向预测(双向预测的一个分量)。可以使用速率失真最优化(RDO)来选择最佳单向预测(双向预测的分量)。
[0100] 如何获得分区信息的另一示例是将例如双向预测块划分为若干个例如相同大小的子块，确定所考虑的子块大小的最大SAD，并选择SAD接近该最大值(例如，与该最大值相距特定间隔内)的子块，作为要使用某一修改版本的双向预测或单向预测的区域中的部分。
[0101] 除了分区之外，在使用双向预测模式时，还可以使用该方案，例如以确定先前所描述的RIS索引或现有的参考索引。例如，某一区域的光滑的差值图可以说明并且可以被解译为该区域可能与“bi-RIS索引”相关联。该方案还可以进一步用作备选的预测，或者与先前所描述的参考指示符索引预测相结合。在编码器和解码器中均可以基于双向预测的可能候选之间的SAD来进行选择，以选择具有最小SAD的组合。
[0102] 应当注意，利用以上所描述的基于多向预测的分区方案，在编码器和解码器处均可以导出其他类型的分区，而不是导出基于块的分区。这包括例如根据非线性
图像处理方法(例如，
边缘检测和/或分割)将块线性地(例如，水平、垂直或对
角线)或非线性地划分为两个或多个分区。例如，可以根据
图像分割方法(例如，边缘检测和/或区域增长)来分割多向预测差值信号，然后基于分割的差值信号来导出块分区。
[0103] 子分区的数目可以通过图像处理方法(例如图像分割)来导出，或者可以从编码器发信号通知给解码器。作为线性或非线性分区的备选，也可以应用基于像素的分区。一个变型可以是从编码器向解码器发信号通知使用哪种分区方法，另一种变型可以是通过其他信令手段在编码器与解码器之间就分区方案达成一致。基于多向预测的方法的优点在于，可以基于已经在编码器和解码器处可用的信息来导出分区信息，即，不需要显式地发信号通知分区信息，从而减小了用于编码的比特数目。
[0104] 应当注意，根据基于多向预测的分区，而不是从双向预测切换到具有从用于双向预测的MV中导出的单向MV的单向预测，还可以发信号通知针对子分区的附加MV和/或预测模式(单向图像间预测、双向图像间预测、或图像内预测)。换言之，某一个块的分区的数目和形状可以显式地发信号通知，和/或可以基于例如分割方案而从隐式信息中导出。此外，针对所产生的子分区中的一些或全部，可以发信号通知MV和/或预测模式。
[0105] 尽管已经参照被提供作为示例的特定实施例对以上所提出的过程进行了描述，然而该描述大体上仅仅旨在示意发明思想，而不应被认为是限制了所提出的由所附权利要求所限定的方案和设备的范围。尽管利用一般术语进行描述，然而方法和设备可以应用于例如使用通常可用的通信技术(例如，GSM/EDGE、WCDMA、或LTE或基于卫星、陆地或
电缆的广播技术(例如DVB-S、DVB-T或DVB-C))的不同类型的通信系统，但是也可以应用于将视频存储到存储器中/将视频从存储器中取出。
[0106] 还应理解，对于交互单元或模块的选择以及对于单元的命名仅仅是为了示例的目的，并且适用于执行以上所描述的任意方案的视频处理实体可以利用多个备选方式来配置，以便能够执行所提出的过程动作。
[0107] 应当注意，本公开中所描述的单元或模块应被视为逻辑实体，并且不必是单独的物理实体。
[0108] 缩略语
[0109] AVC 高级视频编码
[0110] CABAC 上下文自适应二进制算术编码
[0111] GOP 图像组
[0112] MB 宏块
[0113] MV 运动向量
[0114] RIS 参考索引信令/参考信息指示符信令
[0115] SAD 绝对差值和
[0116] VLC 变长编码
