解码器、解码方法、编码器以及编码方法专利检索-视频编码层视听技术与设备专利检索查询-专利查询网

解码器、解码方法、编码器以及编码方法

阅读：978发布：2020-05-11

专利汇可以提供解码器、解码方法、编码器以及编码方法专利检索，专利查询，专利分析的服务。并且本申请公开了解码器、解码方法、编码器以及编码方法。该解码器包括：一提取器，其被配置为自一数据流提取一最大区域尺寸以及多树型次分割信息；一次分割器，其被配置为空间地分割表示一空间取样信息信号的一信息取样数组成为一最大区域尺寸的树根区域，并且依照一多树型次分割信息，通过递归式多分隔这些树根区域的子集，至少次分割这些树根区域的一子集成为不同尺寸的较小简单连接区域；以及一重建器，其被配置为自使用次分割成为较小简单连接区域的数据流重建该取样数组。，下面是解码器、解码方法、编码器以及编码方法专利的具体信息内容。

权利要求

1.一种用于解码出标示一树根方块的一空间多树型次分割的一多树型结构的编码发信的方法，依据该空间多树型次分割，该树根方块递归式被多分隔成为叶方块，该编码发信包括以一深度优先级关联于多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标关联的节点的树根方块的一区域，是否被多分隔，该方法包括使用概率估计语境而依序地熵解码出这些旗标，这些概率估计语境对于关联位于多树型结构的相同层次等级内的多树型结构节点的旗标是相同的，但是对于位于多树型结构的不同层次等级内的多树型结构节点是不同的，
其中，所述树根方块是被编码成数据流的视频的图像的方块，并且所述解码是视频解码；
其中，所述方法包括解码出标示多个树根方块的一空间多树型次分割的多树型结构的发信，这些树根方块是依次地以在多个树根方块之中被定义的一深度优先遍历顺序的一较大二维部分的另外的多树型次分割的叶方块，并且其中这些多树型结构的编码发信各包括以深度优先遍历顺序被关联于各多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标所关联的节点的各自树根方块的一区域是否被多分隔，其中，所述方法包括使用对于被关联于相同尺寸区域的旗标是相同的概率估计语境依序地熵解码这些旗标。
2.根据权利要求1所述的方法，其中，该空间多树型次分割是一四叉树次分割，并且依照该深度优先遍历顺序，一曲折扫描被定义于具有一共同父节点的四叉树次分割的相同层次等级的节点之中，其中对于一预定旗标的概率估计语境同时也取决于依照该深度优先遍历顺序先前于该预定旗标以及对应至对于该预定旗标对应的一区域具有一预定相对位置关系的树根方块区域的旗标。
3.根据权利要求2所述的方法，其中，被使用于该预定旗标的一概率估计语境取决于依照该深度优先遍历顺序先前于该预定旗标以及对应至对于该预定旗标对应的区域的顶部或左方的树根方块区域的旗标。
4.根据权利要求2或3所述的方法，其中，被使用于该预定旗标的该概率估计语境仅取决于位于该预定旗标所关联的节点的相同层次等级内的旗标。
5.根据权利要求2或3所述的方法，其中，该方法包括自数据流提取出一最高层次等级的一指示，该树根方块递归式地在其下被多分隔，该旗标序列仅包括不等于最高层次等级的层次等级的旗标。
6.根据权利要求1所述的方法，其中，该方法包括解码出标示多个树根方块的一空间多树型次分割的多树型结构的发信，这些多个树根方块以在这些多个树根方块之中被定义的一曲折扫描顺序，共同形成一较大的二维部分的一连续以及规则的网格分割。
7.根据权利要求1所述的方法，其中，所述树根方块由以伴随有深度信息的方式被编码成数据流的视频的图像构成。
8.根据权利要求1所述的方法，其中所述树根方块由一图像构成，所述图像被以包括与二个色度取样数组在一起的亮度取样数组的方式编码成数据流，其中，在水平方向上色度取样数组相对于亮度取样数组的空间分辨率的尺寸调整因素不同于在垂直方向上空间分辨率的尺寸调整因素。
9.根据权利要求1所述的方法，其中，所述树根方块由一图像构成，其中，所述图像在对应于不同色彩成份的不同色彩平面中被编码成数据流，并且所述方法包括独立地对所述图像的不同色彩平面进行解码。
10.一种用于生成标示一树根方块的一空间多树型次分割的一多树型结构的编码发信的方法，依据该空间多树型次分割，该树根方块递归式被多分隔成为叶方块，该编码发信包括以一深度优先级关联于多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标关联的节点的树根方块的一区域，是否被多分隔，该方法包括使用概率估计语境而依序地熵编码这些旗标，这些概率估计语境对于关联位于多树型结构的相同层次等级内的多树型结构节点的旗标是相同的，但是对于位于多树型结构的不同层次等级内的多树型结构节点是不同的，
其中，所述树根方块是被编码成数据流的视频的图像的方块，并且所述编码是视频编码；
其中，所述方法包括编码标示多个树根方块的一空间多树型次分割的多树型结构的发信，这些树根方块是依次地以在多个树根方块之中被定义的一深度优先遍历顺序的一较大二维部分的另外的多树型次分割的叶方块，并且其中这些多树型结构的编码发信各包括以深度优先遍历顺序被关联于各多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标所关联的节点的各自树根方块的一区域是否被多分隔，所述方法包括使用对于被关联于相同尺寸区域的旗标是相同的概率估计语境依序地熵编码这些旗标。
11.根据权利要求10所述的方法，其中，所述树根方块由以伴随有深度信息的方式被编码成数据流的视频的图像构成。
12.根据权利要求10所述的方法，其中所述树根方块由一图像构成，所述图像被以包括与二个色度取样数组在一起的亮度取样数组的方式编码成数据流，其中，在水平方向上色度取样数组相对于亮度取样数组的空间分辨率的尺寸调整因素不同于在垂直方向上空间分辨率的尺寸调整因素。
13.根据权利要求10所述的方法，其中，所述树根方块由一图像构成，其中，所述图像在对应于不同色彩成份的不同色彩平面中被编码成数据流，并且所述方法包括独立地对所述图像的不同色彩平面进行编码。
14.一种用于解码数据流的方法，其中，所述方法包括：
解码一数据流，其中
一多树型结构的发信的方法被编码入所述数据流中，所述发信标示一树根方块的一空间多树型次分割，依据该空间多树型次分割，该树根方块递归式被多分隔成为叶方块，该编码发信包括以一深度优先级关联于多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标关联的节点的树根方块的一区域，是否被多分隔，所述数据流被通过使用概率估计语境依序地熵编码所述旗标而生成，这些概率估计语境对于关联位于多树型结构的相同层次等级内的多树型结构节点的旗标是相同的，但是对于位于多树型结构的不同层次等级内的多树型结构节点是不同的，
其中，所述树根方块是被编码成所述数据流的视频的图像的方块，并且所述解码是视频解码；
其中，以在多个树根方块之中被定义的一深度优先遍历顺序将标示多个树根方块的一空间多树型次分割的多树型结构的发信编码为所述数据流，这些树根方块是依次地较大二维部分的另外的多树型次分割的叶方块，并且其中这些多树型结构的编码发信各包括以深度优先遍历顺序被关联于各多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标所关联的节点的各自树根方块的一区域是否被多分隔，使用对于被关联于相同尺寸区域的旗标是相同的概率估计语境依序地熵编码这些旗标。
15.一种用于解码数据流的方法，其中，所述方法包括：
解码一数据流，其中
所述数据流中编码有一多树型结构的编码发信，所述编码发信标示一树根方块的一空间多树型次分割，依据该空间多树型次分割，该树根方块递归式被多分隔成为叶方块，该编码发信包括以一深度优先级关联于多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标关联的节点的树根方块的一区域，是否被多分隔，其中，所述旗标被使用概率估计语境依序地熵编码成所述数据流，所述概率估计语境对于关联位于多树型结构的相同层次等级内的多树型结构节点的旗标是相同的，但是对于位于多树型结构的不同层次等级内的多树型结构节点是不同的，
其中，所述树根方块是被编码成所述数据流的视频的图像的方块，并且所述解码是视频解码；
其中，以在多个树根方块之中被定义的一深度优先遍历顺序将标示多个树根方块的一空间多树型次分割的多树型结构的发信编码为所述数据流，这些树根方块是依次地较大二维部分的另外的多树型次分割的叶方块，并且其中这些多树型结构的编码发信各包括以深度优先遍历顺序被关联于各多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标所关联的节点的各自树根方块的一区域是否被多分隔，使用对于被关联于相同尺寸区域的旗标是相同的概率估计语境依序地熵编码这些旗标。
16.一种用于在多树型结构上发送信息的方法，包括：
在发送介质上发送数据流，其中
所述数据流中编码有一多树型结构的编码发信，所述编码发信标示一树根方块的一空间多树型次分割，依据该空间多树型次分割，该树根方块递归式被多分隔成为叶方块，该编码发信包括以一深度优先级关联于多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标关联的节点的树根方块的一区域，是否被多分隔，其中，所述旗标被使用概率估计语境依序地熵编码成所述数据流，所述概率估计语境对于关联位于多树型结构的相同层次等级内的多树型结构节点的旗标是相同的，但是对于位于多树型结构的不同层次等级内的多树型结构节点是不同的，
其中，所述树根方块是视频的图像的方块，并且所述数据流中编码有所述视频；
其中，以在多个树根方块之中被定义的一深度优先遍历顺序将标示多个树根方块的一空间多树型次分割的多树型结构的发信编码为所述数据流，这些树根方块是依次地较大二维部分的另外的多树型次分割的叶方块，并且其中这些多树型结构的编码发信各包括以深度优先遍历顺序被关联于各多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标所关联的节点的各自树根方块的一区域是否被多分隔，使用对于被关联于相同尺寸区域的旗标是相同的概率估计语境依序地熵编码这些旗标。
17.一种用于在多树型结构上存储信息的方法，包括：
在数字存储介质上存储数据流，其中
所述数据流中编码有一多树型结构的编码发信，所述编码发信标示一树根方块的一空间多树型次分割，依据该空间多树型次分割，该树根方块递归式被多分隔成为叶方块，该编码发信包括以一深度优先级关联于多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标关联的节点的树根方块的一区域，是否被多分隔，其中，所述旗标被使用概率估计语境依序地熵编码成所述数据流，所述概率估计语境对于关联位于多树型结构的相同层次等级内的多树型结构节点的旗标是相同的，但是对于位于多树型结构的不同层次等级内的多树型结构节点是不同的，
其中，所述树根方块是视频的图像的方块，并且所述数据流中编码有所述视频；
其中，以在多个树根方块之中被定义的一深度优先遍历顺序将标示多个树根方块的一空间多树型次分割的多树型结构的发信编码为所述数据流，这些树根方块是依次地较大二维部分的另外的多树型次分割的叶方块，并且其中这些多树型结构的编码发信各包括以深度优先遍历顺序被关联于各多树型结构节点的一旗标序列，并且各旗标指明对应至各旗标所关联的节点的各自树根方块的一区域是否被多分隔，使用对于被关联于相同尺寸区域的旗标是相同的概率估计语境依序地熵编码这些旗标。
18.根据权利要求14至17中任一项所述的方法，其中，所述树根方块由以伴随有深度信息的方式被编码成所述数据流的视频的图像构成。
19.根据权利要求14至17中任一项所述的方法，其中所述树根方块由一图像构成，所述图像被以包括与二个色度取样数组在一起的亮度取样数组的方式编码成所述数据流，其中，在水平方向上色度取样数组相对于亮度取样数组的空间分辨率的尺寸调整因素不同于在垂直方向上空间分辨率的尺寸调整因素。
20.根据权利要求14至17中任一项所述的方法，其中，所述树根方块由一图像构成，其中，所述图像在对应于不同色彩成份的不同色彩平面中被编码成所述数据流，并且所述图像的不同色彩平面被独立地编码。

说明书全文

解码器、解码方法、编码器以及编码方法

[0001] 本申请是分案申请，其原案申请的申请号为201180024833.6，申请日为2011年4月8日，发明名称为“使用次分割的二维信息信号的空间取样的编码”。

技术领域

[0002] 本发明有关使用次分割(sub-division)技术以编码空间取样信息信号的编码结构以及用以编码次分割或多树结构的编码结构，其中代表性实施例有关图像及/或视频编码应用。

背景技术

[0003] 于影像以及视频编码中，图像或对于图像的取样数组的特定组集通常被分解成为与特定编码参数关联的方块。这些图像通常由多个取样数组组成。此外，一图像也可以是与另外的辅助取样数组相关联的，这些另外的辅助取样数组可以是，例如，指示透明信息或深度图。一图像的取样数组(包含辅助取样数组)可被群集成为一个或多个所谓的平面群组，其中各平面群组包含一个或多个取样数组。一图像平面群组可单独地被编码，或如果该图像被关联于一个以上的平面群组，则可具有来自相同图像的其它平面群组的预测。各平面群组通常被分解成为方块。这些方块(或取样数组的对应方块)通过图像间预测或图像内预测的一者被预测。这些方块可具有不同的尺寸并且可以是正方形或矩形的一者。成为方块的图像的分割可利用语法被固定，或其可以(至少部分地)在比特流内部被发信。通常语法元素被发送而发信供用于预定尺寸方块的次分割。此些语法元素可指明一方块是否以及如何被次分割为较小的方块以及关联的编码参数，例如，用于预测目的。对于所有方块取样(或取样数组的对应方块)，相关编码参数的解码以某种方式明确地被指明。在这个范例中，在一方块中的所有取样使用相同组集的预测参数被预测，例如，参考指针(辨认已被编码的图像组集中的一参考图像)、移动参数(指明用于在一参考图像以及目前图像之间的方块移动的测量)、用以指明插值滤波器及图像内预测模式等等的参数。移动参数可通过具有水平以及垂直分量的位移向量或通过较高阶移动参数(例如，由六个分量组成的仿射移动参数)被表示。其也有可能是，一组以上的特定预测参数(例如，参考指标以及移动参数)被关联于一单一方块。因此，对于这些特定预测参数的各组参数，对于方块(或取样数组的对应方块)的一单一中间预测信号被产生，并且最后的预测信号通过包含迭加中间预测信号的组合被建立。对应的加权参数并且也可有一固定偏移量(其被加到加权和上)可被固定于一图像、或一参考图像、或一组参考图像，或它们可被包含在供用于对应方块的该组预测参数中。在原始方块(或取样数组的对应方块)以及它们的预测信号之间的差量，同时也称为残差信号，通常被转换并且被量化。通常，一种二维转换技术被施加至该残差信号(或对于残差方块的对应取样数组)上。对于转换编码，一特定组集的预测参数已被使用其上的方块(或取样数组的对应方块)，可在施加转换之前进一步地被切割。转换方块可以是等于或较小于被使用于预测的方块。其也有可能是，一转换方块被包含在被使用于预测的一个以上的方块中。不同的转换方块可具有不同的尺寸并且这些转换方块可被表示为正方形或矩形方块。在转换之后，产生的转换系数被量化并且所谓的转换系数等级被取得。转换系数等级以及预测参数，并且如果存在的话，则次分割信息被进行熵编码。

[0004] 于影像以及视频编码规格中，对于次分割一图像(或一平面群组)成为通过语法提供的方块的可能性是非常有限的。通常，其可能仅被指明一预定尺寸方块是否以及(可能如何地)可被次分割为较小的方块。如一范例，H.264中的最大方块尺寸是16×16。这些16×16方块同时也被称为巨方块，并且于第一步骤中，各图像被分隔为巨方块。对于各个16×16的巨方块，其可被发信(signal)关于其被编码为16×16方块，或为二个16×8方块，或为二个8×16方块，或为四个8×8方块。如果一16×16方块被次分割为四个8×8方块，则这些8×8方块各可被编码为下列的一者：被编码为一8×8方块、或为二个8×4方块、或为二个4×8方块、或为四个4×4方块。于目前影像以及视频编码规格中，用以指明分割为方块的可能的小组集具有用以发信次分割信息的边信息率可被保留为小量的优点，但其亦具有下面的缺点：用以发送用于方块的预测参数的必须位率可能如下面所说明地成为显著。用以发信预测信息的边信息率通常表示对于一方块的所有位率的一重要数量。并且当这边信息被缩小时，编码效率将可被增加，例如，其将可通过使用较大的方块尺寸而被实现。真实的影像或视频序列图像是由具有特定性质的任意形状对象组成。如于一范例中，此些对象或对象部分具有独特条理或一独特移动的特征。并且通常，相同组集的预测参数可被应用于此一对象或对象部分。但是对于大的预测方块(例如，H.264中的16×16巨方块)，对象边界通常不重迭于可能的方块边界。一编码器通常决定次分割(在可能的有限组集之中)，那将导致最小量的特定率失真成本测量。对于任意形状的对象，这可能导致大量的小方块。并且由于这些小方块各者被关联于一组预测参数，其将需要被传送，因此边信息率可能成为所有位率的一重要部分。但是由于数个小方块仍然表示相同对象或对象部分的区域，对于一些被取得的方块的预测参数是相同的或非常相似的。

[0005] 亦即，次分割或铺排一图像成为较小部分或如瓷砖块或方块，大体上将会影响编码效率以及编码复杂性。如上所述，使一图像次分割为较高数量的较小方块，将使编码参数有一空间较细设定，因而可使得这些编码参数对图像/视频素材有较佳的调适性。另一方面，为了告知解码器关于必要的设定，将以一较细的方块尺寸设定编码参数，将在必要的边信息数量上造成较高的负担。更进一步地，应注意到，对于使编码器(进一步地)空间次分割图像/视频成为方块的任何自由度，将极端地增大可能的编码参数设定的数量，并且因此大体上使得对于导致最佳率/失真折衷的搜查甚至更困难者。

发明内容

[0006] 依据本申请的第一方面，其目的是用以提供一编码结构，例如，用以编码表示空间取样信息信号，例如，但是并不限定于，视频的图像或静态图像，的一信息取样数组，其将可实现在编码复杂性以及可实现率/失真比之间的较佳折衷，及/或实现一较佳率/失真比。

[0007] 这目的通过根据权利要求1的解码器、根据权利要求18的编码器、根据权利要求17或19的方法、根据权利要求20的计算机程序以及根据权利要求21的数据流被实现。

[0008] 依据第一方面，本申请是依据空间地分割表示一空间取样信息信号的一信息取样数组使首先成为树根区域，接着依据自一数据流提取的多树型次分割信息，通过递归式多分隔这些树根区域的子集，次分割这些树根区域的至少一子集使成为不同尺寸的较小简单连接区域，使得当信息取样数组空间地被分割成为树根区域的最大区域尺寸，被包含在数据流之内并且在解码侧自数据流被提取时，则将可在失真率意义上于一非常细的次分割以及一非常粗的次分割之间找到具有适当编码复杂性的好的折衷。

[0009] 因此，依据本发明第一方面，一解码器包括一提取器，该提取器被配置为自一数据流提取一最大区域尺寸以及多树型次分割信息；一次分割器被配置为空间地分割表示空间取样信息信号的一信息取样数组成为最大区域尺寸的树根区域，并且依据多树型次分割信息，通过递归式多分隔这些树根区域的子集，次分割树根区域的至少一子集成为不同尺寸的较小的简单连接区域；以及一重建器被配置为，自使用该次分割使成为较小的简单连接区域的数据流而重建这些信息取样数组。

[0010] 依据本发明一实施例，数据流同时也包含最大层次等级，当高至该最大层次等级时，树根区域子集接受递归式多分隔。通过这措施，使得多树型次分割信息的发信更容易并且对于编码则只需较少的位。

[0011] 更进一步地，重建器可被配置为依据多树型次分割的一方块尺寸进行一个或多个下面的措施：决定在至少区域内以及区域间的预测模式中使用哪一预测模式；于自频谱至空间领域的转换，进行一区域间预测，及/或对其设定参数；进行一区域内预测，及/或对其设定参数。

[0012] 更进一步地，提取器可被配置为以一深度优先遍历顺序自数据流提取出关联于被分隔的树型方块的叶区域的语法元素。通过这措施，提取器可利用比使用一广度优先遍历顺序具有较高可能性的已被编码的邻近叶区域的语法元素的统计数据。

[0013] 依据另外的实施例，一进一步的次分割器被使用，以便依据进一步的多树型次分割信息，次分割较小简单连接区域的至少一子集成为更小简单连接区域。第一级次分割可被重建器所使用，以供进行信息取样的区域预测，而第二级次分割可被重建器所使用，以进行自频谱至空间领域的再转换。定义残差次分割为相对于预测次分割的从属者，将使得所有次分割的编码有较少的位消耗，并且另一方面，由于大多情况下具有相似移动补偿参数的图像部分是比具有相似的频谱特性部分较大，故对于自从属者产生的残差次分割的限定以及自由性，在编码效率上将仅具有较少的负面影响。

[0014] 依据更进一步的一实施例，一进一步的最大区域尺寸被包含在数据流中，定义树根子区域尺寸成为较小的简单连接区域的进一步的最大区域尺寸，在次分割树根子区域至少一子集之前，依据进一步的多树型次分割信息，首先被分割为更小简单连接区域。如此，依次地，一方面将可使预测次分割最大区域尺寸的一独立设定成为可能，并且另一方面，因此，残差次分割将可使发现一较佳的率/失真折衷。

[0015] 更依据本发明进一步的实施例，数据流包括自形成多树型次分割信息的一语法元素的第二子集脱连的一语法元素的第一子集，其中在解码侧的一合并器是可依据语法元素第一子集，而结合空间地邻近多树型次分割的较小的简单连接区域，以得到取样数组的一中间次分割。重建器可被配置为使用中间次分割重建取样数组。利用这措施，编码器可较容易地将有效的次分割调适至信息取样数组性质的空间分配，而发现一最理想的率/失真折衷。例如，如果最大区域尺寸是高的，则由于树根区域成为较大，故多树型次分割信息是有可能成为更复杂。然而，另一方面，如果最大区域尺寸是小的，则其将极可能是邻近树根区域具有相似性能的信息内容，以至于这些树根区域也可共同地被处理。此合并步骤填补在先前所提到的极端之间的隙缝，因而导致近乎最佳的方块尺寸次分割。自编码器观点而言，合并的语法元素允许更轻松或计算上较不复杂的编码程序，由于如果编码器错误地使用一太细的次分割，这错误于随后可通过在其后设定合并语法元素，或可仅调适已在设定合并语法元素之前被设定的一小部分语法元素，利用编码器被补偿。

[0016] 依据更进一步的实施例，最大区域尺寸以及多树型次分割信息被使用于残差次分割而非用于预测次分割。

[0017] 依据本发明一进一步的方面，本申请的一目的是提供一编码结构，通过其可实现一较佳的率/失真折衷。

[0018] 这目的可通过根据权利要求22的解码器、根据权利要求30的编码器、根据权利要求29或31的方法、根据权利要求32的计算机程序以及根据权利要求33的数据流而被实现。

[0019] 这方面之下的构想是，用以处理表示空间取样信息信号的信息取样数组的四叉树次分割的简单连接区域的深度优先遍历顺序，是比广度优先遍历顺序更好，该事实是由于，当使用深度优先遍历顺序时，各简单连接区域将具有较高的可能性以具有已先前被移动的邻近的简单连接区域，以至于当重建各目前简单的连接区域时，关于这些邻近的简单连接区域的信息可明确地被利用。

[0020] 当信息取样数组首先被分割为零级层次尺寸的树根区域规则性排列，接着将这些树根区域至少一子集次分割为不同尺寸的较小的简单连接区域时，重建器可使用一曲折扫描，以便通过对于将被分隔的各个树根区域，在以曲折扫描顺序进一步地进入下一个树根区域之前，以深度优先遍历顺序先处理简单连接的叶区域。此外，依据深度优先遍历顺序，相同层次等级的简单连接叶区域同时也可以曲折扫描顺序被遍历。因此，具有邻近简单连接叶区域的增大可能性被保留。

[0021] 依据本发明进一步的方面，其目的是提供用以编码一多树型结构的发信的编码结构，该多树型结构标示一树根区域的空间多树型次分割，依据该标示，树根区域递归式多分隔为较小的简单连接区域，以至于用以编码发信所必要的数据量减少。

[0022] 这目的利用根据权利要求34的解码器、根据权利要求42的编码器、根据权利要求41或43的方法，根据权利要求44的计算机程序以及根据权利要求45的数据流而被实现。

[0023] 这方面之下的构想是，虽然其是有利于以一深度优先遍历顺序，依序地排列被关联于多树型结构节点的旗标，依序的旗标编码应使用概率估计语境(context)，其对于被关联于位于多树型结构相同层次等级内的多树型结构节点的旗标是相同，但是对于位于多树型结构不同层次等级内的多树型结构的节点是不同，因此另一方面允许在将被提供的语境数目以及对于旗标的实际符号统计的调适性之间有一好的折衷。

[0024] 依据一实施例，对于所使用预定旗标的概率估计语境同时也取决于在依据深度优先遍历顺序所预定旗标之前的旗标以及对应至树根区域的范围，该树根区域对于预定旗标对应的范围具有一预定相对位置关系。相似于先前方面之下的构想，深度优先遍历顺序的使用保证已被编码的旗标同时也包括对应至邻近对应于预定旗标范围的范围的旗标的高度可能性，以至于这知识可被使用以较佳地调适语境被使用于预定旗标。

[0025] 可被使用对于一预定旗标设定语境的旗标，可以是对应至位于预定旗标对应的范围的顶部及/或左方的区域。此外，被使用于挑选语境的旗标可被限定在属于与预定旗标关联的节点的相同层次等级的旗标。

[0026] 因此，依据进一步的一方面，用以编码多树型结构发信的一编码构造被提供，其可使能更有效的编码。

[0027] 这目的可通过根据权利要求46的解码器、根据权利要求48的编码器、根据权利要求47或49的方法、以及根据权利要求50的计算机程序被实现。

[0028] 依据这方面，编码发信包括一最高层次等级以及不等于最高层次等级而被关联于多树型结构节点的一旗标序列的指示，各旗标指明被关联的节点是否为一中间节点或子节点，并且以一深度优先或广度优先遍历顺序，通过跳过最高层次等级节点并且自动地指定相同叶节点，发生自数据流的旗标序列的一依序地解码，因此降低编码率。

[0029] 依据进一步的一实施例，多树型结构的编码发信可包括最高层次等级的指示。通过这措施，由于最高层次等级方块的进一步分割被排除时，其可将旗标的存在限定在不是最高层次等级的层次等级。

[0030] 在空间多树型次分割是叶节点的第二次分割以及主要多树型次分割的未分隔的树根区域的部分的情况，则被使用于编码第二次分割的旗标语境可被挑选，使得此些语境对于被关联于相同尺寸范围的旗标是相同的。

[0031] 依据进一步的实施例，信息取样数组被次分割所成的简单连接区域的一有利合并或群集被编码而具有一降低数据量。为了这目的，对于多个简单连接区域，一预定相对位置关系被定义，而使能对于在多个简单连接区域内的多个简单连接区域的一预定简单连接区域的辨认，而这些多个简单连接区域则对于该预定简单连接区域具有预定相对位置关系。亦即，如果数目是零，对于预定简单连接区域的一合并指示器不在数据流之内出现。进一步地，如果具有对于预定简单连接区域的预定相对位置关系的简单连接区域数目是1的话，则简单连接区域的编码参数可被采用或可被使用于对于预定简单连接区域的编码参数的预测而不需要任何进一步的语法元素。否则，如果具有对于预定简单连接区域的预定相对位置关系的简单连接区域数目是较大于1，即使被关联于这些辨认的简单连接区域的编码参数是彼此相同，进一步的语法元素的引入亦可被抑制。

[0032] 依据一实施例，如果邻近简单连接区域的编码参数是彼此不相等，则一参考邻近识别符可识别具有对于预定简单连接区域的预定相对位置关系的简单连接区域数目的一适当子集，并且当采用编码参数或预测预定简单连接区域的编码参数时，这适当子集被使用。

[0033] 依据更进一步的实施例，通过递归式多分隔使表示一个二维信息信号空间取样的一取样区域成为不同尺寸的多个简单连接区域的空间次分割，依据被包含在数据流中的语法元素的第一子集被进行，其后紧随着依据自第一子集脱连的数据流内的语法元素的一第二子集的一空间邻近简单连接区域组合，以取得成为简单连接区域的脱连组集的取样数组的一中间次分割，其的结合是多个简单连接区域。当自数据流重建取样数组时，中间次分割被使用。由于一太细的次分割可在之后通过合并被补偿的事实，这可使得有关次分割的最佳化较不紧要。进一步地，次分割以及合并的组合将可实现中间次分割，其将不可能仅仅经由递归式多分隔得到，以至于通过语法元素的脱连组集的使用的次分割以及合并的串连使得对于二维信息信号实际内容的有效中间次分割将可有较佳调适。对照于一些优点，用以指示合并细节而自增加的语法元素子集所产生的额外的经常支出是可以忽略的。附图说明

[0034] 下面将参照下面有关的附图而说明本发明的较佳实施例，其中：

[0035] 图1展示依据本申请的一实施例的编码器方块图；

[0036] 图2展示依据本申请的一实施例的解码器方块图；

[0037] 图3a至图3c是图解地展示对于一四叉树次分割的说明范例，其中图3a展示第一层次等级，图3b展示第二层次等级并且图3c展示第三层次等级；

[0038] 图4是图解地展示依据一实施例的图3a至图3c的四叉树次分割的树型结构；

[0039] 图5a以及图5b是图解地展示图3a至图3c的四叉树次分割以及具有指示个别叶方块的指针的树型结构；

[0040] 图6a以及图6b是分别地依据不同实施例图解地展示表示图4树型结构以及图3a至图3c的四叉树次分割的旗标的二元数列或序列；

[0041] 图7展示依据一实施例示出通过一数据流提取器被进行的步骤的流程图；

[0042] 图8展示依据进一步的实施例示出数据流提取器的功能的流程图；

[0043] 图9a以及图9b展示依据一实施例的四叉树次分割的分解图，其中对于一预定方块的邻近候选方块被强调；

[0044] 图10展示依据一进一步的实施例的数据流提取器的功能的流程图；

[0045] 图11是图解地展示依据一实施例，得自多数平面以及平面群组的图像结构并且展示使用平面间调适/预测的编码；

[0046] 图12a以及图12b是图解地展示依据一实施例的一子树型结构以及对应的次分割以便示出继承结构；

[0047] 图12c以及图12d是分别图解地展示依据实施例的一子树型结构，以便展示具有采纳以及预测的继承结构；

[0048] 图13展示依据一实施例展示通过实现一继承结构的编码器而被进行的步骤的流程图；

[0049] 图14a以及图14b展示依据一实施例的一主要的次分割以及一次级的次分割，以便示出可能地实作与预测间有关的一继承结构；

[0050] 图15展示依据一实施例以示出与继承结构有关的解码处理程序的方块图；

[0051] 图16展示对于解码处理程序的范例残差解码顺序；

[0052] 图17展示依据一实施例的解码器方块图；

[0053] 图18展示依据一实施例以说明数据流内容的分解图；

[0054] 图19展示依据一实施例的编码器方块图；

[0055] 图20展示依据一进一步实施例的解码器的方块图；以及

[0056] 图21展示依据一进一步实施例的解码器的方块图。

具体实施方式

[0057] 于下面的附图说明中，出现在多数这些附图中的组件利用共同的参考数目被指示并且将避免重复解说这些组件。当然，有关出现在一附图内的组件的说明同时也可应用至其它附图，于这些附图中只要在这些其它的附图中呈现说明指出偏差，则各组件将产生。

[0058] 进一步地，下面的说明开始于将参考图1至图11解释的编码器以及解码器的实施例。参考这些附图所说明的实施例结合本申请的许多方面，然而，其如果在一编码结构之内分别地实作则将同时也可以是有利的，并且因此，有关随后的附图，实施例简洁地被论述，其分别地说明刚提到的方面，而这些实施例的各者以不同的意义表示对于图1以及图11所说明的实施例概念。

[0059] 图1展示依据本发明一实施例的编码器。图1的编码器10包括预测器12、残差预编码器14、残差重建器16、数据流插入器18以及方块分割器20。编码器10是用以将时间空间取样信息信号编码成为数据流22。时间空间取样信息信号可以是，例如，视频，亦即，一图像序列。各图像表示一图像取样数组。时间空间信息信号的其它范例包括，例如，利用，例如，光时相机所获得的深度影像。进一步地，应注意到，一空间取样信息信号的每个帧或时戳可包括一个以上的数组，例如于每个帧，例如，彩色视频的情况中，其包括与二个色度取样数组在一起的亮度取样数组。其同时也可以是对于信息信号不同的分量，亦即，亮度以及色度，的时间取样率是不同的。相同情况适用于空间分辨率。一视频同时也可被伴随着进一步的空间取样信息，例如，深度或透明度信息。然而，下面的说明，为较佳地了解本申请的主要问题起见，将先聚焦于这些数组的一者的处理，接着再转向一个以上平面的处理。

[0060] 图1的编码器10被配置为产生数据流22，因而数据流22的语法元素以位于整个图像以及个别的影像取样之间的一方块尺寸说明图像。为此目的，分割器20被配置为次分割各个图像24成为不同尺寸的简单连接区域26。下面，这些区域将简单地被称为方块或子区域26。

[0061] 如下面的更详细的论述，分割器20使用一多树型次分割以便将图像24次分割为不同尺寸的方块26。甚至更精确地，下面有关图1至图11的论述的特定实施例大多数使用四叉树次分割。同时下面将更详细说明，分割器20可内部地包括用以次分割图像24使成为刚提及的方块26的次分割器28串连，随后一合并器30将可结合这些方块26群集，以便取得位于图像24的非次分割以及利用次分割器28被定义的次分割之间的有效次分割或方块尺寸。

[0062] 如图1虚线的展示，预测器12、残差预编码器14、残差重建器16以及数据流插入器18在利用分割器20被定义的图像次分割上运作。例如，下面将更详细论述，预测器12使用通过分割器20被定义的预测次分割，以便对于预测次分割的个别的子区域，通过依据选择的预测模式对于各子区域设定对应的预测参数而决定关于该各子区域是否应接受图像内预测或图像间预测。

[0063] 残差预编码器14，依次地，可使用图像24的残差次分割，以便编码利用预测器12被提供的图像24的预测残差。因残差重建器16自利用残差预编码器14被输出的语法元素而重建残差，残差重建器16同时也在刚提及的残差次分割上运作。数据流插入器18可利用刚提及的分割，亦即，预测以及残差次分割，以便决定在对于由残差预编码器14以及预测器12输出的语法元素的插入的语法元素之中的插入顺序以及邻近关系，例如，使用熵编码技术使成为数据流22。

[0064] 如图1的展示，编码器10包括原始信息信号进入编码器10的输入32。减法器34、残差预编码器14以及数据流插入器18以所提及的顺序连续地在输入32以及编码数据流22被输出的数据流插入器18的输出之间被连接。减法器34以及残差预编码器14是预测回路的部分，该预测回路通过以所提及的顺序连续地在残差预编码器14输出以及减法器34反相输入之间被连接的残差重建器16、加法器36以及预测器12而闭合。预测器12的输出也被连接至加法器36的进一步的输入。此外，预测器12包括直接地连至输入32的一输入并且可能包括再进一步的输入，该输入同时也经由选用的环路内滤波器38被连接至加法器36的输出。进一步地，预测器12在运作期间产生边信息，并且因此，预测器12一输出也被耦接至数据流插入器18。同样地，分割器20包括一输出，其被连接至数据流插入器18的另一输入。

[0065] 说明编码器10结构之后，下面将更详细地说明操作模式。

[0066] 如上面的说明，分割器20决定如何次分割各图像24成为子区域26。依据将被使用于预测的图像24的次分割，预测器12决定对应至这次分割的各子区域，如何预测各子区域。预测器12将子区域的预测输出至减法器34的反相输入并且至加法器36的进一步的输入，并且将反映预测器12如何自视频的先前编码部分取得这预测的方式的预测信息输出至数据流插入器18。

[0067] 在减法器34的输出，预测残差因此被取得，在其中残差预编码器14依据也利用分割器20被标示的残差次分割而处理这预测残差。如在下面有关图3至图10的进一步的详细说明，残差预编码器14所使用的图像24的残差次分割可以是有关于预测器12使用的预测次分割，因而各预测子区域被采用作为残差子区域或进一步地被次分割为较小的残差子区域。然而，完全独立的预测以及残差次分割将也是可能的。

[0068] 残差预编码器14利用二维转换支配各残差子区域自空间至频谱域的一转换，其后紧随着，或固有地涉及，所形成转换方块的形成转换系数的一量化，因而失真自量化噪声产生。数据流插入器18可通过使用，例如，熵编码技术，例如，无损地将上述的转换系数的语法元素编码成为数据流22。

[0069] 残差重建器16，依次地，通过使用其后跟随着再转换的一再量化，使转换系数再转变成为一残差信号，其中在加法器36内的残差信号与减法器34使用的预测结合，以供取得预测残差，因此在加法器36输出取得目前图像的重建部分或子区域。预测器12可直接地使用重建的图像子区域以供用于图像内预测，其是用以通过自邻近区域中的先前重建的预测子区域的推断而预测某一预测子区域。然而，通过自邻近一子区域而直接地预测目前子区域的频谱，在频域内进行一图像内预测理论上也是可能的。

[0070] 对于图像间预测，预测器12可使用通过选用的环路内滤波器38同样地被过滤的版本的一先前编码以及重建的图像。环路内滤波器38，例如，可包括一解方块效应滤波器及/或一调适滤波器，后者具有调适以有利地形成先前所提到的量化噪声的转移函数。

[0071] 预测器12通过使用在图像24内的对于原始取样的对照而预测某一预测子区域的方式以选择预测参数。预测参数，如下面更详细的论述，可包括对于各预测子区域的预测模式的一指示，例如，图像内预测以及图像间预测。于图像内预测情况中，预测参数同时也可包括一角度指示，沿着该角度，将被图像内预测的预测子区域的边缘主要地延伸，并且于图像间预测的情况中，可包括移动向量、移动图像指针及最后较高阶移动转换参数，以及于图像内及/或图像间图像预测两情况中，包括用于过滤目前预测子区域被预测所依据重建影像取样的选用的过滤器信息。

[0072] 如下面更详细的论述，先前提及利用分割器20被定义的次分割大体上影响通过残差预编码器14、预测器12以及数据流插入器18最大可得的率/失真比。于太细的次分割情况中，利用预测器12被输出将被插进入数据流22中的预测参数40使一太大的编码率成为必需，虽然利用预测器12所取得的预测可能是较佳并且将利用残差预编码器14被编码的残差信号可能是较小，以至于同一者可能以较少的位被编码。于太粗的次分割情况，则情况相反。进一步地，刚提及的思维同时也以相似的方式适用于残差次分割：使用个别的转换方块的较细方块尺寸的图像转换将导致对于计算转换的较低的复杂性以及形成转换的增大的空间分辨率。亦即，较小的残差子区域将能够使在个别的残差子区域内的内容频谱分配更均匀。然而，频谱分辨率被降低并且在显著和非显著之间的比率，亦即，被量化为零值，系数将更差。亦即，转换方块尺寸应局域性地被调适至图像内容。此外，无关于来自较细方块尺寸的实际影响，一较细的方块尺寸规则地增大必要的边信息数量，以便指示针对解码器所选择的次分割。如下面将更详细的论述，下面说明的实施例将提供编码器10，其具有可将被编码的信息信号内容非常有效地次分割的调适能力，并且将通过指示数据流插入器18将次分割信息插入被编码数据流22中而发信将被使用的次分割至解码侧。下面将说明其细节。

[0073] 然而，在更详细地定义分割器20次分割之前，依据本申请一实施例将参考图2的解码器更详细地被说明。

[0074] 图2解码器利用参考标号100被指示并且包括一提取器102、分割器104、残差重建器106、加法器108、预测器110、选用环路滤波器112以及选用后级滤波器114。提取器102在解码器100的输入116接收被编码的数据流并且自被编码的数据流提取出次分割信息118、预测参数120以及残差数据122，提取器102将其分别地输出至图像分割器104、预测器110以及残差重建器106者。残差重建器106具有被连接至加法器108的第一输入的一输出。加法器108的其它输入以及其输出被连接于预测回路，选用环路滤波器112以及预测器110以所提到的顺序连续地连接于预测回路，其具有自加法器108的输出至预测器110的旁通途径，相似于上面提到在图1的加法器36以及预测器12之间的连接方式，亦即，一者对于图像内预测以及另一者对于图像间预测。加法器108的输出或环路内滤波器112的输出的任一者可被连接至，例如，重建的信息信号被输出至再生装置的解码器100的输出124。一选用后级滤波器
114可被连接于通到输出124的途径，以便改进在输出124的重建信号的视觉感受的视觉质量。

[0075] 大体而言，残差重建器106、加法器108以及预测器110作用如同图1的组件16、36以及12。换句话说，同样地仿效在先前提及的图1的组件的操作。因此，残差重建器106以及预测器110分别地依据来自提取器102的次分割信息118，利用预测参数120及利用图像分割器104标示的次分割被控制，以便如预测器12所进行或决定进行的相同方式而预测这些预测子区域，并且如残差预编码器14进行的相同方式而再转换以相同方块尺寸所接收的转换系数。图像分割器104，依次地，依据次分割信息118的同步方式，而重建利用图1的分割器20所选择的次分割。提取器可依次地使用次分割信息，以便控制数据提取，例如，就语境挑选、邻近区域决定、概率估计、分析数据流语法等等而言。

[0076] 多数个变化可在上面实施例上被进行。其一些在下面利用次分割器28进行次分割以及利用合并器30进行合并的详细说明之内被提到并且其它者将参考图12至图16被说明。在无任何障碍之下，所有这些变化可分别地是或群集地被应用至先前在图1以及图2分别地提到的说明。例如，分割器20以及104可不用仅决定每个图像的一预测次分割以及残差次分割。反之，它们同时也可分别地对于选用环路内滤波器38以及112决定一滤波器次分割。不论无关或有关于分别地对于预测或残差编码的其它的次分割。此外，利用这些组件的次分割的决定可能不依帧接帧的基础上被进行。反之，对于某一帧所决定的次分割，可由仅转移一新的次分割而供接着下面的某些帧再使用或采用。

[0077] 为提供关于使图像成为子区域的分割的进一步详细说明，下面的说明首先聚焦于次分割器28以及104a被假定有任务的次分割部分上。接着将说明合并器30以及合并器104b被假定有任务的合并处理。最后，将说明平面间调适/预测。

[0078] 次分割器28以及104a分割图像的方式，使得为影像或视频数据的预测以及残差编码目的，因而一图像是可分割为可能不同尺寸的一些方块。如在先前提到的，图像24可能是为一个或多个影像取样数值数组。于YUV/YCbCr彩色空间情况中，例如，第一数组可表示亮度频道而其它二数组可表示色度频道。这些数组可具有不同尺寸。所有数组可被群集成为一个或多个平面群组，其具有由一个或多个连续的平面组成的各平面群组，因而各平面被包含在一个并且仅一个平面群组中。下面的情况适用于各平面群组。一特定平面群组的第一数组可被称为这平面群组的主要数组。可能跟随的数组是次级数组。主要数组的方块分割可依据如下面说明的一四叉树方法被完成。次级数组的方块分割可依据主数组的分割被得到。

[0079] 依据下面说明的实施例，次分割器28以及104a被配置为分割主要数组成为一些相等尺寸的正方形方块，即下面所谓的树型方块。树型方块的边缘长度典型地是二的次方，例如，当四叉树被使用时，其是16、32或64。然而，为完整起见，值得注意的是，其它树型的类型的使用将也是可能，例如，二元树型或具有任何叶数目的树型。此外，树型子系的数目可依据树型等级以及依据树型正表示的信号而变化。

[0080] 除此的外，如上面所提到的，取样数组同时也可分别地表示除视频序列的外的其它信息，例如，深度图或光场。为简明起见，下面的说明将集中于对多树型的代表范例的四叉树上。四叉树是在每个内部节点正好具有四个子系的树型。每个树型方块构成一主要四叉树与一起在主要四叉树的每个叶上的次级四叉树。主要四叉树决定用于预测的一给与树型方块的次分割，而次级四叉树则决定用于残差编码目的的给与预测方块的次分割。

[0081] 主要四叉树的根节点对应至整个的树型方块。例如，图3a展示一树型方块150。应注意，每个图像被分割为此些树型方块150的列及行的规则性网格，以至于它们，例如，无间隔地涵盖取样数组。然而，应注意到，对于随后展示的所有方块次分割，无重迭的无缝次分割是无关紧要的。反之，只要无叶方块是一邻近叶方块的适当的子部分，则邻近方块是可彼此重迭。

[0082] 沿着对于树型方块150的四叉树结构，每个节点可进一步地被分割为四个子节点，其于主要四叉树的情况中，指示每个树型方块150可被分切成为具有树型方块150的一半宽度以及一半高度的四个次方块。于图3a中，这些子方块利用参考符号152a至152d被标示。以相同方式，这些子方块各可进一步地被切割成为具有原始子方块一半宽度以及一半高度的四个较小子方块。于图3c中，这对于子方块152c展示范例，其被次分割为四个小的子方块154a至154d。目前为止，图3a至图3c展示树型方块150如何首先被分割为其的四个子方块
152a至152d的范例，接着左下方的子方块152c进一步地被分割为四个小的子方块154a至
154d，并且最后，如图3c的展示，这些较小的子方块的右上方的方块154b再次被分割为四个原始树型方块150的八分之一宽度以及高度的方块，这些更小方块以156a至156d被表示。

[0083] 图4展示如图3a-图3c所展示的对于四叉树为基础的分割范例的下面树型结构。树型节点的旁的数目是所谓的次分割旗标的数值，其稍后当讨论四叉树结构的发信时，将更详细地被说明。四叉树的根节点被描述于图形顶部上(被标示“等级0”)。在这根节点的等级1的四个分支对应至如图3a展示的四个子方块。因这些子方块的第三者进一步地被次分割为如图3b中的四个子方块，图4中在等级1的第三节点同时也具有四个分支。再次地，对应至图3c的第二(顶部右方)子节点的次分割，有四个子分支与四叉树层次等级2的第二节点连接。在等级3的节点不再进一步地被次分割。

[0084] 主要四叉树的各个叶对应至个别的预测参数(亦即，图像内或图像间、预测模式、移动参数等等)可指明的一可变尺寸的方块。于下面，这些方块被称为预测方块。尤其，这些叶方块是图3c展示的方块。通过简要地返回参考图1以及图2的说明，分割器20或次分割器28决定如刚说明的四叉树次分割。次分割器152a-d进行树型方块150、子方块152a-d、小的子方块154a-d等等的分割决定，以进一步地次分割或分隔，以在如已先于上面被指出的一太细预测次分割以及一太粗预测次分割之间找到一最理想的取舍。预测器12，依次地，使用标示的预测次分割，以便依据预测次分割或对于，例如，利用图3c展示的方块被表示的各个预测子区域的方块尺寸，以决定在上面提及的预测参数。

[0085] 图3c展示的预测方块可进一步地被分割为用于残差编码目的的较小方块。对于各个预测方块，亦即，对于主要四叉树的各个叶节点，对应的次分割通过用于残差编码的一个或多个次级的四叉树被决定。例如，当允许一16×16的最大的残差方块尺寸时，一给与的32×32预测方块可被分割为四个16×16方块，其各利用残差编码的一次级的四叉树被决定。这范例中的各个16×16方块对应至一次级的四叉树的根节点。

[0086] 如对于一给与的树型方块的次分割使成为预测方块的情况中的说明，各个预测方块可通过使用次级的四叉树分解被分割为一些残差方块。一次级四叉树的各个叶对应至一残差方块，该残差方块可利用残差预编码器14指明个别的残差编码参数(亦即，转换模式、转换系数等等)，该残差预编码器14的残差编码参数依次地分别控制残差重建器16以及106。

[0087] 换句话说，次分割器28可被配置为，对于各图像或对于各图像群集，而决定一预测次分割以及一次级残差次分割，其首先分割图像成为树型方块150的一规则性排列，利用四叉树次分割以递归式分隔这些树型方块的一子集，以便取得成为预测方块的预测次分割–如果在各树型方块无分割发生，则其可以是树型方块或四叉树次分割的叶方块–接着进一步地以相似方式次分割这些预测方块的一子集，如果一预测方块是较大于次级残差次分割的最大尺寸，则通过首先分割各预测方块使成为子树型方块一规则性排列，接着依据四叉树次分割程序，次分割这些次树型方块的一子集，以便取得残差方块-如果在各预测方块无成为次树型方块的分割发生则其可以是预测方块，如果在各次树型方块无分割使成为更小区域发生则可以是次树型方块，或残差四叉树次分割的叶方块。

[0088] 如上面的简要论述，对于一主要数组所选择的次分割可被映像至次级数组上。当考虑到如主数组相同尺寸的次级数组时，这是容易的。然而，当次级数组的尺寸不同于主数组的尺寸时，特定措施必须被采用。大体而言，于不同尺寸的情况中，主数组次分割至次级数组上的映像可通过空间映射被完成，亦即，通过空间地映像主数组次分割的方块边缘至次级的数组。特别是，对于各个次级数组，其可能有决定主数组对次级数组的尺寸比率的水平以及垂直方向的尺寸调整因素。用于预测以及残差编码的使次级数组分割为子方块的分割可分别地通过主要数组的所排列的树型方块各者的主要四叉树以及次级四叉树被决定，而次级数组所产生的树型方块利用相对尺寸调整因素被尺寸调整。于水平以及垂直方向的尺寸调整因素不同(例如，于4:2:2色度次取样)的情况中，次级数组的产生的预测以及残差方块将可能不再是正方形。于这情况中，其可适应性地预定或挑选非正方形残差方块是否将可被切割成为正方形方块(对于整个序列、得自序列的一图像，或对于一个别的预测或残差方块)。于第一种情况中，例如，编码器以及解码器将可接受，对于每次被映像的方块不是正方形时使成为正方形方块的次分割。于第二种情况中，次分割器28将经由数据流插入器18以及数据流22发信挑选至次分割器104a。例如，于4:2:2色度次取样的情况中，其中次级数组具有如主要数组的一半宽度但却有相同高度，残差方块将是如宽度的两倍高。通过垂直地切割这方块，将可能再次得到二个正方形方块。

[0089] 如上面所提到的，次分割器28或分割器20，分别地经由数据流22将四叉树为基础的分割发信至次分割器104a。因此，次分割器28告知数据流插入器18关于针对图像24所选择的次分割。数据流插入器接着传送主要以及次要四叉树的结构，以及因此，图像数组成为在数据流或比特流22内的预测或残差编码的可变尺寸方块分割，分别至解码侧。

[0090] 最小以及最大的可接受方块尺寸作为边信息被发送并且可能自图像至图像地改变。或者，最小以及最大的可接受方块尺寸可在编码器以及解码器中被固定。这些最小以及最大的方块尺寸对于预测以及残差方块可以是不同的。对于四叉树结构的发信，四叉树必须被移动，并且对于各节点其必须被指明，这特定节点是否为该四叉树的一叶节点(亦即，对应的方块不再进一步地被次分割)或其是否将分支成为其的四个子节点(亦即，对应的方块将被分割为具有一半尺寸的四个子方块)。

[0091] 在一图像内的发信以一光束扫描顺序依树型方块至树型方块方式进行，例如在图5a的140所示自左方至右方以及顶部至下面的顺序。这扫描顺序也可以是不同的，如自底部右方至顶部左方或以一棋盘式顺序。于一较佳实施例中，各个树型方块以及因此各个四叉树以深度优先级被遍历以供发信次分割信息。

[0092] 于一较佳实施例中，不仅次分割信息，亦即，树型的结构，但同时也有预测数据等等，亦即，关联于树型叶节点的酬载，以深度优先级被发送/被处理。这被完成，因为深度优先遍历具有超过广度优先级的大量优点。于图5b中，一四叉树结构以被呈现被标示着a、b、…、j的叶节点。图5a展示所产生的方块分割。如果方块/叶节点以广度优先级被遍历，则将取得下面的顺序：abjchidefg。然而，以深度优先级，则其顺序是abc…ij。如自图5a所见，以深度优先级，左方邻近的方块以及顶部邻近的方块永远在目前方块之前被发送/被处理。因此，移动向量预测以及语境模型可永远使用被指示用于左方以及顶部邻近方块的参数，以便得到一改进的编码性能。对于广度优先级，则不是如此，因方块j，例如，在方块e、g、以及i之前被发送。

[0093] 因此，对于各个树型方块的发信递归式是沿着主要四叉树的四叉树结构被完成，因而对于各节点，一旗标被发送，其指明对应的方块是否被切割成为四个子方块。如果这旗标具有数值“1”(代表“真”)，则对于所有四个子节点，亦即，子方块，这发信处理程序以光束扫描顺序(顶部左方、顶部右方、底部左方、底部右方)递归式被重复，直到抵达主要四叉树的叶节点为止。应注意到，一叶节点是具特征于具有一数值“0”的一次分割旗标。对于一节点存在于主要四叉树最低层次等级上并且因此对应至最小可接受的预测方块尺寸的情况，则将无次分割旗标必须被发送。对于图3a-图3c中的范例，将可能首先发送“1”，如在图6a中的190所展示，其指明树型方块150被切割成为其的四个子方块152a-d。接着，将可能以光束扫描顺序200递归式编码所有的四个子方块152a-d的次分割信息。对于首先的二个子方块152a、b，将可能发送“0”，其指明它们不被次分割(参看图6a中的202)。对于第三个子方块
152c(底部左方)，将可能发送“1”，其指明这方块被次分割(参看图6a中的204)。接着，依据递归式方法，这方块的四个子方块154a-d将可能被处理。在此，将可能对于第一子方块(206)发送“0”并且对于第二(顶部右方)子方块(208)发送“1”。接着，图3c中最小的方块尺寸的四个方块156a-d将可被处理。于这情况中，已到达最小的容许方块尺寸的情况，由于进一步的次分割是不可能的，故无更多的数据将必须被发送。另外指明这些方块将不进一步地被分割的“0000”，将被发送，如在图6a中的210的指示。在此步骤之后，将可对于图3b的下方的二个方块发送“00”(参看图6a中的212)，并且最后对于图3a中的底部右方的方块发送“0”(参看214)。因此，表示四叉树结构的全部的二元序列将是图6a中所展示者。

[0094] 于图6a的这二元序列表示中不同的背景斜线对应至四叉树为基础的次分割的层次中的不同等级。斜线216表示等级0(对应至等于原始树型方块尺寸的一方块尺寸)，斜线218表示等级1(对应至等于一半原始树型方块尺寸的一方块尺寸)，斜线220表示等级2(对应至等于四分之一原始树型方块尺寸的一方块尺寸)，并且斜线222表示等级3(对应至等于八分之一原始树型方块尺寸的一方块尺寸)。相同层次等级的所有次分割旗标(对应至二元序列表示范例中的相同方块尺寸以及相同颜色)，例如，可利用插入器18使用一相同概率模型被熵编码。

[0095] 应注意，对于广度优先遍历的情况，次分割信息将以不同的顺序被发送，如图6b中的展示。

[0096] 相似于对于预测目的的各树型方块的次分割，使成为残差方块的各形成预测方块的分割必须于比特流中被发送。同时，可以有被发送作为边信息并且自图像至图像改变的用于残差编码的一最大以及最小方块尺寸。或者，用于残差编码的最大的以及最小方块尺寸可在编码器以及解码器中被固定。在主要四叉树的各个叶节点，如图3c展示者，对应的预测方块可被分割为最大可接受尺寸的残差方块。这些方块是用于残差编码的次级四叉树结构的组成根节点。例如，如果用于图像的最大的残差方块尺寸是64×64并且预测方块尺寸是32×32，则整体预测方块将对应至尺寸32×32的一次级(残差)四叉树根节点。另一方面，如果对于图像的最大的残差方块尺寸是16×16，则32×32预测方块将由各个尺寸为16×16的四个残差四叉树根节点所组成。在各个预测方块之内，次级四叉树结构的发信是以光束扫描顺序(左方至右方，顶部至底部)利用根节点接根节点方式所完成。如同于主要(预测)四叉树结构的情况中，对于各个节点，一旗标被编码，其指明这特定节点是否被分割为其的四个子节点。接着，如果这旗标具有一数值“1”，则这程序步骤对于所有四个对应的子节点以及其的对应的子方块，以光束扫描顺序(顶部左方、顶部右方、底部左方、底部右方)递归式被重复，直到抵达次级四叉树的一叶节点为止。如于主要四叉树的情况中，对于次级四叉树最低层次等级上的节点不需要发信，由于那些节点对应至不可更进一步被分割的最小可能残差方块尺寸的方块。

[0097] 对于熵编码，属于相同方块尺寸的残差方块的残差方块次分割旗标可使用一相同的概率模型被编码。

[0098] 因此，依据上面有关图3a至图6a所呈现的范例，次分割器28对于预测目的定义一主要的次分割并且对于残差编码目的定义主要次分割的不同尺寸方块的次级次分割。数据流插入器18通过对于各个树型方块以一曲折扫描顺序发信而编码主要的次分割，一位序列依据图6a与编码主要次分割的最大主要方块尺寸以及最大层次等级一起建立。因此，对于各个定义的预测方块，关联的预测参数已被包含进入数据流。此外，相似信息，亦即，依据图6a的最大尺寸、最大层次等级以及位序列，的编码发生于其尺寸是等于或较小对于残差次分割的最大尺寸的各个预测方块，并且发生于其尺寸超过对于残差方块所定义的最大尺寸的预测方块被预分割成的各个残差树根方块。因此，对于各个被定义的残差方块，残差数据被插进数据流内。

[0099] 提取器102在输入116自数据流提取各位序列并且告知分割器104关于因此被取得的次分割信息。除此的外，数据流插入器18以及提取器102可在预测方块以及残差方块之中使用先前提及的顺序以进一步地发送语法元素，例如，通过残差预编码器14输出的残差数据以及通过预测器12输出的预测参数。使用这顺序具有优点，其中用以编码某一方块的个别的语法元素的适当语境可通过利用邻近方块的先前被编码/被解码的语法元素被选择。此外，同样地，残差预编码器14以及预测器12、残差重建器106以及预编码器110可以上面叙述的顺序处理个别的预测以及残差方块。

[0100] 图7展示步骤流程图，其可通过提取器102被进行，以便当如上面论述的方式编码时可自数据流22提取出次分割信息。于第一步骤中，提取器102分割图像24成为树根方块150。这步骤被指示如图7中的步骤300。步骤300可涉及自数据流22提取最大预测方块尺寸的提取器102。同时或可选择地，步骤300可涉及自数据流22提取最大层次等级的提取器
102。

[0101] 接着，于步骤302中，提取器102自数据流解码出一旗标或位。第一次步骤302被进行，提取器102了解各旗标是属于树根方块扫描顺序140的第一树根方块150的位序列的第一旗标。由于这旗标是层次等级0的一旗标，提取器102于步骤302中可使用关联于层次等级0的一语境模型，以便决定一语境。各个语境可具有用以熵解码与之关联的旗标的一各概率估计。这些语境的概率估计可对各别语境符号统计量分别语境地被调适。例如，为了于步骤
302中决定用以解码层次等级0的旗标的一适当语境，提取器102可挑选一组语境的一语境，其取决于邻近树型方块的层次等级0旗标被关联于层次等级0，或甚至进一步地取决于，包含在位串内的信息，该位串是定义目前处理的树型方块的邻近树型方块(例如，顶部以及左方的邻近树型方块)的四叉树次分割。

[0102] 于接着的步骤中，亦即，步骤304，提取器102检查关于最近被解码的旗标是否建议一分隔。如果是这情况，则提取器102分隔当前的方块–目前是一树型方块–或于步骤306中指示这分隔至次分割器104a，并且检查，于步骤308中，关于目前的层次等级是否等于最大层次等级减一。例如，于步骤300中，提取器102，例如，同时也可具有自数据流提取的最大层次等级。如果目前的层次等级不等于最大的层次等级减一，则于步骤310中提取器102增加1至目前的层次等级，并且回至步骤302以自数据流解码下一个旗标。这时，将于步骤302中被解码的旗标属于另外的层次等级，并且，因此，依据一实施例，提取器102可挑选一不同组集语境的一者，该组集属于目前的层次等级。该挑选同时也可以是取决于依据图6a已被解码的邻近树型方块的次分割位序列。

[0103] 如果一旗标被解码，并且于步骤304中的检查揭露这旗标并不建议目前方块的一分割，则提取器102继续进行步骤312以检查关于目前的层次等级是否为0。如果是这情况，则提取器102于步骤314中以扫描顺序140对于下一个树根方块继续进行处理或如果没有将被处理的树根方块留下，则停止处理提取次分割信息。

[0104] 应注意到，图7的说明仅集中在预测次分割的次分割指示旗标的解码，以至于，事实上，步骤314可能涉及例如，有关目前树型方块的进一步的二元值或语法元素的解码。于任何情况中，如果一进一步的或下一个树根方块存在，则提取器102自步骤314继续进行至步骤302以自次分割信息解码下一个旗标，亦即，关于新树根方块的旗标序列的第一旗标。

[0105] 如果于步骤312中，层次等级结果是不等于0，则于步骤316中操作继续进行关于目前节点的进一步的子节点是否存在的检查。亦即，当提取器102于步骤316中进行检查时，于步骤312中其已被检查目前的层次等级是否为除了0层次等级的外的一层次等级。接着，这表示一父节点存在，其属于一树根方块150或较小的方块152a-d，或更小的方块152a-d，以及等等的一者。最近被解码的旗标所属的树型结构节点具有一父节点，其是相用于目前树型结构的三个进一步的节点。在具有一共同父节点的此些子节点中的扫描顺序已在图3a中对于层次等级0以参考标号200作为范例地被说明。因此，于步骤316中，提取器102检查关于所有的这些四个子节点是否已在图7处理程序之内被访问过。如果不是这情况，亦即，如果有目前父节点的进一步的子节点，则图7处理程序继续进行步骤318，其中下一个子节点依据在目前层次等级内的一曲折扫描顺序200将被访问，以至于其的对应的子方块此刻代表处理程序7的目前方块，并且随后，于步骤302中，一旗标将自关于目前方块或目前节点的数据流被解码出。然而，如果于步骤316中，对于目前的父节点无进一步的子节点，则图7的处理程序继续进行至步骤320，其中目前的层次等级在处理程序继续进行步骤312之后将被减去1。

[0106] 通过进行图7展示的步骤，提取器102以及次分割器104a相配合以自数据流重新获得在编码器侧被选择的次分割。图7的处理程序是集中在上面所说明的预测次分割情况。图8展示，与图7的流程图组合，提取器102以及次分割器104a如何相配合以自数据流重新获得残差次分割。

[0107] 尤其是，图8展示对于自预测次分割所产生的各个预测方块，分别地通过提取器102以及次分割器104a所进行的步骤。这些预测方块被遍历，如上面提到的，其是依据在预测次分割的树型方块150中的一曲折扫描顺序140并且使用用以遍历叶方块的目前访问的各个树型方块150内的一深度优先遍历顺序，例如，于图3c中所展示。依据深度优先遍历顺序，分隔的主要树型方块的叶方块以深度优先遍历顺序被访问，其以曲折扫描顺序200访问某一层次等级的子方块是否具有一共享的目前节点并且在继续进行至下一个子方块之前首先以这曲折扫描顺序200主要地扫描各个这些子方块的次分割。

[0108] 对于图3c中的范例，在树型方块150叶节点之中所产生的扫描顺序以参考标号350被展示。

[0109] 对于一目前访问的预测方块，图8的处理程序开始于步骤400。于步骤400中，指示目前方块的目前尺寸的一内在参数被设定而等于残差次分割层次等级0的尺寸，亦即，残差次分割的最大方块尺寸。应记得，最大残差方块尺寸可能较低于预测次分割的最小方块尺寸或可能等于或较大于后者。换句话说，依据一实施例，编码器是自由地选择任何刚提及的可能性。

[0110] 于接着的步骤中，亦即，步骤402，关于目前访问的方块的预测方块尺寸是否较大于指示目前尺寸的内部参数的检查被进行。如果是这情况，则目前访问的预测方块，其可能是预测次分割的一叶方块或预测次分割的一树型方块，其不更进一步地被分隔，是较大于最大的残差方块尺寸，并且于这情况中，图8的处理程序继续进行图7的步骤300。亦即，目前访问的预测方块被分割为残差树根方块，并且在这目前访问的预测方块内的第一残差树型方块的旗标序列的第一旗标，于步骤302中被解码以及等等。

[0111] 然而，如果目前访问的预测方块具有等于或较小于指示目前尺寸的内部参数的尺寸，则图8的处理程序继续进行至步骤404，其中预测方块尺寸被检查以决定其是否等于指示目前尺寸的内部参数。如果是这情况，则分割步骤300可被跳过并且处理程序继续直接地进行图7的步骤302。

[0112] 然而，如果，目前访问的预测方块的预测方块尺寸是较小于指示目前尺寸的内部参数，则图8的处理程序继续进行步骤406，其中层次等级被增加1并且目前的尺寸被设定而使得新的层次等级的尺寸，例如被除以2(于四叉树次分割情况的两个轴方向中)。随后，再次进行步骤404的检查。利用步骤404以及406所形成的回路的作用是层次等级经常对应至将被分隔的对应的方块尺寸，无关于各预测方块较小于或等于/较大于最大残差方块尺寸。因此，当于步骤302中解码旗标时，进行的语境模型同时依据旗标指示的方块的层次等级以及尺寸。对于不同层次等级或方块尺寸的旗标的不同语境的分别地使用的一优点是，其中概率估计可在旗标评估发生之中良好地适用于实际概率分配，另一方面，其具有一相对适度的将被处理的语境数目，因此降低语境管理经常支出以及增大语境对实际符号统计数据的调适性。

[0113] 如上面所提到的，其可能有一个以上的取样数组并且这些取样数组可被群集成为一个或多个平面群组。将被编码的输入信号，进入输入32，例如，可能是一视频序列的一图像或一静止影像。因此，该图像可能以一个或多个取样数组形式被给与。于一视频序列的一图像或一静止影像的编码语境中，取样数组可指示三个彩色平面，例如红、绿以及蓝或指示亮度以及色度平面，如以YUV或YCbCr的彩色表示。此外，表示属性，亦即，对于3D视频素材的透明度，及/或深度信息的取样数组也可呈现。一些这种取样数组可群集一起而形成所谓的平面群组。例如，亮度(Y)可以是仅具有一取样数组的一平面群组并且色度，例如CbCr，可以是具有二个取样数组的另外的平面群组，或于另外的范例中，YUV可以是具有三个矩阵的一平面群组，并且对于3D视频素材的一深度信息可以是仅具有一取样数组的一不同的平面群组。对于每个平面群组，一主要四叉树结构可在数据流22之内被编码而表示成为预测方块的分割并且对于各个预测方块，一次要四叉树结构表示成为残差方块的分割。因此，依据刚提及的第一范例，其中亮度分量是一平面群组，而色度分量则形成其它的平面群组，其可能是用于亮度平面预测方块的一个四叉树结构，用于亮度平面残差方块的一个四叉树结构，用于色度平面预测方块的一个四叉树结构以及用于色度平面残差方块的一个四叉树结构。然而，于先前提及的第二范例中，其可能是一起用于亮度以及色度(YUV)预测方块的一个四叉树结构，一起用于亮度以及色度(YUV)残差方块的一个四叉树结构，用于3D视频素材的深度信息预测方块的一个四叉树结构以及用于3D视频素材的深度信息残差方块的一个四叉树结构。

[0114] 进一步地，于先前的说明中，输入信号使用一主要四叉树结构被分割为预测方块并且其说明这些预测方块如何进一步地使用一次级四叉树结构被次分割为残差方块。依据一不同实施例，次分割可能不在次级四叉树级结束。亦即，自使用次级四叉树结构的一分割所取得的方块可使用一第三代四叉树结构进一步地被次分割。这分割，依次地，可能被使用于使用可帮助编码残差信号的进一步的编码工具的目的上。

[0115] 先前的说明集中在分别地通过次分割器28以及次分割器104a所进行的次分割上。如上面所提到的，通过次分割器28以及104a被定义的次分割，可能分别地控制先前提到的编码器10以及解码器100模块的处理方块尺寸。然而，依据下面说明的实施例，分别地，次分割器228以及104a，于其之后分别地接随着一合并器30以及合并器104b。然而，应注意到，合并器30以及104b是选用的并且可被去除。

[0116] 然而，实际上，并且如下面更详细的论述，合并器提供结合一些预测方块或残差方块为群集或聚集给编码器的机会，以至于其它者，或至少一些其它的模块可一起处理这些方块群集。例如，预测器12可牺牲在一些预测方块的预测参数间的小的偏移，其通过使用次分割器28的次分割而最佳化地被决定，且如果对于属于这群集所有方块的一共同参数一起传送的群集的预测方块的发信，在率/失真比意义上比发信分别地对于所有这些预测方块的预测参数是更有希望的话，则其将替代地使用共享于所有这些预测方块的预测参数。对于预测器12以及110重新获得预测的处理，其本身，依据这些共享预测参数，仍可以预测方块方式发生。然而，其也有可能是预测器12以及110对于全体预测方块群集进行一次预测处理。

[0117] 如下面更详细的论述，其也有可能是，预测方块的群集不仅是对于使用供用于一群集的预测方块的相同或共享的预测参数，其同时也可以是，可选择地，或另外地，使编码器10一起发送对于这群集的一预测参数以及属于这群集的预测方块的预测残差，以至于对于这群集的预测参数的发信经常费用可被降低。于后者的情况中，合并处理程序可能仅影响数据流插入器18而不影响残差预编码器14以及预测器12的决定。然而，下面将呈现更多细节。然而，为完整起见，应注意到，刚提及的方面同时也可应用至其它的次分割上，例如，上面提及的残差次分割或过滤器次分割。

[0118] 首先，取样组集的合并，例如，先前所提到的预测以及残差方块，以更普遍的意义被激发，亦即，非限定于上面所提及的多树型次分割。然而，对于上面刚说明的实施例，接着的说明将集中于自多树型次分割所产生的方块的合并。

[0119] 大体而言，对于发送关联的编码参数的目的，合并关联于取样特定组集的语法元素将可降低影像以及视频编码应用中的边信息率。例如，将被编码的信号的取样数组通常被分隔成为取样的特定组集或取样组集，其可表示矩形或正方形方块，或任何其它的取样采集，包含成任意形状的区域，三角形或其它的形状。在先前所说明的实施例中，简单地连接区域是自多树型次分割所产生的预测方块以及残差方块。取样数组的次分割可被固定，如利用语法，或，如上面的说明，次分割可以是，至少部分地，在比特流内部被发信。为维持对于发信次分割信息的边信息率为小量的，语法通常仅允许导致简易分割的限定数目选择，例如，方块次分割为较小的方块。取样组集被关联于特定编码参数，其可指定预测信息或残差编码模式，等等。关于这论题的细节已在上面被说明。对于各个取样组集，例如，用以指明预测及/或残差编码的个别的编码参数可被发送。为了实现改进的编码效率，下面说明的合并方面，亦即，将二个或更多个取样组集合并成为所谓的取样组集的群集，将可具有一些优点，其将在下面进一步地被说明。例如，取样组集可被合并，因而此一群集的所有取样的组集共享相同的编码参数，其可与群集中的取样组集的一者共同被发送。通过如此进行，编码参数不必须得对于取样组集的群集的各个取样组集分别地被发送，反而，编码参数对于取样组集的所有群集仅被发送一次。因而，对于发送编码参数的边信息率可被降低并且全面的编码效率可被改进。如一供选择的方法，对于一个或多个编码参数的一另外的精细度(refinement)可对于一取样组集的群集的一个或多个取样组集而被发送。该精细度可以是应用于一群集的所有取样组集或仅仅应用于将被发送的取样组集的其中一者。

[0120] 将在下面进一步地被说明的合并方面同时也提供产生比特流22的较大的自由度给编码器，因为该合并方法显著地增大对于挑选供用于一图像的取样数组的分割的可能性数量。因为该编码器可在更多的选项之间做出选择，例如，对于最小化一特定率/失真测量，故编码效率可被改进。操作一编码器可以有数个可能性。于一简易的方法中，编码器可首先决定取样数组的最佳的次分割。概略地参看至图1，次分割器28可在第一阶段中决定最理想的次分割。随后，其可对于各个取样组集被检查，是否另外的取样组集或取样组集的另外的群集的合并，降低特定率/失真成本测量。于此，关联于取样组集的一合并群集的预测参数可重新被估计，例如，通过进行一新的移动搜寻，或已对于共有的取样组集被决定的预测参数以及供用于合并的候选取样组集或取样组集的群集可针对被考虑的取样组集的群集而被评估。一更广泛的方法中，对于取样组集的附加候选群集的一特定率/失真成本测量可被评估。

[0121] 应注意到，此后说明的合并方法并不改变取样组集的处理顺序。亦即，合并概念可以使延迟不会增大的方式被实作，亦即，各个取样组集可如不使用合并方法的相同时间，而保持可解码。

[0122] 如果，例如，通过降低编码预测参数的数目而被储存的位率，是较大于附加地耗费于供指示对解码侧的合并的编码合并信息的位率，将在下面进一步地被说明的合并方法将导致一增大的编码效率。应进一步注意到，对于合并所说明的语法延伸部分，关于挑选一图像或平面群组成为方块的分割方面，提供编码器额外的自由度。换句话说，编码器并不被限定于首先处理次分割而接着去检查产生的一些方块是否具有相同的组集或相似组集的预测参数。如一简易的选择，编码器可首先依据率失真成本测量决定次分割并且接着编码器可检查，对于各个方块，关于与其的邻近方块或被关联的先前被决定的方块群集的一者的合并，是否降低率失真成本测量。于此，关联于新的方块群集的预测参数可重新被估计，例如，通过进行一新的移动搜寻，或对于目前的方块以及邻近的方块或方块群集已被决定的预测参数可对于新的方块群集被评估。合并信息可以方块基础的方式被发信。有效地，合并同时也可以解释为对于一目前方块的预测参数的推论，其中被推论的预测参数被设定为等于邻近方块的一者的预测参数。可选择地，残差量可对于一方块群集内的方块被发送。

[0123] 因此，在下面进一步被说明的合并概念下的基本构想将通过合并邻近的方块使成为方块群集，而降低发送预测参数或其它编码参数所需的位率，其中各方块群集被关联于唯一的编码参数组集，例如，预测参数或残差编码参数。除了次分割信息的外，如果出现的话，合并信息在比特流的内部被发信。合并概念的优点是对于编码参数自一减少的边信息率所产生的增大的编码效率。应注意到，此处说明的合并处理程序同时也可延伸至除了空间维度的外的其它维度。例如，一取样或方块的组集的群集，分别地，位于数个不同的视频图像之内，可被合并成为一个方块群集。合并同时也可被应用至4D压缩以及光场编码。

[0124] 因此，概要地返回至先前图1至图8的说明，值得注意的是，次分割之后随着合并处理具有分别地无关于特定方式次分割图像的次分割器28以及104a的优点。更确切地说，后者也可以相似，例如，H.264，的方式次分割图像，亦即，通过次分割各个图像使成为预定尺寸(例如，16×16亮度取样或在数据流内被发信的尺寸)的矩形或正方形巨方块的规则性排列，各巨方块具有某些与之关联的编码参数，其包括，尤其是，分割参数，其对各个巨方块，定义使成为一规则性子网格1、2、4的分割或一些被视为用以预测的方块尺寸的其它分隔数目以及于数据流中与用以定义残差量以及对应的残差转换方块尺寸的分隔的对应的预测参数。

[0125] 于任何情况中，合并提供上面所提概述的优点，例如，降低影像以及视频编码应用中的边信息位率。特定的取样组集，其可代表矩形或正方形方块或任意形状的区域或任何其它取样收集，例如，任何简单连接区域或取样通常被连接于编码参数的一特定组集并且对于各个取样组集，编码参数被包含在比特流中，这些编码参数表示，例如，预测参数，其指明对应的取样组集如何使用已先前被编码的取样被预测。使图像的取样数组成为取样组集的分隔可通过语法被固定或可通过对应的次分割信息在比特流内部被发信。对于取样组集的编码参数可以利用语法被给与的一预定顺序被发送。依据合并功能，合并器30可发信，对于一共同取样组集或一目前方块，例如，一预测方块或残差方块，其与一个或多个其它取样组集被合并成为取样组集的一群集。对于一取样组集的群集的编码参数，因此，将仅需要被发送一次。于一特定实施例中，如果目前的取样组集与编码参数已先前地被发送的一取样组集或一已存在的取样组集群集合并的话，则一目前取样组集的编码参数将不被发送。反之，对于目前的取样组集的编码参数被设定为等于目前的取样组集被合并的取样组集或取样组集的群集的编码参数。如另一选择方法，对于一个或多个编码参数的另外的精细度可对于一目前的取样组集被发送。该精细度可以被应用至一群集的所有取样组集或仅被应用至被发送的取样组集。

[0126] 依据一实施例，对于各个取样组集，例如，如上面提到的一预测方块、上面提到的一残差方块、或上面提到的一多树型次分割的叶方块，所有先前被编码/被解码的取样组集的组集被称为“因果性取样组集的组集”。参看，例如，图3c。这附图中所展示的所有方块是某一次分割的结果，例如，一预测次分割或一残差次分割或任何多树型次分割，或其类似者，并且在这些方块之中被定义的编码/解码顺序利用箭号350被定义。考虑在这些方块中的某一方块是目前的取样组集或目前的简单地连接区域时，则其的因果性取样组集的组集将是由沿着顺序350的先前于目前方块的所有方块所组成。然而，再次地，回顾到不使用多树型次分割的另外的次分割，其将不但可能是而且是下面的合并原理的关注议题。

[0127] 取样组集，其可被使用于与一目前取样组集的合并，在下面将被称为“候选取样组集的组集”，并且经常是“因果性取样组集的组集”的一子集。子集如何被形成的方式可以是已知于解码器或其可在数据流或比特流内部自编码器被指定至解码器。如果一特定的目前取样组集被编码/被解码，并且其候选取样组集的组集不是空的，则其在编码器处被发信于数据流内或在解码器处自数据流被得到，是否共同取样组集与得自这候选取样组集的组集的一取样组集合并，并且，如果如此，则与它们合并。否则，该合并不能被使用于这方块，由于候选取样组集的组集反正总是空的。

[0128] 有不同的方法以决定因果性多个取样组集的组集的子集，其将表示多个候选取样组集的组集。例如，候选取样组集的决定可依据目前取样组集内部的一取样，其是唯一几何式被定义，例如，一矩形或正方形方块的左上方影像取样。自这唯一几何式被定义的取样开始，一特定非零值数目的取样被决定，其直接地表示这唯一几何式被定义的取样的空间邻近者。例如，这特定非零值数目的取样包括唯一地几何式被定义的目前取样组集的取样的顶部邻近者以及左方邻近者，因而邻近取样的非零值数目可以是，最大为二，如果顶部或左方邻近者的一是不可供用的或位于图像的外则是一，或于两邻近者皆是缺失的情况中，则为零值。

[0129] 候选取样组集的组集接着可被决定以包括含有非零值数目的刚提及邻近取样的至少一者的那些取样组集。参看，例如，图9a。被考虑作为合并对象的目前取样组集，可能是方块X并且其是几何式唯一被定义的取样，应可范例式作为在400所指示的顶部左方取样。取样400的顶部以及左方邻近者以402以及404被指示。因果性取样组集的组集或因果性方块的组集以斜线方式被强调。在这些方块之中，方块A以及B包括邻近取样402以及404的一者，并且因此，这些方块形成候选方块的组集或候选取样组集的组集。

[0130] 依据另外的实施例，为合并目的被决定的候选取样组集的组集也可额外地或专门地被包含多个取样组集，这些取样组集含有一特定非零值数目取样，其可以是具有相同空间位置的一个或二个，但是却被包含在一不同图像中，亦即，例如，一先前被编码/被解码的图像。例如，除了图9a中A以及B方块的外，先前被编码的图像的一方块可被使用，其包括在如取样400的相同位置取样。顺便地，值得注意的是，仅有顶部邻近取样404或仅有左方邻近取样402可被使用，以定义在先前提及的非零值数目的邻近取样。大体上，候选取样组集的组集可在目前图像之内或其它图像中自先前所处理的数据被得到。有关组集得到的信息可包含空间方向信息，例如，有关于一特定方向的转换系数和目前图像的影像梯度或其可包含时间方向信息，例如，邻近移动表示。候选取样组集的组集可被得自可供用于接收器/解码器的此等数据以及其它数据与在数据流内的边信息，如果存在的话。

[0131] 应注意到，候选取样组集的得到程序利用在编码器侧的合并器30以及在解码器侧的合并器104b两者平行地被进行。如刚所提到的，两者可依据其两者所知的预定方式而彼此无关地决定候选取样组集的组集或编码器可在比特流内发信注意事项，其将合并器104b带入一位置，以相当于合并器30在编码器侧所决定的候选取样组集的组集的方式而进行这些候选取样组集的得到程序。

[0132] 如将在下面更详细的说明，合并器30以及数据流插入器18合作，以便发送供用于各取样组集的一个或多个语法元素，其指明这些取样组集是否与另外的取样组集合并，依次地，其可以是已先前合并的取样组集的群集的部分并且其中用于合并的候选取样组集的组集被采用。提取器102，依次地，提取这些语法元素并且因此通知合并器104b。尤其是，依据稍后说明的特定实施例，一个或二个语法元素被发送以供指明用于一特定取样组集的合并信息。第一语法元素指明目前的取样组集是否与另外的取样组集合并。第二语法元素，其仅如果第一语法元素指明目前的取样组集与另外的取样组集合并，指明供用于合并的哪个候选取样组集的组集被采用时方被发送。如果得到的候选取样组集的一组集是空的，则第一语法元素的发送可被抑制。换句话说，仅如果所得到的候选取样组集的一组集不是空的话，第一语法元素方可被发送。仅如果得到的候选取样组集的一组集包含一个以上的取样组集时，第二语法元素方可被发送，因为如果仅一个取样组集被包含在候选取样组集的组集中，则进一步的挑选无论如何是不可能的。更进一步地，如果候选取样组集的组集包括一个以上的取样组集，但是如果候选取样组集的组集的所有取样组集被关联于相同的编码参数，则第二语法元素的发送可能被抑制。换句话说，仅如果候选取样组集的一得到组集的至少二个取样组集被关联于不同的编码参数，则第二语法元素方可被发送。

[0133] 在比特流之内，对于一取样组集的合并信息可在预测参数或其它特定编码参数被关联于取样组集之前被编码。仅如果合并信息发信目前的取样组集将不与任何其它取样组集合并，则预测或编码参数方可被发送。

[0134] 对于某一取样组集，亦即，一方块，的合并信息，例如，可在预测参数，或更广义地，关联于各取样组集的编码参数的一适当子集被发送之后被编码。预测/编码参数的子集可由一个或多个参考图像指针或移动参数向量的一个或多个分量或一参考指标以及一移动参数向量的一个或多个分量等等所组成。已先前被发送预测或编码参数的子集可被使用以供得到自候选取样组集的一较大暂定组集的候选取样组集的一组集，其可如上面说明被得到。如一范例，在目前取样组集的已编码的预测与编码参数以及候选取样组集的初步组集的对应的预测或编码参数之间，依据一预定距离测量的一差异测量或距离可被计算出。接着，仅被计算的差异测量或距离较小于或等于一预定或被得到的临界值的那些取样组集，被包含在候选取样组集的最后，亦即，减小组集。例如，参看图9a。目前的取样组集可以是方块X。关于这方块的编码参数的一子集可已经被插入数据流22中。想象，例如，方块X是一预测方块，于其情况中，编码参数的适当子集可以是对于这方块X的预测参数的一子集，例如，得自包括一图像参考指针以及移动映像信息，例如，一移动向量的一组集的一子集。如果方块X是残差方块，则编码参数的子集是一残差信息的子集，例如，转换系数或指示在方块X内的重要转换系数的位置的映像图。依据这信息，数据流插入器18以及提取器102两者皆可使用这信息，以便决定得自方块A以及B的一子集，于这特定实施例中，其形成先前所提到的候选取样组集的初步组集。尤其是，由于方块A以及B属于因果性取样组集的组集，在方块X的编码参数目前正被编码/被解码的时，其编码参数是可供用于编码器以及解码器两者。因此，在先前所提到的使用差异测量的对照可被使用以排除候选取样组集A以及B的初步组集的任何数目方块。候选取样组集的减小组集接着可如上面说明地被使用，亦即，以便决定关于指示一合并的一合并指示符是否在其内部被发送或者是否将依据在候选取样组集的减小组集内的取样组集数目自数据流被提取出，以及决定关于一第二语法元素是否必须在其内部被发送，或必须自数据流被提取出一第二语法元素，该第二语法元素指示在候选取样组集的减小组集内的哪些取样组集将是用于合并的搭配方块。

[0135] 对照于先前所提到的临界值，在先前所提到被比较的距离可被固定并且是已知于编码器以及解码器两者或可依据所计算的距离，例如，差异数值的中间数，或一些其它中央倾向值或其类似者被得到。于这情况，候选取样组集的减小组集将无可避免地是候选取样组集的初步组集的一适当子集。可选择地，仅对于依据距离测量的距离被最小化的那些取样组集自候选取样组集的初步组集被挑选出。可选择地，使用先前所提到距离测量，则正好有一取样组集自候选取样组集的初步组集被挑选出。于后面情况中，合并信息将仅需要指示目前的取样组集是否将与一个别的候选取样组集合并。

[0136] 因此，候选方块的组集可如下面关于图9a的说明被形成或被得到。开始于图9a中目前方块X的顶部左方的取样位置400，其的左方邻近的取样402位置以及其的顶部邻近取样404位置在其的编码器以及解码器侧被得到。候选方块的组集因此可仅具有高至二个元素，亦即，得自图9a中包含二个取样位置的一者的因果性方块的斜线组集的那些方块，其于图9a的情况中，是方块B以及A。因此，候选方块的组集可仅具有目前方块的顶部左方取样位置的二个直接邻近方块作为其的元素。依据另外的实施例，候选方块的组集可利用已在目前方块之前被编码并且包含表示目前方块的任何取样直接空间邻近者的一个或多个取样的所有方块被给与。该直接空间邻近区域可被限定于目前方块的任何取样的直接左方邻近者及/或直接顶部邻近者及/或直接右方邻近者及/或直接底部邻近者。例如，参看图9b，其展示另外的方块次分割。于这情况中，候选方块包括四个方块，亦即，方块A、B、C、以及D。

[0137] 可选择地，候选方块的组集，额外地，或专门地，可含有包括将被置放在相同于目前方块的任何取样位置的一个或多个取样的方块，但是被包含在一不同者，亦即，已被编码/被解码的图像中。

[0138] 更不同地，方块的候选组集表示在上面说明的方块组集的一子集，其通过以空间或时间方向表示的邻近区域被决定。候选方块的子集可被固定，被发信或被得到。候选方块子集的得到可考虑对于该图像中或其它图像中的其它方块的决定。如一范例，被关联于相同或比其它候选方块更相似的编码参数的方块，可能不被包含在方块的候选组集中。

[0139] 下面实施例的说明，将应用于仅包含目前方块的顶部-左方取样的左方以及顶部邻近取样的被考虑作为最大可能的候选者的二个方块的情况中。

[0140] 如果候选方块的组集不是空的，则被称为merge_flag(合并_旗标)的一旗标被发信，该旗标指明目前方块是否与任何候选方块合并。如果merge_flag是等于0(“假”)，则这方块不与其候选方块的一者合并，并且所有编码参数如常地被发送。如果merge_flag是等于1(“真”)，则下述适用。如果候选方块的组集包含一个并且仅一个方块，则这候选方块被使用于合并。否则，候选方块的组集确切地仅包含二个方块。如果这二个方块的预测参数是相同的，则这些预测参数被使用于目前的方块。否则(二个方块具有不同的预测参数)，被称为merge_left_flag(合并_左方_旗标)的一旗标被发信。如果merge_left_flag是等于1(“真”)，则包含目前方块的顶部-左方取样位置的左方邻近取样位置的方块自候选方块的组集被挑选出。如果merge_left_flag是等于0(“假”)，得自候选方块的组集的其它(亦即，顶部邻近)方块被挑选。被挑选的方块的预测参数被使用于目前的方块。

[0141] 总结有关合并的一些上面说明实施例，参考图10，其展示利用提取器102进行以自进入输入116的数据流22提取出合并信息的步骤。

[0142] 处理程序开始于450，其辨识用于一目前取样组集或方块的候选方块或取样组集。应记得，用于方块的编码参数以某种一维顺序在数据流22之内被发送，并且因此，图10是有关于目前被访问的取样组集或方块重新获得合并信息的处理程序。

[0143] 如在先前所提到的，辨识以及步骤450可包括依据邻近区域方面在先前被解码的方块，亦即，因果性方块组集之中的辨识。例如，那些邻近方块可被指定为候选者，其包含在空间或时间方面邻近于目前方块X的一个或多个几何式预定取样的某些邻近的取样。进一步地，辨识步骤可包括二个阶段，亦即，第一阶段包含如刚提及的辨识，亦即，依据邻近区域，导致候选方块的一初步组集的辨识；以及第二阶段，依据该第二阶段，仅被指定候选的那些方块(其已被发送的编码参数满足对于目前方块X的编码参数的一适当子集的某种关系)，已在步骤450之前自数据流被解码。

[0144] 接着，处理步骤至步骤452，其决定关于候选方块数目是否较大于零值。如果是这情况，则于步骤454中一merge_flag自数据流被提取出。提取步骤454可包含熵解码。于步骤454中，用于熵解码merge_flag的语境可依据语法元素被决定，这些语法元素属于，例如，候选方块的组集或候选方块的初步组集，其中语法元素上的相依性可被限定于属于相关组集的方块是否已接受合并的信息。被挑选的语境的概率估计可被调适。

[0145] 然而，如果候选方块数目被决定为零值取代452时，则图10的处理程序继续进行步骤456，于其中目前方块的编码参数自比特流被提取出，或于上面提到的二个阶段辨识选择的情况中，自其余的编码参数被提取出，其中在提取器102以方块扫描顺序(例如，图3c中展示的顺序350)继续进行处理下一个方块之后。

[0146] 返回至步骤454，处理程序在步骤454的提取后，继续进行步骤458关于被提取的merge_flag是否建议目前方块合并的发生或无的检查。如果没有合并将发生，则处理程序继续进行在先前所提到的步骤456。否则，处理程序继续进行步骤460，其包含关于候选方块数目是否等于一的检查。如果是这情况，则关于在候选方块之中的某一候选方块的指示的发送是不需要的，并且因此图10的处理程序继续进行步骤462，依据该步骤，目前方块的合并搭配者被设定而仅为在其之后的候选方块，于步骤464中，合并的搭配方块的编码参数被使用于编码参数或目前方块的其余编码参数的调适或预测。于调适情况中，目前方块的缺失的编码参数仅自合并搭配方块被复制。于其它情况中，亦即，于预测情况中，步骤464可涉及自数据流进一步提取出残差数据，该残差数据是有关目前方块的缺失编码参数的预测残差量，以及这残差数据与自合并搭配方块取得的这些缺失的编码参数的预测的组合。

[0147] 然而，如果于步骤460中，候选方块数目被决定为较大于一，则图10的处理程序进至步骤466，其中关于编码参数或编码参数的相关部分–亦即，有关其对于目前方块的在数据流之内尚未被转换的部分的子部分–是否彼此相同的检查被进行。如果是这情况，于步骤468中，这些共同的编码参数被设定为合并参考或候选方块被设定为合并搭配者，并且于步骤464中，各相关编码参数被使用于调适或预测。

[0148] 应注意到，合并搭配者其本身可能已经是其合并被发信的方块。于这情况中，于步骤464中，被采用的或预测地被取得的合并搭配的编码参数被使用。

[0149] 否则，亦即，于编码参数是不相同的情况中，图10的处理程序继续进行至步骤470，其中进一步的语法元素自数据流被提取出，亦即，这merge_left_flag。一分别的语境组集可被使用于熵-解码这旗标。被使用于熵-解码merge_left_flag的语境组集同时也可仅包括一个语境。在步骤470之后，利用merge_left_flag被指示的候选方块于步骤472中被设定为合并搭配者，并且被使用于步骤464中的调适或预测。在步骤464之后，提取器102继续以方块顺序进行处理下一个方块。

[0150] 当然，其存在着许多的选择。例如，一结合语法元素可在数据流之内，替代先前所说明的分别的语法元素merge_flag以及merge_left_flag，而被发送，该结合语法元素发信合并处理程序。进一步地，无关于二个候选方块是否具有相同预测参数，在先前所提到的merge_left_flag可在数据流之内被发送，因此降低对于进行图10的处理程序的计算式经常支出。

[0151] 如先前有关，例如，图9b的表示，多于二个以上的方块可被包含在候选方块的组集中。进一步地，合并信息，亦即，发信一方块是否被合并的信息，并且，如果是合并，则候选方块将与其合并，而利用一个或多个语法元素被发信。一语法元素可指明该方块是否与任何的候选方块合并，例如，上面所说明的merge_flag。仅如果候选方块的组集不是空的，则旗标可被发送。一第二语法元素可发信哪些候选方块被采用于合并，例如，在先前所提到的merge_left_flag，但是一般指示在二个或二个以上的候选方块之中的一选择。仅如果第一语法元素发信目前的方块将与候选方块的一者合并，则第二语法元素可被发送。仅如果候选方块的组集包含一个以上的候选方块及/或如果任何的候选方块比任何其它的候选方块具有不同的预测参数，则第二语法元素可进一步地被发送。该语法可以是依据于有多少的候选方块被给与及/或依据于不同的预测参数如何被关联于这些候选方块。

[0152] 用以发信哪些候选方块的方块将被使用的语法，可在编码器以及解码器侧同时地及/或平行地被设定。例如，如果对于在步骤450中被辨识的候选方块有三种选择，则语法被选择，因而仅这三个选择是可供选择的并且被考虑用于熵编码，例如，于步骤470中。换句话说，语法元素被选择，因而其的符号字母仅具有如候选方块的选择存在般的许多元素。对于所有其它选择的概率可被考虑为零值并且可在编码器以及解码器同时地调整熵-编码/解码。

[0153] 进一步地，如先前有关步骤464所提到者，被推断作为合并处理的结果的预测参数，可能表示被关联于目前方块的预测参数的完整组集或它们可表示这些预测参数的一子集，例如，对于使用多个假设预测的一方块的一假设的预测参数。

[0154] 如在上面所提到的，有关于合并信息的语法元素可使用语境模型被熵编码。语法元素可以是由上面所说明的merge_flag以及merge_left_flag(或相似的相似语法元素)所组成。于一具体的范例中，出自三个语境模型或多个语境的一者可于步骤454中被使用于编码/解码merge_flag。被使用的语境模型指针merge_flag_ctx可如下所述地被得到：如果候选方块的组集包含二个元素，则merge_flag_ctx数值是等于二个候选方块的merge_flag的总数值。然而，如果候选方块的组集包含一个元素，则merge_flag_ctx数值可能是等于这一候选方块的merge_flag的二倍数值。由于邻近候选方块的各个merge_flag可能是一或零值的任一者，则有三个语境是可供用于merge_flag。merge_left_flag可仅使用一单一概率模型被编码。

[0155] 然而，依据另一实施例，不同的语境模型可被使用。例如，非二元语法元素可被映像至一个二元符号序列上，即所谓的二元值。对于定义合并信息的一些语法元素二元值或语法元素的语境模型，可依据先前被发送的邻近方块的语法元素或候选方块数目或其它的测量被得到，而其它的语法元素或语法元素二元值可利用一固定语境模型被编码。

[0156] 关于上面方块合并的说明，值得注意的是，候选方块的组集同时也可以如上面说明的任何实施例的相同方式却具有下面的修正而被得到：候选方块分别地被限定在使用移动补偿预测或图像间预测的方块。仅那些可以是候选方块的组集的元素。合并信息的发信以及语境模型化可如上面说明地被完成。

[0157] 返回至上面说明的多树型次分割实施例以及接着说明的合并方面的组合，假设图像通过四叉树为基础的次分割结构的使用而被分割成为可变尺寸的正方形方块，例如，指明合并的merge_flag以及merge_left_flag或其它的语法元素，可被交错于对于四叉树结构的各个叶节点被发送的预测参数中。再次考虑到，例如，图9a。图9a展示用于图像的四叉树为基础的次分割使成为可变尺寸的预测方块的范例。最大尺寸的顶部二个方块是所谓的树型方块，亦即，它们是最大的可能尺寸的预测方块。这附图中的其它方块如同它们对应树型方块的次分割般地被取得。目前的方块被标记为“X”。所有斜线方块在目前方块之前被编码/解码，因而它们形成因果性方块组集。如于实施例的一者的候选方块组集的得到的说明中所说明地，仅包含目前方块的顶部-左方取样位置的直接(亦即，顶部或左方)邻近取样的方块可以是候选方块组集的成员。因此目前的方块可与方块“A”或方块“B”的任一者合并。如果merge_flag是等于0(“假”)，则目前的方块“X”不与任何的二个方块合并。如果方块“A”以及“B”具有相同的预测参数，则不需要区分，因为与任何二个方块的合并将导致相同的结果。因此，于这情况中，merge_left_flag不被发送。否则，如果方块“A”以及“B”具有不同的预测参数，则merge_left_flag等于1(“真”)将合并方块“X”以及“B”，因而merge_left_flag等于0(“假”)将合并方块“X”以及“A”。于其它较佳实施例中，另外的邻近(已被发送)方块表示用于合并的候选者。

[0158] 于图9b中，另一范例被展示。此处目前的方块“X”以及左方的邻近方块“B”是树型方块，亦即，它们具有最大的允许的方块尺寸。顶部邻近方块“A”的尺寸是树型方块尺寸的四分之一。斜线方块是因果性方块组集的元素。注意，依据较佳实施例的一者，目前方块“X”仅可能与二个方块“A”或“B”合并，而不与任何其它顶部邻近的方块合并。于其它较佳实施例中，另外的邻近(已被发送)方块表示用于合并的候选者。

[0159] 在进行关于如何处理依据本申请实施例的图像的不同取样数组的方面的说明之前，应注意，上面关于多树型次分割以及一方面的发信与另一方面的合并方面的论述，明白地表示这些方面能提供可彼此无关地被利用的优点。亦即，如上面先前的说明，一多树型次分割与合并的组合具有特定优点，但是优点同时也因此产生自不同者，例如，合并特点利用次分割器30以及104a被进行的次分割被实施，而不是依据一四叉树或多树型次分割，但却是对应至一巨方块次分割，使这些巨方块成为较小的分隔的规则性分隔。另一方面，依次地，组合多树型次分割与最大树型方块尺寸指示的发送在比特流内，以及多树型次分割的使用与输送方块对应的编码参数的深度优先遍历顺序的使用，是有利地无关于合并特点是否同时地被使用。大体上，合并的优点可被了解，当考虑那点时，直觉地，编码效率可被增大，当取样数组编码的语法以一方式被延伸时，其不仅是允许次分割一方块，但同时也允许合并在次分割之后被取得的二个或更多个方块。因此，取得以相同预测参数被编码的一方块群集。对于此一方块群集的预测参数将仅需要被编码一次。进一步地，有关取样组集的合并，应再注意到，被考虑的取样组集可能是矩形或正方形方块，于其情况中，合并的取样组集表示矩形及/或正方形方块的采集。可选择地，然而，考虑的取样组集是任意成形的图像区域并且合并的取样组集表示任意地成形的图像区域的采集。

[0160] 下面的说明将集中于，每个图像有一个以上的取样数组情况中，一图像的不同取样数组的处理，并且在下面的附属说明所论述的一些方面是有利地无关于被使用的次分割的类型，亦即，无关于次分割是否依据多树型次分割，并且无关于是否使用合并。在开始说明关于一图像的不同取样数组的处理的特定实施例之前，这些实施例的主要议题经由进入每个图像的不同取样数组的处理领域的短介绍被引发。

[0161] 下面的论述将集中在一影像或视频编码应用中一图像的不同取样数组的方块之间的编码参数，并且，尤其是，集中于调适地预测在一图像的不同取样数组之间的编码参数的方式，该图像的不同取样数组是在，例如，但不是专门地，分别地在图1与图2的编码器以及解码器中，或在另外的影像或视频编码环境中。这些取样数组，如上面所提到的，可表示有关于不同色彩成份的取样数组或关联一图像与添加信息(例如，透明度数据或深度图)的取样数组。有关于一图像的色彩成份的取样数组同时也被称为色彩平面。下面说明的技术同时也被称为平面间采纳/预测，并且其可被使用于方块为基础的影像以及视频编码器与解码器中，而对于一图像的取样数组的方块的处理顺序可以是任意的。

[0162] 影像以及视频编码器大体上针对编码彩色图像(一静止影像或一视频序列图像)被设计。一彩色图像是由多个色彩平面所组成，其表示对于不同色彩成份的取样数组。通常，彩色图像被编码为由一亮度平面以及二个色度平面组成的一组取样数组，其的二个色度平面指定色彩差异成份。于一些应用范围中，其通常是被编码的取样数组的组集由表示对于红色、绿色、以及蓝色的三个主要色彩的取样数组的三个彩色平面所组成。此外，对于一被改进的色彩表示，一彩色图像可以是由三个以上的色彩平面组成。更进一步地，一图像可被关联于辅助取样数组，其指定用于图像的附加信息。例如，此些辅助取样数组可以是指定用于被关联的色彩取样数组的透明度(适合于特定显示目的)的取样数组，或指定一深度图(适合于产生多个观看图像，例如，用于3-D显示器)的取样数组。

[0163] 于传统的影像以及视频编码标准中(例如H.264)，色彩平面通常一起被编码，因而特定的编码参数，例如，巨方块以及子巨方块预测模式、参考指针、以及移动向量被使用于一方块的所有色彩成份上。亮度平面可被考虑作为特定编码参数在比特流中被指定的主色彩平面，并且色度平面可被考虑作为次要平面，其对应的编码参数自主亮度平面被推断。各亮度方块被关联于表示一图像中相同范围的二个色度方块。依据被使用的色度取样形式，色度取样数组可以是较小于对于一方块的亮度取样数组。对于由一亮度以及二个色度成份组成的各个巨方块，使成为较小的方块的相同分割被使用(假设该巨方块被次分割)。对于由一亮度取样方块以及二个色度取样方块组成的各个方块(其可以是巨方块本身或该巨方块的一子方块)，相同的预测参数组集，例如，参考指标、移动参数、并且有时是图像内预测模式，被采用。于传统的视频编码标准的特定概况(例如，于H.264中的4:4:4)中，其也有可能是独立地用以编码一图像的不同的色彩平面。于那组态中，巨方块分隔、预测模式、参考指针、以及移动参数，可分别地被选择以供用于一巨方块或子方块的色彩成份。习见编码标准中，所有色彩平面使用特定编码参数的相同组集(例如，次分割信息以及预测参数)一起被编码或所有色彩平面彼此完全独自地被编码。

[0164] 如果色彩平面一起被编码，则一组次分割以及预测参数必须被使用于一方块的所有色彩成份。这确保边信息被维持在小量，但比较于一独立的编码，其可能导致编码效率的降低，因为不同的方块分解以及对于不同色彩成份的预测参数的使用可能导致较小的位率-失真成本。如一范例，对于色度成份使用一不同的移动向量或参考帧可主要地降低对于色度成份的残差信号能量并且增大它们整体的编码效率。如果彩色平面独自地被编码，编码参数，例如，方块分隔、参考指标、以及移动参数可被挑选以个别地供用于各色彩成份，以便最佳化各色彩成份的编码效率。但是却不可能采用在色彩成份之间的冗余。特定编码参数的复数发送将导致增大的边信息率(比较于结合编码)并且这增大的边信息率可对整体编码效率具有一负面影响。同时，对于目前视频编码标准(例如，H.264)中的辅助取样数组的支持被限定于辅助取样数组使用它们独有的编码参数组集被编码的情况中。

[0165] 因此，在到目前为止被说明的所有实施例中，图像平面可如上面说明地被处理，但是同时也如上面的论述，当可能依据一方块基础而决定，例如，对于一方块是否所有取样数组以相同编码参数被编码或是否不同的编码参数被使用时，对于多个取样数组(其可能是有关于不同的色彩平面及/或辅助取样数组)的编码的所有编码效率可被增加。下面的平面间预测的基本构想允许，例如，以一方块为基础的调适性决定。编码器可选择，例如，依据一位率-失真准则，对于一特定方块的所有或一些取样数组是否使用相同编码参数被编码或是否不同的编码参数使用于不同的取样数组。这挑选同时也可通过对于一取样数组的一特定方块发信关于特定编码参数是否自在不同取样数组的同一位置而被编码的方块被推断而实现。也有可能安排对于一图像中的不同取样数组于群集，其同时也称为取样数组群集或平面群组。各平面群组可包含一图像的一个或多个取样数组。接着，一平面群组内的取样数组的方块共享相同被挑选的编码参数，例如，次分割信息、预测模式、以及残差编码模式，而其它的编码参数，例如，转换系数分别地对于平面群组内的各取样数组被发送。一平面群组被编码作为主平面群组，亦即，无编码参数自其它的平面群组被推断或被预测。对于一次要平面群组的各方块，其可能调适地被选择，被挑选的编码参数的一新的组集是否被发送，或被挑选的编码参数是否自主要的或另外的次要平面群组被推断或被预测。对于一特定方块被挑选的编码参数是否被推断或被预测的决定将被包含在比特流中。相对于由多个取样数组组成的目前图像编码技术，平面间预测允许较大的自由度以挑选在边信息率以及预测质量之间的折衷。相对于由多个取样数组组成的传统的图像编码技术，其优点是编码效率被改进。

[0166] 平面内采纳/预测可能以可调适地被选择的方式而延伸一影像或视频编码器，例如，上面实施例的那些，其方式系对于一色彩取样数组或一辅助取样数组或一组色彩取样数组及/或辅助取样数组的一方块而可调适地选择一被挑选的编码参数组集是否自在相同图像中的其它取样数组的同一位置而编码的方块被推断或被预测，或对于方块的被挑选的编码参数组集是否独自地被编码而不必参考在相同图像中的其它取样数组的同一位置的方块。对于一取样数组的一方块或多个取样数组的一方块，被挑选的编码参数组集是否被推断或被预测的决定，可被包含在比特流中。关联于一图像的不同的取样数组不需要具有相同尺寸。

[0167] 如上面的说明，关联于一图像的取样数组(这些取样数组可表示色彩成份及/或辅助取样数组)可被配置成为二个或更多个所谓的平面群组，其中各平面群组由一个或多个取样数组所组成。被包含在一特定平面群组中的取样数组不需要具有相同尺寸。注意到，这成为平面群组的配置包含各取样数组分别地被编码的情况。

[0168] 更确切地，依据一实施例，对于一平面群组的各方块，其调适地被选择指明一方块如何被预测的编码参数是否自在相同图像的不同平面群组的同一位置而编码的方块被推断或被预测，或对于该方块的这些编码参数是否分别地被编码。指定一方块如何被预测的编码参数被包含在一个或多个下面的编码参数中：指明哪个预测被使用于一方块的方块预测模式(图像内预测、使用一单一移动向量以及参考图像的图像间预测、使用二个移动向量以及参考图像的图像间预测、使用一较高阶，亦即，非平移移动模型以及一个别的参考图像的图像间预测、使用多个移动模型以及参考图像的图像间预测)、指明一图像内预测信号如何被产生的图像内预测模式、指明多少预测信号被结合以供产生方块的最后预测信号的一识别符、指明哪些参考图像被采用于移动补偿预测的参考指针、指明预测信号如何使用参考图像被产生的移动参数(例如，位移向量或仿射移动参数)、指明参考图像如何被过滤以供产生移动补偿预测信号的一识别符。应注意到，通常一方块仅可被关联于所提到的编码参数的一子集。例如，如果方块预测模式指明一方块是图像内预测，则对于一方块的编码参数同时也可另包含图像内预测模式，但是指定一图像间预测信号如何被产生的编码参数，例如，参考指标以及移动参数，将不被指定；或如果方块预测模式指定图像间预测，则被关联的编码参数同时可包含参考指标以及移动参数，但是图像内预测模式将不被指定。

[0169] 二个或更多平面群组的一者可在比特流之内被编码或被指示作为主要平面群组。对于这主要平面群组的所有方块，指明预测信号如何被产生的编码参数被发送而不必参考相同图像的其它平面群组。其余平面群组被编码作为次要平面群组。对于次要平面群组的各方块，一个或多个语法元素被发送，其发信用以指明方块如何被预测的编码参数是否自其它平面群组的同一位置的方块被推断或被预测，或这些编码参数的一新的组集是否对于该方块被发送。一个或多个语法元素的一者可被称为平面间预测旗标或平面间预测参数。
如果语法元素发信对应的编码参数不被推断或被预测，则对于该方块的对应的编码参数的一新的组集于比特流中被发送。如果语法元素发信号对应的编码参数被推断或被预测，则在一所谓的参考平面群组中的同一位置的方块被决定。对于该方块的参考参考平面群组分配可以多个方式被配置。于一实施例中，一特定参考平面群组被指定至各个次要平面群组；
这分配可被固定或其可以高等级语法结构(例如，参数组集、接取单元文件头、图像文件头、或片头)被发信。

[0170] 于第二实施例中，参考平面群组的分配在比特流内部被编码并且通过对于一方块被编码的一个或多个语法元素被发信，以便指明被挑选的编码参数是否被推断或被预测或分别地被编码。

[0171] 为了减轻刚提及与平面间预测以及下面详细实施例有关的可能性，参考至图11，其说明地展示由三个取样数组502、504以及506构成的图像500。为更容易了解起见，仅有取样数组502-506的子部分被展示于图11中。取样数组被展示好似它们空间相互地被对齐，因而取样数组502-506沿着方向508彼此相互覆盖并且因而沿着方向508的取样数组502-506的取样的投射导致所有这些取样数组502-506的取样将彼此正确地被空间定位。换句话说，平面502以及506已沿着水平以及垂直方向被延伸，以便相互调适它们空间分辨率并且相互对齐它们。

[0172] 依据一实施例，一图像的所有取样数组属于一空间景象的相同部分，其中在个别的取样数组502-506之间沿着垂直以及水平方向的分辨率可能不同。进一步地，为说明的目的，取样数组502以及504被考虑属于一个平面群组510，而取样数组506被考虑属于另外的平面群组512。进一步地，图11说明范例情况，其中沿着取样数组504水平轴的空间分辨率是二倍于取样数组502的水平方向的分辨率。此外，取样数组504被考虑以形成相对于取样数组502的主要数组，后者形成相对于主要数组504的一次级数组。如较早的说明，于这情况中，如利用图1的次分割器30所决定成为方块的取样数组504的次分割被次级数组502所采用，其中依据图11范例，由于取样数组502的垂直分辨率是主要数组504垂直方向的分辨率的一半，各个方块已被对分成为二个水平并列方块，当在取样数组502之内以取样位置单位被测量时，对分再次地成为正方形方块。

[0173] 如图11的范例展示，对于取样数组506被选择的次分割是不同于其它平面群组510的次分割。如先前的说明，次分割器30可分别地或无关于平面群组510的次分割而挑选像素数组506的次分割。当然，取样数组506的分辨率同时也可以不同于平面群组510的平面502以及504的分辨率。

[0174] 接着，当编码个别的取样数组502-506时，编码器10可开始于编码平面群组510的主要数组504，例如，以上面说明的方式。图11展示的方块，例如，可以是上面提及的预测方块。可选择地，这些方块是残差方块或用以定义某些编码参数的定义方块尺寸的其它方块。平面间预测不被限定于四叉树或多树型次分割，虽然这在图11中被展示。

[0175] 在对于主要数组504的语法元素发送之后，编码器10可决定声明主要数组504将为次级平面502的参考平面。编码器10以及提取器30，分别地，可经由比特流22发信这决定，而其关联性可由于取样数组504形成平面群组510的主要数组的事实而清楚，该信息，依次地，也可以是比特流22的部分。于任何情况中，对于在取样数组502的各个方块，插入器18或与插入器18一起的编码器10的任何其它模块，可决定抑制在比特流之内这方块的编码参数的一转换并且在比特流之内发信关于那方块在主要的数组504之内同一位置的一方块的编码参数将可替代地被使用，或在主要的数组504之内在同一位置的方块的编码参数将可被使用作为对于取样数组502的目前方块的编码参数的一预测，而仅在比特流之内传送对于取样数组502的目前方块的残差数据。于否定的决定情况中，编码参数照例地在数据流内被传送。对于各个方块的决定在数据流22之内被发信。在解码器侧，提取器102使用对于各个方块的这平面间预测信息，以便因此得到取样数组502各方块的编码参数，亦即，如果平面间采纳/预测信息建议平面间采纳/预测，或无关于主要数组504照例地提取取样数组502目前方块的编码参数的话，则通过推断在主要数组504同一位置的方块的编码参数，或可选择地，自数据流提取出对于那方块的残差数据并且结合这残差数据与自主要数组504同一位置的方块的编码参数所取得的一预测。

[0176] 同时也如先前的说明，参考平面不被限定于存在如同对于目前相关的平面间预测的方块的相同平面群组内。因此，如上面的说明，平面群组510可表示对于次要平面群组512的主要平面群组或参考平面群组。于这情况中，比特流可包含一语法元素，该语法元素指示对于取样数组506各个方块关于在先前提到的主要平面群组或参考平面群组510的任何平面502以及504在同一位置的巨方块的编码参数的采纳/预测是否将可被进行，而在后者的情况中，取样数组506目前方块的编码参数照例地被发送。

[0177] 应注意到，对于一平面群组内部的平面的次分割及/或预测参数可以是相同的，亦即，因为对于一平面群组它们仅被编码一次(一平面群组的所有次要平面自相同平面群组内部的主要平面推断次分割信息及/或预测参数)，并且次分割信息及/或预测参数的调适性预测或推断在平面群组之间被完成。

[0178] 应注意到，参考平面群组可以是一主要平面群组或一次要平面群组。

[0179] 在一平面群组内不同平面的方块之间的同一位置是容易理解的，因主要取样数组504的次分割被次级取样数组502空间地采纳，除了刚说明的方块次分割以便使采纳的叶方块成为正方形方块的外。于不同平面群组之间的平面间采纳/预测情况中，同一位置可以一方式被定义，以便允许在这些平面群组次分割之间有较大的自由度。给与参考平面群组，在参考平面群组内部的同一位置的方块被决定。在同一位置以及参考平面群组的方块的取得可通过相似于下面的处理程序被完成。于次要平面群组512取样数组506的一者的目前方块
516中的一特定取样514被挑选。同样地，为了说明目的，其可能是如图11中以514展示的目前方块516的顶部-左方取样，或接近目前方块516中间的目前方块516中的一取样或目前方块内部的任何其它的取样，其是几何式唯一地被定义。参考参考平面群组510的取样数组
502以及504内部的这挑选的取样515的位置被计算。在取样数组502以及504内的取样514的位置，在图11中分别地以518以及520被指示。在参考平面群组510内的平面502以及504何者实际上被使用可被预定或可在比特流之内被发信。在参考平面群组510对应的取样数组502或504内的取样，分别地是最接近位置518以及520，被决定并且包含这取样的方块被选择，作为分别地在各取样数组502以及504内的同一位置的方块。于图11情况中，这些分别地是方块522以及524。稍后将说明，用以决定在其它平面中的同一位置的方块的另一选择方法。

[0180] 于一实施例中，指明对于目前方块516的预测的编码参数，使用相同图像500的一不同的平面群组510中在同一位置的方块522/524的对应的预测参数而完全地被推断，而不必发送附加的边信息。该推断可由一简单地复制对应的编码参数或考虑在目前512以及参考平面群组510之间的差量的编码参数调适所组成。如一范例，这调适可由对于考虑在亮度以及色度取样数组之间的相位差量而增加一移动参数更正(例如，一位移向量更正)所构成；或该调适可由对于考虑亮度以及色度取样数组的不同分辨率而修改移动参数的精确性(例如，修改位移向量的精确性)所构成。于一进一步的实施例中，用以指明预测信号产生的一个或多个被推断的编码参数不直接地被使用于目前方块516，但是可被使用作为对于目前方块516的对应的编码参数的一预测并且对于目前方块516的这些编码参数的精细度于比特流22中被发送。如一范例，被推断的移动参数不直接地被使用，但是指明在被使用于目前方块516的移动参数以及被推断的移动参数之间的偏移的移动参数差量(例如，一位移向量差量)于比特流中被编码；在解码器侧，实际被使用的移动参数通过结合被推断的移动参数以及被发送的移动参数差量而被取得。

[0181] 于另外的实施例中，一方块的次分割，例如，在先前提及的预测次分割成为预测方块的树型方块(亦即，其预测参数的相同组集被使用的取样方块)调适地自在对于相同图像的一不同平面群组的同一位置而编码的方块被推断或被预测，亦即，依据图6a或图6b的位序列。于一实施例中，二个或更多个平面群组的一者被编码作为主要平面群组。对于这主要平面群组的所有方块，次分割信息被发送而不必参考至相同图像的其它平面群组。其余平面群组被编码作为次要平面群组。对于次要平面群组的方块，一个或多个语法元素被发送，这些语法元素发信次分割信息是否自一在其它平面群组的同一位置的方块被推断或被预测，或次分割信息是否于比特流中被发送。一个或多个语法元素的一者可被当为平面间预测旗标或平面间预测参数。如果语法元素发信，次分割信息不被推断或被预测，则对于该方块的次分割信息于比特流中被发送，而不必参考相同图像的其它平面群组。如果语法元素发信，次分割信息被推断或被预测，则在一所谓的参考平面群组中同一位置的方块被决定。对于该方块的参考平面群组的分配可以多个方式被配置。于一实施例中，一特定参考平面群组被指定至各个次要平面群组；这分配可被固定或其可以高等级语法结构(如参数组集、接取单元文件头、图像文件头、或片头)被发信。于第二实施例中，参考平面群组的分配于比特流内部被编码并且通过对于一方块被编码的一个或多个语法元素被发信，以便指明次分割信息是否被推断或被预测或分别地被编码。参考平面群组可以是主要平面群组或另外的次要平面群组。给与参考平面群组，在参考平面群组内部的同一位置的方块被决定。在同一位置的方块是在对应至相同影像范围的参考平面群组中如目前的方块的方块，或该方块表示与目前方块共享影像范围最大部分的参考参考平面群组内部的方块。在同一位置的方块可被分隔成为较小的预测方块。

[0182] 于进一步的实施例中，对于目前方块的次分割信息，例如，依据图6a或图6b的四叉树为基础的次分割信息，完全地使用在相同图像的一不同平面群组中的同一位置的方块的次分割信息被推断，而不必发送附加的边信息。如一特定范例，如果在同一位置的方块被分隔成为二个或四个预测方块，目前的方块同时也因预测目的被分隔成为二个或四个子方块。如另一特定范例，如果在同一位置的方块被分隔成为四个子方块并且这些子方块的一者进一步地被分隔成为四个较小的子方块，该目前的方块同时也被分隔成为四个子方块并且这些子方块的一者(对应至在同一位置而进一步地被分解的方块的一子方块)同时也被分隔成为四个较小的子方块。于进一步的较佳实施例中，被推断的次分割信息不直接地被使用于目前的方块，但其被使用作为对于目前方块的实际次分割信息的一预测，并且对应的精细度信息于比特流中被发送。如一范例，自在同一位置的方块被推断的次分割信息可进一步地被精致化。对于各个子方块，其对应至在同一位置而不被分隔成为较小方块的方块中的一子方块，一语法元素可在比特流中被编码，其指明该子方块是否于目前平面群组中进一步地被分解。此一语法元素的发送可依子方块尺寸被调整。或其可于比特流中发信，关于进一步地于参考平面群组中被分隔的一子方块不于目前平面群组中被分隔成为较小的方块。

[0183] 于进一步的实施例中，一方块成为预测方块的次分割以及指明那子方块如何被预测的编码参数两者皆调适地自对于在相同图像的一不同平面群组的同一位置而编码的一方块被推断或被预测。于本发明一较佳实施例中，二个或更多个平面群组的一者被编码作为主要平面群组。对于这主要平面群组的所有方块，次分割信息以及预测参数被发送而不必参考相同图像的其它平面群组。其余平面群组被编码作为次要平面群组。对于次要平面群组的方块，一个或多个语法元素被发送，其发信次分割信息以及预测参数是否自在其它平面群组的同一位置的一方块被推断或被预测或次分割信息以及预测参数是否于比特流中被发送。一个或多个语法元素的一者可被当为平面间预测旗标或平面间预测参数。如果语法元素发信，次分割信息以及预测参数不被推断或被预测，则对于该方块的次分割信息以及对于产生的子方块的预测参数于比特流中被发送，而不必参考相同图像的其它平面群组。如果语法元素发信，对于该子方块的次分割信息以及预测参数被推断或被预测，则在一所谓的参考平面群组中的同一位置的方块被决定。对于该方块的参考平面群组的分配可以多个方式被配置。于一实施例中，一特定参考平面群组被指定至各个次要平面群组；这分配可被固定或其可以高等级语法结构(例如，参数组集、接取单元文件头、图像文件头、或片头)被发信。于第二实施例中，参考平面群组的分配在比特流内部被编码并且通过对于一方块被编码的一个或多个语法元素被发信，以便指明次分割信息以及预测参数是否被推断或被预测或分别地被编码。参考平面群组可以是主要平面群组或另外的次要平面群组。给与参考平面群组，在参考平面群组内部的同一位置的方块被决定。在同一位置的方块可以是对应至相同影像范围的参考平面群组中作为目前方块的方块，或该方块表示与目前方块共享影像范围最大部分的参考平面群组内部的方块。在同一位置的方块可被分隔成为较小的预测方块。于一较佳实施例中，对于目前方块的次分割信息以及对于产生的子方块的预测参数使用在相同图像的一不同平面群组中的同一位置的方块的次分割信息以及对应的子方块的预测参数完全地被推断，而不必发送附加的边信息。如一特定范例，如果在同一位置的方块被分隔成为二个或四个预测方块，则目前方块同时也因为预测目的而被分隔成为二个或四个子方块，并且对于目前方块的子方块的预测参数如上面说明地被得到。如另外的特定范例，如果在同一位置的方块被分隔成为四个子方块并且这些子方块的一者进一步地被分隔成为四个较小子方块，则目前方块同时也被分隔成为四个子方块并且这些子方块的一者(对应至在同一位置进一步地被分解的方块的一子方块)同时也被分隔成为四个较小的子方块并且对于所有不进一步地被分隔的子方块的预测参数如上面说明地被推断。于进一步的较佳实施例中，次分割信息完全地依据在参考平面群组中同一位置的方块的次分割信息被推断，但是对于这些子方块的被推断的预测参数仅被使用作为对于子方块的实际预测参数的预测。在实际预测参数以及被推断的预测参数之间的偏移量于比特流中被编码。于进一步的实施例中，被推断的次分割信息被使用作为用于目前方块的实际次分割信息的预测并且该差量于比特流中被发送(如上面的说明)，但是预测参数被完全地推断。于另外的实施例中，推断的次分割信息以及推断的预测参数两者皆被使用作为预测并且在实际次分割信息与预测参数之间的差量以及它们的推断数值于比特流中被发送。

[0184] 于另一实施例中，其调适地被选择，对于一平面群组的一方块，残差编码模式(例如，转换类型)是否自在同相同图像的一不同平面群组的一位置而编码的方块被推断或被预测或残差编码模式对于该方块是否分别地被编码。这实施例是相似于在上面说明的预测参数的调适性推断/预测的实施例。

[0185] 于另外的实施例中，一方块(例如，一预测方块)成为转换方块(亦即，一个二维转换被应用的取样方块)的次分割自在相同图像的一不同平面群组的同一位置而编码的方块被调适地推断或预测。这实施例是相似于在上面说明的次分割成为预测方块的调适性推断/预测的实施例。

[0186] 于另外的实施例中，一方块成为转换方块的次分割以及对于产生的转换方块的残差编码模式(例如，转换类型)自在相同图像的一不同平面群组的同一位置而编码的方块被调适地推断或预测。这实施例是相似于在上面说明的对于次分割成为预测方块的调适性推断/预测以及对于产生的预测方块的预测参数的实施例。

[0187] 于另外的实施例中，一方块成为预测方块的次分割，关联的预测参数、预测方块的次分割信息、以及对于转换方块的残差编码模式自在相同图像的一不同平面群组的同一位置而编码的方块被调适地推断或预测。这实施例表示上面所说明的实施例的组合。其也有可能是，仅一些所提到的编码参数被推断或被预测。

[0188] 因此，平面间采纳/预测可增加先前说明的编码效率。然而，经由平面间采纳/预测的编码效率增益同时也是可得自多树型为基础的次分割被使用的外的其它方块次分割的情况中，并且无关于方块合并是否被执行。

[0189] 在上面论述的有关平面间调适/预测的实施例是可应用至影像以及视频编码器与解码器，其分割一图像的彩色平面，以及，如果呈现的话，关联于一图像的辅助取样数组成为方块，并且关联这些方块与编码参数。对于各个方块，一组编码参数可被包含在于比特流中。例如，这些编码参数可以是说明一方块如何被预测或在解码器侧如何被解码的参数。如特定范例，编码参数可表示巨方块或方块预测模式、次分割信息、图像内预测模式、被使用于移动补偿预测的参考指标、移动参数，例如位移向量、残差编码模式、转换系数等等。关联于一图像的不同的取样数组可具有不同的尺寸。

[0190] 接着将说明一结构，其是用于在一树型为基础的分割结构，例如，在上面有关图1至图8的说明那些，之内的编码参数的提高发信。如其它的结构，亦即，合并以及平面间采纳/预测，提高发信结构的作用以及优点，于下面通常被称为继承结构，将无关于上面的实施例地被说明，虽然在下面说明的结构是可单独地或以组合方式，与上面任何的实施例结合。

[0191] 大体上，对于接着说明在一树型为基础的分割结构内的编码边信息的改进编码结构，其被称为继承结构，相对于传统的编码参数处理结构可具有下面的优点。

[0192] 于传统的影像以及视频编码中，图像或对于图像取样数组的特定组集通常被分解成为方块，其与特定编码参数相关联。这些图像通常由多个取样数组组成。此外，一图像同时也可关联于附加辅助取样数组，例如，其可能指明透明信息或深度图。一图像的取样数组(包含辅助取样数组)可被群集成为一个或多个所谓的平面群组，其中各个平面群组由一个或多个取样数组所组成。一图像的平面群组可独自地被编码，或如果该图像被关联于一个以上的平面群组，则具有可自相同图像的其它平面群组的预测。各个平面群组通常被分解成为方块。这些方块(或取样数组对应的方块)通过图像间预测或图像内预测的任一者被预测。这些方块可具有不同的尺寸并且可以是正方形或矩形。使成为方块的一图像的分割可以利用语法被固定，或其可在比特流内部被发信(至少部分地)。通常语法元素被发送，其发信对于预定尺寸的方块的次分割。此些语法元素可指明一方块是否并且如何被次分割成为较小的方块，例如，以及用于预测目的的关联编码参数。对于一方块的所有取样(或取样数组对应的方块)关联编码参数的解码被指定以某种方式进行。于范例中，一方块中的所有取样使用相同预测参数组集被预测，例如，参考指针(其辨识已被编码的图像组集中的一参考图像)、移动参数(其指明对于在一参考图像以及目前图像之间一方块的移动的测量)、用以指明插值过滤器的参数、图像内预测模式等等。移动参数可利用具有一水平以及垂直分量的位移向量被表示，或利用较高阶移动参数，例如，由6个分量组成的仿射移动参数被表示。其也有可能是，一个以上的特定预测参数组集(例如，参考指标以及移动参数)关联于一个别的的方块。因此，对于这些特定预测参数的各个组集，一个别的中间预测信号对于该方块(或取样数组的对应方块)被产生，并且最后的预测信号通过包含迭加中间预测信号的组合而被建立。对应的加权参数并且同时也可能是一固定偏移量(其被添加至加权总和上)可对于一图像、或一参考图像、或一组参考图像被固定，或它们可被包含在用于对应的方块的预测参数组集中。在原始方块(或取样数组对应的方块)以及它们的预测信号之间的差量，同时也被称为残差信号，其通常被转换并且被量化。通常，一个二维转换被应用至残差发信号(或对于残差方块的对应取样数组)。对于转换编码，对于一预测参数特定组集已被使用的方块(或取样数组的对应方块)，其可在施加转换之前进一步地被切割。这些转换方块可等于或较小于被使用于预测的方块。也有可能是，一转换方块包含一个以上被使用于预测的方块。不同的转换方块可具有不同的尺寸并且这些转换方块可表示正方形或矩形方块。在转换之后，产生的转换系数被量化并且所谓的转换系数被得到。这些转换系数以及这些预测参数，并且如果呈现的话，次分割信息被熵编码。

[0193] 于一些影像以及视频编码标准中，对于利用语法所提供的次分割一图像(或一平面群组)成为方块的可能性是非常有限的。通常，其可仅被指明，一预定尺寸的方块是否(以及可能如何)可被次分割成为较小的方块。如一范例，于H.264中的最大方块尺寸是16×16。这些16×16方块同时也被称为巨方块并且各个图像在第一步骤中被分隔成为巨方块。对于各个16×16巨方块，其可被发信，其是否被编码作为16×16方块，或作为二个16×8方块，或作为二个8×16方块，或作为四个8×8方块。如果一16×16方块被次分割成为四个8×8方块，则这些8×8方块各可被编码作为一个8×8方块，或作为二个8×4方块，或作为二个4×8方块，或作为四个4×4方块。于目前影像以及视频编码标准中，对于用以指明分隔成为方块的小组集的可能性，具有用以发信次分割信息的边信息率可被维持为小量的优点，但是亦具有下列缺点，对于发送供用于方块的预测参数所需的位率可能如下面说明地成为显著。
用以发信预测信息的边信息率通常表示对于一方块的所有位率的显著数量。并且当这边信息被降低时，则编码效率可被增加，例如，其可通过使用较大的方块尺寸被实现。一视频序列的真正影像或图像是由具有特定性质的任意形状对象组成。如一范例，此些对象或这些对象的部分是具有唯一纹理或唯一移动的特征。并且通常，相同组集的预测参数可被应用于此一对象或一对象的部分上。但是，对象边界通常不是与大的预测方块(例如，H.264中的
16×16巨方块)的可能的方块边界一致的。一编码器通常决定次分割(在限定的可能性组集之中)，其导致最小的特定位率-失真成本测量。对于任意形状的对象，这可导致大数量的小方块。并且由于这些小方块各关联于一组预测参数，其需要被发送，则边信息率可能成为所有位率的主要部分。但是由于数个小方块仍然表示相同对象或一对象部分的范围，对于一些所取得的方块的预测参数是相同或非常相似的。直觉地，当语法以一方式被延伸时，编码效率可被增大，其不仅允许次分割一方块，但同时也允许共享在次分割之后取得的多个方块之间的编码参数。于一树型为基础的次分割中，对于给与方块组集的编码参数的共享可通过排定编码参数或其部分至树型为基础层次中的一个或多个父节点而被实现。因而，被共享的参数或其部分可被使用，以便降低发信在次分割之后所取得的方块的编码参数的实际选择所必需的边信息。边信息的降低可通过忽略随后方块的参数发信或通过使用对于预测及/或对于随后方块的参数语境模型化的共享参数被实现。

[0194] 下面说明的继承结构的基本构想是降低通过共享沿着方块的树型为基础层次的信息而发送编码参数所需的位率。共享信息在比特流内部被发信(除了次分割信息的外)。该继承结构的优点是因减少用于编码参数的边信息率所产生的增加编码效率。

[0195] 依据下面说明的实施例，为了降低边信息率，对于特定取样组集的各编码参数，亦即，简单连接区域，其可表示一多树型次分割的矩形或正方形方块或任意形状的区域或任何其它的取样采集，其以有效率的方式在数据流之内被发信。下面说明的继承结构，将使得对于这些全部取样组集的各者的编码参数不需要明确地被包含在比特流中。这些编码参数可表示预测参数，其指明对应的取样组集如何使用已被编码的取样被预测。许多可能性以及范例已在上面被说明并且同时也适用于此。同时也如上面指示的，并且将在下面进一步地说明，就下面的继承结构而言，其是关系到，使一图像的取样数组的树型为基础的分割成为取样组集可利用语法被固定或可通过对应的次分割信息在比特流内部被发信。对于取样组集的编码参数，可如上面的说明，以通过语法给与的一预定顺序被发送。

[0196] 依据继承结构，解码器或解码器的提取器102被配置为一特定方式而得到个别的简单连接区域或取样组集的编码参数上的信息。尤其是，编码参数或其部分，例如，作为预测目的的那些参数，在沿着给与的树型基础的分隔结构的方块与沿着分别地利用编码器插入器18被决定的树型结构的共享群集之间被共享。于一特定实施例中，对于给与的分隔树型内部节点的所有子节点，编码参数的共享通过使用一特定二元值共享旗标被指示。如一选择方法，编码参数的精细度可对于各个节点被发送，因而沿着方块的树型为基础层次的参数的累积精细度可被应用至在一给与的叶节点的方块的所有取样组集。于另外的实施例中，对于沿着方块的树型为基础的层次的内部节点被发送的编码参数的部分，可被使用于对于在一给与的叶节点的方块编码的参数或其部分的语境调适熵编码以及解码技术。

[0197] 图12a以及图12b说明，对于使用一四叉树为基础的分隔的特定情况的继承的基本构想。然而，如在上面的多次指示，其它的多树型次分割结构也可被使用。树型结构被展示于图12a中，而对应至图12a的树型结构的对应的空间分割展示于图12b。在其中展示的分割是相似于有关图3a至图3c的展示。大体而言，继承结构将允许边信息被指定至在树型结构内的不同的非叶层的节点。依据分配至树型中的不同层的节点的边信息分配，例如，图12a的树型中的内部节点或其根节点，不同程度的共享边信息可在图12b中展示的方块树型层次之内被实现。例如，如果决定，第4层中所有的叶节点，其于图12a的情况中都具有相同父节点，将实际地共享边信息，这意谓着图12b中以156a至156d指示的最小方块将共享这边信息并且其不再需要对于所有的这些小方块156a至156d全部地发送边信息，亦即，不需要发送四次，虽然这被保留作为对于编码器的一选择。然而，同时也可决定图12a的层次等级1(层2)的整个区域，亦即，在树型方块150顶部右手边角落包含子方块154a、154b、与154d以及刚提及的更小子方块156a至156d，作为其中编码参数被共享的区域。因此，共享边信息的范围被增大。增大的下一个等级将可总和层1所有子方块，亦即，子方块152a、152c、和152d以及在先前提到的较小方块。换句话说，于这情况中，整个树型方块将可具有被指定至该处的边信息，使这树型方块150的所有子方块共享边信息。

[0198] 于下面继承的说明中，下面的标志被使用于说明实施例：

[0199] a.目前叶节点的重建取样：r

[0200] b.邻近叶的重建取样：r'

[0201] c.目前叶节点的预测器：p

[0202] d.目前叶节点的残差量：Res

[0203] e.目前叶节点的重建残差量：RecRes

[0204] f.尺寸调整以及逆向转换：SIT

[0205] g.共享旗标：f

[0206] 作为继承的第一范例，在内部节点的图像内预测发信可被说明。更确切地，将说明如何发信用于预测目的的在一树型为基础的方块分隔的内部节点的图像内预测模式。通过在树型上自根节点遍历至叶节点，内部节点(包含根节点)可传送将被其的对应的子节点所利用的部分边信息。更明确地，对于内部节点一共享旗标f被发送，其具有下面的意义：

[0207] 如果f具有一数值1(“真”)，所给与的内部节点的所有子节点将共享相同的图像内预测模式。除了具有数值1的共享旗标f的外，内部节点同时也发信将被使用于所有子节点的图像内预测模式参数。因此，所有随后的子节点不携带任何预测模式信息以及任何共享旗标。对于所有关于叶节点的重建，解码器应用来自对应的内部节点的图像内预测模式。

[0208] 如果具有一数值0(“假”)，对应的内部节点的子节点不共享相同的图像内预测模式并且是为一内部节点的各子节点携带一个别的共享旗标。

[0209] 图12c展示如上面说明的内部节点的图像内预测发信。层1中的内部节点传送共享旗标以及利用图像内预测模式信息所给与的边信息并且这些子节点不携带任何边信息。

[0210] 作为继承的第二范例，图像间预测精细度可被说明。更确切地，其说明对于移动参数(例如，利用移动向量所给与)精细度目的而如何在一树型为基础的方块分割的内部节点发信图像间预测模式的边信息。通过在树型上自根节点遍历至叶节点，内部节点(包含根节点)可传送将通过其的对应的子节点被精致化的部分的边信息。更明确地，一共享旗标f对于内部节点被发送，而具有下面的意义：

[0211] 如果f具有数值1(“真”)，所给与的内部节点的所有子节点将共享相同的移动向量参考。除了具有数值1的共享旗标f的外，内部节点同时也发信移动向量以及参考指标。因此，所有随后的子节点不携带进一步的共享旗标，但是可能携带这继承的移动向量参考的一精致化。对于所有关于叶节点的重建，解码器在给与的叶节点增加移动向量精致化至继承的移动向量参考，该继承移动向量参考是属于其的对应的具有数值1的共享旗标f的内部父节点。这意谓着在一给与的叶节点的移动向量精致化是在将被应用于这叶节点的移动补偿预测的实际移动向量以及其的对应的内部父节点的移动向量参考之间的差量。

[0212] 如果f具有一数值0(“假”)，则对应的内部节点的子节点不必定得共享相同的图像间预测模式并且在子节点通过使用来自对应的内部节点节点的移动参数而没有移动参数精致化被进行，并且为一内部节点的各个子节点携带一个别的共享旗标。

[0213] 图12d展示如在上面说明的移动参数精致化。层1中的内部节点节点传送共享的旗标以及边信息。作为叶节点的子节点仅携带移动参数精细度，并且，例如，层2中的内部子节点则不携带边信息。

[0214] 接着参考图13。图13展示一流程图，其说明解码器的操作模式，例如图2的解码器，用于重建表示一空间范例信息信号的一信息取样数组，其中来自一数据流的信息信号通过多树型次分割被次分割成为不同尺寸的叶区域。如上面的说明，各叶区域相关联于得自多树型次分割的一序列层次等级的一层次等级。例如，图12b中展示的所有方块是叶区域。叶区域156c，例如，关联于层4的层次(或等级3)。各叶区域与编码参数关联。这些编码参数范例已在上面被说明。编码参数，对于各个叶区域，通过一各语法元素组集被表示。各个语法元素是出自一组语法元素类型的一各语法元素类型。此些语法元素类型是，例如，一预测模式、一移动向量成份、一图像内预测模式的指示或其类似者。依据图13，解码器进行下面的步骤。

[0215] 于步骤550中，一继承信息自数据流被提取出。于图2情况中，提取器102是负责步骤550。继承信息指示关于继承是否针对目前的信息取样数组被使用。下面的说明将揭示对于继承信息有数种可能性，例如，尤其是，共享旗标f以及被分割成为一主要以及次要部分的多树型结构的发信。

[0216] 信息取样数组可能先前已是一图像的次要部分，例如，一树型方块，亦即，例如，图12b的树型方块150。因此，继承信息指示关于继承是否对于特定树型方块150被使用。例如，对于预测次分割的所有树型方块，此继承信息可被插入数据流中。

[0217] 进一步地，继承信息指示，如果继承被指示将被使用，至少信息取样数组的一个继承区域，其是由一组叶区域所构成并且对应至多树型次分割层次等级的序列的一层次等级，该层次等级是较低于与叶区域组集关联的各个层次等级。换句话说，继承信息指示，对于目前的取样数组，例如，树型方块150，继承是否将被使用。如果是，则其表示这树型方块150的至少一个继承区域或子区域，于其之内叶区域共享编码参数。因此，继承区域可以不是一叶区域。于图12b的范例中，这继承区域可能是，例如，利用子方块156a至156b所形成的区域。可选择地，继承区域可以是较大的并且同时也可能包围着子方块154a、b以及d，并且甚至可选择地，继承区域可能是树型方块150其本身，而其所有叶方块共享关联于继承区域的编码参数。

[0218] 应注意到，然而，一个以上的继承区域可分别地在一个取样数组或树型方块150之内被定义。可想象，例如，底部左方子方块152c同时也被分隔成为较小的方块。于这情况中，子方块152c同时也可形成一继承区域。

[0219] 于步骤552中，继承信息被检查关于继承是否将被使用。如果是，则图13的处理程序继续进行步骤554，其中至少包含预定语法元素类型的一语法元素的一继承子集于每图像间继承区域自数据流被提取。于下面的步骤556中，这继承子集接着被复制进入，或被使用作为预测，语法元素的一对应的继承子集，该语法元素是在表示关联于各至少一继承区域构成的叶区域组集的编码参数的语法元素组集之内。换句话说，对于在继承信息之内被指示的各个继承区域，数据流包括语法元素的一继承子集。更换句话说，继承是有关可供用于继承的至少某一语法元素类型或语法元素类型。例如，语法元素可能接受以继承的预测模式或图像间预测模式或图像内预测模式。例如，包含在对于继承区域的数据流之内的继承子集可包括一图像间预测模式语法元素。继承子集同时也可包括进一步的语法元素，这些语法元素类型取决于在先前提及的关联于继承结构的固定语法元素类型的数值。例如，于图像间预测模式是继承子集的一固定成份的情况中，定义移动补偿(例如，移动向量分量)的语法元素，可能或不可利用语法而被包含在继承子集中。想象，例如，树型方块150顶部右方四分之一处，亦即，子方块152b，是继承区域，接着图像间预测模式可对于这继承区域单独地被指示或图像间预测模式与移动向量以及移动向量指标一起被指示。

[0220] 被包含在继承子集中的所有语法元素被复制至或被使用作为预测，对于叶方块的对应的编码参数，这些叶方块对应的编码参数是在继承区域之内，亦即，叶方块154a、b、d以及156a至156d。于预测被使用的情况中，残差量对于个别的叶方块被发送。

[0221] 对于树型方块150发送继承信息的一可能性是在先前所提到的一共享旗标f的发送。于步骤550中的继承信息的提取，于这情况中，可包括下面步骤。尤其是，解码器可被配置为，使用自较低层次等级至较高层次等级的一层次等级顺序，而对于对应至多树型次分割的至少一层次等级的任一继承组集的非叶区域，自数据流提取并且检查共享旗标f，关于各继承旗标或共享旗标是否有标示继承。例如，层次等级的继承组集可利用图12a中层1至3的层次被形成。因此，对于不是一叶节点并且位于任何层1至3之内的任何子树型结构节点可具有在数据流之内与之关联的共享旗标。解码器以自层1至层3顺序提取这些共享旗标，例如，以一深度优先或宽度优先遍历顺序。只要是共享旗标的一者等于1，解码器就了解，包含在一对应的继承区域中的叶方块于步骤554中的提取之后则共享继承子集。对于目前节点的子节点，继承旗标的检查不再是必需的。换句话说，对于这些子节点的继承旗标不在数据流之内被发送，由于明显地这些节点范围早已属于语法元素继承子集在其内被共享的继承区域。

[0222] 共享旗标f可被插入先前所提的发信四叉树次分割的位。例如，包含次分割旗标以及共享旗标两者的一插入位序列可以是：

[0223] 10001101(0000)000,

[0224] 其是如图6a中展示的相同次分割信息，具有二个以底线被强调的散置共享旗标，以便指示于图3c中在树型方块150底部左手边四分之一内的所有子方块共享编码参数。

[0225] 定义继承信息的另一方式，指示继承区域将可以是以次级方式被定义的二个次分割的相互使用，如上面有关分别地对于预测以及残差次分割的说明。大体而言，主要次分割的叶方块可形成定义多个区域的继承区域，在这些区域之内语法元素的继承子集被共享，而次级次分割则定义在其中语法元素的继承子集被复制或被使用作为预测的这些继承区域内的方块。

[0226] 考虑到，例如，残差树型作为预测树型的一延伸。进一步地，考虑到一情况，其中对于残差编码的目的，预测方块可进一步地被分割成为较小的方块。对于对应至关于预测的四叉树的一叶节点的各个预测方块，用于残差编码的对应的次分割利用一个或多个次级四叉树被决定。

[0227] 于这情况中，不是使用在内部节点的任何预测发信，吾等考虑解释残差树型的方式为，就使用一固定预测模式的意义上而言，其同时也指明预测树型的精致化(利用预测相关的树型的对应的叶节点的发信)，但是具有精致化参考取样。下面的范例说明这情况。

[0228] 例如，图14a以及图14b展示对于主要次分割的一特定叶节点被强调的邻近参考取样的用于图像内预测的四叉树分割，而图14b则展示对于具有精致化参考取样的相同预测叶节点的残差四叉树次分割。图14b展示的所有子方块，共享包含在对于图14a中被强调的各叶方块的数据流内的相同的图像间预测参数。因此，图14a展示对于用于图像内预测的传统的四叉树分隔的范例，其中用于一特定叶节点的参考取样被展示。于我们的较佳实施例中，然而，对于残差树型中各个叶节点的一分别的图像内预测信号，通过使用已重建残差树型中的叶节点的邻近取样被计算，例如，如利用图14b中的灰色斜线所指示者。接着，一给与的残差叶节点的重建信号以通过增加量化的残差信号至这预测信号的一般方式被取得。这重建信号接着被使用作为对于下面预测处理程序的参考信号。应注意到，对于预测的解码顺序是相同于残差解码顺序。

[0229] 于解码处理程序中，如图15中的展示，对于各个残差叶节点，预测信号依据实际图像内预测模式(如利用预测相关的四叉树叶节点被指示)通过使用参考取样r'被计算。

[0230] 在SIT处理程序之后，

[0231] RecRes＝SIT(Res)

[0232] 重建信号r被计算并且被储存以供用于下一个预测计算处理程序：

[0233] r＝RecRes+p

[0234] 对于预测的解码顺序是相同于残差解码顺序，其在图16中被说明。

[0235] 各个残差叶节点如先前段落所说明地被解码。重建信号r被储存在缓冲器中，如图16的展示。参考取样r'将自这缓冲器被拿取，以供用于接着的预测以及解码处理程序。

[0236] 在说明具有上面概述方面的组合不同子集的有关图1至图16的特定实施例之后，本申请的进一步的实施例将被说明，其将集中在已先前在上面说明的某些方面，但是其实施例则表示上面说明的一些实施例的归纳。

[0237] 图17展示依据此进一步的实施例的解码器。该解码器包括一提取器600、一次分割器602以及一重建器604。这些方块以所提到的顺序在图17的解码器输入606以及输出608之间被串行地连接。提取器600被配置为在输入606自利用解码器所接收的数据流提取一最大区域尺寸及一多树型次分割信息。该最大区域尺寸可对应至，例如，在上面提到的最大方块尺寸，其指示简单连接区域的尺寸，现在简要地被称为预测次分割的“方块”，或对应至定义残差次分割的树型方块尺寸的最大方块尺寸。多树型次分割信息，依次地，可对应至四叉树次分割信息并且可以相似于图6a以及图6b的方式被编码成为比特流。然而，在上面有关先前附图说明的四叉树次分割仅是出自可能的高数目范例的一范例。例如，对一父节点的子节点数目可以是较大于一的任何数目，并且该数目可依据层次等级变更。此外，一次分割节点的分隔可能不被形成，因而对应至某一节点的子节点的子方块范围是彼此相等。当然，其它的分隔法则也可应用并且可自层次等级至层次等级地变更。进一步地，多树型次分割最大层次等级上的一信息，或其对应者，自多树型次分割产生的子区域最小尺寸不需要在数据流之内被发送并且提取器因此可不自数据流提取此信息。

[0238] 次分割器602被配置为空间地分割一信息取样数组，例如，数组24，成为最大区域尺寸的树根区域150。信息取样数组，如在上面的说明，可能表示一时间上变化信息信号，例如，一视频或一3D视频或其类似者。可选择地，信息取样数组可表示一静态图像。次分割器602进一步地被配置为，依据利用提取器600所提取的多树型次分割信息，通过递归式多分隔树根区域子集，将树根区域的至少一子集次分割成为不同尺寸的较小简单连接区域。如刚刚有关提取器600的说明，分割不被限定于四个一组的分割。

[0239] 重建器604，依次地，被配置为使用成为较小简单连接区域的次分割，重建来自数据流606的信息取样数组。较小简单连接区域，例如，对应至图3c展示的方块，或对应至图9a以及图9b展示的方块。处理顺序不被限定于深度优先遍历顺序。

[0240] 当映像图2展示的组件至图17展示的组件上时，接着图2的组件102对应至图12的组件600，图2的组件104a对应至图12的次分割器602，并且组件104b、106、108、110、112以及114形成重建器604。

[0241] 在数据流之内发送最大区域尺寸的优点是，编码器将可通过使用较少的边信息调适次分割至一般的图像内容，因为编码器被给与机会以依据图像而决定图像上的最大区域尺寸。于一较佳实施例中，对于各个图像的最大区域尺寸在比特流之内被传送。可选择地，最大区域尺寸以较粗的方块尺寸，例如，以图像群集单元，在比特流之内被发送。

[0242] 图18是图解地展示图17的解码器可解码的一数据流内容。数据流包括数据610，例如，编码参数以及残差信息，基于其与多树型次分割信息的组合，重建器可重建信息取样数组。除了这的外，当然，数据流包括多树型次分割信息612以及最大区域尺寸614。依解码顺序，最大区域尺寸的编码/解码顺序最好是优先于多树型次分割信息612以及其余数据610。多树型次分割信息612以及其余数据610可被编码成为数据流而使多树型次分割信息612优先于其余数据610，但同时也如上面的说明，多树型次分割信息612可依子区域单元方式而与其余数据610交错，其中信息取样数组依据多树型次分割信息被分割。同时，次分割信息也可随时间改变，例如，对于各个图像。编码可使用时间方式的预测被进行。亦即，仅对先前次分割信息的差量可被编码。刚刚所提的内容也适用于最大的区域尺寸。然而，后者也可以粗的时间分辨率而改变。

[0243] 如利用点线的指示，数据流可进一步包括最大层次等级上的信息，亦即，信息616。以点线展示的618的三个空白方格将指示，数据流也可包括于另外的时间用于进一步的多树型次分割的数据元素612-616，其可以是相对于利用元素612-616被定义的多树型次分割的次级次分割，或可以是独立地被定义的信息取样数组的一次分割。

[0244] 图19以一非常简要方式展示通过图17的解码器以产生图18的可解码的数据流的编码器。该编码器包括一次分割器650以及一最后的编码器652。次分割器被配置为决定一最大区域尺寸以及多树型次分割信息，并且以空间地分割且次分割信息取样数组，因此刚好如同次分割器602，因此利用在数据流之内被发送的信息612以及614被控制。最后编码器652被配置为使用该次分割成为通过次分割器650与最大区域尺寸以及多树型次分割信息一起定义的较小的简单连接区域，而编码信息取样数组成为数据流。

[0245] 如先前提及的，为简要起见，应了解展示图19编码器的图19的方块图示作为建构成为一次分割器650以及一最后编码器652。更确切地，次分割器650以及最后编码器652两者皆必须决定包括两者的最佳的语法元素组集，其关于次分割的指示，亦即，最大区域尺寸614以及多树型次分割信息612，以及其余数据610并且为了决定这最佳化语法元素组集，一迭代算法可被使用，依据该算法，语法元素的初步组集分别地利用次分割器602以及重建器
604被尝试。这将于图19通过既有的尝试编码器654被说明，其被展示，以便说明元素610-
614的一些语法元素组集可能已初步地在利用次分割器650以及最后编码器652的实际数据流插入以及编码串流产生之前在尝试编码器654之内被使用于编码。虽然以分别的实体被展示，尝试编码器654以及最后编码器652，就最大程度，可分别地由子程序、电路部件、或固件逻辑而制作。

[0246] 依照另外的实施例，一解码器可如图20展示地被构成。图20的解码器包括一次分割器700以及一重建器702。次分割器被配置为使用一四叉树次分割，通过递归式四叉树分隔方式，而空间地次分割，表示一空间取样信息信号的一信息取样数组，例如，信息取样数组24，成为不同尺寸方块，例如，分别地有关图3c以及图9a与图9b的说明。重建器702被配置为使用，例如，通过以深度优先遍历顺序处理方块的次分割，而重建来自一数据流的信息取样数组成为方块或简单连接区域，该深度优先遍历顺序，例如，已在上面被说明并且以350在图3c中被展示。

[0247] 如上面的说明，使用该深度优先遍历顺序于重建与四叉树次分割有关的影像取样数组中将有助于利用在邻近方块的数据流之内已先前被解码的语法元素，以便增加目前方块的编码效率。

[0248] 应注意到，图20的次分割器700可能不预期数据流包括四叉树次分割的最大区域尺寸514上的信息。进一步地，依照图20的实施例，一最大层次等级616可能不在数据流中被指示。依照图20的实施例，就特定专用语法元素而言，即使四叉树次分割信息不需要明确地在数据流之内被发信。反之，次分割器700可自其余数据流数据的分析而预测四叉树次分割，例如，可能地包含在数据流内的极小图像的分析。可选择地，于信息取样数组属于一视频图像或一些其它时间上变化信息信号的情况中，次分割器700被配置，于自数据流提取四叉树次分割信息中，自一先前被解码的信息取样数组的一先前被重建/被解码的四叉树次分割，预测对于信息取样的目前数组的次分割信息。进一步地，如于上面说明的图1至图16的实施例的情况，使成为树型方块的取样数组的预分割不需要被进行。反之，四叉树次分割可在取样数组上直接地被进行。

[0249] 关于图20展示的组件以及图2展示的组件的一致性，次分割器700对应至图2的次分割器104a，而重建器702对应至组件104b、106、108、110、112、以及114。相似于图17的说明，合并器104b可被停用。进一步地，重建器702不被限定于混合编码。相同情况适用至图12的重建器604。如利用点线的展示，图15解码器可包括提取，例如，四叉树次分割信息的一提取器，依据该四叉树次分割信息，次分割器空间地次分割器信息取样数组，这提取器对应至图2的提取器102。如以点线箭号的展示，次分割器700甚至可自利用重建器702输出的信息取样的一重建数组而预测信息取样的目前数组的次分割。

[0250] 一编码器可提供一数据流，该数据流是可利用图15的解码器而解码，解码器是如图19展示地被构成，亦即，被构成为一次分割器和一最后编码器，而次分割器被配置为决定四叉树次分割并且因此空间地次分割信息取样数组，并且最后的编码器被配置为使用通过深度优先遍历顺序处理方块的次分割而编码信息取样数组使成为数据流。

[0251] 图21展示一解码器，其用以解码标示一树型方块的空间多树型次分割的多树型结构的被编码的发信，例如，图6a以及图6b中所展示有关四叉树次分割的发信。如上面所提到的，多树型次分割不被限定于四叉树次分割。进一步地，依据父节点层次等级，以编码以及解码两侧已知的方式，或以指示至解码器作为边信息的方式，每个父节点的子节点数目可能不同。以一深度优先遍历顺序(例如，图3c中的顺序350)的编码的发信包括关联于多树型结构节点的一序列旗标。各个旗标指明对应至被关联于各旗标节点的树型方块的一区域是否被多重分隔，例如，图6a以及图6b中旗标序列的旗标。图21的解码器接着被配置为，使用概率估计语境而依序地熵解码这些旗标，这些概率估计语境对于关联位于多树型结构相同层次等级之内的多树型结构节点的旗标是相同，但是对于位于多树型结构不同层次等级之内的多树型结构节点是不同。深度优先遍历顺序有助于利用多树型结构邻近子方块的邻近取样的统计性，而对于关联于不同层次等级节点的旗标的不同概率估计语境的使用将可使得在一方面的语境管理经常支出以及另一方面的编码效率之间有一折衷方案。

[0252] 可选择地，图21可归纳在先前以另外的方式有关图1-图16所提到的说明。图16的解码器可被配置为，解码一多树型结构的被编码的信号，其是不必定得标示一树型方块的空间多树型次分割，但是其包括以深度优先遍历顺序关联于多树型结构节点的一序列旗标，如在上面的说明。例如，多树型结构可在解码侧被使用，以供用于其它的目的，例如，其它的编码应用中，例如，音讯编码或其它的应用。进一步地，依据对于图21的这不同选择，被编码的发信同时也包括多树型结构最大层次等级上的信息并且旗标序列仅以深度优先级与多树型结构节点关联，而不与位于这最大层次等级内的节点关联。通过这措施，旗标数目显著地被降低。

[0253] 关于图21的上面说明的选择，值得注意的是，用以提供通过图21解码器所解码的多树型结构的编码发信的一各编码器，同时也可无关于上面说明的应用情景而被使用。

[0254] 虽然一些方面已依一装置的语境被说明，应清楚，这些方面同时也表示对应方法的说明，其中一方块或装置对应至一方法步骤或一方法步骤特点。类似地，依方法步骤的语境所说明的方面同时也表示对应的方块或对应的装置项目或特点的说明。一些或所有的方法步骤可利用(或使用)一硬件装置(例如，一微处理器、一可编程计算机或一电子电路)被执行。于一些实施例中，一个或多个这些最重要方法步骤可利用此一装置被执行。

[0255] 本发明的编码/压缩的信号可被储存在一数字储存介质上或可于一发送媒体上被发送，例如，无线发送媒体或有线发送媒体，例如，因特网。

[0256] 依据某些实作例需要，本发明实施例可以硬件或软件被实作。该实作例可使用数字储存介质被进行，例如，软盘片、DVD、蓝光盘、CD、ROM、PROM、EPROM、EEPROM或闪存，其等具有被储存在其上的电子式可读取控制信号，其配合(或能够配合)于可编程计算机系统，因而各方法被进行。因此，数字储存介质可以是计算机可读取。

[0257] 依据本发明的一些实施例包括具有电子式可读取控制信号的一数据载体，其是可配合于一可编程计算机系统，因而于此处说明的各种方法的一者被进行。

[0258] 大体上，本发明实施例可被实作如具有一程序代码的计算机程序产品，当该计算机程序产品在一计算机上执行时，该程序代码是可操作用于进行这些方法的一者。该程序代码，例如，可被储存在一机器可读取载体上。

[0259] 其它的实施例包括用以进行于此处说明的各种方法的一者的计算机程序，其被储存在一机器可读取载体上。

[0260] 换句话说，本发明方法的一实施例，因此是一计算机程序，其具有当该计算机程序在一计算机上执行时，用以进行于此说明的各种方法的一者的一程序代码。

[0261] 本发明方法的进一步的实施例，因此，是一数据载体(或一数字储存介质、或一计算机可读取媒体)，其包括被记录在其上，用以进行于此处说明的各种方法的一者的计算机程序。

[0262] 本发明方法的进一步的实施例，因此，是一数据流或一信号序列，其表示用以进行于此处说明的各种方法的一者的计算机程序。该数据流或信号序列，例如，可被配置为经由一数据通讯连接(例如，经由因特网)被传送。

[0263] 进一步的一实施例包括一处理构件，例如，计算机或可编程逻辑装置，其被配置或调适，以进行于此处说明的各种方法的一者。

[0264] 进一步的一实施例包括一计算机，在其上被安装计算机程序而用以进行于此处说明的各种方法的一者。

[0265] 于一些实施例中，一可编程逻辑装置(例如，一场可编程门阵列)可被使用以进行于此处说明的各种方法的一些或所有的功能。于一些实施例中，一场可编程门阵列可配合于一微处理器，以便进行于此处说明的各种方法的一者。大体上，这些方法最好是利用任何硬件装置被进行。

[0266] 在上面说明的实施例是仅对于本发明原理的说明。熟习本技术者应了解，本发明在配置上可有各种修改以及变化。因此，本发明将仅由待决的申请专利范围的范畴所限定而非此处实施例的说明以及解说所表示的特定细节所限定。

标题	发布/更新时间	阅读量
一种视频编码方法及装置	2020-05-11	354
使用序列结束网络抽象层单元的改进视频编码	2020-05-11	927
向后兼容的HDR视频多层压缩技术	2020-05-12	152
一种基于压缩感知的质量可分级快速编码方法	2020-05-12	779
用于视频编码分数像素插值的卷积神经网络的构建方法	2020-05-12	340
一种信息中心网络多层次视频媒体系统及其使用方法	2020-05-08	529
用于基于三维色彩映射模型参数优化的系统和方法	2020-05-08	959
不同视频块尺寸的仿射模式计算	2020-05-11	965
用于对视频数据进行编码的方法、装置和设备	2020-05-12	62
处理传输媒体数据和指定参考图像的方法和装置	2020-05-11	553

解码器、解码方法、编码器以及编码方法

解码器、解码方法、编码器以及编码方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：