解码器、解码方法、编码器和编码方法
阅读：403发布：2020-05-08
专利汇可以提供解码器、解码方法、编码器和编码方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及 解码器 、解码方法、 编码器 和编码方法。提出了一种更有效的增强层的变换系数区 块 的基于子区块的编码。为此，基于 基础 层残差 信号 或基础层信号来控制相应变换系数区块的子区块细分。特别地，通过采用相应基础层提示，可以沿横向于可从基础层残差信号或基础层信号观察的边缘扩展的空间 频率 轴而使子区块更长。，下面是解码器、解码方法、编码器和编码方法专利的具体信息内容。
1.一种可伸缩视频解码器，被配置为：
从编码数据流(6)解码(100)基础层信号(200)的基础层残差信号(480)；
重构(60)增强层信号(360)，包括：
通过以下步骤从所述编码数据流解码表示所述增强层信号的变换系数的变换系数区块(402)：
基于所述基础层残差信号或所述基础层信号在可能子区块细分的集合中选择子区块细分；
根据选择的子区块细分以所述变换系数区块规则地细分成的子区块为单位遍历所述变换系数的位置，使得以紧接着连续的方式遍历一个子区块内的所有位置，并且然后按在所述子区块中定义的子区块顺序前进至下一个子区块，
针对当前访问的子区块，
从所述数据流解码指示所述当前访问的子区块是否具有任何有效变换系数的语法元素(416)；
如果所述语法元素(416)指示所述当前访问的子区块不具有任何有效变换系数，则将所述当前访问的子区块中的变换系数设置为等于零；
如果所述语法元素指示所述当前访问的子区块具有任何有效变换系数，则从所述数据流解码指示所述当前访问的子区块中的变换系数的水平的语法元素(418)。
2.根据权利要求1所述的可伸缩视频解码器，被配置为通过预测从所述编码数据流(6)解码所述基础层信号(200)，所述基础层残差信号表示用于所述基础层信号的预测信号的预测残差。
3.根据权利要求1所述的可伸缩视频解码器，被配置为通过空间、时间和/或层间预测所述增强层信号并且将所述变换系数的反变换区块作为预测残差应用于所述增强层信号的预测来重构(60)所述增强层信号。
4.根据权利要求1所述的可伸缩视频解码器，被配置为基于所述基础层信号在所述可能子区块细分的集合中选择子区块细分。
5.根据权利要求1所述的可伸缩视频解码器，被配置为通过检测与所述变换系数区块相对应的所述基础层残差信号或所述基础层信号的一部分内的边缘并且将所述选择的子区块细分的子区块的扩展沿横向于所述边缘的空间频率轴设置为更长来在所述可能子区块细分的集合中选择子区块细分。
6.根据权利要求1所述的可伸缩视频解码器，被配置为通过使用与所述变换系数区块相对应的所述基础层残差信号或基础层信号的一部分的光谱分解，并且将所述选择的子区块细分的子区块的扩展沿横向于所述光谱分解的光谱能量分布沿其更窄的空间频率轴的空间频率轴设置为更长来在所述可能子区块细分中选择子区块细分。
7.根据权利要求6所述的可伸缩视频解码器，被配置为通过从空间域至频域将变换实际应用到所述基础层残差信号或所述基础层信号来形成所述基础层残差信号或所述基础层信号的一部分的所述光谱分解。
8.一种可伸缩视频解码方法，包括：
从编码数据流(6)解码(100)基础层信号(200)的基础层残差信号(480)；
重构(60)增强层信号(360)，包括：
通过以下步骤从所述编码数据流解码表示所述增强层信号的变换系数的变换系数区块：
基于所述基础层残差信号或所述基础层信号在可能子区块细分的集合中选择子区块细分；
根据选择的子区块细分以所述变换系数区块被规则地细分成的子区块为单位遍历所述变换系数的位置，使得以紧接着连续的方式遍历一个子区块内的所有位置，并且然后按在所述子区块中定义的子区块顺序前进至下一个子区块，
针对当前访问的子区块，
从所述数据流解码指示所述当前访问的子区块是否具有任何有效变换系数的语法元素；
如果所述语法元素指示所述当前访问的子区块不具有任何有效变换系数，则将所述当前访问的子区块中的变换系数设置为等于零；
如果所述语法元素指示所述当前访问的子区块具有任何有效变换系数，则从所述数据流解码指示所述当前访问的子区块中的所述变换系数的水平的语法元素。
9.一种可伸缩视频编码器，被配置为：
将基础层信号(200)的基础层残差信号(480)编码成编码数据流(6)；
编码增强层信号(360)，包括：
通过以下步骤从所述编码数据流编码表示所述增强层信号的变换系数的变换系数区块：
基于所述基础层残差信号或所述基础层信号在可能子区块细分的集合中选择子区块细分；
根据选择的子区块细分以所述变换系数区块被规则地细分成的子区块为单位遍历所述变换系数的位置，使得以紧接着连续的方式遍历一个子区块内的所有位置，并且然后按在所述子区块中定义的子区块顺序前进至下一个子区块，
针对当前访问的子区块，
将指示所述当前访问的子区块是否具有任何有效变换系数的语法元素编码成所述数据流，
如果所述语法元素指示所述当前访问的子区块具有任何有效变换系数，则将指示所述当前访问的子区块中的所述变换系数的水平的语法元素编码成所述数据流。
10.一种可伸缩视频编码方法，包括：
将基础层信号(200)的基础层残差信号(480)编码成编码数据流(6)；
编码增强层信号(360)，包括：
通过以下步骤从所述编码数据流编码表示所述增强层信号的变换系数的变换系数区块：
基于所述基础层残差信号或所述基础层信号在可能子区块细分的集合中选择子区块细分；
根据选择的子区块细分以所述变换系数区块被规则地细分成的子区块为单位遍历所述变换系数的位置，使得以紧接着连续的方式遍历一个子区块内的所有位置，并且然后按在所述子区块中定义的子区块顺序前进至下一个子区块，
针对当前访问的子区块，
将指示所述当前访问的子区块是否具有任何有效变换系数的语法元素编码成所述数据流，
如果所述语法元素指示所述当前访问的子区块具有任何有效变换系数，则将指示所述当前访问的子区块中的所述变换系数的水平的语法元素编码成所述数据流。
解码器、解码方法、编码器和编码方法
[0001] 本申请是申请日为2013年10月1日，进入国家阶段日为2015年5月29日、发明名称为“利用增强层中变换系数区块的基于子区块编码的可伸缩视频编码”的PCT申请PCT/EP2013/070491的中国国家阶段申请201380062675.2的分案申请，其全部内容结合于此作为参考。
技术领域
[0002] 本发明涉及可伸缩视频编码(scalable video coding)。
背景技术
[0003] 在不可伸缩编码的过程中，帧内(intra)编码指的是不参考已编码的图片的数据，而仅采用当前图片的已编码部分的数据(例如，重构样本、编码模式或符号统计)的编码技术。帧内编码图片(或帧内图片)例如被用在广播比特流中以便允许解码器在所谓的随机存取点处调谐成比特流。帧内图片还用于限制容易出错的环境中的误差传播。通常来说，编码视频序列的第一图片必须被编码为帧内图片，因为这里不存在可以被用作参考图片的图片。通常，帧内图片还用于预测通常不能提供合适预测信号的场景突变(scene cut)。
[0004] 此外，帧内编码模式还用于所谓的帧间(inter)图片中的特定区域/区块(block，块)，其中可以在率失真效率(rate-distortion efficiency)方面比帧间编码模式执行得更好。这通常是平坦区域以及时间预测执行得相当糟糕的区域(闭塞，局部溶解或褪色对象)中的情况。
[0005] 在可伸缩编码的过程中，帧间编码(帧内图片的编码和帧间图片中的帧内区块的编码)的概念可以扩展到属于相同存取单元或时间点的所有图片。因此，空间或质量增强层的帧内编码模式还可以在相同的时间点利用来自低层图片点层间预测，以提高编码效率。这意味着不但当前增强层图片内部已经编码的部分可以用于帧内预测，而且还可以采用相同时间点已经编码的低层图片。后一种概念还被称为层间帧内预测。
[0006] 在现有技术的混合视频编码标准(诸如H.264/AVC或HEVC)中，将视频序列的图片划分为样本区块。区块尺寸可以是固定的或者编码方法可以提供允许区块被进一步细分为具有更小区块尺寸的区块的分层结构。通常通过生成区块的预测信号并添加所传输的残差信号(residual signal)来获得区块的重构。残差信号通常使用变换编码来传输，这意味着变换系数的量化索引(也被称为变换系数水平)使用熵编码技术来传输，并且在解码器侧，对这些所传输的变换系数水平进行标度和反变换以获得添加到预测信号的残差信号。通过帧内预测(仅使用当前时间点已经传输的数据)或者通过帧间预测(使用不同时间点已经传输的数据)来生成残差信号。
[0007] 如果使用帧间预测，则使用已经重构的帧的样本通过运动补偿预测得到预测区块。这可以通过单向预测(使用一个参考图片和一组运动参数)来进行，或者预测信号可以通过多假设预测来生成。在后一种情况下，将两个或两个以上预测信号进行叠加，即，针对每个样本构建加权平均值以形成最终预测信号。多个预测信号(对其进行叠加)可以通过使用不同假设的不同运动参数(例如，不同参考图片或运动矢量)来生成。对单向预测来说，还可以将运动补偿预测信号的样本和常数因子相乘并加上常数偏移量以便形成最终预测信号。此标度(scaling，伸缩)和偏移量校正还可以用于多假设预测中所有或所选的假设。
[0008] 在当前现有技术的视频编码技术中，通过预测来自当前区块的空间邻近(其在当前区块之前根据区块处理顺序来重构)的样本来获得用于区块的帧内预测信号。在最新标准中，使用在空间域中执行预测的各种预测方法。存在按特定角度扩展相邻区块的经过滤波或未经过滤波的样本以生成预测信号的细粒度定向预测模式。此外，还存在使用相邻区块样本生成平坦预测平面或DC预测区块的基于平面和基于DC的预测模式。
[0009] 在旧的视频编码标准(例如，H.263，MPEG-4)中，在变换域中执行帧内预测。在这种情况下，将所传输的系数进行逆量化(inverse quantized)。并且对于变换系数子集来说，使用相邻区块的对应重构变换系数来预测变换系数值。将逆量化变换系数添加到所预测的变换系数值，并将重构的变换系数作为输入用于反变换。反变换的输出形成了最终的区块的重构信号。
[0010] 在可伸缩视频编码的过程中，基础层信息还可以用于支持增强层的预测过程。在现有技术的可伸缩编码的视频编码标准(H.264/AVC的SVC扩展)中，存在一种提高增强层中帧内预测处理的编码效率的额外模式。该模式按宏区块(macroblock)级别来标记(16×16亮度样本的区块)。如果低层中的共同定位(co-located)样本使用帧内预测模式进行编码，则仅支持该模式。如果为质量增强层中的宏区块选择该模式，则在去区块滤波操作之前，预测信号通过重构低层的共同定位样本来构建。如果在空间增强层中选择层间帧内预测模式，则预测信号通过对共同定位的重构基础层信号进行上采样来生成(在去区块滤波操作之后)。对于上采样来说，使用FIR滤波器。一般来说，对于层间帧内预测模式来说，通过变换编码来传输额外的残差信号。如果该残差信号被对应地标记在比特流内部，则还可以省略残差信号的传输(推断出等于零)。通过将重构的残差信号(通过标度所传输的变换系数水平并应用反空间变换来获得)添加到预测信号来获得最终重构信号。
[0011] 然而，有利的是能够在可伸缩视频编码中实现更高的编码效率。
发明内容
[0012] 因此，本发明的目的是提供一种可伸缩视频编码的概念，从而实现更高的编码效率。
[0013] 本申请的一个方面是如果基于基础层残差信号或基础层信号控制各个变换系数区块的子区块细分，则可以使增强层的变换系数区块的基于子区块的编码更有效。具体地，通过采用各个基础层提示，可以使子区块沿横向于可从基础层残差信号或基础层信号观察到的边缘扩展的空间频率轴更长。通过这种措施，使子区块的形状适应增强层变换系数区块的变换系数的能量的估计分布是可行的，以使得按提高的概率，每个子区块几乎完全填充有尚未量化为零的有效变换系数，或无效变换系数，即，仅量化为零的变换系数，同时以降低的概率，任何子区块在一方面都具有相似数量的有效变换系数，在另一方面具有无效变换系数。然而，由于不具有有效变换系数的子区块可以在数据流内有效标记(诸如通过仅使用一个标记)，并且几乎完全填充有有效变换系数的子区块，而不需要浪费用于编码可以散布在其中的无效变换系数的信号作用量的事实，从而提高了编码增强层的变换系数区块的编码效率。
[0014] 本申请的一个方面在于可以以针对不同空间频率分量进行不同加权的方式通过从增强层内部预测信号和层间预测信号形成增强层预测信号，即，通过在当前待重构的部分形成层间预测信号与增强层内部预测信号的加权平均值以获得增强层预测信号，使得贡献于增强层预测信号的层间预测信号与增强层内部预测信号的权重随不同空间频率分量而变化，来实现在可伸缩视频编码过程中更好的用于预测性地编码增强层信号的预测子。通过这种措施，以针对单独的贡献值分量(contribution component)的光谱(波谱)特性进行细化的方式从层间预测信号与增强层内部预测信号(即，一方面层间预测信号，另一方面增强层内部预测信号)解释增强层预测信号是可行的。例如，由于分辨率或质量细化(层间预测信号基于其从重构的基础层信号获得)，在与更高频率相比的较低频率下，层间预测信号可以更精确。就增强层内部预测信号而言，其特征可以通过其他方式进行判定：即，相对于与更低频率相比的较高频率可以提高其精确度。在这个实例中，就更高频率而言，通过自身的加权，层间预测信号对增强层预测信号的贡献值(contribution)应大于增强层内部预测信号对增强层预测信号的贡献值并且不应小于增强层内部预测信号对增强层预测信号的贡献值。通过这种措施，可以实现更准确的增强层预测信号，由此提高编码效率并得到更高的压缩率。
[0015] 借助于各个实施例，描述了不同的可能性以将刚刚提出的概念构建为任何基于可伸缩视频编码的概念。例如，加权平均值的形成可以在空间域或变换域中形成。光谱加权平均值的执行需要对单独的贡献值，即，层间预测信号和增强层内部预测信号执行变换，但例如避免了对空间域中的层间预测信号和增强层内部预测信号中的任意一个进行光谱滤波，例如涉及FIR或IIR滤波。然而，在空间域中执行光谱加权平均值的形成经由变换域避免了各个贡献值对加权平均值的迂回(detour)。决定实际选择域以执行光谱加权平均值的形成可以取决于可伸缩视频数据流是否包含(针对当前要在增强层信号中构建的部分)变换系数形式的残差信号；如果不包含，经由变换域的迂回可以被中断，同时在现有残差信号的情况下，经由变换域的迂回甚至更有利，因为其允许变换域中所传输的残差信号被直接添加到变换域中的光谱加权平均值。
[0016] 本申请的一个方面是将可从编码/解码基础层获得的信息(即基础层提示)可以用来使增强层的运动补偿预测更有效，通过更有效地编码增强层运动参数。特别地，从增强层信号的帧的已经重构的相邻区块收集的运动参数候选者集合可以通过共同定位到增强层信号的帧的区块的基础层信号的区块的一个或多个基础层运动参数集合来扩大，由此提高运动参数候选者集合的可用质量(增强层信号的区块的运动补偿预测可以通过选择所扩展的运动参数候选者集合的运动参数候选者中的一个并将所选择的运动参数候选者用于该预测来执行。另外地或可替换地，增强层信号的运动参数候选者列表可以取决于涉及编码/解码基础层的基础层运动参数来排序。通过这种措施，从排序的运动参数候选者列表中选择增强层运动参数的概率分布经简写使得例如，明确标记的索引语法元素可以使用更少的比特(诸如使用熵编码)来进行编码。更进一步地，另外地或可替换地，用于编码/解码基础层的索引可以作为将索引确定到增强层的运动参数候选者列表的基础。通过这种措施，可以完全避免增强层索引的任何信令，或者仅可以在增强层子流内传输由此确定的索引预测的偏差，由此提高编码效率。
[0017] 本申请的一个方面是可以通过推导出/选择要用于增强层预测的子区块细分而使可伸缩视频编码更有效，通过评估基础层编码参数随基础层信号的空间变化，在增强层区块可能子区块细分集合中。通过这种措施，标记增强层数据流内的子区块细分必须花费更少的信号作用开销(如果有的话)。由此选择的子区块细分可以用于预测性地编码/解码增强层信号。
[0018] 本申请的一个方面是可以通过利用基础层信号的共同定位区块的帧内预测参数替代增强层的当前区块的空间邻近中的丢失的空间帧内预测参数候选者来提高可伸缩视频编码的编码效率。通过这种措施，由于增强层的帧内预测参数集合的预测质量提高，或更精确地说，增强层的帧内预测区块的帧内预测参数的合适预测子可用的可能性提高，从而提高了各个增强层区块的帧内预测参数的信令平均利用更少的比特来执行的可能性，由此提高了编码空间帧内预测参数的编码效率。附图说明
[0019] 下面参照附图进一步更详细地描述优选实施例，在附图中：
[0020] 图1示出了可以在其中实现本文描述的实施例和方面的可伸缩视频编码器的框图；
[0021] 图2示出了与图1的可伸缩视频编码器配合的可伸缩视频解码器的框图，其中同样可以实现本文描述的实施例和方面；
[0022] 图3示出了用于可伸缩视频编码器的更具体的实施例的框图，其中可以实现本文描述的实施例和方面；
[0023] 图4示出了与图3的可伸缩视频编码器配合的可伸缩视频解码器的框图，其中同样可以实现本文描述的实施例和方面；
[0024] 图5示出了视频及其基础层和增强层版本的示意图，同时额外地示出了编码/解码顺序；
[0025] 图6示出了分层视频信号的一部分的示意图以便示出增强层的可能预测模式；
[0026] 图7示出了根据实施例的利用增强层内部预测信号与层间预测信号之间随光谱变化的加权而形成的增强层预测信号；
[0027] 图8示出了根据实施例的可包含在增强层子流内的语法元素的示意图；
[0028] 图9示出了根据在空间域中执行形成/组合的实施例示出图7的形成的可能实施的示意图；
[0029] 图10示出了根据在光谱域中执行形成/组合的实施例示出图7的形成的可行的实施方式的示意图；
[0030] 图11示出了根据实施例的分层视频信号中的一部分的示意图以便示出从基础层至增强层信号的空间帧内预测参数推导；
[0031] 图12示出了示出利用根据实施例的图11的推导的示意图；
[0032] 图13示出了根据实施例的从基础层推导出的一个插入到其中的空间帧内预测参数候选者集合的示意图；
[0033] 图14示出了根据实施例的分层视频信号中的一部分的示意图以便示出来自基础层的预测参数粒度推导；
[0034] 图15A和图15B示意性地示出了根据两个不同实例的使用基础层内的基础层运动参数的空间变化选择当前区块的合适细分的方式；
[0035] 图15C示意性地示出了选择当前增强层区块的可能子区块细分之间的最粗粒度的第一种可能性；
[0036] 图15D示意性地示出了如何选择当前增强层区块的可能子区块细分之间的最粗粒度的第二种可能性；
[0037] 图16示意性地示出了根据实施例的分层视频信号中的一部分以便示出当前增强层区块的子区块细分推导的使用；
[0038] 图17示意性地示出了根据实施例的分层视频信号中的一部分以便示出有效编码增强层运动参数数据的基础层提示的利用；
[0039] 图18示意性地示出了提高增强层运动参数信号作用的效率的第一种可能性；
[0040] 图19A示意性地示出了如何利用基础层提示的第二种可能性以便使增强层运动参数信号作用更有效；
[0041] 图19B示出了将基础层排序转移到增强层运动参数候选者列表上的第一种可能性；
[0042] 图19C示出了将基础层排序转移到增强层运动参数候选者列表上的第二种可能性；
[0043] 图20示意性地示出了利用基础层提示的另一种可能性以便使增强层运动参数信号作用更有效；
[0044] 图21示意性地示出了根据实施例的分层视频信号中的一部分以便示出变换系数区块的子区块细分据此适当调整以适应从基础层得到的提示的实施例；
[0045] 图22示出了如何从基础层推导出变换系数区块的合适子区块细分的不同可能性；
[0046] 图23示出了可伸缩视频解码器的甚至更详细的实施例的框图，其中可以实现本文描述的实施例和方面；
[0047] 图24A-图24B示出了与图23的实施例配合的可伸缩视频编码器的框图，其中可以实现本文概述的实施例和方面；
[0048] 图25示出通过(上采样/滤波)基础层重构信号(BL Reco)和使用已经编码相邻区块的不同信号(EH Diff)的空间帧内预测的和生成层间帧内预测信号；
[0049] 图26示出了通过(上采样/滤波)基础层残差信号(BL Resi)和使用已经编码相邻区块的重构增强层样本(EH Reco)的空间帧内预测的和生成层间帧内预测信号；
[0050] 图27示出了通过(上采样/滤波)基础层重构信号(BL Reco)和使用已经编码相邻区块的重构增强层样本(EH Reco)的空间帧内预测的频率加权和生成层间帧内预测信号；
[0051] 图28示出了该描述中使用的基础和增强层信号；
[0052] 图29示出了增强层的运动补偿预测；
[0053] 图30示出了使用基础层残差和增强层重构进行的预测；
[0054] 图31示出了使用BL重构和EL差分信号进行的预测；
[0055] 图32示出了使用BL重构和EL差分信号的2假设进行的预测；
[0056] 图33示出了使用BL重构和EL重构的预测；
[0057] 图34示出了一个实例-将图片分解成方形区块和对应四象限树状结构；
[0058] 图35示出了优选实施例中允许的将方形区块分解成子区块；
[0059] 图36示出运动矢量预测子的位置，(a)描述了空间候选者的位置，(b)描述了时间候选者的位置；
[0061] 图38示出区块合并算法(a)和所执行的空间候选者的冗余校验(b)；
[0062] 图39示出4×4变换区块的扫描方向(对角线、垂直、水平)；
[0063] 图40示出8×8变换区块的扫描方向(对角线、垂直、水平)。阴影区域限定有效的子组；
[0064] 图41示出16×16变换，仅限定了对角线扫描；
[0065] 图42示出如JCTVC-G703中提出的16×16变换的垂直扫描；
[0066] 图43示出16×16变换区块的垂直和水平扫描的实现。系数子组被分别限定为单列或单行；
[0067] 图44示出16×16变换区块的VerHor扫描；
[0068] 图45示出使用相邻重构增强层样本和重构基础层样本进行的向后自适应增强层帧内预测；以及
[0069] 图46示意性地示出了根据实施例的增强层图片/帧以便示出差分信号空间插值。
具体实施方式
[0070] 图1以通用方式示出了可伸缩视频编码器的实施例(下面进一步概述的实施例可构建成该实施例)。图1的可伸缩视频编码器一般使用参考符号2表示并接收要编码的视频4。可伸缩视频编码器2被配置为以可伸缩的方式将视频4编码成数据流6。也就是说，数据流
6包括具有以第一信息内容量编码到该数据流中的第一部分6a以及具有以大于部分6a的信息内容量的信息内容量编码到该数据流中的另一部分6b。部分6a和6b的信息内容量例如在质量或保真度方面，即在与原始视频4的逐像素偏移的量方面和/或在空间分辨率方面可以是不同的。然而，信息内容量的差的其他形式例如还可以应用诸如彩色保真度等。部分6a可以被称为基础层数据流或基础层子流，而部分6b可以被称为增强层数据流或增强层子流。
6包括具有以第一信息内容量编码到该数据流中的第一部分6a以及具有以大于部分6a的信息内容量的信息内容量编码到该数据流中的另一部分6b。部分6a和6b的信息内容量例如在质量或保真度方面，即在与原始视频4的逐像素偏移的量方面和/或在空间分辨率方面可以是不同的。然而，信息内容量的差的其他形式例如还可以应用诸如彩色保真度等。部分6a可以被称为基础层数据流或基础层子流，而部分6b可以被称为增强层数据流或增强层子流。
[0071] 在一方面没有增强层子流6b且另一方面没有子流6a和6b情况下，可伸缩视频编码器2被配置为采用可从基础层子流6a重构的视频4的版本8a与8b之间的冗余。为此，可伸缩视频编码器2可以使用层间预测。
[0072] 如图1中所示，可伸缩视频编码器2可选地接收视频4的两个版本4a和4b，这两个版本在信息内容的量方面彼此有所不同，正如基础层和增强层子流6a和6b一样。然后，例如，可伸缩视频编码器2被配置为生成子流6a和6b，使得基础层子流6a具有被编码到该基础层子流中的版本4a，同时增强层数据流6b使用基于基础层子流6b的层间预测，具有被编码到该基础层子流中的版本4b。子流6a和6b的编码都会是有损耗的。
[0073] 即使可伸缩视频编码器2仅接收视频4的原始版本，同样可以被配置为从中内部推导出的两个版本4a和4b，诸如通过空间缩小尺寸和/或从较高位深度(bit depth)至较低位深度的色调映射来获得基础层版本4a。
[0074] 图2示出了与图1的可伸缩视频编码器配合以及同样以相同的方式适用于结合随后概述的实施例中的任意一个的可伸缩视频解码器。图2的可伸缩视频解码器一般使用参考符号10表示，并且被配置为对编码数据流6进行解码以便从中重构视频的增强层版本8b(如果数据流6的这两个部分6a和6b以完整的方式到达可伸缩视频解码器10)，或者从中重构基础层版本8a，例如，如果部分6b由于传输损失等不可用。也就是说，可伸缩视频解码器10被配置使得能够单独重构来自基础层子流6a的版本8a，并使用层间预测从这两部分6a和
6b重构版本8b。
6b重构版本8b。
[0075] 在下面更详细描述本申请的实施例的细节之前，即，示出了图1和图2的实施例可以如何具体实现的实施例，参照图3和图4描述了图1和图2的可伸缩视频编码器和解码器的更详细的实施方式。图3示出了包括基础层编码器12、增强层编码器14和多路复用器16的可伸缩视频编码器2。基础层编码器12被配置为对入站视频的基础层版本4a进行编码，同时增强层编码器14被配置为对视频的增强层版本4b进行编码。因此，多路复用器16从基础层编码器12接收基础层子流6a并从增强层编码器14接收增强层子流6b并且将将这两者多路复用为编码数据流6来作为其输出。
[0076] 如图3中所示，这两个编码器12和14都可以是使用例如空间和/或时间预测的预测编码器以便将相应的入站版本4a和4b分别编码成相应的子流6a和6b。特别地，编码器12和14可以分别是混合视频区块编码器。也就是说，编码器12和14中的每一个可以被配置为逐区块地对视频的相应入站版本进行编码，同时例如在区块的各个区块的不同预测模式之间进行选择，相应视频版本4a和4b的图片或帧分别被细分为所述区块。基础层编码器12的不同预测模式可以包括空间和/或时间预测模式，同时增强层编码器14可以额外支持层间预测模式。细分为区块在基础层与增强层之间可以是不同的。预测模式、用于针对各个区块而选择的预测模式的预测参数、预测残差，以及任选地，相应视频版本的区块细分可以通过相应编码器12，14使用包括语法元素的相应语法来描述，所述语法元素反之可以使用熵编码来编码至相应的子流6a，6b中。例如，仅提及几个实例，可以在一种或多种场景下采用层间预测，以便预测增强层视频的样本、预测模式、预测参数和/或区块细分。因此，基础层编码器12和增强层编码器14都可以分别包括分别继熵编码器19a，19b之后的预测编码器18a，
18b。在预测编码器18a，18b分别使用来自入站版本4a和4b的预测编码形成语法元素的同时，熵编码器对相应的预测编码器输出的语法元素进行熵编码。正如刚才所述，编码器2的层间预测可以涉及增强层的编码程序中的不同场景，并且因此，示出预测编码器18b连接至预测编码器18a、其输出端以及熵编码器19a中的一个或多个。同样，熵编码器19b任选地还可以利用层间预测，例如，通过预测用于来自基础层的熵编码的上下文，并且因此，熵编码器19b任选地被示为连接至基础层编码器12的元件中的任意一个。
18b。在预测编码器18a，18b分别使用来自入站版本4a和4b的预测编码形成语法元素的同时，熵编码器对相应的预测编码器输出的语法元素进行熵编码。正如刚才所述，编码器2的层间预测可以涉及增强层的编码程序中的不同场景，并且因此，示出预测编码器18b连接至预测编码器18a、其输出端以及熵编码器19a中的一个或多个。同样，熵编码器19b任选地还可以利用层间预测，例如，通过预测用于来自基础层的熵编码的上下文，并且因此，熵编码器19b任选地被示为连接至基础层编码器12的元件中的任意一个。
[0077] 参照图1通过与图2相同的方式，图4示出了与图3的可伸缩视频编码器配合的可伸缩视频解码器10的可行的实施方式。因此，图4的可伸缩视频解码器10包括接收数据流6以便获得子流6a和6b的信号分离器40；被配置为解码基础层子流6a的基础层解码器80；以及被配置为解码增强层子流6b的增强层解码器60。如图所示，解码器60连接至基础层解码器80以便从中接收信息，从而利用层间预测。通过这种措施，基础层解码器80能够从基础层子流6a重构基础层版本8a，并且增强层解码器8a被配置为使用增强层子流6b重构视频的增强层版本8b。类似于图3的可伸缩视频编码器，基础层和增强层解码器60和80中的每一个都可以在内部包括分别继预测解码器102，322之后的熵解码器100，320。
[0078] 为了便于简化以下实施例的理解，图5示例性地示出了视频4的不同版本，即相互仅偏移编码损耗的基础层版本4a和8a，并且同样相互仅偏移编码损耗的增强层版本4b和8b。如图所示，基础层和增强层信号可以分别由一系列图片22a和22b组成。图5中被示为彼此沿时间轴24对准，即，除增强层信号的时间对应图片22b之外的基础层版本的图片22a。如上所述，图片22b可以具有更高的空间分辨率和/或可以按更高保真度，诸如图片的样本值的较高位深度来表示视频4。通过使用实线和虚线，示出了在图片22a，22b之中限定的编码/解码顺序。根据图5中所示的实例，编码/解码顺序以一种方式遍历图片22a和22b，以使得在增强层信号的相同时间戳的增强层图片22b之前遍历某个时间戳/时间点的基础层图片
22a。关于时间轴24，可以按所呈现的时间顺序的编码/解码顺序26遍历图片22a，22b，但与图片22a，22b呈现出的时间顺序偏移的顺序也是可行的。编码器或解码器10，2都不需要沿编码/解码顺序26顺序编码/解码。更确切地说，可以使用并行编码/解码。编码/解码顺序26可以限定彼此相邻的基础和增强层信号的部分之间的可用性，从空间、时间和/或层间意义来说，使得在编码/解码增强层的当前部分时，此当前增强层部分的可用部分经由编码/解码顺序来限定。因此，只有根据该编码/解码顺序26可用的相邻部分才用于通过编码器进行预测，使得解码器对相同的信息源具有访问权以便重新进行预测。
22a。关于时间轴24，可以按所呈现的时间顺序的编码/解码顺序26遍历图片22a，22b，但与图片22a，22b呈现出的时间顺序偏移的顺序也是可行的。编码器或解码器10，2都不需要沿编码/解码顺序26顺序编码/解码。更确切地说，可以使用并行编码/解码。编码/解码顺序26可以限定彼此相邻的基础和增强层信号的部分之间的可用性，从空间、时间和/或层间意义来说，使得在编码/解码增强层的当前部分时，此当前增强层部分的可用部分经由编码/解码顺序来限定。因此，只有根据该编码/解码顺序26可用的相邻部分才用于通过编码器进行预测，使得解码器对相同的信息源具有访问权以便重新进行预测。
[0079] 参照以下附图，描述了可以如何实现诸如上文参照图1至图4描述的可伸缩视频编码器或解码器的可伸缩视频编码器或解码器，以便根据本申请的一个方面形成本申请的实施例。现在描述的方面的可行的实施方式在下文中使用标记“方面C”进行论述。
[0080] 特别地，图6示出增强层信号(这里使用参考符号360表示)的图片22b，以及基础层信号(这里使用参考符号200表示)的图片22a。以相对于时间轴24相互有序的方式示出了不同层的时间对应图片。使用阴影线来区分已经根据编码/解码顺序进行了编码/解码的基础层信号200和增强层信号36内的部分和尚未根据图5中所示的编码/解码顺序进行编码或解码的部分。图6还示出了当前要编码/解码的增强层信号36的一部分28。
[0081] 根据现在描述的实施例，部分28的预测使用增强层本身内的层内预测以及来自基础层的层间预测，以便对该部分28进行预测。然而，以一种方式组合预测，以使得这些预测以光谱变化的方式有助于部分28的最终预测子，使得特别地，这两个贡献值之间的比率光谱地变化。
[0082] 特别地，部分28从增强层信号400的已经重构的部分，即增强层信号400内在图6中通过阴影线示出的任意部分，在空间或时间上进行预测。空间预测使用箭头30示出，同时时间预测使用箭头32示出。时间预测可以涉及例如运动补偿预测，关于运动矢量的信息据此在当前部分28的增强层子流内传输，该运动矢量表示要复制的增强层信号400的参考图片的一部分的位移以便获得当前部分28的时间预测。空间预测30可以涉及将图片22b的空间相邻的已经编码/解码的部分，空间相邻的当前部分28，外推到当前部分28。为此，帧内预测信息诸如外推(或角度)方向，可以在当前部分28的增强层子流内进行标记。还可以使用空间预测30和时间预测32的组合。在任意情况下，由此获得增强层内部预测信号34，如图7中所示。
[0083] 使用层间预测以便获得当前部分28的另一个预测。为此，基础层信号200在与增强层信号400的当前部分28空间和时间对应的部分进行分辨率或质量细化，以便获得潜在分辨率提高的当前部分28的层间预测信号，其中细化步骤在图6中使用箭头38示出从而得到层间预测信号39，如图7中所示。
[0084] 因此，对当前部分28来说存在两个预测贡献值34和39，并形成这两个贡献值的加权平均值以获得当前部分28的增强层预测信号42，以使得层间预测信号和增强层内部预测信号以此有助于增强层预测信号42的权重随着图7中用44示意性地示出的空间频率分量而发生不同变化，其中示例性的图表示出了这样的情况：对于每个空间频率分量，预测信号34和38以此有助于最终预测信号的权重共计为用于所有光谱分量的相同值46，然而，具有应用于预测信号34的权重与应用于预测信号39的权重之间的光谱变化率。
[0085] 在预测信号42可以直接被当前部分28的增强层信号400使用的同时，可替换地，残差信号可以存在于当前部分28的增强层子流6b内，从而通过组合50来预测信号42，诸如图7中所示的加法，得出当前部分28的重构版本54。作为中间标注，要注意的是，可伸缩视频编码器和解码器两者可以是使用预测编码和使用变换编码以便编码/解码预测残差的混合视频解码器/编码器。
[0086] 总结图6和图7的描述，针对当前部分28，增强层子流6b可以包括用于控制空间预测30和/或时间预测32的帧内预测参数56，以及任选地，用于控制光谱加权平均值的形成41的加权参数58以及用于用信号发送残差信号48的残差信息59。在可伸缩视频编码器据此确定所有的这些参数56，58和59并将其插入增强层子流6b中的同时，可伸缩视频解码器使用这些参数以便重构如上所述的当前部分28。所有这些元素56，58和59都可以进行一些量化，并且因此可伸缩视频编码器可以确定这些参数/元素，即，如使用率/失真成本函数进行量化。有趣的是，编码器2使用自身由此确定的参数/元素56，58和59以便获得当前部分28的重构版本54，以便自身作为按编码/解码顺序随后发生的增强层信号400的部分的任意预测的基础。
[0087] 对于加权参数58和其如何控制光谱加权平均值41的形成来说存在不同的可能性。例如，加权参数58仅仅标记当前部分28的两种状态中的一种，即，激活目前为止所描述的光谱加权平均值的形成的一种状态，以及使层间预测信号38的贡献值去激活使得最终增强层预测信号42在此情况下仅仅由增强层内部预测信号34组成的另一种状态。可替换地，当前部分28的加权参数58可以在一方面激活光谱加权平均值形成与另一方面形成增强层预测信号42的层间预测信号39之间进行切换。加权参数58还可以设计为标记刚才提及的三种状态/替代物中的一种。可替代地或另外地，加权参数58可以针对预测信号34和39以此有助于最终预测信号42的权重之间的比率的光谱变化来控制当前部分28的光谱加权平均值形成
41。随后，将描述光谱加权平均值形成41可以涉及在添加之前对预测信号34和39中的一个或两个进行滤波，诸如使用高通滤波器和/或低通滤波器，并且在此情况下，加权参数58可以标记要用于预测当前部分28的一个或多个滤波器的滤波器特性。作为替代方案，后文描述了步骤41中的光谱加权可通过变换域中的光谱分量的各个加权来实现，并且因此在这种情况下，加权参数58可标记/设置这些光谱分量的各个加权值。
41。随后，将描述光谱加权平均值形成41可以涉及在添加之前对预测信号34和39中的一个或两个进行滤波，诸如使用高通滤波器和/或低通滤波器，并且在此情况下，加权参数58可以标记要用于预测当前部分28的一个或多个滤波器的滤波器特性。作为替代方案，后文描述了步骤41中的光谱加权可通过变换域中的光谱分量的各个加权来实现，并且因此在这种情况下，加权参数58可标记/设置这些光谱分量的各个加权值。
[0088] 另外地或可替换地，当前部分28的加权参数可以表示步骤41中的光谱加权是在变换域中还是在空间域中执行。
[0089] 图9示出在空间域中执行光谱加权平均值形成的实施例。预测信号39和34被示为以与当前部分28的像素光栅相一致的相应像素阵列的形式获得。为了执行光谱加权平均值形成，这两个预测信号34和39的这两个像素阵列被示为经历滤波。图9说明性地通过示出遍历预测信号34和39的像素阵列以便执行例如FIR滤波的滤波器62和64来示出滤波。然而，IIR滤波也是可行的。此外，预测信号34和39中只有一个预测信号可以进行滤波。这两个滤波器62和64的传递函数不同，使得将预测信号39和34的像素阵列的滤波结果相加66得到光谱加权平均值形成结果，即，增强层预测信号42。换句话说，相加66可分别将如使用滤波器62和64进行滤波的预测信号39和34内的共同定位样本简单相加。由此62至66得到光谱加权平均值形成41。图9示出在残差信息59以变换系数的形式存在，由此标记变换域中的残差信号48的情况下，反变换68可以用于得到像素阵列70形式的空间域，使得得到重构版本55的组合52可以通过将残差信号阵列70和增强层预测信号42简单逐像素相加来实现。
[0090] 再者，认为预测通过可伸缩视频编码器和解码器分别使用解码器和编码器中的用于重构的预测来执行。
[0091] 图10示例性示出了如何在变换域中执行光谱加权平均值形成。这里，预测信号39和34的像素阵列分别进行变换72和74，由此分别得到光谱分解(spectral decomposition)76和78。每个光谱分解76和78由每个光谱分量具有一个变换系数的变换系数阵列组成。将各个变换系数区块76和78和对应权重区块(即区块82和84)相乘。由此，按各个光谱分量，分别对区块76和78的变换系数进行加权。按各个光谱分量，区块82和84的加权值可以相加得到所有光谱分量共有的值，但这不是强制性的。实际上，区块76和82之间相乘86和区块78和区块84之间相乘88分别表示变换域中的光谱滤波，并且变换系数/光谱逐分量相加90完成了光谱加权平均值形成41以便得到变换系数的区块的形式的增强层预测信号42的变换域版本。如图10中所示，在残差信号59标记变换系数区块形式的残差信号48的情况下，可以将其与表示增强层预测信号42的变换系数区块进行简单的逐变换系数相加或组合52以得到变换域中的当前部分28的重构版本。因此，应用于额外组合52结果的反变换84得到重构当前部分28的像素阵列，即重构版本54。
[0092] 如上所述，存在于用于当前部分28的增强层子流6b内的参数，诸如残差信息59或加权参数58可以标记在如图10所示的变换域内或者在根据图9的空间域内执行平均值形成41。例如，如果残差信息59指示不存在当前部分28的任意变换系数区块，则可使用空间域，或加权参数58可在这两个域之间切换而与残差信息59是否包括变换系数无关。
[0093] 稍后，描述为了获得层内部增强层预测信号，可以对增强层信号的已经重构部分之间的差分信号与层间预测信号进行计算和管理。从与第一部分空间相邻并且属于增强层信号的已经重构部分的差分信号的第二部分空间上预测在与当前待重构的增强层信号的一部分并置(colocated)的第一部分上的差分信号，然后可以用于对差分信号进行空间预测。可替换地，从属于增强层信号的先前重构帧的差分信号的第二部分在时间上预测在与当前待重构的增强层信号的一部分并置的在第一部分上的差分信号的时间预测可以被用于获得时间预测差分信号。然后，组合层间预测信号和预测差分信号可以被用于获得层内部增强层预测信号，该信号然后与层间预测信号相组合。
[0094] 参照以下附图，描述可实施可伸缩视频编码器或解码器，诸如上文参照图1至图4描述的可伸缩视频编码器或解码器，以便形成根据本申请的另一方面的本申请的实施例。
[0095] 为了解释这个方面，可参照图11。图11示出了执行当前部分28的空间预测30的可能性。图11的以下描述由此可以与参照图6至图10进行的描述相组合。特别地，下文描述的方面稍后将参照通过参照方面X和Y的说明性实施实例来进行描述。
[0096] 图11中所示的情况对应于图6中所示的情况。也就是说，示出了基础层200和增强层信号400，其中使用阴影线示出了已经编码/解码的部分。当前要在增强层信号400内编码/解码的部分具有相邻区块92和94，这里示例性地描述为当前部分28上方的区块92和左边的区块94，其中这两个区块92和94示例性地具有与当前区块28相同的尺寸。然而，一致的尺寸并非强制性的。更确切地说，将增强层信号400的图片22b细分而成的区块的部分可以具有不同尺寸。它们甚至不限于二次元形式。可以为矩形或其他形状。当前区块28具有图11中未具体描述的另外的相邻区块，然而，尚未对所述相邻区块进行解码/编码，即，所述相邻区块符合编码/解码顺序并因此不可用于预测。除此之外，可能存在除了已经根据编码/解码顺序编码/解码的区块92和94之外的与当前区块28相邻的其他区块，诸如区块96-这里示例性地在当前区块28的左上角成对角线，但在这里考虑的实例中，区块92和94是对进行帧内预测30的当前区块28的帧内预测参数起到预测作用的预定相邻区块。这些预定相邻区块的数量不限于两个。该数量可以更多或仅为一。
[0097] 可伸缩视频编码器和可伸缩视频解码器可以根据例如当前部分28内的预定样本位置98，诸如其左上方的样本从已经编码相邻区块(这里为区块92至96)集合确定预定相邻区块(这里为区块92，94)集合。例如，只有当前部分28的已经编码相邻区块才可以形成包括与预定样本位置98紧紧相邻的样本位置的“预定相邻区块”集合。在任何情况下，已经编码/解码的相邻区块包括基于要对当前区块28的区域进行空间预测的样本值的与当前区块28相邻的样本102。为此，空间预测参数诸如56在增强层子流6b中进行标记。例如，当前区块28的空间预测参数指示空间方向，样本102的样本值要沿该空间方向复制到当前区块28的区域中。
[0098] 在任何情况下，在对当前区块28进行空间预测时，可伸缩视频解码器/编码器已经使用基础层子流6a重构的(并且在编码器的情况下已经被编码的)基础层200，至少就时间对应图片22a的相关空间对应区域而言，诸如如上所述的使用逐区块预测并使用例如空间和时间预测模式之间的逐区块选择。
[0099] 在图11中，示例性地描述了位于与当前部分28局部对应并位于其周围的几个区块104，基础层信号200的时间对准图片22a被细分为所述几个区块。正如与增强层信号400内的空间预测区块一样的情况，空间预测参数被包含在基础层信号200内的区块104的基础层子流内或在其内进行标记，空间预测模式的选择针对其进行标记。
[0100] 为了允许从编码数据流针对这里示例性地选择了的空间层内预测30的区块28来重构增强层信号，在比特流内使用并编码帧内预测参数如下：
[0101] 帧内预测参数经常使用最可能帧内预测参数的概念来进行编码，其是所有可能帧内预测参数的相当小的子集。最可能帧内预测参数的集合例如可以包括一个、两个或三个帧内预测参数，而所有可能的帧内预测参数的集合例如可以包括35个帧内预测参数。如果帧内预测参数被包含在最可能帧内预测参数的集合中，则该帧内预测参数可以在具有少量比特的比特流内部进行标记。如果帧内预测参数没有包含在最可能帧内预测参数的集合中，则其在比特流内部的标记需要更多比特。因此为用于标记当前帧内预测区块的帧内预测参数的语法元素所花费的比特的量取决于最可能，或很可能有利的帧内预测参数的集合的质量。假设可以适当推导出最可能帧内预测参数的集合的情况下，通过使用该概念，编码帧内预测参数平均需要更少数量的比特。
[0102] 通常，最可能帧内预测参数的集合经选择使得其包括直接相邻区块的帧内预测参数和/或例如缺省参数形式的经常使用的额外帧内预测参数。由于例如相邻区块的主要梯度方向相似，因此通常有利的是包括最可能帧内预测参数的集合中的相邻区块的帧内预测参数。
[0103] 然而，如果相邻区块不以空间帧内预测模式进行编码，则这些参数在解码器侧不可用。
[0104] 然而，在可伸缩编码的处理中，可以使用共同定位基础层区块的帧内预测参数，并且因此，根据下面概述的方面，通过在相邻区块不以空间帧内预测模式进行编码的情况下使用共同定位基础层区块的帧内预测参数来利用这种境况。
[0105] 因此，根据图11，在预定相邻区块的任意一个没有与此相关联的合适帧内预测参数的情况下，例如因为相应的预定相邻区块不以帧内预测模式进行编码，所以当前增强层区块的可能有利的帧内预测参数的集合通过检查预定相邻区块的帧内预测参数，并且例外地凭借基础层中的共同定位区块而构成。
[0106] 首先，检查当前区块28的预定相邻区块(诸如区块92或94)是否使用空间帧内预测模式进行预测，即，是否为此相邻区块选择空间帧内预测模式。据此，相邻区块的帧内预测参数被包含在当前区块28的很可能有利的帧内预测参数，或作为替代物，被包含在基础层的共同定位区块108的帧内预测参数(如果有的话)的集合中。可以针对预定相邻区块92和94的每一个执行该处理。
[0107] 例如，如果相应的预定相邻区块不是空间帧内预测区块，则代替使用缺省预测子等，基础层信号200的区块108的帧内预测参数被包含在共同定位到当前区块28的用于当前区块28的可能有利的帧间预测参数的集合中。例如，使用当前区块28(即，基础层信号200的时间对准图片22a内覆盖与预定样本位置98局部对应的位置106的区块108)的预定样本位置98来确定共同定位区块108。自然，可事先执行进一步的检查，检查基础层信号200内的共同定位区块108实际上是否是空间帧内预测区块。在图11的情况下，示例性地示出情况就是这样。然而，如果共同定位区块也不以帧内预测模式进行编码，则可保留可能有利的帧内预测参数的集合，而不存在此预定相邻区块的任意贡献值或缺省帧内预测参数可被用作替代物，即，缺省帧内预测参数被插入可能有利的帧内预测参数的集合中。
[0108] 因此，如果对共同定位到当前区块28的区块108进行空间帧内预测，则在基础层子流6a内进行标记的帧内预测参数被用作当前区块28的任意预定相邻区块92或94的一种替代方式，由于该区块使用另一种预测模式，诸如时间预测模式进行编码，因此该区块不具有任何帧内预测参数。
[0109] 根据另一个实施例，在某些情况下，通过共同定位基础层区块的帧内预测参数替代预定相邻区块的帧内预测参数，即使相应的预定相邻区块是帧内预测模式也是如此。例如，可以对帧内预测模式的任意预定相邻区块执行进一步检查，检查帧内预测参数是否满足某个标准。如果相邻区块的帧内预测参数不满足某个标准，但共同定位基础层区块的帧内预测参数满足该标准，则执行替代，而不考虑非常相邻的区块是否进行帧内编码。例如，如果相邻区块的帧内预测参数不表示角度帧内预测模式(但例如DC或平面帧内预测模式)，但共同定位基础层区块的帧内预测参数表示角度帧内预测模式，则相邻区块的帧内预测参数可用基础层区块的帧内预测参数替代。
[0110] 然后，基于存在于诸如当前区块28的增强层子流6b的编码数据流中的语法元素以及很可能有利的帧内预测参数的集合来确定当前区块28的帧间预测参数。也就是说，在当前区块28的帧间预测参数是很可能有利的帧内预测参数的集合的成员的情况下，比在帧间预测参数是与可能有利的帧内预测参数的集合不相交的可能的帧内预测参数的集合的剩余部分的成员的情况下，语法元素可以使用更少的比特进行编码。
[0111] 可能帧内预测参数的集合可以包含几种角定向模式，当前区块据此通过从已经编码/解码的相邻样本复制一个DC模式和平面模式，通过沿相应模式/参数的角方向复制来进行填充，当前区块的样本根据DC模式被设定为基于已经编码/解码的相邻样本(诸如通过在一定程度上求平均值)所确定的常数值，当前区块的样本根据平面模式被设定为符合线性函数的分布值，该线性函数的x和y的斜率和截距基于例如已经编码/解码的相邻样本来确定。
[0112] 图12示出了从基础层的共同定位区块108获得的空间预测参数替代如何与增强层子流中标记的语法元素一起使用的可能性。图12以放大的方式示出了当前区块28以及已经编码/解码的相邻样本102和预定相邻区块92和94。图12还示例性地示出了如通过共同定位区块108的空间预测参数指示的角方向112。
[0113] 在用于当前区块28的增强层子流6b内标记的语法元素114例如如图13所示，可标记索引118，将该索引118条件编码成可能有利的帧内预测参数的结果列表122，这里被示例性地示出为角方向124，或者如果实际帧内预测参数116不在最可能集合122内，则将索引123编码成可能的帧内预测模式的列表125，可能不包括-如在127出所示-列表122的候选者，由此识别实际帧内预测参数116。在位于列表122内的实际帧内预测参数的情况下，编码语法元素可消耗更少的比特。语法元素例如可包括标记和索引字段，该标记表示索引是否指向列表122或列表125(包括或不包括列表122的成员)，或语法元素是否包括识别列表122的成员124或转义码之一的字段，以及在转义码的情况下识别列表125的成员(包括或不包括列表122的成员)的第二字段。列表122内的成员124之间的顺序例如可以基于缺省规则来进行确定。
[0114] 因此，可伸缩视频解码器可以从增强层子流6b获得或检索语法元素114，并且可伸缩视频编码器可以将语法元素114插入增强层子流6b中，并且然后，语法元素114例如用于给列表122中的一个空间预测参数编索引。在形成列表122的过程中可以执行上述替代，据此检查预定相邻区块92和94是否是空间预测编码模式类型。如上所述，如果不是，则检查共同定位区块108是否相同，反之是否是空间预测区块，如果是，则检测列表122中是否包括用于对该共同定位区块108进行空间预测的其空间预测参数，诸如角方向112。如果基础层区块108不包括合适的帧内预测参数，则可以保留列表122，而不存在来自相应预定相邻区块92或94的任何贡献值。为了避免列表122因为预定相邻区块92，98以及缺乏合适的帧内预测参数的共同定位区块108由于进行帧间预测而为空，至少一个成员124可以使用缺省帧内预测参数而无条件地进行确定。可替换地，可以允许列表122为空。
[0115] 自然地，参照图11至图13所说明的方面可与上文参照图6至图10概述的方面相组合。根据图11至图13的使用经由基础层迂回获得的空间帧内预测参数获得的帧内预测具体可以表示图6至图10的方面的增强层内部预测信号34，以便以光谱加权的方式与上文所述的层间预测信号38相组合。
[0116] 参照以下附图，描述了如何实现可伸缩视频编码器或解码器，诸如上文参照图1至图4描述的可伸缩视频编码器或解码器，以便形成根据本申请的甚至另外的方面的本申请的实施例。稍后，使用方面T和方面U的参考来呈现后文描述的方面的一些额外的实施实例。
[0117] 参照图14，其以时间对准的方式分别示出了增强层信号400和基础层信号200的图片22b和22a。用28示出了当前要被编码/解码的部分。根据本方面，使用随基础层信号空间变化的基础层编码参数，基础层信号200由可伸缩视频编码器预测性地编码并由可伸缩视频解码器预测地重构。空间变化在图14中使用阴影部分132示出，用于预测性地编码/重构基础层信号200的基础层编码参数在由非阴影区域包围的阴影部分内是恒定的，当从阴影部分132转变到非阴影区域时，基础层编码参数在非阴影区域中发生变化。根据上文概述的方面，增强层信号400以区块为单元进行编码/重构。当前部分28是此区块。根据上文概述的方面，基于基础层信号200的共同定位部分134内，即基础层信号200的时间对应图片22a的空间共同定位部分内的基础层编码参数的空间变化从可能子区块细分的集合中选择当前部分28的子区块细分。
[0118] 特别地，上文的描述建议在当前部分28的可能子区块细分的集合中选择子区块细分，使得选择的子区块细分在可能子区块细分的集合中是最粗糙的，当转移到基础层信号的共同定位部分134上时，其对基础层信号200进行细分，使得在相应子区块细分的每个子区块内，基础层编码参数彼此充分相似，而不在增强层子流6b内标记当前部分28的细分信息。为了易于理解，参照图15A。图15A使用阴影示出了将共同定位部分134内的基础层编码参数的空间变化刻入其中的部分28。特别地，利用应用于区块28的不同子区块细分三次示出了部分28。特别地，在图15A的情况下示例性地使用四叉树细分。也就是说，可能子区块细分的集合是四叉树细分或由四叉树细分限定，并且图15A中描述的部分28的子区块细分的三个例示属于区块28的四叉树细分的不同层次级别。从下到上，将区块28细分为子区块的粗糙度等级增加。在最高级别下，照原样保留部分28。在下一个较低级别下，将区块28细分为四个子区块并将后者中的至少一个进一步细分为下一个较低级别下的四个子区块，依此类推。在图15A中，在每个级别下，选择四叉树细分，其中子区块的数量最小，然而覆盖基础层编码参数的子区块不改变边界。也就是说，可以看出在图15A的情况下，选择来对区块28进行细分的区块28的四叉树细分是图15A中所示的最低的四叉树细分。这里，基础层的基础层编码参数在共同定位到子区块细分的相应子区块的每个部分内是恒定的。
[0119] 因此，区块28的细分信息不需要在增强层子流6b内进行标记，由此提高了编码效率。而且，获得刚才概述的细分的方式是可用的，与当前部分28的位置针对基础层信号200的任意网格或样本阵列的对准无关。特别地，细分偏移还在基础层与增强层之间的空间分辨率分数比的情况下起作用。
[0120] 基于由此确定的部分28的子区块细分，部分28可以预测地进行重构/编码。针对上文的描述，应该注意的是，存在不同的可能性以便“测量”当前区块28的不同可用子区块细分的粗糙度。例如，粗糙度的测量可基于子区块的数量来确定：相应子区块细分的子区块越多，其级别越低。在图15A的情况下没有明显应用该定义，其中“粗糙度的测量”通过相应子区块细分的子区块的数量和相应子区块细分的所有子区块的最小尺寸的组合来确定。
[0121] 考虑到完整性，图15B示例性地示出了当将图35的细分示例性地用作可用集合时从当前区块28的可用子区块细分的集合中选择可用子区块细分的情况。不同阴影(和非阴影)示出了基础层信号内的相应共同定位区域具有与此相关联的相同的基础层编码参数的区域。
[0122] 如上所述，刚才概述的选择可以通过根据某个先后顺序，诸如提高或降低粗糙度等级的顺序遍历子区块细分，并选择此可能子区块细分来实现，从该可能子区块细分，在相应子区块细分的每个子区块内，基础层编码参数彼此充分相似的情况下，不再适用(在根据提高的粗糙度使用遍历的情况下)或首次发生以适用(在根据降低的粗糙度等级使用遍历的情况下)。可替换地，可以对所有可能的细分进行测试。
[0123] 虽然在图14、图15A和图15B的上述描述中使用了广义的术语“基础层编码参数”，但是在优选实施例中，这些基础层编码参数表示基础层预测参数，即涉及基础层信号的预测的形成但不涉及预测残差的形成的参数。因此，基础层编码参数例如可以包括例如在空间预测与时间预测之间区分分配给空间预测的基础层信号的区块/部分的诸如角方向的预测参数；以及分配给时间预测的基础层信号的区块/部分的诸如运动参数等的预测参数的预测模式。
[0124] 然而，有趣的是，某个子区块内的基础层编码参数的相似性的“充分性”的定义仅可以通过基础层编码参数的子集来确定/限定。例如，仅可以基于预测模式来确定相似性。可替换地，进一步调整空间和/或时间预测的预测参数可以形成参数，某个子区块内的基础层编码参数的相似性取决于所述参数。
[0125] 进一步地，如上文已经概述的，为了使彼此充分相似，某个子区块内的基础层编码参数可能需要在相应子区块内彼此相等。可替换地，所使用的相似性的测量可能需要在某个间隔内以便满足“相似性”的标准。
[0126] 如上所述，选择的子区块细分不是可以预测或从基础层信号传递的唯一数量。更确切地说，基础层编码参数本身可以转移到增强层信号上，以便基于此得到通过将选择的子区块细分从基础层信号转移到增强层信号而获得的子区块细分的子区块的增强层编码参数。就运动参数而言，例如，可以使用标度以便考虑从基础层至增强层的转变。优选地，只有基础层的预测参数的部分或语法元素才用于设置从基础层获得的当前部分子区块细分的子区块，这会影响相似性测量。通过该措施，选择的子区块细分的每个子区块内的预测参数的这些语法元素在某种程度上彼此相似的情况保证了用于预测当前部分308的子区块的对应预测参数的基础层预测参数的语法元素相似，或甚至彼此相等，使得在允许一些差异的第一情况下，与基础层信号的由相应子区块覆盖的部分对应的基础层预测参数的语法元素的一些有意义的“平均数”可以被用作对应子区块的预测子。然而，还有可能的是除了纯粹的细分转移本身之外，诸如仅预测或预设当前部分28的子区块的模式，有助于相似性测量的一部分语法元素只用于预测增强层的细分的子区块的预测参数，但是特定于模式的基础层预测参数要参与相似性测量确定。
[0127] 现在将参照以下附图图16来描述不仅使用从基础层至增强层的细分层间预测的一种可能性。图16以沿呈现时间轴24对准的方式示出了增强层信号400的图片22b和基础层信号200的图片22a。
[0128] 根据图16的实施例，基础层信号200预测性地由可伸缩视频解码器重构，并预测性地通过使用可伸缩视频编码器通过将基础层信号200的帧22a细分为帧内区块和帧间区块。根据图16的实例，后者的细分以两阶段的方式进行：首先，将帧22a有规律地细分为最大区块或最大编码单元，在图16中用参考符号302表示并使用沿其圆周的双线。然后，每个这样的最大区块302进行分层四叉树细分为形成前述帧内区块和帧间区块的编码单元。因此，它们是最大区块302的四叉树细分的叶子。在图16中，参考符号304被用于表示这些叶子区块或编码单元。正常的实线用于表示这些编码单元的圆周。在空间帧内预测用于帧内区块的同时，时间帧间预测用于帧间区块。分别与空间帧内预测和时间帧间预测相关联的预测参数以更小的区块为单元进行设置，然而，帧内区块和帧间区块或编码单元304被细分为更小的区块。在图16中使用参考符号306表示更小的区块，示例性地针对编码单元304中的一个示出了此细分。使用虚线标出了更小的区块304轮廓。也就是说，在图16的实施例的情况下，空间视频编码器具有针对基础层的每个编码单元304在一方面空间预测和另一方面时间预测之间进行选择的机会。然而，就增强层信号而言，提高了自由度。特别地，这里，增强层信号400的帧22b在编码单元中分配给预测模式集合的相应一个，增强层信号400的帧22b细分为编码单元，所述预测模式不仅包括空间帧内预测和时间帧间预测，而且还包括如下文更详细概述的层间预测。细分为这些编码单元可以以针对基础层信号描述的相似方式进行：
首先，帧22b可以有规律地细分为使用双线标出轮廓的最大区块的列和行，然后，在分层四叉树细分处理中细分为使用正常的实线标出轮廓的编码单元。
首先，帧22b可以有规律地细分为使用双线标出轮廓的最大区块的列和行，然后，在分层四叉树细分处理中细分为使用正常的实线标出轮廓的编码单元。
[0129] 示例性地假设增强层信号400的当前图片22b的一个这样的编码单元308被分配给层间预测模式并使用阴影线示出。通过类似于图14、图15A和图15B的方式，图16在312上示出了如何通过来自基础层信号的局部转移预测性地推导出编码单元308的细分。特别地，用312示出了由编码单元308覆盖的局部区域。在该区域内，点线表示基础层信号的相邻区块之间的边界，或更普遍地，基础层的基础层编码参数可以经由此发生可能的变化。这些边界因此是基础层信号200的预测区块306的边界并且局部与相邻编码单元304或甚至基础层信号200的最大相邻编码单元302之间的边界一致。312处的虚线表示当前编码单元308细分为通过来自基础层信号200的局部转移而推导出/选择的预测区块。上文描述了针对局部转移的细节。
[0130] 如上所述，根据图16的实施例，不仅从基础层采用细分为预测区块。更确切地说，如区域312内使用的基础层信号的预测参数用于推导出用于对增强层信号400的编码单元308的预测区块执行预测的预测参数。
[0131] 特别地，根据图16的实施例，不但从基础层信号推导出细分为预测区块，而且预测模式还用于基础层信号200以便编码/重构由推导出的细分的相应子区块局部覆盖的相应区域。一个实例如下：为了根据上文的描述推导出编码单元308的细分，可以使用结合基础层信号200以及相关联的模式特定预测参数使用的预测模式以便确定上文讨论的“相似性”。因此，图16中表示的不同阴影线可以对应于基础层的不同预测区块306，其中的每一个都可以具有帧内预测模式或帧间预测模式，即，与此相关联的空间或时间预测模式。如上所述，为了“充分相似”，共同定位到编码单元308的细分的相应子区块的区域内使用的预测模式，以及特定于子区域内的相应预测模式的预测参数，可能必须完全相等。可替换地，可以容忍某个变化。
[0132] 特别地，根据图16的实施例，通过从左上部延伸到右下部的阴影线示出的所有区块都可以被设定为编码单元308的帧内预测区块，因为基础层信号的局部对应部分由具有与此相关联的空间帧内预测模式的预测区块306覆盖，而其他区块，即从左下部至右上部用阴影线表示的区块可以被设定为帧间预测区块，因为基础层信号的局部对应部分由具有与此相关联的时间帧间预测模式的预测区块306覆盖。
[0133] 尽管根据可替代的实施例，在编码单元308内执行预测的预测细节的推导在这里可停止，即，可被限制为将编码单元308细分为预测区块和将这些预测区块分为使用非时间或空间预测编码的区块和使用时间预测编码的单元的推导，但是这不符合图16的实施例。
[0134] 根据后面的实施例，具有分配至此的非时间预测模式的编码单元308的所有预测区块进行非时间(诸如空间)帧内预测，同时将从基础层信号200的局部一致帧内区块的预测参数推导出的预测参数作为这些非时间模式区块的增强层预测参数。此推导由此可以涉及基础层信号200的局部共同定位帧内区块的空间预测参数。这些空间预测参数例如可以是角方向的指示，空间预测间沿该角方向执行。如上所述，相似性定义本身必须确定由编码单元308的各个非时间预测区块覆盖的空间基础层预测参数彼此相同，或者，对编码单元308的各个非时间预测区块来说，对由相应的非时间预测区块覆盖的空间基础层预测参数进行一定平均值处理用于推导出相应非时间预测区块的预测参数。
[0135] 可替换地，具有分配至此的非时间预测模式的编码单元308的所有预测区块可以以以下方式进行层间预测：首先，基础层信号经历分辨率或质量细化以至少在以空间方式共同定位到编码单元308的非时间预测模式预测区块的区域内获得层间预测信号，然后使用层间预测信号来预测编码单元308的这些预测区块。
[0136] 可伸缩视频解码器和编码器在默认情况下可以使所有编码单元308进行空间预测或层间预测。可替换地，可伸缩视频编码器/解码器可以支持两种替代选择，并且编码视频数据流内的信令表示就编码单元308的非时间预测模式预测区块而言使用哪个版本。特别地，这两种替代选择之间的决定可以在数据流内按任何粒度诸如对编码单元308来说单独进行标记。
[0137] 就编码单元308的其他预测区块而言，同样可以使用预测参数进行时间帧间预测，所述预测参数就非时间预测模式预测区块而言，可以从局部一致的帧间区块的预测参数推导出。因此，该推导反之可以与分配给基础层信号的对应部分的运动矢量有关。
[0138] 对于具有分配至此的空间帧内预测模式和时间帧间预测模式的任意一个的所有其他编码单元来说，同样要以以下方式进行空间预测或时间预测：特别地，同样进一步细分为具有分配至此的预测模式的预测区块，该预测模式对编码单元内的所有预测区块来说是共用的并且特别地是与分配至相应编码单元的预测模式相同的预测模式。也就是说，与编码单元诸如具有与此相关联的层间预测模式的编码单元308不同，具有空间帧内预测模式或具有与此相关联的时间帧间预测模式的编码单元被细分为相同预测模式，即从相应编码单元得到的预测模式的预测区块，预测区块通过细分相应编码单元而从所述预测模式推导出。
[0139] 包括308的所有编码单元的细分可以是至预测区块的四叉树细分。
[0140] 层间预测模式的诸如编码单元308的编码单元和空间帧内预测模式或时间帧间预测模式的编码单元之间的另一个差异是当使空间帧内预测模式编码单元或时间帧间预测模式编码单元的预测区块分别进行空间预测和时间预测时，设置预测参数，而对基础层信号200没有任何依赖，诸如通过在增强层子流6b内进行标记的方式。甚至细分除了具有与此相关联的层间层预测模式的编码单元之外的编码单元可以在增强层信号6b内进行标记。也就是说，层间预测模式编码单元诸如308具有低比特率信号作用需求的优势：根据实施例，编码单元308本身的模式指示符不需要在增强层子流内进行标记。任选地，可以向编码单元308传输另外的参数，诸如各个预测区块的预测参数残差。另外地或可替换地，编码单元308的预测残差可以在增强层子流6b内进行传输/标记。尽管可伸缩视频解码器从增强层子流检索该信息，但根据当前实施例的可伸缩视频编码器确定这些参数并将所述参数插入增强层子流6b。
[0141] 换句话说，基础层信号200的预测可以使用基础层编码参数来进行，以使得所述参数随基础层信号200以基础层区块304为单元进行空间变化。可用于基础层的预测模式例如可以包括空间预测和时间预测。基础层编码参数就空间预测区块304而言可以进一步包括预测模式特定预测参数，诸如角方向，并且就时间预测区块34而言可以进一步包括运动矢量。后面的预测模式单独预测参数可以随基础层信号以小于基础层区块304(即前述预测区块306)的单元进行变化。为了满足上文概述的充分相似的要求，要求可以为与相应的可能子区块细分的区域重叠的所有基础层区块304的预测模式彼此相等。仅对相应的子区块细分进行筛选以获得选择的子区块细分。然而，要求甚至可以更严格：可能是因为与相应子区块细分的共用区域重叠的预测区块的预测模式特定预测参数也必须相等。只可以对满足相应子区块细分和基础层信号内的对应区域的每个子区块的要求的子区块细分进行筛选以获得最终选择的子区块细分。
[0142] 特别地，如上所简述的，至于如何在可能子区块细分的集合中执行选择存在不同的可能性。为了更详细地概述这种情况，参照图15C和图15d。想象集合352包含当前区块28的所有可能子区块细分354。自然，图15C仅仅是说明性实例。当前区块28的可能或可用子区块细分的集合352在缺省情况下对可伸缩视频解码器和可伸缩视频编码器来说是已知的或可在编码数据流内诸如针对一系列图片等进行标记。根据图15C的实例，对集合352的每个成员，即每个可用的子区块细分354进行检查，检查区域(基础层信号的共同定位部分108被细分为所述区域)是否仅由预测区块306和编码单元304覆盖，其基础层编码参数满足充分相似的要求。例如参见附加参考编号354的示例性细分。根据该示例性可用子区块细分，将当前区块28细分为四个象限/子区块358，并且左上子区块在基础层中对应于区域362。显然，该区域362与基础层的四个区块重叠，即与未进一步细分为预测区块并由此表示预测区块本身的两个预测区块306和两个编码单元304重叠。因此，如果与区域362重叠的所有这些预测区块的基础层编码参数满足相似性标准，并且这也是可能子区块细分354和基础层编码参数的所有子区块/象限与其对应区域重叠的情况，则该可能子区块细分354属于子区块细分的集合364，从而满足由相应子区块细分的子区块覆盖的所有区域的充分要求。在该集合364中，然后选择最粗糙细分，如通过箭头366所表示的，由此从集合352中获得选择的子区块细分368。
[0143] 显然，有利的是试图避免对集合352的所有成员执行检查356，并且因此，如图15d所示并如上所述，可能的细分354可以按提高或降低粗糙度的顺序遍历。该遍历使用双箭头372示出。图15d示出了粗糙度的测量或等级对可用子区块细分的一部分来说可以彼此相等。换句话说，根据提高或降低的粗糙度等级的排序可以是模糊的。然而，这不会扰乱对属于集合364的“最粗糙子区块细分”进行搜索，因为可能同样粗糙的可能子区块细分中只有一个属于集合364。因此，标准检查356的结果一从实现变为非实现，就会发现最粗糙的可能子区块细分368，当遍历到提高的粗糙度等级的方向时，其中第二至最后一个遍历的可能子区块细分是待选择的子区块细分354，或当从非实现切换到实现时，当沿降低的粗糙度等级的方向遍历时，其中最近的遍历子区块细分是子区块细分368。
[0144] 参照以下附图，描述了如何实现可伸缩视频编码器或解码器，诸如上文参照图1至图4描述的可伸缩视频编码器或解码器，以便形成根据本申请的更进一步的方面的本申请的实施例。在下文参照K、A和M方面提出了下文描述的方面的可行的实施方式。
[0145] 为了解释该方面，参照图17。图17示出了当前部分28的时间预测32的可能性。图17的以下描述由此可以与就与层间预测信号组合而言参照图6至图10，或参照图11至图13进行的描述相组合作为时间层间预测模式。
[0146] 图17中所示的情况对应于图16中所示的情况。也就是说，示出了基础层200和增强层信号400，其中已经编码/解码的部分使用阴影线示出。当前要在增强层信号400内编码/解码的部分具有相邻区块92和94，这里示例性地描述为当前部分28上方的区块92和当前部分28左边的区块94，其中这两个区块92和94示例性地都具有与当前区块28相同的尺寸。然而一致的尺寸不是强制性的。更确切地说，由增强层信号400的图片22b所细分而成的区块的部分可以具有不同尺寸。所述部分甚至不限于二次元形式。可以为矩形或其他形状。当前区块28具有图17中未具体描述的另外的相邻区块，然而，尚未对所述相邻区块进行解码/编码，即，所述相邻区块符合编码/解码顺序并因此不可用于预测。除此之外，可能存在除已经根据编码/解码顺序编码/解码的区块92和94之外的与当前区块28相邻的其他区块，诸如区块96-这里示例性地在当前区块28的左上角成对角线，但在这里所考虑的实例中，区块92和94是对进行帧内预测30的当前区块28的帧间预测参数起预测作用的预定相邻区块。这些预定相邻区块的数量不限于两个。该数量还可以更多或者仅为一个。参照图36至图38提出可行的实施方式进行讨论。
[0147] 可伸缩视频编码器和可伸缩视频解码器可以根据例如当前部分28内的预定样本位置98诸如其左上方的样本从已经编码相邻区块(这里为区块92至96)集合来确定预定相邻区块(这里为区块92，94)集合。例如，只有当前部分28的已经编码相邻区块才可以形成包括与预定样本位置98紧紧相邻的样本位置的“预定相邻区块”集合。参照图36至图38描述另外的可能性。
[0148] 在任何情况下，根据解码/编码顺序从当前区块28的共同定位位置移位运动矢量504的增强层信号400的先前编码/解码图片22b的部分502包括重构样本值，部分28的样本值可以基于所述重构样本值进行预测，诸如仅通过复制或通过插值。为此，运动矢量504在增强层子流6b中进行标记。例如，当前区块28的时间预测参数表示位移矢量506，该位移矢量506表示部分502从参考图片22b中的部分28的共同定位位置(以便任选通过插值进行复制)到部分28的样本上的位移。
[0149] 在任何情况下，在对当前区块28进行时间预测时，可伸缩视频解码器/编码器已经使用基础层子流6a重构(并且在编码器的情况下已经编码)基础层200，至少就时间对应图片22a的相关空间对应区域而言，诸如如上所述的使用逐区块预测并且使用例如空间和时间预测模式之间的逐区块选择。
[0150] 在图17中，示例性地描述了位于与当前部分28局部对应并且位于其周围的几个区块104，基础层信号200的时间对准图片22a被细分为所述几个区块。正如与增强层信号400内的空间预测区块一样的情况，空间预测参数包含在基础层信号200内的区块104的基础层子流内或在其内进行标记，空间预测模式的选择针对其进行标记。
[0151] 为了允许从编码数据流针对这里示例性地选择了时间层内预测32的区块28来重构增强层信号，使用诸如运动参数的帧间预测参数并且以以下方式中的任意一种方式进行确定：
[0152] 参照图18说明第一种可能性。特别地，首先，收集或从帧的已经重构的诸如预定区块92和94的相邻区块收集运动参数候选者514的集合512。运动参数可以是运动矢量。区块92和94的运动矢量分别使用具有标记于此的1的箭头516和2的箭头518来符号化。如图所示，这些运动参数516和518可以直接形成候选者514。一些候选者可以通过组合图18中所示的运动矢量诸如518和516而形成。
[0153] 进一步地，收集或从基础层运动参数收集并置到部分28的基础层信号200的区块108的一个或多个基础层运动参数524的集合522。换句话说，与基础层中的共同定位区块
108相关联的运动参数用于推导一个或多个基础层运动参数524。
108相关联的运动参数用于推导一个或多个基础层运动参数524。
[0154] 然后，将一个或多个基础层运动参数524或其标度版本添加526到运动参数候选者514的集合512，以便获得运动参数候选者的所扩展的运动参数候选者集合528。这种情况可以以多种方式中的任意一种方式(诸如将基础层运动参数524)简单附加在候选者514列表的末端，或以参照图19A进行概述的实例的不同方式加以执行。
[0155] 然后，选择所扩展的运动参数候选者集合528的运动参数候选者532中的至少一个，并且然后，使用所扩展的运动参数候选者集合的运动参数候选者中所选的运动参数候选者，通过运动补偿预测来执行部分28的时间预测32。选择534可以在数据流诸如部分28的子流6b内通过索引536到列表/集合528的方式进行标记，或者可以以如参照图19A所述的其它方式加以执行。
[0156] 如上所述，可以检查基础层运动参数523是否在诸如基础层子流6a的编码数据流中使用合并来进行编码，并且如果基础层运动参数523在编码数据流中使用合并来进行编码，则可以抑制添加526。
[0157] 根据图18所提及的运动参数可以只涉及运动矢量(运动矢量预测)，或可以涉及包括每区块的运动假设数量、参考索引、分割信息(合并)的运动参数的完整集合。因此，就空间可伸缩性而言，“标度版本”可以根据基础与增强层信号之间的空间分辨率比而源于在基础层信号中所使用的运动参数的标度。通过编码数据流编码/解码基础层信号的基础层运动参数可以涉及运动矢量预测，诸如以空间或时间或合并的方式。
[0158] 将在基础层信号的共同定位部分108处所使用的运动参数523的并入526到合并/运动矢量候选者532的集合528，使得能够在层内候选者514和一个或多个层间候选者524之间进行非常有效的索引。选择534可以涉及将索引明确标记到增强层信号6b中的运动参数候选者的扩展集合/列表中，诸如每预测区块，每编码单元等。可替换地，可以从增强层信号6b的其他信息或层间信息推断出选择索引536。
[0159] 根据图19A的可能性，仅任选地执行部分28的增强层信号的最终运动参数候选者列表的形成542，如参照图18所述。也就是说，可以是528或512。然而，根据共同定位基础层区块108的诸如由运动矢量523表示的运动参数的基础层运动参数对列表528/512进行排序544。例如，基于每个成员与运动参数523的潜在标度版本的偏差来确定成员(即，列表528/
512的运动参数候选者532或514)的等级。偏差越大，则排序列表528/512'中相应成员532/
512的等级越低。因此，排序544可以涉及确定每列表528/512的成员532/514的偏差测量。然后执行对排序列表528/512'内的一个候选者532/512的选择534，经由编码数据流中明确标记的索引语法元素536进行控制，以便从增强层信号的部分28的排序运动参数候选者列表
528/512'获得增强层运动参数，然后使用索引536所指向534的所选运动参数执行增强层信号的部分28的通过运动补偿预测进行的时间预测32。
512的运动参数候选者532或514)的等级。偏差越大，则排序列表528/512'中相应成员532/
512的等级越低。因此，排序544可以涉及确定每列表528/512的成员532/514的偏差测量。然后执行对排序列表528/512'内的一个候选者532/512的选择534，经由编码数据流中明确标记的索引语法元素536进行控制，以便从增强层信号的部分28的排序运动参数候选者列表
528/512'获得增强层运动参数，然后使用索引536所指向534的所选运动参数执行增强层信号的部分28的通过运动补偿预测进行的时间预测32。
[0160] 在图19A中提及的运动参数如上文参照图18所述的运动参数同样适用。解码来自编码数据流的基础层运动参数520可以(任选地)涉及空间或时间运动矢量预测或合并。如刚才所述，可以根据测量完成排序，所述测量测量相应的增强层运动参数候选者与基础层信号的基础层运动参数中的与共同定位到增强层信号的当前区块的基础层信号的区块有关的基础层运动参数之间的差。也就是说，可以首先针对增强层信号的当前区块确定增强层运动参数候选者的列表。然后如刚才所述执行排序。在下文中通过显示信令来执行选择。
[0161] 可选地可根据测量完成排序544，该测量测量与共同定位到增强层信号的当前区块28的基础层信号的区块108有关的基础层信号的基础层运动参数523与基础层中空间和/或时间相邻区块548的基础层运动参数546之间的差。然后将所确定的基础层中的排序传递给增强层，使得以排序与对应基础层候选者的确定排序相同的方式来对增强层运动参数候选者进行排序。在这方面，当相关联的基础层区块548以空间方式/以时间方式共同定位到与所考虑的增强层运动参数相关联的相邻增强层区块92和94时，可以认为基础层运动参数546对应于相邻增强层区块92，94的增强层运动参数。甚至可替换地，当相关联的基础层区块548和共同定位到当前增强层区块28的区块108之间的邻域关系(左邻，顶邻，A1，A2，B1，B2，B0或另外的实例请参见图36至图38)与当前增强层区块28和相应增强层相邻区块92，94之间的邻域关系相同。基于基础层排序，然后通过显示信令来执行选择534。
[0162] 参照图19B以便更详细地说明这种情况。图19B示出了刚才概述的用于通过使用基础层提示推导出运动参数候选者列表的增强层排序的替代方案中的第一替代方案。图19B示出了当前区块28和当前区块的三个不同的预定样本位置，即示例性地左上样本581、左下样本583和右上样本585。该实例仅应该解释为是说明性的。想象预定相邻区块的集合示例性地包含四种类型的相邻区块：覆盖与样本位置581紧邻的且被定位在其上方的样本位置587的相邻区块94a、包括或覆盖与样本位置585相邻且位于其上的样本位置589的相邻区块
94b。同样，相邻区块92a和92b是包括紧邻定位到样本位置581和583的左边的样本位置591和593的区块。请注意，不管同样参照图36至图38描述的预定数量来确定规则，预定相邻区块的数量也可以变化。然而，可通过其确定规则对预定相邻区块92a、92b、94a和94b进行区分。
94b。同样，相邻区块92a和92b是包括紧邻定位到样本位置581和583的左边的样本位置591和593的区块。请注意，不管同样参照图36至图38描述的预定数量来确定规则，预定相邻区块的数量也可以变化。然而，可通过其确定规则对预定相邻区块92a、92b、94a和94b进行区分。
[0163] 根据图19B的替代方案，针对每个预定相邻区块92a、92b、94a和94b确定基础层中的共同定位区块。例如，为此，使用每个相邻区块的左上样本595，正如与当前区块28的参照图19A中正式提到的左上样本581的情况一样。在图19B中使用虚线箭头示出了这种情况。通过该措施，针对每一个预定相邻区块，除了共同定位到当前区块28的共同定位区块108之外还发现了对应区块597。使用共同定位的基础层区块597的运动参数m1、m2、m3和m4，以及共同定位的基础层区块108的基础层运动参数m的相应差，在列表528或512内对预定相邻区块92a、92b、94a和94b的增强层运动参数M1、M2、M3和M4进行排序。例如，m1至m4中任意一个的距离越大，对应增强层运动参数M1至M4可以越大，即，给列表528/512'中的参数编索引会需要更大的索引。绝对差可以被用于距离测度。以类似的方式，可以在列表内针对其等级重新排列运动参数候选者532或514，其是增强层运动参数M1至M4的组合。
[0164] 图19C示出了基础层中的对应区块以另一种方式来确定的替代方案。特别地，图19C示出了当前区块28的预定相邻区块92a、92b、94a和94b与当前区块28的共同定位区块
108。根据图19C的实施例，确定与当前区块28的预定相邻区块，即92a、92b、94a和94b相对应的基础层区块以使得这些基础层区块可与增强层相邻区块92a、92b、94a和94b相关联，通过使用相同的相邻区块确定规则来确定这些基础层相邻区块。特别地，图19C示出了共同定位区块108的预定样本位置，即，左上、左下和右上的样本位置601。基于这些样本位置，以与参照增强层相邻区块92a、92b、94a和94b描述的相同方式，参照当前区块28的预定样本位置
581，583和585确定区块108的四个相邻区块：以该方式发现四个基础层相邻区块603a、
603b、605a和605b，603a明显对应于增强层相邻区块92a，基础层区块603b对应于增强层相邻区块92b，基础层区块605a对应于增强层相邻区块94a，基础层区块605b对应于增强层相邻区块94b。以如前所述的相同方式，使用基础层区块903a，903b，905a，905b的基础层运动参数M1至M4及其至共同定位基础层区块108的基础层运动参数m的距离，以便给由增强层区块92a、92b、94a和94b的运动参数M1至M4组成的列表528/512内的运动参数候选者进行排序。
108。根据图19C的实施例，确定与当前区块28的预定相邻区块，即92a、92b、94a和94b相对应的基础层区块以使得这些基础层区块可与增强层相邻区块92a、92b、94a和94b相关联，通过使用相同的相邻区块确定规则来确定这些基础层相邻区块。特别地，图19C示出了共同定位区块108的预定样本位置，即，左上、左下和右上的样本位置601。基于这些样本位置，以与参照增强层相邻区块92a、92b、94a和94b描述的相同方式，参照当前区块28的预定样本位置
581，583和585确定区块108的四个相邻区块：以该方式发现四个基础层相邻区块603a、
603b、605a和605b，603a明显对应于增强层相邻区块92a，基础层区块603b对应于增强层相邻区块92b，基础层区块605a对应于增强层相邻区块94a，基础层区块605b对应于增强层相邻区块94b。以如前所述的相同方式，使用基础层区块903a，903b，905a，905b的基础层运动参数M1至M4及其至共同定位基础层区块108的基础层运动参数m的距离，以便给由增强层区块92a、92b、94a和94b的运动参数M1至M4组成的列表528/512内的运动参数候选者进行排序。
[0165] 根据图20的可能性，仅任选地执行用于部分28的增强层信号的最终运动参数候选者列表的形成562，如参照图18和/或图19所述。也就是说，同样可以是528或512或528/512'，并在图20中使用参考符号564。根据图20，根据到已经用于参照共同定位区块108编码/解码基础层信号的运动参数候选者列表568的索引567来确定指向运动参数候选者列表
564的索引566。例如，在区块108处重构基础层信号的过程中，已经基于具有至区块108的与预定相邻增强层区块92，94和当前区块28之间的邻域关系相同的邻域关系(左邻，顶邻，A1，A2，B1，B0或进一步的实例请参见图36至图38)的区块108的相邻区块548的运动参数548确定了运动参数候选者的列表568，其中列表567的确定572还可以使用如在形成562(诸如在列表568和564的列表成员中排序)中使用的相同构建规则。更普遍地，可以以相邻增强层区块92，94通过与相关联于编索引的基础层候选者(即，索引567指向的基础层候选者)的基础层区块548共同定位的索引566来指向的方式确定增强层的索引566。索引567因此可以充当索引566的有意义的预测。然后，使用到运动参数候选者列表564的索引566来确定增强层运动参数并使用确定的运动参数执行区块28的运动补偿预测。
564的索引566。例如，在区块108处重构基础层信号的过程中，已经基于具有至区块108的与预定相邻增强层区块92，94和当前区块28之间的邻域关系相同的邻域关系(左邻，顶邻，A1，A2，B1，B0或进一步的实例请参见图36至图38)的区块108的相邻区块548的运动参数548确定了运动参数候选者的列表568，其中列表567的确定572还可以使用如在形成562(诸如在列表568和564的列表成员中排序)中使用的相同构建规则。更普遍地，可以以相邻增强层区块92，94通过与相关联于编索引的基础层候选者(即，索引567指向的基础层候选者)的基础层区块548共同定位的索引566来指向的方式确定增强层的索引566。索引567因此可以充当索引566的有意义的预测。然后，使用到运动参数候选者列表564的索引566来确定增强层运动参数并使用确定的运动参数执行区块28的运动补偿预测。
[0166] 参照图20中提出的运动参数与如上文参照图18和图19所述的运动参数同样适用。
[0167] 参照以下附图，描述了如何实现可伸缩视频编码器或解码器，诸如上文参照图1至图4描述的可伸缩视频编码器或解码器，以便形成根据本申请的更进一步的方面的本申请的实施例。下文描述的方面的详细地实施在下面参照方面V所进行描述。
[0168] 本方面涉及增强层内的残差编码。特别地，图21以时间对准的方式示例性地示出了基础层信号200的图片22a。图21示出了在可伸缩视频解码器内重构或在可伸缩视频编码器内编码增强层信号的方式，并集中讨论了表示增强层信号400和预定部分404的变换系数402的预定变换系数区块。换句话说，变换系数区块402表示增强层信号400的部分404的空间分解。如上所述，根据编码/解码顺序，基础层信号200的对应部分406可能已经在解码/编码变换系数区块402时进行了解码/编码。因此就基础层信号200而言，可能已经使用了预测编码/解码，包括在诸如基础层子流6a的编码数据流内的基础层残差信号的信号化。
[0169] 根据参照图21所描述的方面，可伸缩视频解码器/编码器利用这样一个事实：评估408共同定位到部分404的部分406处的基础层信号或基础层残差信号可能会导致将变换系数区块402细分为子区块412的有利选择。特别地，将变换系数区块402细分为子区块的几种可能子区块细分会得到可伸缩视频解码器/编码器的支持。这些可能子区块细分可以有规律地将变换系数区块402细分为矩形子区块412。也就是说，变换系数区块402的变化系数
414可以排列成行和列，并且根据可能子区块细分有规律地将这些变换系数414聚集到子区块412中，使得子区块412本身排列成列和行。评估408能够设定子区块412的列数和行数(即，它们的宽度和高度)之间的比率，以使得使用由此所选择的子区块细分编码变换系数区块402是最有效的。例如，如果评估408揭示了共同定位部分406内的重构基础层信号200，或对应部分406内的基础层残差信号主要由空间域中的水平边缘组成，然后变换系数区块
402在变换系数区块402的零行频率侧附近最可能填充有效的(即，非零的)变换系数水平，即量化的变换系数。在垂直边缘的情况下，变换系数区块402在变换系数区块402的零场频率侧附近的位置最可能填充非零变换系数水平。因此，首先，子区块412沿垂直方向应被选择为较长，沿水平方向应选择为较小；其次，子区块沿水平方向应较长，沿垂直方向应较小。
在图40中说明性地示出了后一种情况。
414可以排列成行和列，并且根据可能子区块细分有规律地将这些变换系数414聚集到子区块412中，使得子区块412本身排列成列和行。评估408能够设定子区块412的列数和行数(即，它们的宽度和高度)之间的比率，以使得使用由此所选择的子区块细分编码变换系数区块402是最有效的。例如，如果评估408揭示了共同定位部分406内的重构基础层信号200，或对应部分406内的基础层残差信号主要由空间域中的水平边缘组成，然后变换系数区块
402在变换系数区块402的零行频率侧附近最可能填充有效的(即，非零的)变换系数水平，即量化的变换系数。在垂直边缘的情况下，变换系数区块402在变换系数区块402的零场频率侧附近的位置最可能填充非零变换系数水平。因此，首先，子区块412沿垂直方向应被选择为较长，沿水平方向应选择为较小；其次，子区块沿水平方向应较长，沿垂直方向应较小。
在图40中说明性地示出了后一种情况。
[0170] 也就是说，可伸缩视频解码器/编码器基于基础层残差信号或基础层信号从可能子区块细分的集合中选择子区块细分。然后，通过应用选择的子区块细分来执行变换系数区块402的编码414或解码。特别地，变换系数414的位置以子区块412为单元进行遍历，使得以紧接着连续的方式遍历一个子区块内的所有位置，然后，按子区块中限定的子区块顺序进入下一个子区块。对于当前访问的子区块，诸如在图40的22中示例性地示出的参考符号412的子区块412，在诸如增强层子流6b的数据流内标记语法元素，表示当前访问的子区块是否具有任何有效的变换系数。在图21中，示出了用于两个示例性子区块的语法元素416。
如果相应子区块的相应语法元素表示无效变换系数，则在数据流或增强层子流6b内不需要传输任何东西。更确切地，可伸缩视频解码器可以将子区块内的变换系数设定为零。然而，如果相应子区块的语法元素416表示该子区块具有任何有效变换系数，则在数据流或子流
6b内标记与此子区块内的变换系数有关的更外的信息。在解码侧，可伸缩视频解码器从数据流或子流6b解码表示相应子区块内变换系数的等级的语法元素418。语法元素418可以根据相应子区块内的这些变换系数中的扫描顺序，以及任选相应子区块内的变换系数中的扫描顺序来标记此子区块内有效变换系数的位置。
如果相应子区块的相应语法元素表示无效变换系数，则在数据流或增强层子流6b内不需要传输任何东西。更确切地，可伸缩视频解码器可以将子区块内的变换系数设定为零。然而，如果相应子区块的语法元素416表示该子区块具有任何有效变换系数，则在数据流或子流
6b内标记与此子区块内的变换系数有关的更外的信息。在解码侧，可伸缩视频解码器从数据流或子流6b解码表示相应子区块内变换系数的等级的语法元素418。语法元素418可以根据相应子区块内的这些变换系数中的扫描顺序，以及任选相应子区块内的变换系数中的扫描顺序来标记此子区块内有效变换系数的位置。
[0171] 图22分别示出了存在用于在评估408中执行可能子区块细分之间的选择的不同可能性。图22再次示出了变换系数区块402与之相关的增强层信号的部分404，后者表示部分404的光谱分解，变换系数区块402表示增强层残差信号的光谱分解，其中可伸缩视频解码器/编码器预测性地编码/解码增强层信号。特别地，变换编码/解码被可伸缩视频解码器/编码器使用以便编码增强层残差信号，其中以逐区块的方式，即，增强层信号的图片22b被细分成区块的方式执行变换编码/解码。图22示出了基础层信号的对应或共同定位部分
406，其中，可伸缩视频解码器/编码器还将预测编码/解码应用于基础层信号，并且同时针对基础层信号的预测残差(即针对基础层残差信号)使用变换编码/解码。特别地，逐区块变换用于基础层残差信号，即基础层残差信号逐区块变换，其中各个变换区块在图22中通过虚线的方式示出。如在图22中所示，基础层的变换区块的区块边界无需与共同定位部分406的轮廓一致。
406，其中，可伸缩视频解码器/编码器还将预测编码/解码应用于基础层信号，并且同时针对基础层信号的预测残差(即针对基础层残差信号)使用变换编码/解码。特别地，逐区块变换用于基础层残差信号，即基础层残差信号逐区块变换，其中各个变换区块在图22中通过虚线的方式示出。如在图22中所示，基础层的变换区块的区块边界无需与共同定位部分406的轮廓一致。
[0172] 然而，为了执行评估408，可使用以下选项A至C中的一个或组合。
[0173] 特别地，可伸缩视频解码器/编码器可以对基础层残差信号或部分406内的重构基础层信号执行变换422，以便获得尺寸与待编码/待解码的变换系数区块402一致的变换系数的变换系数区块424。然后，可以使用变换系数区块424，426内变换系数的值的分布的检查，以便沿行频(即428的方向)适当设置子区块412的尺寸并且沿场频(即432的方向)适当设置子区块412的尺寸。
[0174] 另外地或可替换地，可伸缩视频解码器/编码器可以检查图22中用不同阴影线示出的至少部分覆盖共同定位部分406的基础层变换区块434的所有变换系数区块。在图22的示例性情况下，具有四个基础层变换区块，然后检查其变换系数区块。特别地，因为所有这些基础层变换区块彼此之间可以具有不同的尺寸并且针对变换系数区块412尺寸另外有所不同，所以可以对这些覆盖基础层变换区块434的变换系数区块执行标度436，以便得到部分406内基础层残差信号的光谱分解的变换系数区块438的近似值。然后在评估408中可以使用此变换系数区块438，即442内变换系数的值的分布，以便适当设置子区块尺寸428和432，由此选择变换系数区块402的子区块细分。
[0175] 另外地或可选地，可以用来执行评估408的另外的替代方案是通过使用边缘检测444或主要梯度方向的确定来检查空间域内的基础层残差信号或重构基础层信号，例如，基于共同定位部分406内检测的边缘或确定的梯度的扩展方向解码，以便适当地设置子区块尺寸428和432。
[0176] 虽然上文未具体描述，但是在遍历变换系数的位置和子区块412的单元的过程中，可以优选地按照开始于变换系数区块的零频率角(即图21中的左上角)至区块402的最高频率角(即图21中的右下角)的顺序来遍历子区块412。进一步地，可以使用熵编码以便标记数据流6b内的语法元素：也就是说，可以使用诸如算术或可变长度编码的熵编码或一些其他形式的熵编码来对语法元素416和418进行编码。遍历子区块412的顺序还可以取决于根据408所选择的子区块形状：针对选择为比其高度宽的子区块，遍历的顺序可以首先逐行遍历子区块，然后进入下一行，依此类推。除此之外，再次要注意的是，用于选择子区块尺寸的基础层信息可以是自身重构的基础层残差信号或基础层信号。
[0177] 在下文中，描述了与上文描述的方面相组合的不同实施例。下文描述的实施例涉及许多不同的方面或测量，以使可伸缩视频编码更加有效。部分地，上述方面在下面更详细地描述，以呈现其另一个派生的实施例，但要保持一般概念。下面所呈现的这些描述可以用于获得上述实施例/方面的替代方案或扩展。然而，下面描述的大多数的实施例与可以任选地与上文已经描述的方面组合的子方面有关，即可以与上述实施例并行在一个可伸缩视频解码器/编码器内实施，但不需要。
[0178] 为了能够更容易理解现在提出的描述，接下来提出了用于实施适用于并入实施例的任意一个和实施例的组合的可伸缩视频编码器/解码器的更详细的描述。下面描述的不同方面通过使用字母数字符号来列举。参考现在描述的附图中的元件对这些方面中的一些方面进行描述，其中，根据一个实施例共同实现这些方面。然而，应该注意的是，就各个方面而言，可伸缩视频解码器/编码器的实施方式中就每个方面而言不一定存在每个元件。根据讨论中的方面，在接下来描述的附图中可以忽略一些元件和一些互连。仅应存在针对相应方面所引用的元件，以便执行在相应方面的描述中提及的任务或功能，然而其中，有时还存在可替代方案，尤其是当针对一个功能引用几个元件时。
[0179] 然而，为了提供可以实施随后进行说明的方面的可伸缩视频解码器/编码器的功能的概述，现在在下面简要描述在附图中所示出的元件。
[0180] 图23示出了用于解码视频编码成的编码数据流6，以使得编码数据流6的合适的子部分(即，6a)表示第一分辨率或质量等级的视频，而编码数据流的额外部分6b对应于分辨率或质量等级提高的的视频的表示的可伸缩视频解码器。为了保持编码数据流6的数据量较低，子流6a和6b之间的层间冗余用于形成子流6b。下面讨论的一些方面涉及从子流6a有关的基础层至子流6b有关的增强层的层间预测。
[0181] 可伸缩视频解码器包括分别并行运行并且接收子流6a和6b的两个基于区块的预测解码器80，60。如图中所示，信号分离器40可以单独利用其对应的子流6a和6b来设置解码级80和60。
[0182] 基于区块的预测编码级80和60的内部构建如图中所示可能相似。从相应解码级80，60的输入开始，按照所提及的顺序串联连接熵解码模块100，320、逆变变压器560，580、加法器180，340和任选的滤波器120，300和140，280，使得在该串联连接结束时，可分别推导出重构的基础层信号600和重构的增强层信号360。在加法器180、340和滤波器120、140、300和280的输出分别提供基础层信号和增强层信号的重构的不同版本的同时，设置相应的预测提供器160，260以便接收这些版本的子集或其所有版本，并且基于此分别向加法器180，
340的剩余输入端提供预测信号。熵解码级100，320分别从相应的输入信号6a和6b解码，变换系数区块进入逆变变压器560，580并且编码参数分别包括预测提供器160，260的预测参数。
340的剩余输入端提供预测信号。熵解码级100，320分别从相应的输入信号6a和6b解码，变换系数区块进入逆变变压器560，580并且编码参数分别包括预测提供器160，260的预测参数。
[0183] 因此，预测提供器160和260预测相应分辨率/质量等级的视频的帧的区块，并且为此，所述预测提供器可以在诸如空间帧内预测模式和时间帧间预测模式的某些预测模式之间进行选择，这两种模式都是层内预测模式，即，仅取决于进入相应等级的子流中的数据的预测模式。
[0184] 然而，为了利用前述层间冗余，增强层解码级60还包括编码参数层间预测器240、分辨率/质量细化器220和/或预测提供器260，与预测提供器160相比，该预测提供器260另外地/可选地支持能够基于从基础层解码级80的内部状态得到的数据提供增强层预测信号420的层间预测模式。分辨率/质量细化器220使重构的基础层信号200a、200b和200c或基础层残差信号480中的任意一个进行分辨率或质量细化以获得层间预测信号380，并且编码参数层间预测器240以某种方式分别预测诸如预测参数和运动参数的编码参数。预测提供器
260例如还可以支持层间预测模式，可能被细化到提高的分辨率/质量等级的基础层信号诸如200a、200b和200c的重构部分，或基础层残差信号640的重构部分根据所述层间预测模式被用作参考/依据。
260例如还可以支持层间预测模式，可能被细化到提高的分辨率/质量等级的基础层信号诸如200a、200b和200c的重构部分，或基础层残差信号640的重构部分根据所述层间预测模式被用作参考/依据。
[0185] 如上所述，解码级60和80可以以基于区块的方式操作。也就是说，可以将视频的帧细分为部分诸如区块。不同的粒度级别可以用于指定如由预测提供器160和260执行的预测模式、由逆变变压器560和580执行的局部变换、由滤波器120和140执行的滤波系数选择以及由预测提供器160和260执行的预测模式的预测参数设置。也就是说，将帧细分为预测区块，反之可以是将帧细分为选择预测模式的区块的延续，例如被称为编码单元或预测单元。将帧细分为变换编码的区块(其可以被称为变换单元)可以不同于划分为预测单元。下面针对所描述的方面来描述由预测提供器260所使用的一些层间预测模式。这同样适用于一些层内预测模式，即，分别从内部推导出输入加法器180和340中的相应预测信号的预测模式，即仅基于当前等级的编码级60和80所分别涉及的状态。
[0186] 根据下面的各个方面的描述，图中所示的区块的另外的细节将变得显而易见。注意，只要这些描述具体不涉及提供描述的方面，则这些描述通常应同样可转移到该图的其他方面和描述。
[0187] 特别地，图23的可伸缩视频解码器的实施例表示根据图2和图4的可伸缩视频解码器的可行的实施方式。尽管上文描述了根据图23的可伸缩视频解码器，但是图23示出了对应的可伸缩视频编码器并且相同的参考符号用于图23和图24A-图24B中的预测编码/解码方案的内部元件。原因如上所述：为了保持编码器与解码器之间的共用预测依据，以及在编码器处使用基础和增强层信号的可重构版本，为此，该编码器还重构了已经编码的部分以获得可伸缩视频的可重构版本。因此，图23的描述的唯一不同是预测提供器160和预测提供器260以及编码参数层间预测器240确定一些速率/失真细化过程中的预测参数，而不接收来自数据流的预测参数。更确切地说，提供器将由此确定的预测参数发送给熵解码器19a和19b，熵解码器19a和19b反之经由多路复用器16发送相应的基础层子流6a和增强层子流6b以便被包含到数据流6中。以相同的方式，这些熵编码器19a和19b接收重构基础层信号200和重构增强层信号400与原始基础层4a和增强层版本4b之间的预测残差，如分别经由继变换模区块724，726之后的减法器720和722获得，而不输出此残差的熵解码结果。然而，除此之外，图24A-图24B中的可伸缩视频编码器的构建与图23的可伸缩视频解码器的构建一致，并且因此参照图23的上述描述，针对这些问题，其中如刚才概述提及与任何数据流的任何偏差的部分必须转化为相应确定的随后插入相应数据流中的相应元素。
[0188] 接下来描述的实施例中使用的增强层信号的帧内编码的技术包括(使用基础层数据)生成增强层区块的帧内预测信号的多种方法。除了仅基于重构的增强层样本生成帧内预测信号的方法之外还提供了这些方法。
[0189] 帧内预测是帧内编码区块的重构过程的一部分。通过将变换编码的残差信号(其可以为零)添加到帧内预测信号而获得最终重构区块。残差信号通过继反变换之后对比特流中传输的变换系数水平进行反量化(标度)来生成。
[0190] 以下描述适用于利用质量增强层(该增强层具有与基础层相同的分辨率，但表示质量或保真度更高的输入视频)的可伸缩编码以及空间增强层(该增强层具有比基础层更高的分辨率，即更大的样本数)的可伸缩编码。对于质量增强层来说，不需要对基础层信号进行上采样，诸如在区块220中，但对重构的基础层样本进行诸如500的滤波可能是适用的。就空间增强层而言通常要求对基础层信号进行上采样，诸如在区块220中。
[0191] 接下来描述的方面支持使用重构的基础层样本(比较200)或基础层残差样本(比较640)对增强层区块进行帧内预测的不同方法。除层内帧内编码(其中仅重构的增强层样本(比较400)被用于帧内预测)之外，还可以支持下面所描述的一种或多种方法。特定方法的用途可以按最大的支持区块尺寸的等级(诸如H.264/AVC中的宏区块或HEVC中的编码树区块/最大编码单元)来进行标记、或者可以按所有支持的区块尺寸来进行标记、或可以针对支持的区块尺寸的子集来进行标记。
[0192] 对于在下文所描述的所有方法，预测信号可以被直接作为区块的重构信号，即不传输残差。或者所选的层间帧内预测方法可以与残差编码相组合。在特定实施例中，残差信号经由变换编码进行传输，即，量化的变换系数(变换系数水平)使用熵编码技术(例如可变长度编码或算术编码(比较19b))进行传输并且残差通过对所传输的变换系数水平进行反量化(标度)并且应用反变换(比较580)来获得。在特定的版本中，对应于生成了层间帧内预测信号的区块的完整残差区块使用单变换进行变换(比较726)(即，整个区块使用尺寸与预测区块相同的单变换进行变换)。在另一个实施例中，预测区块可以进一步被细分为(例如使用分层分解)更小的区块并且对于每个更小的区块(其还可以具有不同的区块尺寸)应用单独的变换。在进一步的实施例中，编码单元可以被划分为更小的预测区块并且对于零个或多个预测区块使用层间帧内预测的方法来生成预测信号。然后，整个编码单元的残差使用单变换(比较726)进行变换，或将编码单元细分为不同的变换单元，其中用于形成变换单元的细分(单变换适用的区块)不同于用于将编码单元分解为预测区块的细分。
[0193] 在特定实施例中，(上采样/滤波的)重构基础层信号(比较380)被直接用作预测信号。用于采用基础层对增强层进行帧内预测的多种方法包括以下方法：(上采样/滤波的)重构基础层信号(比较380)被直接用作增强层预测信号。该方法类似于已知的H.264/SVC层间帧内预测模式。在该方法中，增强层的预测区块由基础层重构信号的共同定位样本形成，可能已经对所述样本进行上采样(比较220)以匹配增强层的对应样本位置并且在上采样之前或之后可能已经任选地进行滤波。与SVC层间帧内预测模式不同，该模式不但可以支持宏区块等级(或最大的支持区块尺寸)，而且还可以支持任意区块尺寸。这意味着，不但该模式可以针对最大的支持区块尺寸进行标记，而且最大的支持区块尺寸的区块(MPEG 4，H.264中的宏区块以及HEVC中的编码树区块/最大编码单元)可以分层地细分为更小的区块/编码单元，并且层间帧内预测模式的使用可以按任意支持区块尺寸进行标记(用于对应区块)。在特定实施例中，只可以针对所选的区块尺寸支持该模式。然后，标记该模式所使用的语法元素可以只针对对应区块尺寸进行传输，或者标记该模式的使用(在其他编码参数中)的语法元素的值可以针对其他区块尺寸进行相应限制。H.264/AVC的SVC扩展中的层间帧内预测模式的另一差异是：如果对基础层中的共同定位区域进行帧内编码，则支持层间帧内预测模式；并且如果对共同定位基础层区域进行帧间编码或进行部分帧间编码，则还支持层间帧内预测模式。
[0194] 在特定实施例中，执行差分信号(参见方面A)的空间帧内预测。多种方法包括以下方法：(潜在地上采样/滤波的)重构基础层信号(比较380)与空间帧内预测信号相组合，其中基于用于相邻区块的差样本(difference sample)推导出(比较260)空间帧内预测(比较420)。差样本表示重构增强层信号(比较400)和(潜在地上采样/滤波的)重构基础层信号(比较380)之差。
[0195] 图25示出了通过基础层重构信号380(BL Reco)和使用已经编码的相邻区块736的差分信号734(EH Diff)的空间帧内预测之总和732生成层间帧内预测信号，其中已经编码的区块736的差分信号(EH Diff)通过从以阴影线示出的已经编码/解码的部分的重构增强层信号(EH Reco)中减去738(上采样/滤波)基础层重构信号380(BL Reco)来生成，当前编码/解码的区块/区域/部分是28。也就是说，图25中所示的层间帧内预测方法使用两个叠加的输入信号来生成预测区块。对这种方法来说需要差分信号734，该差分信号是重构增强层信号400和可能已经上采样220以匹配增强层的对应样本位置并可以在上采样之前或之后任选进行滤波的共同定位重构基础层信号200的差(如果正如是质量可伸缩编码中的情况，不应用上采样，则还可以对其进行滤波)。特别地，对于空间可伸缩编码来说，差分信号734通常主要包含高频分量。差分信号734可用于所有已经重构的区块(即，可用于已经编码/解码的所有增强层区块)。已经编码/解码的区块736的相邻样本742的差分信号734被用作至空间帧内预测技术的输入(诸如用于H.264/AVC或HEVC中规定的空间帧内预测模式)。通过由箭头744所示的空间帧内预测生成针对待预测的区块28的差分量的预测信号746。在特定实施例中，修改或禁用空间帧内预测处理(如从H.264/AVC或HEVC可知)的任何裁剪功能，以匹配差分信号734的动态范围。在比特流6b内标记实际使用的帧内预测方法(其可以是提供的多种方法中的一种并且可以包括平面帧内预测、DC帧内预测或具有任意特定角度的定向帧内预测744)。可以使用空间帧内预测技术(使用已经编码的相邻区块的样本生成预测信号的方法)，该技术不同于H.264/AVC和HEVC中提供的方法。所获得的预测区块746(使用相邻区块的差样本)是最终预测区块420的第一部分。
[0196] 预测信号的第二部分使用基础层的重构信号200中的共同定位区域28生成。对于质量增强层，可以直接使用共同定位基础层样本或可以任选地对其进行滤波，例如通过低通滤波器或使高频分量减弱的滤波器500。对于空间增强层，对共同定位基础层样本进行上采样。可以将FIR滤波器或一组FIR滤波器用于上采样220。还可以使用IIR滤波器。任选地，可以在上采样之前对重构基础层样本200进行滤波或可以在上采样阶段之后对基础层预测信号(在对基础层进行上采样之后获得的信号)进行滤波。基础层的重构过程可以包括一个或多个额外的滤波器诸如去区块滤波器(比较120)和自适应环路滤波器(比较140)。用于上采样的基础层重构200可以是环路滤波器(比较200c)中的任意一个之前的重构信号，或可以是去区块滤波器之后但在任意进一步的滤波器(比较200b)之前的重构信号，或可以是特定滤波器之后的重构信号或可以是应用基础层解码处理(比较200a)中所使用的所有滤波器之后的重构信号。
[0197] 逐样本地添加732预测信号的两个生成部分(空间预测差分信号746和可能进行滤波/上采样的基础层重构380)以便形成最终预测信号420。
[0198] 将刚才概述的方面转移到图6至图10的实施例，这可能是因为刚才概述的预测增强层信号的当前区块28的可能性被相应可伸缩视频解码器/编码器支持，作为参照图6至图10概述的预测方案的可替代方案。针对使用哪种模式在增强层子流6b中经由图8中未示出的相应预测模式标识符进行标记。
[0199] 在特定实施例中，帧内预测继续层间残差预测(参见B方面)。使用基础层数据生成帧内预测信号的多种方法包括以下方法：(使用相邻的重构增强层样本推导出的)传统的空间帧内预测信号与(上采样/滤波的)基础层残差信号相组合(基础层变换系数的反变换或基础层重构与基础层预测之间的差)。
[0200] 图26示出了通过(上采样/滤波的)基础层残差信号754(BL Resi)和使用点线762所示的已经编码相邻区块的重构增强层样本758(EH Reco)的空间帧内预测756的和生成层间帧内预测信号420。
[0201] 图26中示出的概念由此叠加两个预测信号以形成预测区块420，其中从已经重构的增强层样本758生成一个预测信号764并且从基础层残差样本480生成另一个预测信号754。预测信号420的第一部分764通过使用重构的增强层样本758应用空间帧内预测756来进行推导。空间帧内预测756可以是H.264/AVC中规定的方法之一或HEVC中规定的方法之一，或可以是生成形成相邻区块762的样本758的当前区块18的预测信号764的另一空间帧内预测技术。在比特流6b内标记实际使用的帧内预测方法756(其可以是提供的多种方法中的一种并且可以包括平面帧内预测、DC帧内预测、或具有任意特定角度的定向帧内预测)。
可以使用空间帧内预测技术(使用已经编码的相邻区块的样本生成预测信号的方法)，该技术不同于H.264/AVC和HEVC中提供的方法。预测信号420的第二部分754使用基础层的共同定位残差信号480生成。对于质量增强层，可以使用如基础层中所重构的残差信号，或者可以对其进行额外的滤波。对于空间增强层480，在残差信号用作预测信号的第二部分之前，对该残差信号进行上采样220(以便将基础层样本位置映射到增强层样本位置)。在上采样阶段之前或之后还可以对基础层残差信号480进行滤波。可以应用FIR滤波器对残差信号进行上采样220。可以以出于上采样目的而不应用跨基础层中变换区块边界的滤波的方式构建上采样处理。
可以使用空间帧内预测技术(使用已经编码的相邻区块的样本生成预测信号的方法)，该技术不同于H.264/AVC和HEVC中提供的方法。预测信号420的第二部分754使用基础层的共同定位残差信号480生成。对于质量增强层，可以使用如基础层中所重构的残差信号，或者可以对其进行额外的滤波。对于空间增强层480，在残差信号用作预测信号的第二部分之前，对该残差信号进行上采样220(以便将基础层样本位置映射到增强层样本位置)。在上采样阶段之前或之后还可以对基础层残差信号480进行滤波。可以应用FIR滤波器对残差信号进行上采样220。可以以出于上采样目的而不应用跨基础层中变换区块边界的滤波的方式构建上采样处理。
[0202] 用于层间预测的基础层残差信号480可以是通过对基础层的变换系数水平进行标度和反变换560而获得的残差信号。或者它可以是重构基础层信号200(在去区块和额外滤波之前或之后或在任意滤波操作之间)并且在基础层中使用的预测信号660之间的差。
[0203] 一起添加752生成的两个信号分量(空间帧内预测信号764和层间残差预测信号754)以形成最终增强层帧内预测信号。
[0204] 这意味着可以使用刚才参照图26概述的预测模式或该模式可以由根据图6至图10的任意可伸缩视频解码器/编码器支持，以针对上文参照图6至图10描述的当前编码/解码部分28的模式形成可替代的预测模式。
[0205] 在特定实施例中，使用空间帧内预测和基础层重构(参见方面C)的加权预测。这实际上表示上文参照图6至图10概述的实施例的特定实施方式的上述说明，并且因此针对此加权预测的描述不仅应该被解释为上述实施例的可替代方案，而且还应该被解释为如何实现上文参照图6至图10在某些方面以不同方式进行概述的实施例的可能性的描述。
[0206] 用于使用基础层数据生成帧内预测信号的多种方法包括以下方法：(上采样/滤波的)重构基础层信号与空间帧内预测信号相组合，其中基于相邻区块的重构增强层样本推导出空间帧内预测。最终预测信号通过以不同频率分量使用不同加权的方式对空间预测信号和基础层预测信号进行加权(比较41)而获得。例如，这可以通过利用低通滤波器对基础层预测信号(比较38)进行滤波(比较62)、并利用高通滤波器对空间帧内预测信号(比较34)进行滤波(比较64)、以及将所获得的滤波信号相加(比较66)来实现。或者可以基于频率的加权通过对基础层预测信号(比较38)和增强层预测信号(比较34)进行变换(比较72，74)并叠加所获得的变换区块(比较76，78)来实现，其中不同的加权因素(比较82，84)用于不同频率位置。然后可以对所获得的变换区块(比较图10中的42)进行反变换(比较84)并将所获得的变换区块用作增强层预测信号(比较54)或将获得的变换系数添加(比较52)到标度的传输变换系数水平(比较59)，然后进行反变换(比较84)以便在去区块和环内处理之前获得重构区块(比较54)。
[0207] 图27示出了通过(上采样/滤波的)基础层重构信号(BL Reco)和使用已经编码相邻区块的重构增强层样本(EH Reco)的空间帧内预测的频率加权和生成层间帧内预测信号。
[0208] 图27的概念使用两个叠加的信号772，774以形成预测区块420。信号420的第一部分774通过使用增强层中的已经重构的相邻区块的重构样本778应用与图6中的30相对应的空间帧内预测776来进行推导。使用基础层的共同定位重构信号200生成预测信号420的第二部分772。对于质量增强层，可以直接使用共同定位基础层样本200，或者可以对其进行任选的滤波，例如通过低通滤波器或使高频样本减弱的滤波器。对于空间增强层，对共同定位基础层样本进行上采样220。可以将FIR滤波器或一组FIR滤波器用于上采样。还可以使用IIR滤波器。任选地，在上采样之前可以对重构基础层样本进行滤波或在上采样阶段之后可以对基础层预测信号(在对基础层进行上采样之后获得的信号)进行滤波。基础层的重构过程可以包括一个或多个额外的滤波器诸如去区块滤波器120和自适应环路滤波器140。用于进行上采样的基础层重构200可以是环路滤波器120，140中的任意一个之前的重构信号200c，或可以是在去区块滤波器120之后但任意进一步的滤波器之前的重构信号200b，或可以是特定滤波器之后的重构信号200a或应用基础层解码过程中使用的所有滤波器120，140之后的重构信号。
[0209] 当比较图23和图24-图24B中使用的参考符号和结合图6至图10使用的参考符号时，区块220对应于图6中使用的参考符号38，39对应于共同定位到当前部分28的380的部分，420对应于42，至少就共同定位到当前部分28的部分而言，空间预测776对应于32。
[0210] 组合两个预测信号(可能进行上采样/滤波器处理的基础层重构386和增强层帧内预测782)以形成最终预测信号420。组合这些信号的方法可以具有不同加权因素用于不同频率分量的特性。在特定实施例中，上采样基础层重构利用低通滤波器(比较62)进行滤波(还可以在上采样220之前对基础层重构进行滤波器处理)，帧内预测信号(比较通过30获得的34)利用高通滤波器(比较64)进行滤波，并添加784这两个滤波信号(比较66)以形成最终预测信号420。这对低通和高通滤波器可以表示正交镜像滤波器对，但这不是必须的。
[0211] 在另一特定实施例中(比较图10)，两个预测信号380和782的组合过程经由空间变换来实现。(可能上采样/滤波的)基础层重构380和帧内预测信号782都使用空间变换进行变换(比较72，74)。然后这两个信号的变换系数(比较76，78)利用合适的加权因子(比较82，84)进行标度，然后相加(比较90)以形成最终预测信号的变换系数区块(比较42)。在一个版本中，以针对每个变换系数位置，两个信号分量的加权因子的和等于1的方式来选择加权因子(比较82，84)。在另一个版本中，加权因子的和针对一些或所有变换系数位置不能等于1。
在特定版本中，以针对表示低频分量的变换系数，基础层重构的加权因子大于增强层帧内预测信号的加权因子，并且针对表示高频分量的变换系数，基础层重构的加权因子小于增强层帧内预测信号的加权因子的方式来选择加权因子。
在特定版本中，以针对表示低频分量的变换系数，基础层重构的加权因子大于增强层帧内预测信号的加权因子，并且针对表示高频分量的变换系数，基础层重构的加权因子小于增强层帧内预测信号的加权因子的方式来选择加权因子。
[0212] 在一个实施例中，对所获得的变换系数区块(比较42)(通过将这两个分量的加权变换信号相加获得)进行反变换(比较84)以形成最终预测信号420(比较54)。在另一实施例中，直接在变换域中进行预测。也就是说，对编码的变换系数水平(比较59)进行标度(即反量化)并添加到(比较52)预测信号(通过将这两个分量的加权变换系数相加获得)的变换系数(比较42)，然后对由此产生的变换系数的区块(图10中未示出)进行反变换(比较84)以获得当前区块的重构信号420(在潜在去区块120和进一步的环内滤波步骤140之前)。换句话说，在第一实施例中，对通过将这两个分量的加权变换信号相加获得的变换区块进行反变换并将该变换区块用作增强层预测信号，或在第二实施例中，可以将获得的变换系数添加到标度的传输变换系数水平，然后进行反变换以便在去区块和环内处理之前获得重构的区块。
[0213] 还可以使用基础层重构和残差信号的选择(参见方面D)。对于使用重构的基础层信号的方法(如上所述)，可以使用以下版本：
[0214] ·在去区块120和另外的环内处理140之前的重构基础层样本200c(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0215] ·在去区块120之后且在另外的环内处理140之前的重构基础层样本200b(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0216] ·在去区块120和另外的环内处理140之后的重构基础层样本200a(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0217] 选择对应的基础层信号200a，200b，200c对特定解码器(和编码器)实施方式来说可以是固定的，或可以在比特流6内进行标记。对于后一种情况，可以使用不同版本。可以按序列等级、或图片等级、或片段等级、或最大编码单元等级、或编码单元等级、或预测区块等级、或变换区块等级、或任意其他区块等级来标记基础层信号的特定版本的使用。在另一版本中，该选择可以取决于其他编码参数(诸如编码模式)或取决于基础层信号的特征来进行。
[0218] 在另一实施例中，可以使用方法的多种版本，其使用(上采样/滤波的)基础层信号200。例如，可以提供直接使用上采样基础层信号即200a的两种不同模式，其中这两个模式使用不同插值滤波器或一种模式使用(上采样的)基础层重构信号的额外滤波500。类似地，可以提供上文描述的其他模式的多种不同版本。所采用的不同模式版本的上采样/滤波基础层信号380在所使用的插值滤波器(包括同样对整数样本位置进行滤波的插值滤波器)方面可以不同，或第二版本的上采样/滤波基础层信号380可以通过对第一版本的上采样/滤波基础层信号进行滤波500来获得。选择不同版本中的一个可以按序列、图片、片段、最大编码单元、编码单元等级、预测区块等级、或变换区块等级来进行标记，或可以从对应的重构基础层信号的特征或所传输的编码参数进行推断。
[0219] 这同样适用于经由480使用重构的基础层残差信号的模式。这里，还可以使用不同版本，其在所使用的插值滤波器或额外的滤波步骤方面不同。
[0220] 不同的滤波器可以用于对重构的基础层信号和基础层残差信号进行上采样/滤波。这意味着用于上采样基础层残差信号的手段与用于对上采样基础层重构信号的方式不同。
[0221] 对于残差信号为零的基础层区块(即，没有针对区块传输变换系数水平)，可以利用从基础层推导的另一个信号来替代对应的基础层残差信号。例如，这可以是重构基础层区块的高通滤波版本或从相邻区块的重构基础层样本或重构基础层残差样本推导的任意其他差式信号(difference-like signal)。
[0222] 就用于增强层中的空间帧内预测的样本而言(参见方面H)，可以提供以下特殊处理。对于使用空间帧内预测的模式来说，可以用上采样/滤波的基础层信号的对应样本替代增强层中的不可用的相邻样本(相邻样本可以是不可用的，因为在当前区块之后可以编码相邻区块)。
[0223] 就帧内预测模式的编码而言(参见方面X)，可以提供以下的特殊模式和功能。对于使用空间帧内预测如30a的模式，帧内预测模式的编码可以以这样的方式进行修改：即关于基础层中的帧内预测模式的信息(如果有的话)用于更有效地编码增强层中的帧内预测模式。这可以用于例如参数56。如果共同定位区域(比较36)在基层中使用特定的空间帧内预测模式进行帧内编码，则很可能的是，类似的帧内预测模式还用于增强层中的区块(比较28)。帧内预测模式通常以这样的方式进行标记：在一组可能的帧内预测模式中，将一种或多种模式分类为最可能模式，然后可以利用更短的码字对其进行标记(或更少的算术码二进制决策导致更少的比特)。在HEVC的帧内预测中，顶部的区块的帧内预测模式(如果可用)和左边的区块的帧内预测模式(如果可用)包括在这组最可能模式中。除了这些模式之外，一个或多个额外的模式(其通常被使用)被纳入最可能模式的列表中，其中实际添加的模式取决于当前区块上方的区块和当前区块左边的区块的帧内预测模式的可用性。在HEVC中，正好将3种模式分为最可能模式。在H.264/AVC中，一种模式被分为最可能模式，该模式基于用于当前区块上方的区块和当前区块左边的区块的帧内预测模式进行推导。可能存在对帧内预测模式进行分类的任意其他概念(不同于H.264/AVC和HEVC)，并且可以用于以下扩展。
[0224] 为了将基础层数据用于增强层中的帧内预测模式的有效编码，使用一个或多个最可能的方式的概念以这样的方式进行修改：最可能的模式包括用于共同定位的基础层区块的帧内预测模式(如果对相应的基础层区块进行帧内编码)。在特定实施例中，使用以下方法：考虑到当前增强层区块确定共同定位的基础层区块。在特定版本中，共同定位基层区块是覆盖增强区块的左上角样本的共同定位位置的基础层区块。在另一个版本中，共同定位基础层区块是覆盖样本在增强区块的中间的共同定位位置的基础层区块。在其他版本中，增强层区块内的其他样本可用于确定共同定位基础层区块。如果对所确定的共同定位基础层区块进行帧内编码，则基础层帧内预测模式指定角帧内预测模式，并从当前增强层区块左边的增强层区块推导的帧内预测模式不使用角帧内预测模式，则从左侧增强层区块推导的帧内预测模式用对应的基础层帧内预测模式替代。否则，如果对所确定的共同定位基础层区块进行帧内编码，基础层帧内预测模式指定角帧内预测模式，并从当前增强层区块上方的增强层区块推导的帧内预测模式不使用角帧内预测模式，则从上方的增强层区块推导的帧内预测模式用对应的基础层帧内预测模式替代。在其他版本中，使用不同的用于修改使用基础层帧内预测模式的最可能的模式(其可以由单个元件组成)的列表的方法。
[0225] 接下来提出了用于空间和质量增强层的帧间编码技术。
[0226] 在现有技术的混合视频编码标准(诸如H.264/AVC或即将出现的HEVC)中，将视频序列的图片划分为样本区块。区块尺寸可以是固定的或者编码方法可以提供允许区块被进一步细分为具有更小区块尺寸的区块的分层结构。区块的重构通常通过生成区块的预测信号并添加所传输的残差信号来获得。残差信号通常使用变换编码来传输，这意味着变换系数的量化索引(也被称为变换系数水平)使用熵编码技术来传输，并且在解码器侧，对这些所传输的变换系数水平进行标度和反变换以获得添加到预测信号的残差信号。残差信号或者通过帧内预测(仅使用针对当前时间点已经传输的数据)或者通过帧间预测(使用针对不同时间点已经传输的数据)来生成。
[0227] 在帧间预测中，预测区块通过运动补偿预测使用已经重构的帧的样本得到。这可以通过单向预测(使用一个参考图片和一组运动参数)完成，或者预测信号可以通过多假设预测来生成。在后一种情况下，将两个或两个以上预测信号进行叠加，即，针对每个样本构建加权平均值以形成最终预测信号。多个预测信号(对其进行叠加)可以通过使用不同假设的不同运动参数(例如，不同参考图片或运动矢量)来生成。对单向预测来说，还可以将运动补偿预测信号的样本和常数因子相乘并加上常数偏移量以便形成最终预测信号。此标度和偏移量校正还可以用于多假设预测中所有或所选的假设。
[0228] 在可伸缩视频编码的过程中，基础层信息也可以用于支持增强层的层间预测过程。在现有技术的可伸缩编码的视频编码标准(H.264/AVC的SVC扩展)中，存在一种提高增强层中帧间预测过程的编码效率的额外模式。该模式按宏区块级别来标记(16×16亮度样本的区块)。在该模式下，低层中的重构残差样本用于改善增强层中的运动补偿预测信号。该模式也被称为层间残差预测。如果为质量增强层中的宏区块选择该模式，则层间预测信号通过重构低层残差信号的共同定位样本来构建。如果在空间增强层中选择层间残差预测模式，则预测信号通过对共同定位的重构基础层残差信号进行上采样来生成。使用FIR滤波器，但跨变换区块边界不应用滤波。将从重构基础层残差样本生成的预测信号添加到传统的运动补偿预测信号以形成增强层区块的最终预测信号。一般来说，对于层间残差预测模式来说，通过变换编码来传输额外的残差信号。如果该残差信号在比特流内部相应标记，则还可以省略残差信号的传输(推断出等于零)。最终重构信号通过将重构的残差信号(通过标度所传输的变换系数水平并应用反空间变换来获得)添加到预测信号(通过将层间残差预测信号添加到运动补偿预测信号来获得)来获得。
[0229] 接下来，描述了用于增强层信号的层间编码的技术。这部分描述了采用除已经重构的增强层信号之外的基础层信号对要在可伸缩视频编码场景中编码的增强层信号进行帧间预测的方法。通过采用基础层信号对要编码的增强层信号进行帧间预测，可以明显减少预测误差，这会导致编码增强层的总比特率的节省。这部分的主要重点是使用具有来自基础层的额外信号的已经编码增强层样本扩大增强层样本的基于区块的运动补偿。以下描述提供了使用来自编码基础层的各个信号的可能性。提出的实例可用于通用的基于区块的混合编码方法，而不假设任何特定的区块划分，但是四叉树区块划分一般被用作优选实施例。描述当前时间索引的基础层重构、当前时间索引的基础层残差、或甚至要编码的增强层区块的帧间预测的已经编码图片的基础层重构的使用。还描述了基础层信号可以如何与已经编码的增强层信号组合以获得更好的当前增强层的预测。
[0230] 现有技术中主要技术之一是H.264/SVC中的层间残差预测。H.264/SVC中的层间残差预测可以用于所有帧间编码宏区块，与是否使用SVC宏区块类型进行编码无关，该SVC宏区块类型通过基础模式标记或通过使用传统宏区块类型中的任意一种进行标记。将标记添加到空间和质量增强层的宏区块语法，对层间残差预测的使用进行标记。当残差预测标记等于1时，参考层中的对应区域的残差信号使用双线性滤波器逐区块进行上采样并用作增强层宏区块的残差信号的预测，使得只有对应的差分信号需要在增强层中进行编码。
[0231] 针对该部分中的描述，使用以下符号：
[0232] t0：＝当前图片的时间索引
[0233] t1：＝已经重构图片的时间索引
[0234] EL：＝增强层
[0235] BL：＝基础层
[0236] EL(t0)：＝要编码的当前增强层图片
[0237] EL_reco：＝增强层重构
[0238] BL_reco：＝基础层重构
[0239] BL_resi：＝基础层残差信号(反变换基础层变换系数或基础层重构和基础层预测之间的差)
[0240] EL_diff：＝增强层重构和上采样/滤波基础层重构之间的差
[0242] 针对该描述，使用滤波器的下列属性：
[0243] ·线性度：在该描述中提到的大多数滤波器是线性的，但也可以使用非线性滤波器。
[0244] ·输出样本的数量：在上采样操作中，输出样本的数量比输入样本的数量大。这里，输入数据的滤波产生比输入值更多的样本。在传统的滤波过程中，输出样本的数量等于输入样本的数量。这种滤波操作可以，例如，用于质量可伸缩编码。
[0245] ·相位延迟：对于在整数位置对样本进行滤波滤波，相位延迟通常是零(或样本中的整数值延迟)。用于生成分数位置的样本(例如，在半像素或四分之一像素位置)，具有一个分数延迟(以样本为单位)的滤波器被应用到整数格的样本。
[0246] 在图29中示出了如用于所有混合视频编码标准(例如，MPEG-2、H.264/AVC或即将出现的HEVC标准)中的传统运动补偿预测。为了预测当前区块的信号，已经重构的图片的区域被移位并用作预测信号。为了对位移进行标记，运动矢量通常在比特流内进行编码。对于整数样本精度运动矢量，可以直接复制参考图片中的参考区域以形成预测信号。然而，还可以传输分数样本精度的运动矢量。在这种情况下，预测信号通过利用具有分数样本延迟的滤波器对参考信号进行滤波而得到。所使用的参考图片通常可以通过包括到比特流语法中的参考图片索引来指定。在一般情况下，也有可能叠加两个或两个以上预测信号以形成最终预测信号。这个概念例如在B片段中支持，具有两个运动假设。在这种情况下，通过使用不同假设的不同运动参数(例如，不同的参考图片或运动矢量)来生成多个预测信号。对于单向预测，也可以将运动补偿预测信号的样本和常数因子相乘并加上常数偏移量以便形成最终预测信号。此标度和偏移量校正还可以用于多假设预测中所有或所选的假设。
[0247] 以下描述适用于质量增强层(该增强层具有与基础层相同的分辨率，但表示质量或保真度更高的输入视频)的可伸缩编码以及空间增强层(该增强层具有比基础层更高的分辨率，即更大的样本数)的可伸缩编码。对于质量增强层来说，不需要对基础层信号进行上采样，但对重构的基础层样本进行滤波可能是适用的。就空间增强层而言，通常要求对基础层信号进行上采样。
[0248] 所述实施例支持使用重构的基础层样本或基础层残差样本对增强层区块进行帧间预测的不同方法。可以支持除传统帧间预测和帧内预测之外的下面描述的一种或多种方法。特定方法的使用可以按最大支持区块尺寸的水平进行标记(诸如H.264/AVC中的宏区块或HEVC中的编码树区块/最大编码单元)，或可以按所有所支持的区块尺寸进行标记，或可以针对所支持的区块尺寸的子集进行标记。
[0249] 对于下文描述的所有方法，预测信号可以被直接作为区块的重构信号。或者，所选的层间帧内预测方法可以与残差编码组合。在特定实施例中，残差信号经由变换编码进行传输，即，量化的变换系数(变换系数水平)使用熵编码技术(例如可变长度编码或算术编码)进行传输并且残差通过对所传输的变换系数水平进行反量化(标度)并应用反变换来获得。在特定的版本中，对应于生成了层间帧间预测信号的区块的完整残差区块使用单变换进行变换(即，整个区块使用尺寸与预测区块相同的单变换进行变换)。在另一个实施例中，预测区块可以进一步被细分为(例如使用分层分解)更小的区块并且对于每个更小的区块(其还可以具有不同的区块尺寸)应用单独的变换。在进一步的实施例中，编码单元可以被划分为更小的预测区块并且对于零个或多个预测区块使用层间帧内预测的方法来生成预测信号。然后，整个编码单元的残差使用单变换进行变换，或将编码单元细分为不同的变换单元，其中形成变换单元的细分(单变换适用的区块)不同于将编码单元分解为预测区块的细分。
[0250] 在下文中，描述使用基础层残差和增强层重构进行预测的可能性。多种方法包括以下方法：传统帧间预测信号(通过已经重构的增强层图片的运动补偿插值推导)与(上采样/滤波)基础层残差信号(反变换基础层变换系数或基础层重构和基础层预测之间的差)组合。这种方法也被称为BL_resi模式(比较图30)。
[0251] 总之，用于增强层样本的预测可以写为：
[0252] EL预测＝filter(BL_resi(t0))+MCP_filter(EL_reco(t1))。
[0253] 也可能的是使用增强层重构信号的2-或更多的假设，例如，
[0254] EL预测＝filter(BL_resi(t0))+MCP_filter1(EL_reco(t1))+MCP_filter2(EL_reco(t2))。
[0255] 增强层(EL)参考图片上使用的运动补偿预测(MCP)滤波器可以是整数或分数样本的精度。EL参考图片上使用的MCP滤波器可以相同或不同于BL解码过程期间BL参考图片上使用的MCP滤波器。
[0256] 运动矢量MV(x，y，t)被定义为指向EL参考图片中的特定位置。参数x和y指向图片内的空间位置，并且参数t被用来解决参考图片的时间索引，也称为参考索引。通常，术语运动矢量仅用于指两个空间分量(x，y)。MV的整数部分被用来从参考图片获取一组样本并且MV的分数部分被用于从一组滤波器选择MCP滤波器。对所取出的参考样本进行滤波，以产生滤波的参考样本。
[0257] 该运动矢量通常使用差分预测进行编码。这意味着，运动矢量预测子基于已编码的运动矢量(和潜在地指示所使用的一组潜在运动矢量预测子中的一个的语法元素)推导，并且差矢量被包括在比特流中。通过将传输的运动矢量差添加到运动矢量预测子中得到最终运动矢量。通常情况下，也有可能完全推导区块的运动参数。因此，通常情况下，潜在的运动参数候选者列表基于已编码数据构成。此列表可以包括空间相邻的区块的运动参数以及基于参考帧中的共同定位区块的运动参数推导的运动参数。
[0258] 基础层(BL)残余信号可以被定义为以下之一：
[0259] ·反变换BL变换系数，或
[0260] ·BL重构和BL预测之间的差，或
[0261] ·对于BL变换系数的反变换为零的BL区块，可以用从BL推导的另一信号替代，例如，重构BL区块的高通滤波版本，或
[0262] ·上述方法的组合。
[0263] 针对从当前的BL残差计算EL预测分量，识别与EL图片中所考虑的区域共同定位的BL图片中的区域并从所识别的BL区域中取残差信号。可以对共同定位区域进行定义以使得其解释BL分辨率(例如2x可伸缩性)的整数标度因子，或BL分辨率(例如1.5x可伸缩性)的分数标度因子或甚至产生与BL分辨率(例如质量可伸缩性)相同的EL分辨率。就质量可伸缩性而言，BL图片中的共同定位区块具有与要预测的EL区块相同的坐标。
[0264] 可以对共同定位BL残差进行上采样/滤波以生成滤波后的BL残差样本。
[0265] 最终EL预测通过添加滤波后的EL重构样本和滤波后的BL残差样本而获得。
[0266] 有关使用基础层重构和增强层差分信号的预测的多种方法(参见J方面)包括以下方法：将(上采样/滤波)重构基础层信号与运动补偿预测信号组合，其中运动补偿预测信号通过对差分图片进行运动补偿得到。差分图片表示参考图片的重构增强层信号的差和(上采样/滤波)重构基础层信号的差。这种方法也被称为BL_reco模式。
[0267] 图31中示出了这个概念。总之，EL样本的预测可以写为：
[0268] EL预测＝filter(BL_reco(t0))+MCP_filter(EL_diff(t1))。
[0269] 还可能的是使用EL差分信号的2-或更多的假设，例如，
[0270] EL预测＝filter(BL_resi(t0))+MCP_filter1(EL_reco(t1))+MCP_filter2(EL_reco(t2))。
[0271] 对于EL差分信号，可以使用以下版本：
[0272] ·EL重构和进行上采样/滤波的BL重构之间的差，或
[0273] ·环路滤波阶段(如去区块，SAO，ALF)之前或之间的EL重构和进行上采样/滤波的BL重构之间的差。
[0274] 特定版本的使用在解码器中可以是固定的或可以按序列等级、图片等级、片段等级、最大编码单元等级、编码单元等级、或其他划分等级进行标记。或者可以根据其他编码参数进行。
[0275] 当EL差分信号被定义为使用EL重构和进行上采样/滤波的BL重构之间的差时，变得适合于只是保存EL重构和BL重构，并使用该预测模式计算区块的即时EL差分信号，从而节省了存储EL差分信号所需的内存。然而，它可能会产生轻微的计算复杂性开销。
[0276] EL差分图片上使用的MCP滤波器可以是整数或分数样本的精度。
[0277] ·对于差分图片的MCP，可以使用与重构图片的MCP不同的插值滤波器。
[0278] ·对于差分图片的MCP，可以基于差分图片中的对应区域的特性(或基于编码参数或基于比特流中传输的信息)来选择插值滤波器。
[0279] 运动矢量MV(x，y，t)被定义为指向EL差分图片中的特定位置。参数x和y指向图片内的空间位置，并且参数t被用来解决差分图片的时间索引。
[0280] MV的整数部分用来从差分图片获取一组样本并且MV的分数部分用来从一组滤波器中选择MCP滤波器。对所取的差样本进行滤波以产生滤波后的差样本。
[0281] 差分图片的动态范围理论上可以超出原始图片的动态范围。假设图像的8位表示的范围为[0 255]，差分图像可以具有范围[-255 255]。然而，在实践中，大多数的振幅分布在0的正，负附近周围。在存储差分图像的优选实施例中，一个恒定的128的偏移量相加，结果被剪切到范围[0 255]并存储为常规8位图像。后来，在编码和解码过程中，从差分振幅中减去128的偏移量。该差分振幅从差分图片加载。
[0282] 对于使用重构的BL信号的方法，可以使用以下版本。这可以是固定的，或者可以按序列等级、图片等级、片段等级、最大编码单元等级、编码单元等级或其他划分等级进行标记。或者可以取决于其他编码参数进行。
[0283] ·去区块和进一步的环内处理之前的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0284] ·去区块之后但进一步环内处理之前的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0285] ·去区块和进一步环内处理之后或多个环内处理步骤之间的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0286] 针对从当前的BL重构计算EL预测分量，识别与EL图片中所考虑的区域共同定位的BL图片中的区域并从所识别的BL区域中取重构信号。可以对共同定位区域进行定义以使得其解释BL分辨率(例如2x可伸缩性)的整数标度因子，或BL分辨率(例如1.5x可伸缩性)的分数标度因子或甚至产生与BL分辨率(例如SNR可伸缩性)相同的EL分辨率。就SNR可伸缩性而言，BL图片中的共同定位区块具有与要预测的EL区块相同的坐标。
[0287] 最终EL预测通过添加滤波后的EL差样本和滤波后的BL重构样本而获得。
[0288] 下面列出组合(上采样/滤波)基础层重构信号和运动补偿增强层差分信号的一些可能的模式变型：
[0289] ·可以使用的是使用(上采样/滤波)BL信号的方法的多个版本。所采用的这些版本的上采样/滤波BL信号在使用的插值滤波器(包括同样对整数样本位置进行滤波的滤波器)方面有所不同，或第二版本的上采样/滤波BL信号可以通过对第一版本的上采样/滤波BL信号进行滤波来获得。不同版本之一的选择可以按序列、图片、片段、最大编码单元、编码单元等级、或图片划分的其他等级进行标记，或可以从对应的重构BL信号的特性或所传输的编码参数来推断。
[0290] ·就BL_reco模式而言可以使用不同的滤波器对BL重构信号进行上采样/滤波并且就BL_resi模式而言可以对BL残差信号进行上采样/滤波。
[0291] ·也有可能的是上采样/滤波BL信号与运动补偿差分信号的2-或更多的假设组合。图32中示出了这种情况。
[0292] 考虑到上述情况，预测可以通过使用基础层重构和增强层重构的组合来执行(参见C方面)。上文参照图11、图12和图13的描述的一个主要差别是编码模式以获得以时间方式而不是以空间方式执行的层内预测34。也就是说，使用时间预测32来替代空间预测30以便形成层内预测信号34。因此，下面描述的一些方面可以分别转移到图6至图10和图11至图13的上述实施例。多种方法包括以下方法：(上采样/滤波)重构基础层信号与帧间预测信号组合，其中帧间预测通过使用重构增强层图片的运动补偿预测来推导。最终预测信号通过以不同频率分量使用不同加权的方式对帧间预测信号和基础层预测信号进行加权来获得。
例如，则可以通过以下任意一个来实现：
例如，则可以通过以下任意一个来实现：
[0293] ·利用低通滤波器对基础层预测信号进行滤波并利用高通滤波器对帧间预测信号进行滤波并将所获得的滤波信号相加。
[0294] ·对基础层预测信号和帧间预测信号进行变换并叠加所获得的变换区块，其中不同加权因子用于不同频率位置。然后所获得的变换区块可以进行反变换并被用作增强层预测信号或可以将所获得的变换系数添加到标度的传输变换系数水平，然后进行反变换以便在去区块和环内处理之前获得重构的区块。
[0295] 这种模式也可以被称为图33中所示的BL_comb模式。
[0296] 总之，EL预测可以表示为，
[0297] EL预测＝BL_weighting(BL_reco(t0))+EL_weighting(MCP_filter(EL_reco(t1)))。
[0298] 在优选实施例中，加权取决于EL分辨率与BL分辨率的比值来进行。例如，当BL通过[1，1.25)的范围内的因子按比例扩大时，可以使用EL和BL重构的某组加权。当BL通过[1.25 1.75)的范围内的因子按比例扩大时，可以使用不同组的加权。当BL通过1.75以上的因子按比例扩大时，可以使用进一步不同组的加权，依此类推。
[0299] 取决于分离基础层和增强层的标度因子程序特定加权同样利用有关空间层内预测的其他实施例是可行的。
[0300] 在另一优选实施例中，加权取决于要预测的EL区块尺寸来进行。例如，对于EL中的4×4区块，加权矩阵可被定义，它指定用于EL重构变换系数和另一加权矩阵的加权可以被定义，它指定BL重构变换系数的加权。BL重构变换系数的加权矩阵就可以是，诸如，[0301] 64，63，61，49，
[0302] 63，62，57，40，
[0303] 61，56，44，28，
[0304] 49，46，32，15，
[0305] 并且，EL重构加权变换系数的加权矩阵可以是，例如，
[0306] 0，2，8，24，
[0307] 3，7，16，32，
[0308] 9，18，20，26，
[0309] 22，31，30，23，
[0310] 类似地，对于如8×8，16×16，32×32和其他的区块尺寸，独立的加权矩阵可以被定义。
[0311] 用于频域加权的实际变换可以相同或不同于用于编码预测残差的变换。例如，DCT的整数近似值可用于频域的加权和并用于计算要在频域中编码的预测残差的变换系数。
[0312] 在另一个优选实施例中，针对频域加权来定义最大变换尺寸，以限制计算复杂度。如果所考虑的EL区块尺寸大于最大变换尺寸，则EL重构和BL重构被空间分成一系列相邻的子区块并对子区块执行频域加权并通过组合加权结果来形成最终预测信号。
[0314] 在下文中，描述了用于推导增强层编码参数的不同可能性。要用于重构增强层区块的编码(或预测)参数可以通过多种方法从基础层中的共同定位编码参数推导出来。基础和增强层可以具有不同空间分辨率或可以具有相同空间分辨率。
[0315] 在H.264/AVC的可伸缩视频扩展中，对宏区块类型执行层间运动预测，通过语法元素基础模式标记进行标记。如果基础模式标记等于1并对基础层中的对应参考宏区块进行帧间编码，则还对增强层宏区块进行帧间编码，并从共同定位的基础层区块推断所有运动参数。否则(基础模式标记等于0)，对于每个运动矢量，传输所谓的运动预测标记语法元素并指定基础层运动矢量是否被用作运动矢量预测子。如果运动预测标记等于1，则基础层的并置参考区块的运动矢量预测子根据分辨率比进行标度并用作运动矢量预测子。如果运动预测标记等于0，则计算运动矢量预测子，如H.264/AVC中规定的。
[0316] 在下文中，描述了用于推导增强层编码参数的方法。与基础层图片相关联的样本阵列被分解成区块，每个区块具有相关联的编码(或预测)参数。换句话说，特定区块内的所有样本位置都具有相同的关联编码(或预测)参数。编码参数可以包括用于由运动假设的数量，参考索引，运动矢量，运动矢量预测子标识符和合并标识符组成的运动补偿预测的参数。编码参数也可以包括帧内预测参数，诸如帧内预测方向。
[0317] 可以在比特流内进行标记，增强层中的区块使用来自基础层的共同定位信息进行编码。
[0318] 例如，增强层编码参数的推导(参见T方面)可以如下进行。对于使用共同定位基础层信息进行标记的增强层中的N×M个区块，与区块内的样本位置相关的编码参数可以基于与基础层样本阵列中的共同定位样本位置相关的编码参数进行推导。
[0319] 在特定实施例中，该过程通过以下步骤进行：
[0320] 1、基于基础层编码参数推导N×M个增强层区块中每个样本位置的编码参数。
[0321] 2、推导将N×M个增强层区块划分为子区块，使得特定子区块内的所有样本位置都具有相同的关联的编码参数。
[0322] 还可以省略第二步骤。
[0323] 步骤1可以通过使用增强层样本位置pel的函数fc来执行，给出了编码参数c，即，[0324] c＝fc(pel)
[0325] 例如，为了确保在增强层中的最小的区块尺寸m×n，该函数fc可以利用fp,m×n(pel)＝pbl
[0326] fp,m×n(pel)＝pbl
[0327]
[0328]
[0329] pbl＝(xbl，ybl)
[0330] pel＝(xel，yel)
[0331] 返回与函数fp,m×n给出的pbl相关联的编码参数c。
[0332] 从而两个水平或垂直相邻基础层样本位置之间的距离等于1，并且最左上基础层样本和最左上增强层样本都具有位置p＝(0,0)。
[0333] 作为另一个实例，该函数fc(pel)可以返回关联到最接近基础层样本位置pel的基础层样本位置pbl的编码参数c。
[0334] 在增强层样本位置具有以基础层样本位置之间的距离为单位的分数分量的情况下，该函数fc(pel)也可以内插编码参数。
[0335] 在返回运动参数之前，函数fc将运动参数的空间位移分量四合五入到增强层采样网格中的最近可用值。
[0336] 在步骤1之后，可以预测每个增强层样本，因为每个样本位置在步骤1之后都具有相关联的预测参数。然而，在步骤2中，可以推导出区块划分，以便对样本的较大区块执行预测操作，或对推导出的划分的区块内的预测残差进行变换编码。
[0337] 步骤2可以通过将增强层样本位置分组成方形或矩形区块来执行，每个被分解成一组所允许分解成子区块中的一个。方形或矩形区块对应于它们可以在图34中描述的不同等级上存在的四叉树结构中的叶。
[0338] 每个方形或矩形区块的水平和分解可以通过执行以下顺序步骤来确定：
[0339] a)将最高水平设置为对应于尺寸N×M的区块的水平。将当前水平设为最低水平，即方形或矩形区块包含最小区块尺寸的单个区块的水平。转到步骤b)。
[0340] b)对于当前水平的每一个方形或矩形区块，如果存在方形或矩形区块的允许分解，使得每个子区块内的所有样本位置关联到相同的编码参数，或关联到小差异的编码参数(根据一些差异量度)，则分解是候选分解。在所有候选分解中，选择将方形或矩形区块分解成至少若干子区块的候选分解。如果当前水平是最高水平，则转到步骤c)。否则，将当前水平设为下一个更高的水平，并转到步骤b)。
[0341] c)完成。
[0342] 函数fc可以以这样的方式选择，即总是在步骤b的一些水平存在至少一个候选分解。
[0343] 对具有相同的编码参数的区块进行分组并不限于方形区块，但这些区块也可以被归纳到矩形区块。此外，分组并不限于四叉树结构，也可以使用区块被分解成相同尺寸的两个矩形区块或不同尺寸的两个矩形区块的分解结构。也可以使用分解结构，其使用四叉树分解到特定水平，然后使用分解成两个矩形区块。同样，可能存在任何其他区块分解。
[0344] 与SVC层间运动参数预测模式相反，所描述的模式不仅按宏区块等级(或最大支持的区块尺寸)支持，而且还按任意区块尺寸支持。这意味着，该模式不仅可以针对支持的最大区块尺寸进行标记，而且支持的最大区块尺寸的区块(MPEG 4，H.264中的宏区块以及HEVC中的编码树区块/最大编码单元)可以被分级地划分为更小的区块/编码单元并且层间运动模式的使用可以按任意支持的区块尺寸(针对对应区块)进行标记。在特定实施例中，只针对所选的区块尺寸支持该模式。然后，只可以针对对应区块尺寸传输标记该模式的使用的语法元素，或对其他区块尺寸来说可以相应限制标记该模式的使用的语法元素的值(其他编码参数中)。H.264/AVC的SVC扩展中的层间运动参数预测模式的另一个区别是不完全对以这种方式编码的区块进行帧间编码。区块可以包含帧内编码子区块，这取决于共同定位的基础层信号。
[0345] 使用上述方法推导出的编码参数重构样本的M×M增强层区块的几种方法之一可以在比特流内进行标记。使用推导的编码参数预测增强层区块的这些方法可以包括以下项：
[0346] ·使用推导出的运动参数和重构增强层参考图片进行运动补偿推导增强层区块的预测信号。
[0347] ·组合(a)当前图片的(上采样/滤波的)基础层重构和(b)使用通过从重构增强层图片中减去(上采样/滤波的)基础层重构生成的推导出的运动参数和增强层参考图片的运动补偿信号。
[0348] ·组合(a)当前图片的(上采样/滤波的)基础层残差(重构信号和编码变换系数值的预测或反变换之间的差)和(b)使用推导出的运动参数和重构增强层参考图片的运动补偿信号。
[0349] 推导划分成用于当前区块的更小区块，并推导子区块的编码参数的过程可以对进行帧内编码的一些子区块进行分类，而其他子区块被分类为帧间编码。对于帧间编码的子区块，运动参数也来源于共同定位的基础层区块。但是，如果对共同定位的基础层区块进行帧内编码，则增强层中的对应子区块还可以归类为帧内编码。对于这样的帧内编码的子区块的样本，增强层信号可以通过使用来自基础层的信息进行预测，例如：
[0350] ·对应基础层重构的(上采样/滤波的)版本被用作帧内预测信号。
[0351] ·所推导的帧内预测参数用于增强层中的空间帧内预测。
[0352] 使用预测信号的加权组合预测增强层区块的以下实施例包含通过组合(a)增强层内部预测信号和(b)基础层预测信号生成增强层区块的预测信号的方法，该增强层内部预测信号通过空间或时间(即运动补偿)预测使用重构增强层样本来获得，该基础层预测信号是当前图片的(上采样/滤波)基础层重构。最终预测信号通过以根据加权函数的加权用于每个样本的方式对增强层内部预测信号和基础层预测信号进行加权来获得。
[0353] 加权函数可以例如通过以下的方法来实现。比较原始增强层内部预测信号v的低通滤波版本和基础层重构u的低通滤波版本。从该比较推导要用于组合原始帧内预测信号和(上采样/滤波)基础层重构的每个样本位置的加权。加权例如可以通过将差u-v映射到加权w使用传递函数t来进行推导，即
[0354] t(u-v)＝w
[0355] 不同的加权函数可用于要预测的当前区块的不同区块尺寸。同样，该加权函数可根据从中获得帧间预测假设的参考图片的时间距离进行修改。
[0356] 在增强层内部预测信号是帧内预测信号的情况下，加权函数例如还可以通过使用取决于要预测的当前区块内的位置的不同权重来实现。
[0357] 在优选实施例中，使用推导增强层编码参数的方法，方法的步骤2使用图35中描述的方形区块的这组允许分解。
[0358] 在优选实施例中，该函数fc(pel)返回关联到上文所描述的函数fp,m×n(pel)给出的基础层样本位置的编码参数，其中m＝4,n＝4。
[0359] 在实施例中，该函数fc(pel)返回下列编码参数c：
[0360] ·首先，基础层样品位置推导为pbl＝fp,4×4(pel)。
[0361] ·如果pbl具有相关联的通过与先前已编码的基础层区块合并得到(或具有相同的运动参数)的帧间预测参数，则c等于对应于用于合并基础层的基础层区块的增强层区块的运动参数(即，运动参数从对应增强层区块复制)。
[0362] ·否则，c等于关联到pbl的编码参数。
[0363] 同样，可能存在上述实施例的组合。
[0364] 在另一个实施例中，对于要使用共同定位基础层信息进行标记的增强层区块，关联到具有推导出的帧内预测参数的增强层样本位置的是运动参数的默认集合，使得区块可以与包含这些样品的区块合并(即复制运动参数的默认集合)。运动参数的默认集合由使用一个或两个假设的指标，参考参考图片列表中的第一图片的参考索引，和具有零空间位移的运动矢量组成。
[0365] 在另一个实施例中，对于要使用共同定位基础层信息进行标记的增强层区块，具有推导出的运动参数的增强层样本首先按一定顺序进行预测和重构。之后，具有推导出的帧内预测参数的样本按帧内重构顺序进行预测。由此，帧内预测然后可以按照帧内重构顺序使用来自(a)任意相邻帧间预测区块和(b)相邻帧内预测区块的已经重构的样本值。
[0366] 在另一个实施例中，对于合并的增强层区块(即从其他帧间预测区块推导出的运动参数)，合并的候选者列表还包含来自对应基础层区块的候选者，并且如果增强层具有比基础层更高的空间取样率，则还包含可多达通过将空间位移分量精化为仅在增强层中可用的相邻值从基础层候选者推导出的四个候选者。
[0367] 在另一个实施例中，在步骤2b)中使用的差量度指出只有当根本不存在差时子区块中才存在小的差，即只有当所有包含的样本位置具有推导出的相同编码参数时，才可以形成子区块。
[0368] 在另一个实施例中，在步骤2b)中使用的差量度指出如果(a)所有所包含的样本位置都具有推导出的运动参数并且区块内的样本位置对没有推导出的根据适用于对应运动矢量的矢量标准差别大于特定值的运动参数或(b)所有所包含的样本位置都具有推导出的帧内预测参数并且区块内的样本位置对没有推导出的差别大于定向帧内预测的特定角度的帧内运动参数，则子区块中才存在小的差。由此产生的子区块的参数通过均值或中值操作来计算。
[0369] 在另一个实施例中，从基础层推断编码参数的区块的残差编码与从基础层推断的划分为区块无关。这意味着，例如，单一的变换可以应用于区块，虽然从基础层推断编码参数将区块划分为几个子区块，每个具有一组独立的编码参数。或从基础层推断的子区块的划分和编码参数的区块可以被分成更小的区块以便对残差进行变换编码，其中分成变换区块与推断的划分为具有不同编码参数的区块无关。
[0370] 在另一个实施例中，从基础层推断编码参数的区块的残差编码取决于从基础层推断的划分为区块。这意味着，例如，对于变换编码来说，分割变换区块中的区块取决于从基础层推断的划分。在一个版本中，单一的变换可以应用于具有不同编码参数的每个子区块。在另一个版本中，划分可以基于包括到比特流中的边信息来精制。在另一个版本中，一些子区块可概括为如在比特流内进行标记的更大的区块以便对残差信号进行变换编码。
[0371] 还可能存在通过上述实施例的组合得到的实施例。
[0372] 与增强层的运动矢量编码有关，以下部分描述了用于通过提供多个增强层预测子并采用基础层中编码的运动信息有效对增强层的运动信息进行编码来减少可伸缩视频编码应用中的运动信息的方法。这种想法适用于包括空间、时间和质量可伸缩性的可伸缩视频编码。
[0373] 在H.264/AVC的可伸缩视频扩展中，对宏区块类型执行层间运动预测，所述宏区块类型由语法元基础模式进行标记。
[0374] 如果基础模式标记等于1并对基础层中的对应参考宏区块进行帧间编码，则还对增强层宏区块进行帧间编码，并从共同定位的基础层区块推断所有运动参数。否则(基础模式标记等于0)，对于每个运动矢量，传输所谓的运动预测标记语法元素并指定基础层运动矢量是否被用作运动矢量预测子。如果运动预测标记等于1，则基础层的并置参考区块的运动矢量预测子根据分辨率比进行标度并用作运动矢量预测子。如果运动预测标记等于0，则计算运动矢量预测子，如H.264/AVC中规定的。
[0375] 在HEVC中，运动参数通过应用高级运动矢量竞争(AMVP)来进行预测。AMVP特征在于相互竞争的两个空间和一个时间运动矢量预测子子。空间候选者从位于当前预测区块左边或上方的相邻预测区块的位置选择。时间候选者选自先前编码的图片的共同定位位置。图36中显示了所有的空间和时间候选者的位置。
[0376] 在推断空间和时间候选者之后执行冗余校验，其可以将作为候选者的零运动矢量引入列表中。传输寻址候选者列表以识别与运动补偿预测的运动矢量差一起使用的运动矢量预测子。
[0377] HEVC进一步采用区块合并算法，其目的是减少从基于四叉树的编码方案得到的编码冗余运动参数。这种情况听过创建由共享相同的运动参数的多个预测区块组成的区域来实现。这些运动参数只需要为每个区域的第一预测区块编码一次—播种新的运动信息。与AMVP相似，区块合并算法构建包含每个预测区块的可能合并候选者的列表。候选者的数量由NumMergeCands定义，其在片段头中进行标记并且范围从1到5。从空间相邻预测区块并从并置的时间图片中的预测区块推断候选者。被视为候选者的预测区块的肯恩样本位置等于图36中所示的位置。图37中示出了具有HEVC中可能的预测区块划分的区块合并算法的实例。图(a)中的实线定义了被合并成一个区，并且全部保持相同的运动数据的预测区块。这种运动数据只针对区块S传输。要编码的当前预测区块用X表示。条纹区域中的区块不具有相关联的预测数据，因为这些预测区块按区块扫描顺序是预测区块X的后继者。圆点表示相邻区块的样本位置，其是可能的空间合并候选者。在将可能的候选者插入预测子列表之前，执行空间候选者的冗余校验，如图37的(b)中所示。
[0378] 在空间和时间候选者的数量小于NumMergeCands的情况下，通过组合现有的候选者或通过插入零运动矢量候选者来提供额外候选者。如果将候选者添加到列表中，则配备有索引，其用于识别候选者。随着新候选者添加到列表中，增加索引(从0开始)直到列表利用索引NumMergeCands-1识别的最后候选者完成为止。固定长度码字用于编码合并候选者索引，以确保候选者列表的推导和比特流的解析的独立操作。
[0379] 以下部分描述使用包括从基础层推导出的预测子的多个增强层预测子编码增强层的运动参数的方法。已经针对基础层编码的运动信息可以用于明显降低运动数据速率并同时对增强层进行编码。此方法包括：直接从基础层推导预测区块的所有运动数据的可能性，在此情况下不需要编码额外运动数据。在以下描述中，术语预测区块是指HEVC中的预测单元、H.264/AVC中的M×N区块并且可以被理解为图片中的通用的一组样本。
[0380] 本节的第一部分关于通过基础层运动矢量预测子扩展运动矢量预测候选者的列表(参见方面K)。在增强层编码期间，将基础层运动矢量添加到运动矢量预测子列表。这种情况通过从基础层推断共同定位预测区块的一个或多个运动矢量预测子并将其作为运动补偿预测的预测子的列表中的候选者来实现。基础层的共同定位预测区块位于当前区块的中心、左边、上方、右边或下方。如果所选位置的基础层的预测区块不包含任意运动相关数据或位于当前范围外并因此当前不可访问，则可选位置可以用于推断运动矢量预测子。图38中描述了这些可选位置。
[0381] 在从基础层推断的运动矢量可以被作为预测子候选者之前，可以根据分辨率率对其进行标度。针对预测区块传输寻址运动矢量预测子的候选者列表的索引以及运动矢量差，其指定用于运动补偿预测的最终运动矢量。与H.264/AVC标准的可伸缩扩展相反，这里提出的实施例不构成参考图片中的并置区块的运动矢量预测子—相反其在其他预测子中的列表中是可用的并且可以通过传输的所有进行寻址。
[0382] 在一个实施例中，运动矢量从基础层的并置预测区块的中心位置C1推导出来，并添加到候选者列表作为第一条目。运动矢量预测子的候选者列表通过一个项目扩展。如果基础层中没有运动数据可用于样本位置C1，则列表结构不变。在另一个实施例中，可以针对运动数据检查基础层中的样本位置的任何序列。在运动数据被发现的情况下，对应位置的运动矢量预测子被插入到候选者列表并且可用于增强层的运动补偿预测。此外，从基础层推导出的运动矢量预测子可以在列表的任意其他位置插入到候选者列表中。在另一个实施例中，如果满足某些约束，则基础层运动预测子只可以插入到候选者列表中。这些约束包括并置参考区块的合并标记的值，其必须等于0。另一个约束可以是针对分辨率比等于基础层的并置预测区块的尺寸的增强层中的预测区块的尺寸。例如，在K×空间可伸缩性的应用程序中-如果基础层中的并置区块的宽度等于N，则在增强层中要编码的预测宽的宽度等于K*N的条件下，只可以推断运动矢量预测子。
[0383] 在另一个实施例中，来自基础层的数个样本位置的一个以上运动矢量预测子可以被添加到增强层的候选者列表中。在另一个实施例中，运动矢量预测子从并置区块推断出的候选者可替代列表中的空间或时间候选者而不扩展该表。也可以将从基础层数据推导出的多个运动矢量预测子包括到运动矢量预测子候选者列表中。
[0384] 第二部分关于通过基础层候选者扩展合并候选者的列表(参见方面K)。将基础层的一个或多个并置区块的运动数据添加到合并候选者列表。此方法使得能够创建共享跨基础和增强层的相同运动参数的合并区域。类似于之前的部分，覆盖中心位置的并置样本的基础层区块不限于该中心位置但可以从附近的任意位置推导出来，如图38所示。在运动数据不可用或对某个位置来说不可访问的情况下，可选择可选位置以推断可能的合并候选者。在将推导出的运动数据插入到合并候选者列表之前，可以根据分辨率比进行标度。传输寻址合并候选者的索引并且其定义运动矢量，该运动矢量用于运动补偿预测。然而，该方法还可以抑制可能的运动预测子候选者，这取决于基础层中的预测区块的运动数据。
[0385] 在一个实施例中，覆盖图38的样本位置C1的基础层中的并置区块的运动矢量预测子被视为用于编码增强层中的当前预测区块的可能合并候选者。然而，如果参考区块的merge_flag等于1或如果并置参考区块中不包含运动数据，则运动矢量预测子未插入到列表中。在任何其他情况下，推导出的运动矢量预测子作为第二条目添加到合并候选者列表中。注意，在本实施例中，合并候选者列表的长度被保留，而不是扩展。在另一个实施例中，一个或多个运动矢量预测子可以从覆盖如图38中所示的样本位置中的任意一个的预测区块推导出来并添加到合并候选者列表。在另一个实施例中，基础层的一个或几个运动矢量预测子可以在任意位置添加到合并候选者列表中。在另一个实施例中，如果满足某些约束，则一个或多个运动矢量预测子只可以添加到合并候选者列表中。这样的约束包括与基础层的并置区块的尺寸匹配的增强层的预测区块尺寸(针对运动矢量预测的先前实施例部分中描述的分辨率比)。另一个实施例中的另一个约束可以是等于1的merge_flag的值。在另一个实施例中，合并候选者列表的长度可以通过从基础层的并置参考区块推断的运动矢量预测子的数量进行扩展。
[0386] 本说明书的第三部分关于重排序使用的基础层数据(参见方面L)的运动参数(或合并)候选者列表并描述根据基础层中已经编码的信息重排序合并候选者列表的过程。如果覆盖当前区块的样本的并置基础层区块利用从特定原点推导的候选者进行运动补偿预测，则来自等效原点(如果存在)的对应增强层候选者被作为第一条目放置在合并候选者列表的顶部。该步骤等于寻址具有最低索引的候选者，这会导致向该候选者分配最便宜的码字。
[0387] 在实施例中，并置基础层区块利用源自覆盖样本位置A1的预测区块的候选者进行运动补偿预测，如图38所示。如果增强层中的预测区块的合并候选者列表包含其运动矢量预测子源自增强层内侧的对应样本位置A1的候选者，则将该候选者作为第一条目放置到列表中。因此，该候选者通过索引0编索引，因此分配最短的固定长度码字。在本实施例中，在推导增强层中的合并候选者列表的并置基础层区块的运动矢量预测子之后，执行该步骤。因此，重排序过程向源自对应区块的候选者分配最低索引作为并置基础层区块的运动矢量预测子。向从基础层中的并置区块推导的候选者分配第二低索引，如本节的第二部分中所述。此外，如果基础层中的并置区块的merge_flag的值等于1，则只发生重排序过程。在另一个实施例中，可以执行重排序过程，与基础层中的并置预测区块的merge_flag的值无关。在另一个实施例中，可以将具有对应原点的运动矢量预测子的候选者放置在合并候选者列表的任意位置。在另一个实施例中，重排序过程可以去除合并候选者列表中的所有其他候选者。这里，只有那些运动向量预测子具有与用于基础层中的并置区块的运动补偿预测的运动矢量预测子相同的原点的候选者才保留在列表中。在这种情况下，单一候选者可用并且没有传输索引。
[0388] 本说明书的第四部分涉及重排序使用基础层数据(参见方面L)的运动矢量预测子候选者列表，体现了使用基础层区块的运动参数重排序运动矢量预测的候选者列表的过程。如果覆盖当前预测区块的样本的并置基础层区块使用来自特定原点的运动矢量，则来自增强层中的对应原点的运动矢量预测子被用作当前预测区块的运动矢量预测子列表中的第一条目。这导致向该候选者分配最便宜的码字。
[0389] 在实施例中，并置基础层区块利用源自覆盖样本位置A1的预测区块的候选者进行运动补偿预测，如图38所示。如果增强层中的区块的运动矢量预测子候选者列表包含其运动矢量预测子源自增强层内侧的对应样本位置A1的候选者，则将该候选者作为第一条目放置到列表中。因此，该候选者通过索引0编索引，因此分配最短的固定长度码字。在本实施例中，在推导增强层中的运动矢量预测子列表的并置基础层区块的运动矢量预测子之后，执行该步骤。因此，重排序过程向源自对应区块的候选者分配最低索引作为并置基础层区块的运动矢量预测子。向从基础层中的并置区块推导的候选者分配第二低索引，如本节的第一部分中所述。此外，如果基础层中的并置区块的merge_flag的值等于0，则只发生重排序过程。在另一个实施例中，可以执行重排序过程，与基础层中的并置预测区块的merge_flag的值无关。在另一个实施例中，可以将具有对应原点的运动矢量预测子的候选者放置在运动矢量预测子候选者列表的任意位置。
[0390] 以下关于变换系数的增强层编码。
[0391] 在现有技术的视频和图像编码中，预测信号的残差进行向前变换并且在比特流内对由此产生的量化变换系数进行标记。该系数编码遵循固定方案：
[0392] 根据变换尺寸(对于亮度残差：4×4，8×8，16×16和32×32)定义不同的扫描方向。假设扫描顺序的第一和最后位置，这些扫描唯一确定哪些系数位置可以有效，并且因此需要被编码。在所有扫描中，将第一系数设定为位置(0，0)的DC系数，而最后的位置必须在比特流中进行标记，这通过编码其在变换区块内的x(水平)和y(垂直)位置进行。从最后位置开始，按反向扫描顺序进行有效系数的标记直到达到DC位置。
[0393] 对于变换尺寸16×16和32×32，仅定义一个扫描，即“对角线扫描”，而尺寸2×2、4×4和8×8的变换区块还可利用“垂直”和“水平”扫描。然而，使用垂直和水平扫描限于帧内预测编码单元的残差并且实际使用的扫描从此帧内预测的方向模式推导出来。索引在6和14的范围内的方向模式产生垂直扫描，然而索引在22和30的范围内的方向模式产生水平扫描。所有剩余的方向模式产生对角线扫描。
[0394] 图39示出了针对4×4变换区块定义的对角线、垂直和水平扫描。较大的变换系数被划分成16个系数子组。这些子组允许有效系数位置的分层编码。被标记为无效的子组不包含任何有效系数。8×8和16×16变换的扫描与图40和图41中的相关联子组划分一起分别进行描述。大箭头表示系数子组的扫描顺序。
[0395] 在锯齿状扫描中，对于尺寸大于4×4的区块，子组由锯齿状扫描中进行扫描的4×4像素区块组成。子组以锯齿状的方式进行扫描。图42示出了JCTVC-G703中提出的16×16变换的垂直扫描。
[0396] 以下部分描述了变换系数编码的扩展。这些包括引入新扫描模式，分配扫描到变换区块和有效系数位置的改进编码的方法。这些扩展允许更好地适应于变换区块内的不同系数的分布，由此实现了率失真意义的编码增益。
[0397] 针对16×16和32×32变换区块介绍垂直和水平扫描模式的新实现。与先前提出的扫描模式相反，扫描子组的尺寸分别对水平扫描来说为16×1，对垂直扫描来说为1×16。还必须选择尺寸分别为8×2和2×8的子组。子组本身以相同的方式进行扫描。
[0398] 垂直扫描对位于列向扩展中的变换系数来说是有效的。这可以在包含水平边缘的图像中找到。
[0399] 水平扫描对在行向扩展中找到的变换系数来说是有效的。这可以在包含垂直边缘的图像中找到。
[0400] 图43示出了16×16变换区块的垂直和水平扫描的实现。系数子组分别被定义为单列或单行。
[0401] VerHor扫描是引入的扫描模式，允许系数在列中通过行向扫描进行编码。对于4×4区块，在继第一行的其余部分之后对第一列进行扫描，然后对第二列的其余部分、第二行中的系数的其余部分进行扫描。然后，对第三列的其余部分进行扫描，最后对第四行和列的其余部分进行扫描。
[0402] 对于更大的区块，将区块分为4×4子组。这些4×4区块在VerHor扫描中进行扫描，然而子组在VerHor扫描自身中进行扫描。
[0403] 在系数位于区块中的第一列和行中的情况下可以使用VerHor扫描。这样，比使用其他扫描例如对角线扫描时的情况更早对系数进行扫描。针对包含水平和垂直边缘的图像来说可以发现这种情况。
[0404] 图44示出了16×16变换区块的VerHor扫描。
[0405] 其他扫描也是可行的。例如，可以使用扫描和子组之间的所有组合。例如，使用具有子组的对角线扫描的4×4区块的水平扫描。自适应选择扫描可以通过选择每个子组的不同扫描而被应用。
[0406] 应该提到的是，不同的扫描可以以变换系数在编码器侧量化之后进行重排序并使用传统编码的方式来实现。在解码器侧，变换系数通常在标度和反变换之前(或在扫描之后并在反变换之前)进行解码和重排序。
[0407] 基础层信号的不同部分可以用于从基础层信号推导编码参数。以下信号在这些信号中：
[0408] ·共同定位的重构基础层信号
[0409] ·共同定位的残差基础层信号
[0410] ·通过从重构的基础层信号中减去增强层预测信号而获得的评估增强层残差信号
[0411] ·基础层帧的图片划分
[0412] 梯度参数：
[0413] 梯度参数可推导如下：
[0414] 对于所研究的区块的每个象素，计算梯度。从这些梯度计算幅度和角度。区块中最常出现的角关联到区块(区块角)。对角进行取整使得只使用三个方向，水平(0°)，垂直(90°)和对角线(45°)。
[0415] 边缘检测：
[0416] 边缘检测器可以应用到所调查的区块上如下：
[0417] 首先，区块由n×n个平滑滤波器(例如高斯分布)平滑。
[0418] 尺寸m×m的梯度矩阵被用于计算关于每个像素的梯度。计算每个像素的幅度和角度。对角进行取整，使得只使用三个方向，水平(0°)，垂直(90°)和对角线(45°)。
[0419] 对于具有大于特定阈值1的幅度的每个像素，检查相邻像素。如果相邻像素具有大于阈值2的大小并具有与当前像素相同的角，则该角的计数增加。对于整个区块来说，具有最高数量的计数被选择作为区块的角。
[0420] 通过正向变换获得基础层系数
[0421] 为了获得编码参数，对于来自基础层信号的频域的特定TU来说，可以将所调查的共同定位信号(重构基础层信号/残差基础层信号/评估增强层信号)变换成频域。优选地，这种情况使用相同变换(如特定增强层TU使用的)进行。
[0422] 可以对由此产生的基础层变换系数进行量化，或不对其进行量化。
[0423] 为了获得与增强层区块中一样的可比系数分布，可以使用具有修改λ的率失真量化。
[0424] 给定分布和扫描的扫描有效性评分
[0425] 给定的有效系数分布的扫描有效性评分可以被定义为如下：
[0426] 按调查扫描的顺序让一个调查区块的每个位置用其索引表示。然后，有效系数位置的索引值的总和被定义为该扫描的有效性评分。因此，用较小的得分扫描更有效地表示特定分布。
[0427] 变换系数编码的自适应扫描模式
[0428] 如果几种扫描可用于特定TU，则需要定义唯一选择其中之一的规则。
[0429] 用于扫描模式选择的方法
[0430] 所选的扫描可以直接从已经解码的信号(没有所传输的任何额外数据)推导出来。这种情况可以基于共同定位的基础层信号的属性或通过只利用增强层信号来进行。
[0431] 扫描模式可以通过以下方式从EL信号推导出来：
[0432] ·如上所述的现有技术推导规则，
[0433] ·将扫描模式用于针对共同定位的亮度残差选择的色度残差，
[0434] ·定义编码模式和所使用的扫描模式之间的固定映射，
[0435] ·从最后有效系数位置(相对于假设的固定扫描模式)推导扫描模式。
[0436] 在优选实施例中，扫描模式根据已经解码的最后位置进行选择，如下：
[0437] 最后位置被表示为变换区块中的x和y坐标，并且已经解码(对于扫描相关的最后编码，针对最后位置的解码过程假设固定的扫描模式，其可以是TU的现有技术扫描模式)。令T是所定义的阈值，这可能取决于特定的变换尺寸。如果最后有效位置的x坐标和y坐标都不超过T，则选择对角线扫描。
[0438] 否则，比较x和y。如果x超过y，则选择水平扫描，否则选择垂直扫描。4×4的优选值为1。大于4×4的TU的T的优选值为4。
[0439] 在进一步优选的实施例中，如前述实施例中描述的扫描模式的推导被限制为仅针对16×16和32×32的TU进行。可以进一步仅限于亮度信号。
[0440] 还可以从BL信号推导扫描模式。可以使用上述的任意编码参数来从基础层信号推导所选的扫描模式。特定地，可以计算共同定位的基础层信号的梯度并与预定阈值进行比较和/或可以利用可能发现的边缘。
[0441] 在优选实施例中，扫描方向根据区块梯度角来推导，如下：对于水平方向上量化的梯度，使用垂直扫描。对于垂直方向上量化的梯度，使用水平扫描。否则，选择对角线扫描。
[0442] 在进一步优选的实施例中，推导扫描模式，如先前的实施例所述，但只针对区块角的发生数量超过阈值的变换区块。剩余的变换单元使用TU的现有技术扫描模式进行解码。
[0443] 如果共同定位区块的基础层系数可用，则在基础层数据流中明确标记或通过正向变换进行计算，这些都可以通过以下方式利用：
[0444] ·针对每个可用扫描，可以评估对基础层系数进行编码的成本。以最小的成本扫描用于对增强层系数进行解码。
[0445] ·每个可用扫描的有效性评分针对基础层系数分布进行计算，具有最低分数的扫描用于对增强层系数进行解码。
[0446] ·变换区块中的基础层系数的分布被分类为一组预定义分布的，与特定扫描模式相关联的一个。
[0447] ·扫描模式的选择取决于最后有效基础层系数。
[0448] 如果共同定位基础层区块使用帧内预测进行预测，则该预测的帧内方向可用于推导增强层扫描模式。
[0449] 此外，共同定位的基础层区块的变换尺寸可能被用于推导扫描模式。
[0450] 在优选实施例中，扫描模式仅从TU的BL信号推导，这表示INTRA_COPY模式预测区块的残差，并且其共同定位的基础层区块已进行帧内预测。对于那些区块，使用修改的现有技术扫描选择。与现有技术扫描选择相反，共同定位的基础层区块的帧内预测方向用于选择扫描模式。
[0451] 标记比特流内的扫描模式索引(参见方面R)
[0452] 变换区块的扫描方式也可以通过编码器在率失真意义上进行选择，然后在比特流内进行标记。
[0453] 通过将索引标记到可用扫描模式候选者的列表中，可以对特定扫描模式进行编码。该列表可以是针对特定变换尺寸定义的扫描模式的固定列表，或可以在解码过程中动态地填充。动态填充列表允许自适应挑选这些扫描模式，其最可能最有效地编码特定系数分布。通过这样做，可以减少特定TU的可用扫描模式的数量，因此将索引标记到此列表中不太昂贵。如果特定列表中的扫描模式的数量减少到一个，则没有必要进行标记。
[0454] 选择特定TU的扫描模式候选者的过程可以利用上述任意编码参数，和/或遵循一定的规则，其利用此特定TU的特定特征。有以下方面：
[0455] ·TU表示亮度/色度信号的残差。
[0456] ·TU具有特定尺寸。
[0457] ·TU表示特定预测模式的残差。
[0458] ·TU中的最后有效位置由解码器众所周知，位于TU的特定细分之内。
[0459] ·TU是I/B/P片段的一部分。
[0460] ·TU的系数使用特定的量化参数量化。
[0461] 在优选实施例中，对于所有TU来说，扫描模式候选者的列表包含三次扫描：“对角线扫描”、“垂直扫描”和“水平扫描”。
[0462] 进一步的实施例可以通过令候选者列表包含扫描模式的任意组合来获得。
[0463] 在特定的优选实施例中，扫描模式候选者的列表可以包含任何的扫描：“对角线扫描”，“垂直扫描”和“水平扫描”。
[0464] 然而，由现有技术扫描推导选择的扫描模式(如上所述)被设定为列表中的第一扫描。仅当特定TU具有16×16或32×32的尺寸时，进一步的候选者被添加到列表中。剩余扫描模式的顺序取决于最后有效系数位置。
[0465] (注：对角线扫描总是列表中的第一模式，假设16×16和32×32的变换)[0466] 如果其x坐标的幅度超出y坐标幅度，则接下来选择水平扫描，并将垂直扫描放置在最后位置。否则，继水平扫描之后，将垂直扫描放置在第二位置。
[0467] 其他优选实施例通过进一步限制条件以具有列表中的一个以上的候选者来获得。
[0468] 在另一个实施例中，只将垂直和水平扫描中添加到16×16和32×32变换区块的候选者列表中，条件是其系数表示亮度信号的残差。
[0469] 在另一个实施例中，将垂直和水平扫描添加到变换区块的候选者列表中，条件是最后有效位置的x和y坐标都大于特定阈值。这个阈值可以与模式和/或TU尺寸有关。对于大于4×4的所有尺寸来说优选的阈值为3，对于4×4TU来说为1。
[0470] 在另一个实施例中，将垂直和水平扫描添加到变换区块的候选者列表中，如果存在任意一个，则最后有效位置的x和y坐标都大于特定阈值。这个阈值可以与模式和/或TU尺寸有关。对于大于4×4的所有尺寸来说优选的阈值为3，对于4×4TU来说为1。
[0471] 在另一个实施例中，只将垂直和水平扫描添加到16×16和32×32变换区块的候选者列表中，条件是最后有效位置的x和y坐标都大于特定阈值。这个阈值可以与模式和/或TU尺寸有关。对于大于4×4的所有尺寸来说优选的阈值为3，对于4×4TU来说为1。
[0472] 在另一个实施例中，只将垂直和水平扫描添加到16×16和32×32变换区块的候选者列表中，如果存在任意一个，则最后有效位置的x和y坐标都大于特定阈值。这个阈值可以与模式和/或TU尺寸有关。对于大于4×4的所有尺寸来说优选的阈值为3，对于4×4TU来说为1。
[0473] 对于特定扫描模式在比特流内进行标记的所描述的实施例中的任意一个，可以按不同标记等级进行标记本身。特别地，可以在残差四叉树的任意节点(此节点的使用标记扫描，使用相同的候选者列表索引的所有子TU)，按CU/LCU等级或按片段等级针对每个TU(其落入具有所标记的扫描模式的TU的子组中)进行标记。
[0474] 到候选者列表中的索引可以使用固定长度编码、可变长度编码、算术编码(包括上下文自适应二进制算术编码)或PIPE编码来传输。如果使用上下文自适应编码，则上下文可以基于相邻区块的参数、上述的编码模式和/或特定TU自身的特定特性来推导。
[0475] 在优选实施例中，上下文自适应编码用于对到TU的扫描模式候选者列表中的索引进行标记，而上下文模型基于变换尺寸和/或最后有效位置在TU内的位置来推导。
[0476] 上述的用于推导扫描模式的任意一种方法也可以用于推导对特定TU的明确扫描模式进行标记的上下文模型。
[0477] 可以在增强层中使用以下修改用于编码最后有效扫描位置：
[0478] ·独立上下文模型用于使用基础层信息的编码模式的所有或子集。也可以将不同的上下文模型用于具有基础层信息的不同模式。
[0479] ·上下文建模可以取决于共同定位的基础层区块中的数据(例如，基础层中的变换系数分布，基础层的梯度信息，共同定位的基础层区块中的最后扫描位置)。
[0480] ·最后扫描位置可以被编码为与最后基础层扫描位置的差。
[0481] ·如果最后的扫描位置通过对TU内的x和y位置进行标记来编码，则第二标记的坐标的上下文建模可以取决于第一个的值。
[0482] ·上述用于推导扫描模式的任意一种方法(其与最后有效位置无关)也可以用于推导用于对最后有效位置进行标记的上下文模型。
[0483] 在特定版本中，扫描模式的推导取决于最后有效位置：
[0484] ·如果最后的扫描位置通过对其在TU内的x和y位置进行标记来编码，则当已经了解第一坐标时，第二坐标的上下文建模可以取决于这些扫描模式(其仍然是可能的坐标)。
[0485] ·如果最后的扫描位置通过对其在TU内的x和y位置进行标记来编码，则当已经了解第一坐标时，第二坐标的上下文建模可以取决于扫描模式是否已经唯一选择。
[0486] 在另一个版本中，扫描模式推导是与最后有效位置无关：
[0487] ·上下文建模可以取决于特定TU中使用的扫描模式。
[0488] ·上述用于推导扫描模式的任意一种方法也可以用于推导用于对最后有效位置进行标记的上下文模型。
[0489] 为了分别对TU和有效标记(单一变换系数的子组标记和/或有效标记)内的有效位置进行编码，可以在增强层中使用以下修改：
[0490] ·独立上下文模型用于使用基础层信息的编码模式的所有或子集。也可以将不同的上下文模型用于具有基础层信息的不同模式。
[0491] ·上下文建模可以取决于共同定位的基础层区块中的数据(例如，特定频率位置的有效变换系数的数量)。
[0492] ·上述用于推导扫描模式的任意一种方法也可以用于推导用于对有效位置和/或其等级进行标记的上下文模型。
[0493] ·可以使用通用模板，其对这两者都进行评估，即要编码的系数的空间邻近中的已经编码的有效变换系数水平的数量和相似频率位置的共同定位基础层信号中的有效变换系数的数量。
[0494] ·可以使用通用模板，其对这两者都进行评估，即要编码的系数的空间邻近中的已经编码的有效变换系数水平的数量和相似频率位置的共同定位基础层信号中的有效变换系数的水平。
[0495] ·子组标记的上下文建模可以取决于所使用的扫描模式和/或特定变换尺寸。
[0496] 可使用基础和增强层的不同上下文初始化表的使用情况。增强层的上下文模型初始化可以增通过下列方式进行修改：
[0497] ·增强层使用单独的一组初始化值。
[0498] ·增强层将单独的多组集初始化值用于不同的操作模式(空间/时间或质量可伸缩性)。
[0499] ·在基础层中具有相对物的增强层上下文模型可以使用它们的相对物的状态作为初始化状态。
[0500] ·用于推导上下文模型的初始状态的算术可以是基础层QP及/或增量QP相关的。
[0501] 接下来，描述使用基础层数据进行向后自适应增强层编码的可能性。以下部分描述了创建可伸缩视频编码系统中的增强层预测信号的方法。所述方法使用基础层解码的图片样本信息来推断预测参数的值，所述预测参数在编码的视频比特流中不传输，但用于形成增强层的预测信号。因此，降低了编码增强层信号所需的总比特率。
[0502] 现有技术的混合视频编码器将源图像分解为不同尺寸的区块，通常遵循层级。针对每个区块，从空间相邻区块(帧内预测)或以时间方式先前编码的图片(帧间预测)预测视频信号。对预测和实际图像之间的差进行变换和量化。对由此产生的预测参数和变换系数进行熵编码以形成编码的视频比特流。匹配的解码器遵循相反顺序的步骤。
[0503] 在可伸缩视频编码中，比特流由不同的层组成：提供完整可解码视频的基础层和可以额外用于解码的增强层。增强层可提供更高的空间分辨率(空间可扩展性)，时间分辨率(时间可扩展性)或质量(SNR可扩展性)。
[0504] 在如H.264/AVC SVC的先前标准中，直接从编码的基础层中的对应语法元素预测语法元素如运动矢量、参考图片索引或帧内预测模式。
[0505] 在增强层中，机制按区块等级存在以在使用从基础层语法元素推导的预测信号之间切换或从其他增强层语法元素或解码的增强层样本预测。
[0506] 在以下的部分中，基础层数据用于推导解码器侧的增强层参数。
[0507] 方法1：运动参数候选者推导
[0508] 针对空间或质量增强层图片的区块(a)，确定基础层图片的对应区块(b)，其覆盖相同的图片区域。
[0509] 使用下面的方法形成增强层的区块(a)的帧间预测信号：
[0510] 1、确定运动补偿参数集合候选者，如从时间上或空间上相邻的增强层区块或其衍生物。
[0511] 2、对每个候选者运动补偿参数集合执行运动补偿以在增强层中形成帧间预测信号。
[0512] 3、最佳运动补偿参数集合通过最小化增强层区块(a)的预测信号和基础层区块(b)的重构信号之间的误差测量来选择。对于空间可伸缩性，基础层区块(b)可以使用插值滤波器进行空间上采样。
[0513] 运动补偿参数集合包含运动补偿参数的特定组合。
[0514] 运动补偿参数可以是运动矢量，参考图片索引，单向和双向预测和其他参数之间的选择。
[0515] 在可替代的实施例中，使用来自基础层区块的运动补偿参数集合候选者。还在基础层中执行帧间预测(使用基础层参考图片)。为了应用误差测量，可以直接使用基础层区块(b)重构信号，而不进行上采样。所选的最优运动补偿参数集合适用于增强层参考图片以形成区块(a)的预测信号。当应用空间增强层中的运动矢量时，根据分辨率变化对运动矢量进行标度。
[0516] 编码器和解码器都可以执行相同的预测步骤，以从可用的候选者中选择最佳运动补偿参数集合并创建相同的预测信号。这些参数不在编码的视频比特流中进行标记。
[0517] 预测方法的选择在比特流中进行标记，并且可以使用熵编码来编码。在分级区块细分结构内部，该编码方法可在每个子级或替代地仅在编码层次的子集上进行选择。
[0518] 在可替代的实施例中，编码器可以向解码器传输细化运动参数集合预测信号。细化信号包含运动参数的差分编码值。可以对细化信号进行熵编码。
[0519] 在可替代的实施例中，解码器创建最佳候选者的列表。所使用的运动参数组的索引在编码的视频比特流中进行标记。可以对该索引进行熵编码。在示例实现中，列表可以通过增加误差测量进行排序。
[0520] 示例实现使用HEVC的自适应运动矢量预测(AMVP)候选者列表，以生成运动补偿参数集合候选者。
[0521] 另一示例实现使用HEVC的合并模式候选者列表，以生存运动补偿参数集合候选者。
[0522] 方法2：移动矢量的推导
[0523] 针对空间或质量增强层图片的区块(a)，确定基础层图片的对应区块(b)，其覆盖相同的图片区域。
[0524] 使用下面的方法形成增强层的区块(a)的帧间预测信号：
[0525] 1、选择运动矢量预测子。
[0526] 2、对增强层参考图片执行一组定义的搜索位置的运动评估。
[0527] 3、针对每个搜索位置来确定误差测量并选择具有最小误差的运动矢量。
[0528] 4、使用所选的运动矢量形成区块(a)的预测信号。
[0529] 在可替代的实施例中，对重构基础层信号执行搜索。对于空间可伸缩性，在步骤4中创建预测信号之前根据空间分辨率变化对所选的运动矢量进行标度。
[0530] 搜索位置可以处于全像素或子像素分辨率。该搜索也可以在多个步骤中执行，例如，首先基于所选的全像素位置确定继另一组候选者之后的最佳全像素位置。例如当误差测量低于所定义的阈值时，可以提前终止搜索。
[0531] 编码器和解码器都可以执行相同的预测步骤以从候选者中选择最佳运动矢量并创建相同的预测信号。这些矢量在编码的视频比特流中没有进行标记。
[0532] 预测方法的选择在比特流中进行标记，并且可以使用熵编码来编码。分级区块细分结构内，该编码方法可在每个子级或替代地仅在编码层次的子集上进行选择。
[0533] 在可替代的实施例中，编码器可以向解码器传输细化运动矢量预测信号。可以对细化信号进行熵编码。
[0534] 示例实现使用方法1中描述的算法来选择运动矢量预测。
[0535] 另一示例实现使用HEVC的自适应运动矢量预测(AMVP)方法来选择从增强层的时间上或空间上相邻的区块的运动矢量预测子。
[0536] 方法3：帧内预测模式的推导
[0537] 针对增强层(n)图片中的每个区块(a)，确定覆盖重构基础层(n-1)图片中的相同区域的对应区块(b)。
[0538] 在每个基础层区块(b)的可伸缩视频解码器中，使用通过以下算法推断的帧内预测模式(p)来形成帧内预测信号。
[0539] 1)为遵循增强层的帧内预测规则的每个可用帧内预测模式创建帧内预测信号，但使用来自基础层的样本值。
[0540] 2)最佳预测模式(pbest)通过最小化帧内预测信号与解码的基础层区块(b)之间的误差测量(例如绝对差之和)来确定。
[0541] 3)在步骤2)中选择的预测(pbest)模式用于为遵循增强层的帧内预测规则的增强层区块(a)创建预测信号。
[0542] 编码器和解码器都可以执行相同的步骤，以选择最佳的预测模式(pbest)，并形成匹配的预测信号。实际帧内预测模式(pbest)因此不在编码的视频比特流中进行标记。
[0543] 预测方法的选择在比特流中进行标记，并且可以使用熵编码来编码。分级区块细分结构内，该编码模式可在每个子级或替代地仅在编码层次的子集上进行选择。
[0544] 可替代的实施例使用来自步骤2)中的增强层的样本来创建帧内预测信号。针对空间可伸缩增强层，基础层可以使用插值滤波器进行上采样以应用误差测量。
[0545] 可替代的实施例将增强层区块分成较小的区块尺寸(ai)的多个区块(例如，16×16区块(a)可以被分成16 4×4区块(ai))。上述的算法应用于每个子区块(ai)和对应的基础层区块(bi)。在预测区块(ai)之后，残差编码被应用并且结果被用于预测区块(ai+1)。
[0546] 可替代的实施例使用(b)或(bi)周围的样本值来确定预测的帧内预测模式(pbest)。例如，当空间增强层(n)的4×4区块(ai)具有对应的2×2基础层区块(bi)时，(bi)周围的样品被用于形成用于确定预测的帧内预测模式(pbest)的4×4区块(ci)。
[0547] 在可替代的实施例中，编码器可以向解码器传输细化帧内预测方向信号。在视频编解码器中，如HEVC，大部分的帧内预测模式对应于边界像素被用于形成预测信号的角度。最佳模式的偏移可以作为预测模式(pbest)的差(其确定如上所述)进行传输。可以对细化模式进行熵编码。
[0548] 帧内预测模式通常根据其概率进行编码。在H.264/AVC中，最可能的模式基于区块的(空间)邻域中使用的模式来确定。在HEVC中，创建列表最可能的方式。这些最可能的模式可以使用比特流中比整个模式数量所需的更少的符号来选择。可替代的实施例使用区块(a)的预测帧内预测模式(pbest)(其确定如上述算法中所述)作为最可能的模式或最可能模式的列表的成员。
[0549] 方法4：使用边界区域的帧内预测
[0550] 在形成可伸缩或质量增强层的区块(a)(参见图45)的帧内预测信号的可伸缩视频解码器中，来自相同层的周围区域的一系列样本(b)用于填充区块区域。从已经编码的区域取这些样本(通常，但不一定在上部和左边界上)。
[0551] 可以使用选择这些像素的以下可选变型：
[0552] a)如周围区域中的像素尚未编码，则像素值不用于预测当前区块，
[0553] b)如周围区域中的像素尚未编码，则像素值从已经编码的相邻像素进行推导(例如，通过重复)，
[0554] c)如周围区域中的像素尚未编码，则像素值从解码的基础层图片的对应区域中的像素进行推导。
[0555] 为了形成该区块(a)的帧内预测，像素(b)的相邻行(如上述所推导的)被用作模板以填充区块(a)的每行(aj)。
[0556] 区块(a)的行(aj)沿x轴逐步填充。为了达到最佳的可能预测信号，模板样品(b)的行沿y轴移动，以形成相关行(aj)的预测信号(b`j)。
[0557] 为了在每行中查找最佳预测，移位偏移量(oj)通过最小化所产生的预测信号(aj)和基础层中对应行的样本值之间的误差测量来确定。
[0558] 如果(oj)是非整数值，则插值滤波器可以用于将(b)的值映射到如(b`7)所示的(aj)的整数样本位置。
[0559] 如果使用空间可伸缩性，则插值滤波器可以用于创建匹配数量的基础层的对应行的样本值。
[0560] 填充方向(x轴)可以是水平的(从左到右或从右到左)，垂直的(从上到下或从下到上)，对角的，或任何其他角度。用于模板行(b)的样品是在沿x轴的区块的直接邻域的样品。模板行(b)沿y轴移位，其与x轴形成90°的角。
[0561] 为了找到x轴的最佳方向，为区块(a)创建完整的帧内预测信号。选择预测信号和对应基础层区块之间的最小误差测量的角。
[0562] 可以限制可能角度的数量。
[0563] 编码器和解码器都运行相同的算法，以确定最佳预测角度和偏移。明确的角度或偏移信息不需要在比特流中进行标记。
[0564] 在可替代的实施例中，只有基础层图片的样本才用于确定偏移量(oi)。
[0565] 在可替代的实施例中，在比特流中对预测偏移量(oi)的细化(例如差值)进行标记。熵编码可以用于对细化偏移值进行编码。
[0566] 在可替代的实施例中，在比特流中对预测方向的细化(例如差值)进行标记。熵编码可以用于对细化方向值进行编码。
[0567] 如果行(b`j)用于预测，则可替代的实施例使用阈值来选择。如果最佳偏移值(oj)的误差测量低于阈值，则行(ci)被用来确定区块行(aj)的值。如果最佳偏移值(oj)的误差测量高于阈值，则(上采样)基础层信号被用来确定区块行的值(aj)。
[0568] 方法5：其他预测参数
[0569] 推断其他预测信息，类似于方法1-3，例如将区块分割成子区块：
[0570] 针对空间或质量增强层图片的区块(a)，确定基础层图片的对应区块(b)，其覆盖相同的图片区域。
[0571] 使用下面的方法形成增强层的区块(a)的预测信号：
[0572] 1)针对测试参数的每个可能值创建预测信号。
[0573] 2)最好的预测模式(pbest)通过最小化预测信号和解码的基础层区块(b)之间的误差测量(例如，绝对差之和)来确定。
[0574] 3)步骤2)中所选的预测模式(pbest)用于针对增强层区块(a)创建预测信号。
[0575] 编码器和解码器都可以执行相同的预测步骤，以从可能的候选者中选择最佳预测模式并创建相同的预测信号。实际预测模式不在编码的视频比特流中进行标记。
[0576] 预测方法的选择在比特流中进行标记，并且可以使用熵编码来编码。分级区块细分结构内，该编码方法可在每个子级或替代地仅在编码层次的子集上进行选择。
[0577] 下面的描述简要地总结了一些上述实施例。
[0578] 利用使用重构的基础层样本生成帧内预测信号的多种方法进行增强层编码[0579] 主要方面：为了编码增强层中的区块，除了仅基于重构的增强层样本生成预测信号的方法之外，还提供了使用重构的基础层样本生成帧内预测信号的多种方法。
[0580] 子方面：
[0581] ·多种方法包括以下的方法：将(上采样/滤波的)重构基础层信号直接用作增强层预测信号。
[0582] ·多种方法包括以下的方法：(上采样/滤波的)重构基础层信号与空间帧内预测信号组合，其中空间帧内预测基于相邻区块的差样本推导出来。所述差样本表示重构增强层信号和(上采样/滤波的)重构基础层信号的差值(参见A方面)。
[0583] ·多种方法包括以下的方法：传统空间帧内预测信号(使用相邻的重构增强层样本推导的)与(上采样/滤波的)基础层残差信号组合(反变换基础层变换系数或基础层重构和基础层预测之间的差)(参见B方面)。
[0584] ·多种方法包括以下的方法：(上采样/滤波的)重构基础层信号与空间帧内预测信号组合，其中空间帧内预测基于相邻区块的重构增强层样本推导出。最终预测信号通过以不同频率分量使用不同加权的方式对空间预测信号和基础层预测信号进行加权而获得。(参见C1方面)。例如，这可以通过以下任一项来实现：
[0585] ο利用低通滤波器对基础层预测信号进行滤波并利用高通滤波器对空间帧内预测信号进行滤波并将所获得的滤波信号相加。(参见方面C2)
[0586] ο对基础层预测信号和增强层预测信号进行变换并叠加所获得的变换区块，其中不同加权因子用于不同频率位置。(参见方面C3)。然后可以对所获得的变换区块进行反变换并被用作增强层预测信号或(参见方面C4)将所获得的变换系数添加到标度的传输变换系数水平，然后进行反变换以便在去区块和环内处理之前获得重构的区块。
[0587] ·对于使用重构的基层信号的方法，可以使用下面的版本。这可以是固定的，或者可以按序列等级、图片等级、片段等级、最大编码单元等级、编码单元等级进行标记。或者可以取决于其他编码参数进行。
[0588] ο去区块和进一步的环内处理之前的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0589] ο去区块之后但进一步环内处理之前的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0590] ο去区块和进一步环内处理之后或多个环内处理步骤之间的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)(参见方面D)。
[0591] ·可以使用利用(上采样/滤波的)基础层信号的方法的多种版本。所采用的这些版本的上采样/滤波基础层信号在所使用的插值滤波器(包括同样对整数样本位置进行滤波的插值滤波器)中可以有所不同，或第二版本的上采样/滤波基础层信号可以通过对第一版本的上采样/滤波基础层信号进行滤波来获得。不同版本之一的选择可以按序列、图片、片段、最大编码单元、或编码单元等级进行标记或可以从对应的重构基础层信号的特性或传输的编码参数推断出来(参见E方面)。
[0592] ·不同滤波器可以用于对重构基础层信号(参见E方面)和基础层残差信号(参见F方面)进行上采样/滤波。
[0593] ·对于残差信号为零的基础层区块，可以利用从基础层推导出来的另一个信号替代，例如，重构基础层区块的高通滤波版本(参见G方面)。
[0594] ·对于使用空间帧内预测的模式，增强层中的不可用的相邻样本(由于给定编码顺序)可以利用上采样/滤波基础层信号的对应样本替代(参见H方面)。
[0595] ·对于使用空间帧内预测的模式，可以修改帧内预测模式的编码。最可能的模式的列表包括共同定位基础层信号的帧内预测模式。
[0596] ·在特定版本中，增强层图片在两阶段过程中进行解码。在第一阶段，只解码并重构只使用基础层信号(但不使用相邻区块)或用于预测的帧间预测信号的区块。在第二阶段，重构使用用于预测的相邻样本的剩余区块。对于第二阶段重构的区块，可以扩展空间帧内预测概念(参见方面I)。基于已经重构的区块的可用性，不但当前区块顶部和左边的相邻样本可以用于空间帧内预测，而且当前区块的底部和右边的相邻样本也可以用于空间帧内预测。
[0597] 利用使用重构的基础层样本生成帧间预测信号的多种方法进行增强层编码[0598] 主要方面：为了编码增强层中的区块，除了仅基于重构的增强层样本生成预测信号的方法之外，还提供了使用重构的基础层样本生成帧间预测信号的多种方法。
[0599] 子方面：
[0600] ·多种方法包括以下的方法：传统的帧间预测信号(通过已经重构的增强层图片的运动补偿插值推导出来)与(上采样/滤波的)基础层残差信号(反变换基础层变换系数或基础层重构和基础层预测之间的差)组合。
[0601] ·多种方法包括以下的方法：(上采样/滤波的)重构基础层信号与运动补偿预测信号组合，其中通过运动补偿差分图片得到运动补偿预测信号。差分图片表示参考图片的重构增强层信号和(上采样/滤波的)重构基础层信号的差(参见方面J)。
[0602] ·多种方法包括以下的方法：(上采样/滤波的)重构基础层信号与帧间预测信号组合，其中帧间预测通过运动补偿预测使用重构增强层图片推导出来。最终预测信号通过以不同频率分量使用不同加权的方式对帧间预测信号和基础层预测信号进行加权而获得。(参见方面C)。例如，这可以通过以下任一项来实现：
[0603] ο利用低通滤波器对基础层预测信号进行滤波并利用高通滤波器对帧间预测信号进行滤波并将所获得的滤波信号相加。
[0604] ο对基础层预测信号和帧间预测信号进行变换并叠加所获得的变换区块，其中不同加权因子用于不同频率位置。然后可以对所获得的变换区块进行反变换并被用作增强层预测信号或将所获得的变换系数添加到标度的传输变换系数水平，然后进行反变换以便在去区块和环内处理之前获得重构的区块。
[0605] ·对于使用重构的基层信号的方法，可以使用下面的版本。这可以是固定的，或者可以按序列等级、图片等级、片段等级、最大编码单元等级、编码单元等级进行标记。或者可以取决于其他编码参数进行。
[0606] ο去区块和进一步的环内处理之前的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0607] ο去区块之后但进一步环内处理之前的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)。
[0608] ο去区块和进一步环内处理之后或多个环内处理步骤之间的重构基础层样本(诸如样本自适应偏移滤波器或自适应环路滤波器)(参见方面D)。
[0609] ·对于残差信号为零的基础层区块，可以利用从基础层推导出来的另一个信号替代，例如，重构基础层区块的高通滤波版本(参见方面G)。
[0610] ·可以使用利用(上采样/滤波的)基础层信号的方法的多种版本。所采用的这些版本的上采样/滤波基础层信号在所使用的插值滤波器(包括同样对整数样本位置进行滤波的插值滤波器)中可以有所不同，或第二版本的上采样/滤波基础层信号可以通过对第一版本的上采样/滤波基础层信号进行滤波来获得。不同版本之一的选择可以按序列、图片、片段、最大编码单元、或编码单元等级进行标记或可以从对应的重构基础层信号的特性或传输的编码参数推断出来(参见方面E)。
[0611] ·不同滤波器可以用于对重构基础层信号(参见方面E)和基础层残差信号(参见方面F)进行上采样/滤波。
[0612] ·对于差分图片的运动补偿预测(增强层重构和上采样/滤波的基础层信号之间的差)(参见方面J)，可以使用与重构图片的运动补偿预测不同的插值滤波器。
[0613] ·对于差分图片的运动补偿预测(增强层重构和上采样/滤波的基础层信号之间的差)(参见方面J)，基于差分图片中的对应区域的特性(或基于编码参数或基于比特流中传输的信息)来选择插值滤波器。
[0614] 增强层运动参数编码
[0615] 主要方面：将多个增强层预测子和从基础层推导出的至少一个预测子用于增强层运动参数编码。
[0616] 子方面：
[0617] ·将(标度的)基础层运动矢量添加到运动矢量预测子列表(参见方面K)。
[0618] ο使用覆盖当前区块的中心位置的共同定位样本的基础层区块(其他可能的推导)。
[0619] ο根据分辨率比标度运动矢量。
[0620] ·将共同定位基础层区块的运动数据添加到合并候选者列表(参见方面K)。
[0621] ο使用覆盖当前区块的中心位置的共同定位样本的基础层区块(其他可能的推导)。
[0622] ο根据分辨率比标度运动矢量。
[0623] ο如果在基础层中merge_flag等于1，则不添加。
[0624] ·基于基础层合并信息对合并候选者列表进行重排序(参见方面L)。
[0625] ο如果共同定位基础层区块与特定候选者合并，则对应增强层候选者被用作增强层合并候选者列表中的第一条目。
[0626] ·基于基础层运动预测子信息对运动预测子候选者列表进行重排序(参见L方面)。
[0627] ο如果共同定位基础层区块使用特定运动矢量预测子，则对应的增强层运动矢量预测子被用作增强鞥运动矢量预测子候选者列表中的第一条目。
[0628] ·基于共同定位的区块中的基础层信息推导合并索引(即，当前区块与其合并的候选者)(参见M方面)。例如，如果基础层区块与特定的相邻区块合并且在增强层区块同样合并的比特流内进行标记，则不传输合并索引，但与共同定位的基础层区块相同的邻域(但在增强层中)合并，而不是增强层区块。
[0629] 增强层划分和运动参数推断
[0630] 主要方面：基于基础层划分和运动参数推断增强层划分和运动参数(组合该方面和任意子方面的可能所需的)。
[0631] 子方面：
[0632] ·基于共同定位基础层运动数据推导增强层的N×M子区块的运动参数；将具有相同所导出的参数(或具有小的差的参数)概括为更大的区块；确定预测和编码单元(参见T方面)。
[0633] ·运动参数可以包括：运动假设的数量，参考索引，运动矢量，运动矢量预测子标识符，合并标识符。
[0634] ·标记用于生成增强层预测信号多种方法之一，这样的方法可以包括以下内容：
[0635] ο使用推导出的运动参数和重构增强层参考图片的运动补偿。
[0636] ο使用通过从重构增强层图片中减去(上采样/滤波的)基础层重构生成的推导运动参数和增强层参考图片组合(a)当前图片的(上采样/滤波的)基础层重构和(b)运动补偿信号。
[0637] ο使用推导运动参数和重构增强层参考图片组合(a)当前图片的(上采样/滤波的)基础层残差(重构信号和编码变换系数值的预测或反变换之间的差)和(b)运动补偿信号。
[0638] ·如果对基础层中的共同定位区块进行帧内编码，则也对对应增强层M×N区块(或CU)进行帧内编码，其中帧内预测信号通过使用基础层信息来推导(参见方面U)，例如：
[0639] ο对应基础层重构的(上采样/滤波的)版本被用作帧内预测信号(参见U方面)。
[0640] ο帧内预测模式基于基础层中使用的帧内预测模式进行推导并且该帧内预测模式用于增强层中的空间帧内预测。
[0641] ·如果M×N增强层区块(子区块)的共同定位基础层区块与先前编码的基础层区块合并(或具有相同的运动参数)，则M×N增强层(子)区块也与增强层区块合并，该增强层区块对应于用于基础层中的合并的基础层区块(即，从对应的增强层区块复制运动参数)(参见M方面)。
[0642] 编码变换系数水平/上下文建模
[0643] 主要方面：使用不同扫描模式进行变换系数编码。对于增强层，基于编码模式和/或基础层数据进行上下文建模，以及上下文模型的不同初始化。
[0644] 子方面：
[0645] ·引入一个或多个附加的扫描模式，例如水平和垂直扫描模式。重新定义额外扫描模式的子区块。代替4×4子区块，可以使用例如16×1或1×16的子区块，或可以使用8×2和8×2的子区块。可以只针对大于或等于特定尺寸，例如8×8或16×16的区块引入额外扫描模式(参见V方面)。
[0646] ·所选的扫描模式在比特流内进行标记(如果编码区块标记等于1)(参见N方面)。可以使用固定的上下文对对应的语法元素进行标记。或对应语法元素的上下文推导可以取决于以下任一：
[0647] ο共同定位的重构基础层信号或重构基础层残差的梯度。或基础层信号中的检测边缘。
[0648] ο共同定位基础层区块中的变换系数分布。
[0649] ·所选的扫描模式可以基于共同定位基础层信号的属性从基础层信号直接推导(没有传输的任何额外数据)(参见N方面)：
[0650] ο共同定位的重构基础层信号或重构基础层残差的梯度。或基础层信号中的检测边缘。
[0651] ο共同定位基础层区块中的变换系数分布。
[0652] ·不同扫描可以以在编码器侧的量化并使用传统编码之后对变换系数重排序的方式来实现。在解码器侧，在标度和反变换之前(或在标度之后并在反变换之前)照惯例对变换系数进行解码并重排序。
[0653] ·为了编码有效标记(单一变换系数的子组标记和/或有效标记)，可以在增强层中使用以下修改：
[0654] ο独立上下文模型用于使用基础层信息的编码模式的所有或子集。也可以将不同的上下文模型用于具有基础层信息的不同模式。
[0655] ο上下文建模可以取决于共同定位的基础层区块中的数据(例如，特定频率位置的有效变换系数的数量)(参见方面O)。
[0656] ο可以使用通用模板，其对这两者都进行评估，即要编码的系数的空间邻近中的已经编码的有效变换系数水平的数量和相似频率位置的共同定位基础层信号中的有效变换系数的数量(参见方面O)。
[0657] ·为了对最后有效扫描位置进行编码，可以在增强层中使用以下修改：
[0658] ο独立上下文模型用于使用基础层信息的编码模式的所有或子集。也可以将不同的上下文模型用于具有基础层信息的不同模式(参见方面P)。
[0659] ο上下文建模可以取决于共同定位的基础层区块中的数据(例如，基础层中的变换系数分布、基础层的梯度信息、共同定位基础层区块中的最后扫描位置)。
[0660] ο最后扫描位置可以被编码为与最后基础层扫描位置的差(参见方面S)。
[0661] ·基础和增强层的不同上下文初始化表的使用情况。
[0662] 使用基础层数据进行后向自适应增强层编码
[0663] 主要方面：使用基础层数据来推导增强层编码参数。
[0664] 子方面：
[0665] ·基于所述(可能上采样的)基础层重构推导合并候选者。在增强层中，只标记合并的使用，但用于合并当前区块的实际候选者基于所述重构的基层信号导出。因此，对于所有的合并候选者，当前增强层区块的(可能上采样的)基础层和对应预测信号(使用合并候选者的运动参数导出)之间的误差测量针对所有合并候选者(或其子集)进行评估并选择与最小误差测量相关联的合并候选者。误差测量的计算还可以在基础层中使用重构基础层信号和基础参考图片进行(参见方面Q)。
[0666] ·基于所述(可能上采样的)基础层重构推导运动矢量。运动矢量差没有编码，但基于重构的基础层来推断。确定当前区块的运动矢量预测子并评估运动矢量预测子周围的定义的一组搜索位置。对于每个搜索位置，确定当前增强层区块的(可能上采样)基础层信号和移位参考帧(位移通过所述位置给出)之间的误差测量。选择产生最小误差测量的搜索位置/运动矢量。该搜索可以分几个阶段进行划分。例如，首先执行整像素搜索，之后是最佳整像素矢量周围的半像素搜索，之后是最佳整像素/半像素矢量周围的四分之一像素搜索。该搜索还可以在基础层中使用重构基础层信号和基础层参考图片来执行，然后根据基础和增强层之间的分辨率变化对发现的运动矢量进行标度(参见方面Q)。
[0667] ·基于所述(可能上采样的)基础层重构推导帧内预测模式。帧内预测模式没有编码，但基于重构的基础层来推断。针对每个可能的帧内预测模式(或其子集)，确定当前增强层区块的(可能上采样的)基础层信号和帧内预测信号之间的误差测量(使用测试的预测模式)。选择产生最小误差测量的预测模式。误差测量的计算还可以在基础层中使用重构基础层信号和基础层中的帧内预测信号进行。此外，帧内区块可以隐式地分解为4×4区块(或其他区块尺寸)并且针对每个4×4区块，可以确定独立的帧内预测模式(参见Q方面)。
[0668] ·帧内预测信号可以通过边界样本逐行或逐列与重构基础层信号匹配来确定。为了推导相邻样本和当前行/排之间的移位，在相邻样本的移位行/排和重构基础层信号之间计算误差测量，并且选择产生最小误差测量的移位。可以使用(上采样)基础层样本或增强层样本作为相邻样本。误差测量还可以在基础层中直接计算(参见方面W)。
[0669] ·使用后向自适应方法来推导其他编码参数诸如区块划分等。
[0670] 下面提出上述实施例的进一步简要介绍。特别描述了上述实施例。
[0671] A1)一种可伸缩视频解码器，被配置为：
[0672] 从编码数据流(6)重构(80)基础层信号(200a，200b，200c)，
[0673] 重构(60)增强层信号(360)，包括：
[0674] 使重构基础层信号(200a，200b，200c)经历(220)分辨率或质量细化以获得层间预测信号(380)，
[0675] 计算(260)增强层信号的已经重构部分(400a或400b)与层间预测信号(380)之间的差分信号，
[0676] 从与第一部分空间相邻并属于增强层信号(360)的已经重构部分的差分信号的第二部分(460)空间上预测(260)与当前待重构的增强层信号(360)的一部分并置的第一部分(440，比较图46)的差分信号，以获得空间帧内预测信号，
[0677] 组合(260)层间预测信号(380)和空间帧内预测信号以获得增强层预测信号(420)，以及
[0678] 使用增强层预测信号(420)预测性地重构(320，580，340，300，280)增强层信号(360)。
[0679] 根据方面A1，基础层信号可以通过基础层解码级80分别从编码数据流6或子流6a重构，就基础层残差信号640/480而言，以上文利用变换解码描述的基于区块的预测方式，但还可能存在其他重构替代方案。
[0680] 就通过增强层解码级60重构增强层信号360而言，重构基础层信号200a，200b，200c进行的分辨率或质量细化例如在分辨率细化的情况下可以涉及上采样，或在质量细化的情况下可以涉及复制，或在位深细化的情况下可以涉及从n比特至m比特的色调映射，其中m>n。
[0681] 差分信号的计算可以逐像素地进行，即，彼此减去一方面增强层信号且另一方面预测信号380的共同定位像素并且按照像素位置进行。
[0682] 差分信号的空间预测可以以任何方式进行，诸如通过在编码数据流6中或在子流6b中传输帧内预测参数，诸如帧内预测方向，并沿帧内预测方向将与当前待重构的增强层信号360的部分邻近的已经重构像素复制/插值到增强层信号的当前部分中。组合可以涉及相加、加权和或甚至更复杂的组合诸如以不同方式对频域中的贡献值进行加权的组合。
[0683] 使用增强层预测信号420对增强层信号360进行预测重构如图中所示可以涉及对增强层残差信号540进行熵解码和反变换以及组合340后者和增强层预测信号420。
[0684] B1)一种可伸缩视频解码器，被配置为：
[0685] 从编码数据流(6)解码(100)基础层残差信号(480)，
[0686] 重构(60)增强层信号(360)，包括：
[0687] 使重构基础层残差信号(480)经历(220)分辨率或质量细化以获得层间残差预测信号(380)；
[0688] 从增强层信号(360)的已经重构部分空间预测(260)要重构的增强层信号(360)的一部分以获得增强层内部预测信号；
[0689] 组合(260)层间残差预测信号和增强层内部预测信号以获得增强层预测信号(420)；以及
[0690] 使用增强层预测信号(420)预测性地重构(340)增强层信号(360)。
[0691] 从编码数据流解码基础层残差信号如图中所示可以通过使用熵解码和反变换来执行。而且，可伸缩视频解码器还可以任选对基础层信号本身执行重构，即通过推导基础层预测信号660并将其与基础层残差信号480组合进行的预测解码。如刚才所述，这仅仅是可选的。
[0692] 就重构增强层信号而言，可以执行分辨率或质量细化，如上文针对A)所述。
[0693] 就增强层信号的部分的空间预测而言，还可以执行空间预测，如A)中针对差分信号示例性地所述。就组合和预测重构而言，类似的注释是有效的。
[0694] 然而，应该提到的是，方面B中的基础层残差信号480不限于等于基础层残差信号480的明确标记版本。相反，可能的是可伸缩视频解码器减去具有基础层预测信号660的任意重构基础层信号版本200，由此获得可以通过源自滤波器120或140的滤波器函数的偏差偏离明确标记的一。后一种陈述对层间预测中涉及基础层残差信号的其他方面来说也是有效的。
[0695] C1)一种可伸缩视频解码器，被配置为：
[0696] 从编码数据流(6)重构(80)基础层信号(200a，200b，200c)，
[0697] 重构(60)增强层信号(360)，包括：
[0698] 使重构基础层信号(200)经历(220)分辨率或质量细化以获得层间预测信号(380)；
[0699] 从增强层信号(360)的已经重构部分(在“空间方式”的情况下为400a，400b，在“时间方式”的情况下为400a，400b，400c)空间或时间预测(260)当前待重构的增强层信号(360)的一部分以获得增强层内部预测信号；
[0700] 在当前待重构的部分形成(260)层间预测信号和增强层内部预测信号(380)的加权平均值以获得增强层预测信号(420)，以使得层间预测信号和增强层内部预测信号(380)以此贡献于增强层预测信号(420)的权重随不同的空间频率分量变换；以及
[0701] 使用增强层预测信号(420)预测性地重构(320，340)增强层信号(360)。
[0702] C2)其中，形成(260)加权平均值包括在当前待重构的部分，利用低通滤波器对层间预测信号(380)进行滤波(260)并利用高通滤波器对增强层内部预测信号进行滤波(260)以获得滤波信号，并将所获得的滤波信号相加。
[0703] C3)其中，形成(260)加权平均值包括在当前待重构的部分，变换(260)层间预测信号和增强层内部预测信号以便获得变换系数，并通过将不同加权因子用于不同空间频率分量叠加(260)所获得的变换系数以获得叠加的变换系数，对叠加变换系数进行反变换以获得增强层预测信号。
[0704] C4)其中，使用增强层预测信号(420)对增强层信号进行预测重构(320，340)包括从编码数据流(6)中提取(320)增强层信号的变换系数水平，执行(340)变换系数水平和叠加变换系数的和以便获得增强层信号的变换版本并使增强层信号的变换版本进行反变换以便获得增强层信号(360)(即，图中的反变换T-1可以放置在加法器30下游，至少针对该编码模式)。
[0705] 就重构基础层信号而言，参照上述描述，诸如一般参照附图并参照方面A)和方面B)。
[0706] 这同样适用于C中提到的分辨率或质量细化，以及空间预测。
[0707] C中提到的时间预测可以涉及预测提供器160分别从编码数据流6和子流6a推导运动预测参数。运动参数可以包括：运动矢量、参考帧索引，或可以包括运动细分信息和当前重构部分的每子区块的运动矢量的组合。
[0708] 如上所述，形成加权平均值可以终止于空间域或变换域，并且因此，加法器340相加可以在空间或变换域中执行。在后一种情况下，反变换580可以将反变换应用到加权平均值上。
[0709] D1)一种可伸缩视频解码器，被配置为：
[0710] 从编码数据流(6)重构(80)基础层信号(200a，200b，200c)，
[0711] 重构(60)增强层信号(380)，包括：
[0712] 使重构基础层信号经历(220)分辨率或质量细化以获得层间预测信号(380)；
[0713] 使用层间预测信号(380)预测性地重构(320，340)增强层信号(360)；
[0714] 其中，执行增强层信号的重构(60)，以使得层间预测信号(380)，经由编码比特流(360)中的边信息控制，从分别用基础层信号和增强层信号可伸缩性地表示的视频的不同部分的去区块和环内滤波(140)的不同的一个(200a)，一个或全部(200b，200c)演化而来。
[0715] 就重构基础层信号而言，参照上述描述，诸如一般参照附图并参照方面A)和方面B)。这同样适用于分辨率或质量细化。
[0716] D中提到的预测重构可以涉及预测提供器160，如上所述，并且可以涉及：
[0717] 从增强层信号(360)的已经重构部分空间或时间预测(260)当前待重构的增强层信号(360)的一部分以获得增强层内部预测信号，
[0718] 组合(260)层间预测信号(380)和增强层内部预测信号以获得增强层预测信号(420)。
[0719] 层间预测信号(380)，经由编码比特流(360)中的边信息控制，从视频的不同部分的去区块和环内滤波(140)的不同的一个(200a)，一个或全部(200b，200c)演化而来的情况如下：
[0720] 自然地，基础层子流6a本身可以(任选)标记不同测量的使用情况以得到最终基础层信号600诸如绕过所有滤波器120，140，仅使用去区块或仅使用环内滤波或使用去区块和环内滤波这两者。甚至可以通过6a中的边信息来标记/改变滤波器传递函数。定义不同部分的进行这些变型的粒度可以由前述编码单元、预测区块或任何其他粒度定义。如果只重构基础层信号，则可伸缩视频解码器(编码级80)由此应用这些变型。然而，独立于此，子流6b包括边信息，其标记新的(即，独立于刚才提及的基础层信号6a中的边信息)变型，其滤波组合用于获得基础层信号，该基础层信号用于预测重构增强信号：绕过所有滤波器120，140，仅使用去区块或仅使用环内滤波或使用去区块和环内滤波这两者。甚至可以通过6b中的边信息来标记/改变滤波器传递函数。定义不同部分的进行这些变型的粒度可以由前述编码单元、预测区块或任何其他粒度定义并且可以不同于在基础层信号6a中使用该信令的粒度。
[0721] E1)一种可伸缩视频解码器，被配置为：
[0722] 从编码数据流(6)重构(80)基础层信号(200a，200b，200c)，
[0723] 重构(60)增强层信号(360)，包括：
[0724] 使重构基础层信号经历(220)分辨率或质量细化以获得层间预测信号(380)；
[0725] 使用层间预测信号(380)预测性地重构(320，340)增强层信号(360)；
[0726] 其中，执行增强层信号(360)的重构(60)，以使得层间预测信号，经由编码比特流(6)或信号相关中的边信息控制，从分别用基础层信号和增强层信号可伸缩性地表示的视频的不同部分的上采样插值滤波器(220)的不同滤波器传递函数演化而来。
[0727] 就重构基础层信号而言，参照上述描述，诸如一般参照附图并参照A)和B)方面。这同样适用于分辨率或质量细化。
[0728] 提到的预测重构可以涉及预测提供器160，如上所述，并且可以涉及：
[0729] 从增强层信号(360)的已经重构部分空间或时间预测(260)当前待重构的增强层信号(360)的一部分以获得增强层内部预测信号，
[0730] 组合(260)层间预测信号(380)和增强层内部预测信号以获得增强层预测信号(420)。
[0731] 层间预测信号经由编码比特流(6)或信号相关中的边信息控制，从视频的不同部分的上采样插值滤波器(220)的不同滤波器传递函数演化而来的情况如下：
[0732] 自然地，基础层子流6a本身可以(任选)标记不同测量的使用情况以得到最终基础层信号600诸如绕过所有滤波器120，140，仅使用去区块或仅使用环内滤波或使用去区块和环内滤波这两者。甚至可以通过6a中的边信息来标记/改变滤波器传递函数。定义不同部分的进行这些变型的粒度可以由前述编码单元、预测区块或任何其他粒度定义。如果只重构基础层信号，则可伸缩视频解码器(编码级80)由此应用这些变型。然而，独立于此，子流6b可以包括边信息，其标记额外的(即，独立于刚才提及的基础层信号6a中的边信息)细化器220中使用的滤波器传递函数的变型以获得细化信号380。定义不同部分的进行这些变型的粒度可以由前述编码单元、预测区块或任何其他粒度定义并且可以不同于提到的基础层信号6a的粒度。
[0733] 如上所述，可以从基础层信号、基础层残差信号或子流6a中的编码参数推断出要使用的变型与信号相关(使用或不使用额外的边信息)。
[0734] F1)一种可伸缩视频解码器，被配置为：
[0735] 从编码数据流解码(100)基础层残差信号(480)，
[0736] 通过使重构基础层残差信号(480)经历(220)分辨率或质量细化以获得层间残差预测信号(380)并使用层间残差预测信号(380)预测性地重构(320，340，以及任选260)增强信号(360)来重构(60)增强层信号(360)，
[0737] 其中，执行增强层信号(360)的重构(60)，以使得层间残差预测信号，经由编码比特流或信号相关中的边信息控制，从分别用基础层信号和增强层信号可伸缩性地表示的视频的不同部分的的不同滤波器传递函数演化而来。
[0738] 就重构基础层残差信号而言，参照上述描述，诸如一般参照附图并参照方面B)。这同样适用于分辨率或质量细化。
[0739] 提到的预测重构可以涉及预测提供器160，如上所述，并且可以涉及：
[0740] 从增强层信号(360)的已经重构部分空间或时间预测(260)当前待重构的增强层信号(360)的一部分以获得增强层内部预测信号，
[0741] 从编码数据流解码(320)增强残差信号，
[0742] 组合(还涉及340和260)增强层内部预测信号、层间残差预测信号(380)和增强层残差信号以获得增强层信号(360)。
[0743] 层间残差预测信号经由编码比特流中的边信息控制，从视频的不同部分的不同滤波器传递函数演化而来的情况如下：
[0744] 自然地，基础层子流6a本身可以(任选)标记不同测量的使用情况以得到最终基础层信号600诸如绕过所有滤波器120，140。参见D)和E)的上述描述。然而，独立于此，子流6b可以包括边信息，其标记额外的(即，独立于刚才提及的基础层信号6a中的边信息)细化器220中使用的滤波器传递函数的变型以获得细化残差信号380。定义不同部分的进行这些变型的粒度可以由前述编码单元、预测区块或任何其他粒度定义并且可以不同于提到的基础层信号6a的粒度。
[0745] 如上所述，可以从基础层信号、基础层残差信号或子流6a中的编码参数推断出要使用的变型与信号相关(使用或不使用额外的边信息)。
[0746] G1)一种可伸缩视频解码器，被配置为：
[0747] 从编码数据流(6)解码(100)基础层信号(200)的基础层残差信号(480)，[0748] 通过使重构基础层残差信号(480)经历(220)分辨率或质量细化以获得层间残差预测信号(380)并使用层间残差预测信号(380)预测性地重构(320，340，以及任选260)增强信号(360)来重构(60)增强层信号(360)，
[0749] 其中，重构(60)增强层信号(360)包括识别(260)为全零的基础层残差信号(480)的区块并利用从基础层信号(200)的部分推导的替代信号替代所识别的区块。
[0750] 就解码基础层残差信号而言，参照上述描述，诸如一般参照附图并参照方面B)。这同样适用于分辨率或质量细化。
[0751] 提到的预测重构可以涉及预测提供器160，如上所述，并且可以涉及：
[0752] 从增强层信号(360)的已经重构部分空间或时间预测(260)当前待重构的增强层信号(360)的一部分以获得增强层内部预测信号，
[0753] 从编码数据流解码(320)增强残差信号，
[0754] 组合(还涉及340和260)增强层内部预测信号、层间残差预测信号(380)和增强层残差信号以获得增强层信号(360)。
[0755] 优选地，识别涉及提供器260检查基础层流(6a)中的语法元素，其按例如是前述编码单元的进一步细分的变换区块的粒度指示相应变换区块是否为全零。
[0756] 用于替代的基础层信号的部分，如上所述，例如可以是基础层信号200a，200b，200c的高通滤波版本。
[0757] H1)一种可伸缩视频解码器，被配置为：
[0758] 从编码数据流(6)重构(80)基础层信号(200a，200b，200c)，
[0759] 重构(60)增强层信号，包括：
[0760] 使重构基础层信号(200)经历(220)分辨率或质量细化以获得层间预测信号(380)，
[0761] 从增强层信号(360)的已经重构部分空间预测(260)当前待重构的增强层信号(360)的一部分以获得增强层预测信号(420)，
[0762] 使用增强层预测信号(420)预测性地重构(340)增强层信号(360)，
[0763] 其中，空间预测(260)包括利用层间预测信号(380)的共同定位到不可用部分的共同定位部分替代当前待重构的部分的预定邻域内的不可用部分并且还根据层间预测信号(380)的共同定位部分执行空间预测。
[0764] 就重构基础层信号而言，参照上述描述，诸如一般针对附图并针对A)和B)方面。这同样适用于分辨率或质量细化，以及上文同样所述的空间预测和预测重构。
[0765] 非可用性可以从以下事实得到：想象预定邻域包含当前待重构的部分/区块的顶部边缘上方的相邻样本以及进一步扩展到其右边的样本，以及当前待重构的当前区块/部分的左侧边缘左边的样本以及进一步向其下方扩展的样本。进一步地，想象空间预测适用于区块/部分(其是基于多树的细分)并且这些区块在预测重构过程中按深度优先锯齿形遍历顺序进行遍历。然后，一些区块具有讨论中的可用的所有相邻样本，即，已经对其进行重构。然而，一些区块缺乏一些样本，即，没有完全进行重构。然后替代丢失的的样本，如本文所述。可能需要替代的另一个事实是任意帧内部的片段边界的位置。替代本身通过将层间预测信号(380)的共同定位样本复制为丢失的样本来进行。然后，使用完整(完成的)预定邻域进行空间预测，包括从层间预测信号(380)复制的样本和来自重构增强层信号的样本。
[0766] I1)一种可伸缩视频解码器，被配置为：
[0767] 通过将层间预测模式、时间帧间预测模式和空间帧内预测模式中的不同模式用于帧的不同区块来重构(60)增强层信号(360)，
[0768] 其中，可伸缩视频解码器配置为，在重构(60)增强层信号(360)的过程中，通过在第一次扫描，然后在第二次扫描中遍历区块来重构(60)区块，并且在第一次扫描中，使用空间帧内预测模式跳过要重构的区块并使用层间预测模式和帧间预测模式中的一个重构要重构的区块，并且在第二次扫描中，使用空间帧内预测模式来重构要重构的区块。
[0769] 针对“空间帧内预测模式”和“时间帧间预测模式”，参照可行的实施方式的上述讨论。针对“层间预测模式”，可以使用这些模式的任意实例，如目前或下文所述。由于让增强层信号的空间帧内预测模式区块的完整轮廓被已经重构的样本包围的机会提高，可以增加从其填充当前预测的空间帧内预测模式区块的内部的相邻样本的模板以全部包围该轮廓。
[0770] J1)一种可伸缩视频解码器，被配置为：
[0771] 从编码数据流(6)重构(80)基础层信号(200a，200b，200c)，
[0772] 重构(60)增强层信号(360)，包括：
[0773] 使重构基础层信号(200a，200b，200c)经历(220)分辨率或质量细化以获得参考帧和当前帧的层间预测信号(380)，
[0774] 在参考帧的层间预测信号(380)和参考帧的已经重构的增强层信号(360)之间形成(260)差分信号，
[0775] 使差分信号进行(260)进行运动补偿预测以便获得当前帧的差分信号预测，[0776] 组合(260)当前帧的层间预测信号(380)和当前帧的差分信号预测以便获得增强层预测信号(420)，以及
[0777] 使用增强层预测信号(420)预测性地重构(320，340，300，280)增强层信号(360)。
[0778] J2)其中，在形成参考帧的差分信号的过程中，所使用的重构增强层信号是去区块之前、去区块之后但任选环路滤波之前、或去区块和任选环路滤波之后的增强层重构。
[0779] J3)其中，在比特流内按序列、图片或区块等级标记用于形成参考帧的差分信号的增强层信号的选择。
[0780] 运动补偿预测可以涉及分别从编码数据流6和子流6b推导运动预测参数的预测提供器260，针对当前重构的增强信号的重构区块，推导涉及解码器320。运动矢量应用于当前待重构的增强信号的部分的位置，并且分别移位的部分从差分信号进行复制(利用或不利用分数样本插值)。由此复制的部分在该组合中例如逐像素添加有共同定位到当前重构部分的层间预测信号(380)的部分。
[0781] K1)一种可伸缩视频解码器，被配置为：
[0782] 从编码数据流(6)解码基础层运动参数(520)，
[0783] 重构(60)增强层信号(260)，包括：
[0784] 针对增强层信号(360)的帧的区块从帧的已经重构的相邻区块中收集(260)运动参数候选者的集合，
[0785] 从基础层运动参数(520)中收集(260)并置到增强层信号(360)的帧的区块的基础层信号的基础层运动参数，
[0786] 将基础层运动参数或基础层运动参数的标度版本添加到(260)这组运动参数候选者中以便获得运动参数候选者的扩展运动参数候选者集合，
[0787] 选择(260)扩展运动参数候选者集合的运动参数候选者中的至少一个，[0788] 通过运动补偿预测使用扩展运动参数候选者集合的运动参数候选者中所选的运动参数候选者预测(260)增强层信号。
[0789] K2)其中，可伸缩视频解码器配置为根据基础层信号和增强层信号之间的空间分辨率比对基础层运动参数进行标度以获得基础层运动参数的标度版本。
[0790] K3)其中，可伸缩视频解码器配置为检查是否使用合并在编码数据流中对基础层运动参数进行编码，如果使用合并在编码数据流中对基础层运动参数进行编码，则抑制添加。
[0791] 这个方面提到的运动参数可能只与运动矢量(运动矢量预测)有关，或与包括运动假设数量/区块、参考索引、划分信息(合并)的一组完整的运动参数有关。
[0792] 因此，“标度版本”就空间可伸缩性而言可以源自根据基础和增强层信号之间的空间分辨率比对基础层信号中使用的运动参数进行标度。
[0793] 从编码数据流解码基础层运动参数520可以涉及运动矢量预测或合并。
[0794] 将基础层信号的共同定位部分使用的运动参数并入合并/运动矢量候选者集合中允许在层内候选者和层间候选者之间进行非常有效的索引。
[0795] 选择可以涉及将所有明确标记到增强层信号中的运动参数候选者的扩展集合/列表中，诸如针对预测区块、编码单元等。可替换地，可以从增强层信号6b的其他信息或层间信息推断出选择索引。
[0796] L1)一种可伸缩视频解码器，被配置为：
[0797] 从编码数据流(6)解码(100)基础层运动参数(520)，
[0798] 重构(60)增强层信号(360)，包括：
[0799] 根据基础层运动参数给增强层信号的运动参数候选者列表排序(240)，[0800] 从排序的增强层信号的运动参数候选者列表中选择(240)增强层运动参数，经由编码数据流(6)中明确标记的索引语法元素控制，以及
[0801] 通过运动补偿预测使用确定的运动参数预测(260)增强层信号。
[0802] 参照该方面提到的运动参数，如上文参照方面K描述的情况适用。
[0803] 从编码数据流解码基础层运动参数520，同样可以(任选)涉及运动矢量预测或合并。
[0804] 排序可以根据测量相应增强层运动参数候选者和与共同定位到增强层信号的当前区块的基础层信号的区块有关的基础层信号的基础层运动参数之间的差的测量来进行。也就是说，针对增强层信号的当前区块，可以首先确定增强层运动参数候选者的列表。然后，执行排序，如刚才所述的。此后，通过显示信令来执行选择。
[0805] 排序还可以根据测量与共同定位到增强层信号的当前区块的基础层信号的区块有关的基础层信号的基础层运动参数和基础层中空间和/或时间相邻区块的基础层运动参数之间的差的测量来进行。然后将基础层中确定的排序转移到增强层，使得以排序与确定的对应基础层候选者的排序相同的方式进行排序，其中当相关联的基础层区块与增强层区块空间/时间共同定位时，认为基础层运动参数候选者对应于增强层运动参数候选者，所述增强层区块与所考虑的增强层运动参数候选者相关联。基于该排序，通过显示信令来执行选择。
[0806] M1)一种可伸缩视频解码器，配置为：
[0807] 使用到基础层信号(200)的运动参数候选者列表的索引从编码数据流(6)解码(100)基础层运动参数(520)，
[0808] 重构(60)增强层信号(360)，包括：
[0809] 根据到基础层信号的运动参数候选者列表的索引来确定(240)到增强层信号的运动参数候选者列表的索引，
[0810] 使用到增强层信号的运动参数候选者列表的索引来去顶(240)增强层运动参数，以及
[0811] 通过运动补偿预测使用确定的运动参数预测(260)增强层信号。
[0812] 针对该方面提到的运动参数，如上文针对方面K描述的情况适用。
[0813] 解码基础层运动参数520针对基础层信号的区块可以涉及：
[0814] 检查标记信令以通过合并的方式或无需合并(预测地或单独编码)检查当前区块的运动参数是否在基础层子流6a中进行标记。
[0815] 如果使用合并编码或预测性地编码，
[0816] 确定基础层运动参数的列表，例如，已经使用/为基础层信号的相邻区块选择的运动参数用于确定，
[0817] 到相应列表的索引从基础层信号6a获得并用于选择列表中的基础层运动参数之一，
[0818] 增强层的索引以选择与关联于索引基础层候选者的基础层区块共同定位的增强层区块的方式来确定。
[0819] 针对增强层信号的当前区块确定增强层运动参数的列表，例如，已经使用/为增强层信号的相邻区块选择的运动参数用于确定。
[0820] 选择增强层中的运动参数索引可以根据测量相应增强层运动参数和与共同定位到增强层信号的当前区块的基础层信号的区块有关的基础层信号的基础层运动参数之间的差的测量来进行。
[0821] 选择增强层中的运动参数索引还可以根据测量与共同定位到增强层信号的当前区块的基础层信号的区块有关的基础层信号的基础层运动参数和基础层中空间和/或时间相邻区块的基础层运动参数之间的差的测量来进行。然后将基础层的选择转移到增强层，使得选择对应于所选的基础层候选者的增强层运动参数候选者，其中当相关联的基础层区块与增强层区块空间/时间共同定位时，认为基础层运动参数候选者对应于增强层运动参数候选者，所述增强层区块与所考虑的增强层运动参数候选者相关联。
[0822] N1)一种可伸缩视频解码器，被配置为：
[0823] 从编码数据流(6)解码(100)基础层信号的基础层残差信号(480)；
[0824] 重构(60)增强层信号(360)，包括：
[0825] 确定(240)基础层残差信号(480)或基础层信号的梯度或关于光谱分解的信息以获得扫描预测子(520)，
[0826] 使用取决于扫描预测子(520)的扫描模式从编码数据流(6)解码(320)增强层残差信号(540)的变换系数。
[0827] 也就是说，解码变换系数会涉及从全部完全覆盖变换区块在可能的扫描模式的集合中选择扫描模式。优选地，进行选择以使得所选的扫描模式比这组可能的扫描模式的其他扫描模式更早遍历基础层残差信号的有效光谱分量。
[0828] R1)视频解码器，配置为通过从全部完全覆盖变换区块的可能扫描模式的集合中选择扫描模式从编码数据流(6)解码(320)残差信号(540或100的输出)的变换区块的变换系数，该选择取决于编码数据流中的显示信令。
[0829] R2)其中，解码(320)使用与取决于(经由520和540)扫描模式的选择的变换系数有关的语法元素的上下文模型。
[0830] R2a)其中，与变换系数有关的语法元素包括指示变换系数在特定扫描位置是否等于零的语法元素。
[0831] R2b)其中，与变换系数有关的语法元素包括按给定扫描顺序指示最后非零变换系数的位置的语法元素。
[0832] R2c)其中，与变换系数有关的语法元素包括指示变换区块的子区块是否包含不等于零的变换系数的语法元素。
[0833] R3)其中，显示信令涉及使用取决于基础层残差信号(480)或基础层信号的光谱分解有关的信息的梯度的上下文模型对到这组可能的扫描模式的索引进行熵解码(320)。
[0834] R4)其中，为了解码(320)变换系数水平，将变换区块细分为子区块，传输表示子区块是否包含非零变换系数的语法元素，并且子区块的尺寸或形状或将变换区块分为子区块取决于所选的扫描模式。
[0835] S1)一种可伸缩视频解码器，被配置为：
[0836] 从编码数据流(6)解码(100)基础层残差信号的变换区块的变换系数，包括从编码数据流解码第一语法元素，指示基础层残差信号的变换区块的最后有效变换系数的位置；以及
[0837] 从编码数据流(6)解码(100)增强层残差信号的变换区块的变换系数，包括从编码数据流解码第二语法元素并基于第一语法元素和第二语法元素计算增强层残差信号的变换区块的最后有效变换系数的位置。
[0838] O1)一种可伸缩视频解码器，配置为：
[0839] 从编码数据流(6)解码(100)基础层信号的基础层残差信号(480)，重构(60)增强层信号(360)，包括：
[0840] 使用取决于(经由520和240)基础层残差信号(480)或基础层信号的上下文模式或预测子从编码数据流(6)解码(320)与增强层残差信号(540)的变换系数区块有关的语法元素。
[0841] 例如，模板用于确定用于在当前访问的变换系数位置编码某个变换系数的上下文，并且模板还涉及基础层残差信号中一个或多个变换区块中在位置(按基础和增强层中的变换区块尺寸的粒度)和光谱频率方面与某个变换系数位置对应的位置。
[0842] 或者，基础层残差信号(480)或基础层信号的光谱分解的梯度或有关的信息用于确定上下文模型。
[0843] P1)一种可伸缩视频解码器，被配置为：
[0844] 从编码数据流(6)解码(100)基础层信号的基础层残差信号(480)，重构(60)增强层信号(360)，包括：
[0845] 根据对增强层信号(360)的部分来说不同的预测模式从增强层信号(360)、基础层残差信号和基础层信号的已经重构部分预测(260)增强层信号(360)的部分，
[0846] 使用取决于(经由520和240)变换系数区块所属的增强层信号(360)的部分是否涉及基于基础层残差信号和基础层信号中的任意一个的层间预测的上下文模型从编码数据流(6)解码(320)与增强层残差信号(540)的变换系数区块有关的语法元素，以及[0847] 使用增强层预测信号(420)预测性地重构(340)增强层信号(360)。
[0848] Q1)一种可伸缩视频解码器，被配置为：
[0849] 从编码数据流(6)重构(80)基础层信号(200a，200b，200c)，
[0850] 重构(60)增强层信号(360)，包括：
[0851] 使重构基础层信号(200)经历(220)分辨率或质量细化以获得层间预测信号(380)，
[0852] 使用相应的编码参数候选者对编码参数候选者的集合中的每个编码参数候选者实验性地执行增强层信号(360)的重构或部分重构以获得相应的实验重构或部分重构结果，
[0853] 针对每个编码参数候选者确定(260)层间预测信号(380)和相应实验重构或部分重构结果之间的差的测量，
[0854] 根据每个编码参数候选者的测量从这组编码参数候选者中选择(260)，以及[0855] 最后使用所选的编码参数候选者重构(320，340，260)增强层信号(360)。
[0856] Q2)其中，针对增强层确定的编码参数与帧内预测模式有关。
[0857] Q3)其中，针对增强层确定的编码参数与运动参数诸如参考图片或运动矢量有关。
[0858] Q4)其中，针对增强层确定的编码参数与合并候选者有关。
[0859] Z1)一种可伸缩视频解码器，被配置为：
[0860] 从编码数据流(6)重构(80)基础层信号(200a，200b，200c)，
[0861] 重构(60)增强层信号(360)，包括：
[0862] 使用相应的编码参数候选者对编码参数候选者的集合的每个编码参数候选者实验性地执行(260)基础层信号(360)的重构或部分重构以获得相应的实验重构或部分重构结果，
[0863] 针对每个编码参数候选者确定(260)实际解码的基础层重构和相应实验重构或部分重构结果之间的差的测量，
[0864] 根据每个编码参数候选者的测量从这组编码参数候选者中选择(260)，[0865] 将所选的编码参数候选者传递到增强层，其中传递可以包括根据分辨率差进行标度，以及
[0866] 最后使用所传递的编码参数候选者重构(320，340，260)增强层信号(360)。
[0867] T1)一种可伸缩视频解码器，被配置为：
[0868] 通过利用帧内区块的空间帧内预测和帧间区块的时间帧间预测将帧细分为帧内区块和帧间区块来预测性地重构(100，180，160)基础层信号，
[0869] 预测性地重构(320，340，260)增强层信号(360)，包括：
[0870] 将共同定位到当前待重构的增强层信号(360)的部分的基础层信号的区块的区块细分局部传递到当前待重构的增强层信号(360)的部分上，以便获得当前待重构的增强层信号(360)的子部分，并将增强层运动矢量关联到基于基础层运动矢量的子部分，[0871] 通过运动补偿预测使用与基于基础层运动矢量的子部分相关联的增强层运动矢量从增强层信号(360)的已经重构部分预测当前待重构的增强层信号(360)的部分。
[0872] T2)一种可伸缩视频解码器，被配置为：
[0873] 使用随基础层信号空间变化的基础层编码参数预测性地重构(10，18，16)基础层信号，
[0874] 以区块为单位重构(32，34，26)增强层信号(36)，包括：
[0875] 针对区块的预定区块，在可能子区块细分的集合中选择子区块细分，使得选择的子区块细分在可能子区块细分的集合中是最粗糙的，当转移到基础层信号的共同定位部分时，细分基础层信号使得在相应子区块细分的每个子区块内，基础层编码参数彼此足以相似，
[0876] 使用选择的子区块细分预测性地重构预定区块。
[0877] U1)一种可伸缩视频解码器，被配置为：
[0878] 通过利用帧内区块的空间帧内预测和帧间区块的时间帧间预测将基础层信号的帧细分为帧内区块和帧间区块，并以帧内区块和帧间区块所细分的区块为单位分别设置与空间帧内和时间帧间预测相关联的预测参数来预测性地重构(100，180，160)基础层信号，[0879] 预测性地重构(320，340，260)增强层信号(360)，包括：
[0880] 将增强信号的帧所细分的编码单元中的增强信号的帧分配给包括空间帧内预测模式、时间帧间预测模式和层间预测模式的一组预测模式中的相应预测模式，经由编码数据流中的预测模式语法控制，
[0881] 使用相应编码单元分配的相应预测模式预测性地重构每个编码单元，[0882] 对于具有分配至此的空间帧内预测模式和时间帧间预测模式中的任意一种的编码单元，
[0883] 进一步将编码单元细分为预测区块并设置与相应编码单元以预测区块为单位分配至此的相应预测模式相关联的预测参数，
[0884] 在相应编码单元具有分配至此的空间帧内预测的情况下，使用预测参数集合使所有预测区块进行空间帧内预测，并且在相应编码单元具有分配至此的时间帧间预测的情况下，使用预测参数集合使所有预测区块进行时间帧间预测，
[0885] 对于具有分配至此的层间预测模式的每个编码单元，
[0886] 将基础层信号的帧内和帧间区块的细分局部转移到相应编码单元上，使得局部覆盖帧内和帧间区块的编码单元被细分为与非时间模式相关联并与帧内区块局部一致的至少一个预测区块，以及与时间帧间预测模式相关联并与帧间区块局部一致的至少一个预测区块，
[0887] 使具有分配至此的非时间预测模式的相应编码单元的所有预测区块：
[0888] 使用从局部一致的帧内区块的预测参数推导的预测参数进行空间帧内预测，或[0889] 层间预测，通过：
[0890] 使基础层信号经历(220)分辨率或质量细分以获得层间预测信号(380)，[0891] 使用层间预测信号(380)预测(260)具有分配至此的非时间预测模式的相应编码单元的预测区块，
[0892] 使用从局部一致的帧间区块的预测参数推导的预测参数使具有分配至此的时间帧间预测模式的相应编码单元的所有预测区块进行时间帧间预测。
[0893] V1)一种可伸缩视频解码器，被配置为：
[0894] 从编码数据流(6)解码(100)基础层信号(200)的基础层残差信号(480)，[0895] 重构(60)增强层信号(360)，包括：
[0896] 从编码数据流解码表示增强层信号的变换系数的变换系数区块，通过：
[0897] 基于基础层残差信号或基础层信号在可能子区块细分的集合中选择子区块细分，[0898] 根据选择的子区块细分以变换系数区块规则地细分成的子区块为单位遍历变换系数的位置，使得一个子区块中的所有位置都以紧接着连续的方式遍历，然后按子区块中定义的子区块顺序进入下一个子区块，
[0899] 对于当前访问的子区块来说，
[0900] 从数据流解码指示当前访问的子区块是否具有任何有效变换系数的语法元素，[0901] 如果语法元素指示当前访问的子区块不具有任何有效变换系数，则将当前访问的子区块中的变换系数设置为零，
[0902] 如果语法元素指示当前访问的子区块具有任何有效变换系数，则从数据流解码指示当前访问的子区块中的变换系数的水平的语法元素。
[0903] W1)一种可伸缩视频解码器，被配置为：
[0904] 从编码数据流(6)重构(80)基础层信号(200)，
[0905] 重构(60)增强层信号(360)，包括：
[0906] 通过以下方式空间预测增强信号的区块：
[0907] 使重构基础层信号(200a，200b，200c)经历(220)分辨率或质量细化以获得层间预测信号(380)，
[0908] 使局部覆盖区块的层间预测信号(380)的第一行与邻近区块的增强层信号的已经重构部分的第二行对准，其中，第一和第二行都平行于行方向，由此获得位移值，[0909] 利用第一行的内容填充(260)共同定位到第一行的一行区块，移位该位移值。
[0910] 行方向例如可以是水平的或垂直的，使得分别逐行或逐列地进行该预测。
[0911] X1)一种可伸缩视频解码器，被配置为：
[0912] 通过以下步骤从编码数据流(6)重构(80)基础层信号(200)：
[0913] 分区块(block-wise)预测；
[0914] 空间帧内预测和时间帧间预测模式之间进行分区块选择；以及
[0915] 将帧内预测参数用于已选择了使用空间帧内预测模式的基础层信号的区块；
[0916] 通过分区块预测、空间帧内预测与时间帧间预测模式之间进行分区块选择以及将帧内预测参数用于已选择了使用空间帧内预测模式的增强层信号的区块从编码数据流(6)重构(60)增强层信号(360)，包括：
[0917] 检查与增强层信号的当前区块相邻的增强层信号的相邻区块是否使用空间帧内预测模式预测；
[0918] 如果是，则为相邻区块的帧内预测参数指定当前区块的很可能有利的帧内预测参数，
[0919] 如果不是，则为共同定位到当前区块的基础层信号的区块的帧内预测参数值指定当前区块的很可能有利的帧内预测参数，
[0920] 基于存在于当前区块的编码数据流中的语法元素以及很可能有利的帧内预测参数来确定当前区块的帧内预测参数。
[0921] Y1)一种可伸缩视频解码器，被配置为：
[0922] 通过以下步骤从编码数据流(6)重构(80)基础层信号(200)：
[0923] 分区块预测；
[0924] 在空间帧内预测与时间帧间预测模式之间进行分区块选择；以及
[0925] 将帧内预测参数用于已经选择了使用空间帧内预测模式的基础层信号的区块的子集，
[0926] 通过分区块预测、空间帧内预测和时间帧间预测模式之间进行分区块选择以及将帧内预测参数用于已经选择空间帧内预测模式的增强层信号的区块从编码数据流(6)重构(60)增强层信号(360)，包括：
[0927] 检查与增强层信号的当前区块相邻的增强层信号的相邻区块是否使用空间帧内预测模式利用角帧内预测参数进行预测；
[0928] 如果是，则为相邻区块的角帧内预测参数指定当前区块的很可能有利的帧内预测参数，
[0929] 如果不是但共同定位到当前区块的基础层信号利用角帧内预测参数编码，则为共同定位到当前区块的基础层信号的区块的角帧内预测参数指定当前区块的很可能有利的帧内预测参数，
[0930] 基于存在于当前区块的编码数据流中的语法元素以及很可能有利的帧内预测参数来确定当前区块的帧内预测参数。
[0931] 虽然已经就装置的上下文描述了若干方面，但显然这些方面也表示对应的方法的描述，其中，方框或装置是与方法步骤或方法步骤的特征对应的。同理，在方法步骤的上下文中描述的方面也表示对应的方框或对应的装置的项目或特征结构的描述。部分或全部方法步骤可通过(或使用)硬件装置执行，类似例如微处理器、可编程计算机或电子电路。在某些实施例中，最重要方法步骤中的某一个或多者可通过这种装置执行。
[0932] 根据某些实现的要求，本发明的实施例已经在硬件或软件中实现。实现可使用数字存储介质进行，例如软盘、DVD、蓝光光盘、CD、ROM、PROM、EPROM、EEPROM或闪存，其上存储有电子可读取控制信号，其与可编程计算机系统协作(或可协作)，从而执行各个方法。因此数字存储介质可为计算机可读介质。
[0933] 根据本发明的某些实施例包括具有电子可读控制信号的数据载体，其可与可编程计算机系统协作，以便执行本文所述方法中的一个。
[0934] 通常情况下，本发明的实施例可实现为具有程序代码的计算机程序产品，当该计算机程序产品在计算机上运行时，该程序代码可操作用来执行该等方法中的一个。该程序代码例如可存储在机器可读载体上。
[0935] 其他实施例包括用于执行本文所述方法中的一个且存储在机器可读载体上的计算机程序。
[0936] 换句话说，因此本发明方法的实施例为具有程序代码的一种计算机程序，用于当该计算机程序在计算机上运行执行本文所述方法中的一个。
[0937] 因此，本发明方法的另外的实施例为一种数据载体(或数字存储介质或计算机可读介质)包括于其上记录的用于执行本文所述方法中的一个的计算机程序。数据载体、数字存储介质或记录介质典型地是有形的和/或非转变的。
[0938] 因此，本发明方法的另外的实施例为表示用于执行本文所述方法中的一个的计算机程序的数据流或信号序列。数据流或信号序列例如可配置来经由数据通讯连接例如透过互联网传送。
[0939] 另外的实施例包括一种处理装置，例如计算机或可编程逻辑设备，被配置来或适用于执行本文所述方法中的一个。
[0940] 另外的实施例包括其上安装有用于执行本文所述方法中的一个的计算机程序的计算机。
[0941] 根据本发明的另外的实施例包括一种装置或系统，其配置为(例如电子地或光学地)将用于执行本文描述方法的其中之一的计算机程序传递到接收器。接收器可以例如是计算机、移动设备、存储器设备等等。该装置或系统可以例如包括用于将计算机程序传递到接收器的文件服务器。
[0942] 在某些实施例中，可编程逻辑设备(例如现场可编程门阵列)可用来执行本文所述方法的一部分或全部功能。在某些实施例中，现场可编程门阵列可与微处理器协作以执行本文所述方法中的一个。通常情况下，该等方法优选由硬件装置执行。
[0943] 根据本发明的实施例，还具有如下配置：
[0944] 项1.一种可伸缩视频解码器，被配置为：
[0945] 从编码数据流(6)解码(100)基础层信号(200)的基础层残差信号(480)；
[0946] 重构(60)增强层信号(360)，包括：
[0947] 通过以下步骤从所述编码数据流解码表示所述增强层信号的变换系数的变换系数区块(402)：
[0948] 基于所述基础层残差信号或所述基础层信号在可能子区块细分的集合中选择子区块细分；
[0949] 根据选择的子区块细分以所述变换系数区块规则地细分成的子区块为单位遍历所述变换系数的位置，使得以紧接着连续的方式遍历一个子区块内的所有位置，并且然后按在所述子区块中定义的子区块顺序前进至下一个子区块，
[0950] 针对当前访问的子区块，
[0951] 从所述数据流解码指示所述当前访问的子区块是否具有任何有效变换系数的语法元素(416)；
[0952] 如果所述语法元素(416)指示所述当前访问的子区块不具有任何有效变换系数，则将所述当前访问的子区块中的变换系数设置为等于零；
[0953] 如果所述语法元素指示所述当前访问的子区块具有任何有效变换系数，则从所述数据流解码指示所述当前访问的子区块中的变换系数的水平的语法元素(418)。
[0954] 项2.根据项1所述的可伸缩视频解码器，被配置为通过预测从所述编码数据流(6)解码所述基础层信号(200)，所述基础层残差信号表示用于所述基础层信号的预测信号的预测残差。
[0955] 项3.根据项1所述的可伸缩视频解码器，被配置为通过空间、时间和/或层间预测所述增强层信号并且将所述变换系数的反变换区块作为预测残差应用于所述增强层信号的预测来重构(60)所述增强层信号。
[0956] 项4.根据项1所述的可伸缩视频解码器，被配置为基于所述基础层信号在所述可能子区块细分的集合中选择子区块细分。
[0957] 项5.根据项1所述的可伸缩视频解码器，被配置为通过检测与所述变换系数区块相对应的所述基础层残差信号或所述基础层信号的一部分内的边缘并且将所述选择的子区块细分的子区块的扩展沿横向于所述边缘的空间频率轴设置为更长来在所述可能子区块细分的集合中选择子区块细分。
[0958] 项6.根据项1所述的可伸缩视频解码器，被配置为通过使用与所述变换系数区块相对应的所述基础层残差信号或基础层信号的一部分的光谱分解，并且将所述选择的子区块细分的子区块的扩展沿横向于所述光谱分解的光谱能量分布沿其更窄的空间频率轴的空间频率轴设置为更长来在所述可能子区块细分中选择子区块细分。
[0959] 项.根据项6所述的可伸缩视频解码器，被配置为通过从空间域至频域将变换实际应用到所述基础层残差信号或所述基础层信号来形成所述基础层残差信号或所述基础层信号的一部分的所述光谱分解。
[0960] 项8.根据项6所述的可伸缩视频解码器，被配置为：通过组合并标度附属于与所述基础层残差信号的一部分重叠的部分的、与表示所述增强层信号的所述变换系数区块相对应的所述基础层残差信号的变换系数区块，形成所述基础层残差信号或所述基础层信号的一部分的所述光谱分解。
[0961] 项9.一种可伸缩视频解码方法，包括：
[0962] 从编码数据流(6)解码(100)基础层信号(200)的基础层残差信号(480)；
[0963] 重构(60)增强层信号(360)，包括：
[0964] 通过以下步骤从所述编码数据流解码表示所述增强层信号的变换系数的变换系数区块：
[0965] 基于所述基础层残差信号或所述基础层信号在可能子区块细分的集合中选择子区块细分；
[0966] 根据选择的子区块细分以所述变换系数区块被规则地细分成的子区块为单位遍历所述变换系数的位置，使得以紧接着连续的方式遍历一个子区块内的所有位置，并且然后按在所述子区块中定义的子区块顺序前进至下一个子区块，
[0967] 针对当前访问的子区块，
[0968] 从所述数据流解码指示所述当前访问的子区块是否具有任何有效变换系数的语法元素；
[0969] 如果所述语法元素指示所述当前访问的子区块不具有任何有效变换系数，则将所述当前访问的子区块中的变换系数设置为等于零；
[0970] 如果所述语法元素指示所述当前访问的子区块具有任何有效变换系数，则从所述数据流解码指示所述当前访问的子区块中的所述变换系数的水平的语法元素。
[0971] 项10.一种可伸缩视频编码器，被配置为：
[0972] 将基础层信号(200)的基础层残差信号(480)编码成编码数据流(6)；
[0973] 编码增强层信号(360)，包括：
[0974] 通过以下步骤从所述编码数据流编码表示所述增强层信号的变换系数的变换系数区块：
[0975] 基于所述基础层残差信号或所述基础层信号在可能子区块细分的集合中选择子区块细分；
[0976] 根据选择的子区块细分以所述变换系数区块被规则地细分成的子区块为单位遍历所述变换系数的位置，使得以紧接着连续的方式遍历一个子区块内的所有位置，并且然后按在所述子区块中定义的子区块顺序前进至下一个子区块，
[0977] 针对当前访问的子区块，
[0978] 将指示所述当前访问的子区块是否具有任何有效变换系数的语法元素编码成所述数据流，
[0979] 如果所述语法元素指示所述当前访问的子区块具有任何有效变换系数，则将指示所述当前访问的子区块中的所述变换系数的水平的语法元素编码成所述数据流。
[0980] 项11.一种可伸缩视频编码方法，包括：
[0981] 将基础层信号(200)的基础层残差信号(480)编码成编码数据流(6)；
[0982] 编码增强层信号(360)，包括：
[0983] 通过以下步骤从所述编码数据流编码表示所述增强层信号的变换系数的变换系数区块：
[0984] 基于所述基础层残差信号或所述基础层信号在可能子区块细分的集合中选择子区块细分；
[0985] 根据选择的子区块细分以所述变换系数区块被规则地细分成的子区块为单位遍历所述变换系数的位置，使得以紧接着连续的方式遍历一个子区块内的所有位置，并且然后按在所述子区块中定义的子区块顺序前进至下一个子区块，
[0986] 针对当前访问的子区块，
[0987] 将指示所述当前访问的子区块是否具有任何有效变换系数的语法元素编码成所述数据流，
[0988] 如果所述语法元素指示所述当前访问的子区块具有任何有效变换系数，则将指示所述当前访问的子区块中的所述变换系数的水平的语法元素编码成所述数据流。
[0989] 项12.一种计算机程序，具有用于当在计算机上运行时执行项9或11所述的方法的程序代码。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 解码器、解码方法、编码器以及编码方法 | 2020-05-11 | 978 |
| 基于感知质量的可缩放视频编码速率适配 | 2020-05-11 | 795 |
| 编码方法、系统和编码器、解码方法、系统和解码器 | 2020-05-12 | 159 |
| 压缩/解压缩的装置和系统、芯片、电子装置、方法 | 2020-05-08 | 169 |
| 视频数据解码方法、编码方法以及相关设备 | 2020-05-08 | 517 |
| 用于视频编码的自适应环内滤波 | 2020-05-12 | 197 |
| 针对高效率视频编码标准的跳过编码模式提前判决方法 | 2020-05-12 | 579 |
| 一种基于动态注意力机制的多事件视频描述方法 | 2020-05-08 | 733 |
| 针对多层视频编码的层间参考图片增强的设备 | 2020-05-11 | 799 |
| 用于对视频数据进行编码的方法、装置和设备 | 2020-05-12 | 62 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈