可伸缩视频编码/解码方法和设备
阅读：632发布：2020-05-08
专利汇可以提供可伸缩视频编码/解码方法和设备专利检索，专利查询，专利分析的服务。并且提供了一种视频解码设备，包括：编码信息获取器，被配置为从比特流获取参考层尺寸信息、参考层偏移信息、当前层尺寸信息以及当前层偏移信息；伸缩比率确定器，被配置为根据从参考层尺寸信息和参考层偏移信息确定的参考区域的尺寸以及从当前层尺寸信息和当前层偏移信息确定的扩展参考区域的尺寸，确定指示参考区域的尺寸与扩展参考区域的尺寸之间的差的伸缩比率；上 采样 单元，被配置为通过根据参考层偏移信息、当前层偏移信息以及所述伸缩比率对参考区域进行上采样来确定扩展参考区域。，下面是可伸缩视频编码/解码方法和设备专利的具体信息内容。
1.一种视频解码设备，包括：
编码信息获取器，被配置为从比特流获取指示针对亮度样点单元的参考层画面的高度和宽度的亮度样点参考层尺寸信息、用于从参考层画面限定在层间预测中使用的参考区域的针对色度样点单元的参考层偏移信息、指示针对亮度样点单元的当前层画面的高度和宽度的亮度样点当前层尺寸信息、以及用于从当前层画面限定与参考区域相应的扩展参考区域的针对色度样点单元的当前层偏移信息；
伸缩比率确定器，被配置为：
通过根据参考层画面和当前层画面的颜色索引分别改变针对色度样点单元的参考层偏移信息以及针对将被映射到亮度样点单元的色度样点单元的当前层偏移信息，确定亮度样点参考层偏移信息和亮度样点当前层偏移信息；
根据从亮度样点参考层尺寸信息和亮度样点参考层偏移信息确定的针对亮度样点单元的参考区域的尺寸以及从亮度样点当前层尺寸信息和亮度样点当前层偏移信息确定的针对亮度样点单元的扩展参考区域的尺寸，确定指示针对亮度样点单元的参考区域的尺寸与针对亮度样点单元的扩展参考区域的尺寸的比率的亮度样点伸缩比率；
上采样单元，被配置为通过根据亮度样点参考层偏移信息、亮度样点当前层偏移信息以及亮度样点伸缩比率对参考区域进行上采样来确定扩展参考区域的亮度样点。
2.如权利要求1所述的视频解码设备，其中，
亮度样点参考层偏移信息包括亮度样点参考层左偏移、亮度样点参考层右偏移、亮度样点参考层上偏移以及亮度样点参考层下偏移。
3.如权利要求2所述的视频解码设备，其中，
亮度样点参考层左偏移是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的水平偏移，
亮度样点参考层上偏移是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的垂直偏移，
亮度样点参考层右偏移是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的水平偏移，
亮度样点参考层下偏移是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的垂直偏移。
4.如权利要求2所述的视频解码设备，其中，伸缩比率确定器还被配置为：
通过从针对亮度样点单元的参考层画面的高度减去亮度样点参考层上偏移和亮度样点参考层下偏移来确定参考区域的亮度样点单元的高度，
通过从针对亮度样点单元的参考层画面的宽度减去亮度样点参考层右偏移和亮度样点参考层左偏移来确定参考区域的宽度。
5.如权利要求1所述的视频解码设备，还包括：预测图像产生器，被配置为基于扩展参考区域产生针对当前层画面的预测图像。
6.如权利要求1所述的视频解码设备，其中，
伸缩比率确定器还被配置为：根据参考层画面和当前层画面的颜色索引、针对亮度样点单元的参考区域的尺寸以及针对亮度样点单元的扩展参考区域的尺寸，确定指示参考区域的色度样点单元与扩展参考区域的色度样点单元的比率的色度样点伸缩比率，上采样单元还被配置为：通过根据参考层画面和当前层画面的颜色索引、亮度样点参考层偏移信息、亮度样点当前层偏移信息以及色度样点伸缩比率对参考区域进行上采样来确定扩展参考区域的色度样点的值。
7.一种视频解码方法，包括：
从比特流获取指示针对亮度样点单元的参考层画面的高度和宽度的亮度样点参考层尺寸信息、用于从参考层画面限定在层间预测中使用的参考区域的针对色度样点单元的参考层偏移信息、指示针对亮度样点单元的当前层画面的高度和宽度的亮度样点当前层尺寸信息、以及用于从当前层画面限定与参考区域相应的扩展参考区域的针对色度样点单元的当前层偏移信息；
通过根据参考层画面和当前层画面的颜色索引分别改变针对色度样点单元的参考层偏移信息以及针对将被映射到亮度样点单元的色度样点单元的当前层偏移信息，确定亮度样点参考层偏移信息和亮度样点当前层偏移信息；
根据从亮度样点参考层尺寸信息和亮度样点参考层偏移信息确定的针对亮度样点单元的参考区域的尺寸以及从亮度样点当前层尺寸信息和亮度样点当前层偏移信息确定的针对亮度样点单元的扩展参考区域的尺寸，确定指示针对亮度样点单元的参考区域的尺寸与针对亮度样点单元的扩展参考区域的尺寸的比率的亮度样点伸缩比率；
通过根据亮度样点参考层偏移信息、亮度样点当前层偏移信息以及亮度样点伸缩比率对参考区域进行上采样来确定扩展参考区域的亮度样点。
8.如权利要求7所述的视频解码方法，其中，
亮度样点参考层偏移信息包括亮度样点参考层左偏移、亮度样点参考层右偏移、亮度样点参考层上偏移以及亮度样点参考层下偏移。
9.如权利要求7所述的视频解码方法，其中，
亮度样点参考层左偏移是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的水平偏移，
亮度样点参考层上偏移是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的垂直偏移，
亮度样点参考层右偏移是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的水平偏移，
亮度样点参考层下偏移是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的垂直偏移。
10.如权利要求7所述的视频解码方法，其中，确定参考区域的尺寸的步骤包括：
通过从针对亮度样点单元的参考层画面的高度减去亮度样点参考层上偏移和亮度样点参考层下偏移来确定参考区域的亮度样点单元的高度，
通过从针对亮度样点单元的参考层画面的宽度减去亮度样点参考层右偏移和亮度样点参考层左偏移来确定参考区域的宽度。
11.如权利要求7所述的视频解码方法，还包括：基于扩展参考区域产生针对当前层画面的预测图像。
12.一种视频编码设备，包括：
编码器，被配置为：
通过对当前层画面进行下采样来产生参考层画面，
从参考层画面确定在针对当前层画面的层间预测中使用的参考区域，
通过对参考区域进行上采样来产生扩展参考区域；编码信息确定器，被配置为：
从参考层画面和参考区域确定指示参考层画面的高度和宽度的参考层尺寸信息以及用于从参考层画面限定在层间预测中使用的参考区域的面积的参考层偏移，从当前层画面和扩展参考区域确定指示当前层画面的高度和宽度的当前层尺寸信息以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移；
比特流发送器，被配置为发送包括参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息的比特流。
13.一种视频编码方法，包括：
通过对当前层画面进行下采样来产生参考层画面；
从参考层画面确定在针对当前层画面的层间预测中使用的参考区域；
通过对参考区域进行上采样来产生扩展参考区域；
从参考层画面和参考区域确定指示参考层画面的高度和宽度的参考层尺寸信息以及用于从参考层画面限定在层间预测中使用的参考区域的面积的参考层偏移；
从当前层画面和扩展参考区域确定指示当前层画面的高度和宽度的当前层尺寸信息以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移；
发送包括参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息的比特流。
14.一种记录有程序的计算机可读记录介质，其中，所述程序在被处理器执行时实现权利要求7的视频解码方法。
15.一种记录有程序的计算机可读记录介质，其中，所述程序在被处理器执行时实现权利要求13的视频编码方法。
可伸缩视频编码/解码方法和设备
技术领域
背景技术
[0003] 帧间预测是一种通过去除画面之间的时间冗余来压缩图像的方法，并以运动估计编码作为代表性示例。运动估计编码通过使用至少一个参考区域来预测当前画面的每个块。预定估计函数被用于在预定搜索范围内搜索与当前块最相似的参考块。
[0004] 基于参考块来预测当前块，并且通过从当前块减去作为预测的结果产生的预测块而产生的残差块被编码。在这一点上，为了更加准确地执行预测，对参考区域的搜索范围执行插值，产生像素单元的小于整数像素单元的子像素，并且基于产生的子像素来执行帧间预测。
发明内容
[0005] 技术问题
[0006] 本发明提供了一种通过使用参考层偏移信息从参考层画面确定参考区域的方法。本发明还提供了一种通过使用当前层偏移信息从当前层画面确定扩展参考区域的方法。本发明还提供了一种通过对参考区域进行上采样来确定扩展参考区域的样点值的方法。本发明还提供了一种根据扩展参考区域的样点值确定当前层画面的预测值的方法。
[0007] 因此，可通过使用参考层画面的参考区域来预测当前层画面。
[0008] 技术方案
[0009] 根据各种实施例，提供了一种视频解码设备，包括：编码信息获取器，被配置为从比特流获取指示参考层画面的高度和宽度的参考层尺寸信息、用于从参考层画面限定在层间预测中使用的参考区域的参考层偏移信息、指示当前层画面的高度和宽度的当前层尺寸信息、以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移信息；伸缩比率确定器，被配置为根据从参考层尺寸信息和参考层偏移信息确定的参考区域的尺寸以及从当前层尺寸信息和当前层偏移信息确定的扩展参考区域的尺寸，确定指示参考区域的尺寸与扩展参考区域的尺寸之间的差的伸缩比率；上采样单元，被配置为通过根据参考层偏移信息、当前层偏移信息以及所述伸缩比率对参考区域进行上采样来确定扩展参考区域。
[0010] 参考层偏移信息可包括参考层左偏移、参考层右偏移、参考层上偏移以及参考层下偏移，当前层偏移信息可包括当前层左偏移、当前层右偏移、当前层上偏移以及当前层下偏移。
[0011] 参考层左偏移可以是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的水平偏移，参考层上偏移可以是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的垂直偏移，参考层右偏移可以是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的水平偏移，参考层下偏移可以是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的垂直偏移，参考层左偏移、参考层右偏移、参考层上偏移以及参考层下偏移均可被表示为亮度样点单元。
[0012] 伸缩比率确定器还可被配置为：通过从参考层画面的高度减去参考层上偏移和参考层下偏移来确定参考区域的高度，通过从参考层画面的宽度减去参考层右偏移和参考层左偏移来确定参考区域的宽度，通过从当前层画面的高度减去当前层上偏移和当前层下偏移来确定扩展参考区域的高度，以及通过从参当前层画面的宽度减去当前层右偏移和当前层左偏移来确定扩展参考区域的宽度。
[0013] 视频解码设备还可包括：预测图像产生器，被配置为基于扩展参考区域产生针对当前层画面的预测图像。
[0014] 根据各种实施例，提供了一种视频解码方法，包括：从比特流获取指示参考层画面的高度和宽度的参考层尺寸信息、用于从参考层画面限定在层间预测中使用的参考区域的参考层偏移信息、指示当前层画面的高度和宽度的当前层尺寸信息、以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移信息；从参考层尺寸信息和参考层偏移信息确定参考区域的尺寸；从当前层尺寸信息和当前层偏移信息确定扩展参考区域的尺寸；根据参考区域的尺寸和扩展参考区域的尺寸，确定指示参考区域的尺寸与扩展参考区域的尺寸之间的差的伸缩比率；通过根据参考层偏移信息、当前层偏移信息以及所述伸缩比率对参考区域进行上采样来确定扩展参考区域。
[0015] 参考层偏移信息可包括参考层左偏移、参考层右偏移、参考层上偏移以及参考层下偏移，当前层偏移信息可包括当前层左偏移、当前层右偏移、当前层上偏移以及当前层下偏移。
[0016] 参考层左偏移可以是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的水平偏移，参考层上偏移可以是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的垂直偏移，参考层右偏移可以是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的水平偏移，参考层下偏移可以是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的垂直偏移，参考层左偏移、参考层右偏移、参考层上偏移以及参考层下偏移均可被表示为亮度样点单元。
[0017] 确定参考区域的尺寸的步骤可包括：通过从参考层画面的高度减去参考层上偏移和参考层下偏移来确定参考区域的高度，并通过从参考层画面的宽度减去参考层右偏移和参考层左偏移来确定参考区域的宽度；确定扩展参考区域的尺寸的步骤可包括：通过从当前层画面的高度减去当前层上偏移和当前层下偏移来确定扩展参考区域的高度，并通过从当前层画面的宽度减去当前层右偏移和当前层左偏移来确定扩展参考区域的宽度。
[0018] 视频解码方法还可包括：基于扩展参考区域产生针对当前层画面的预测图像。
[0019] 根据各种实施例，提供了一种视频编码设备，包括：编码器，被配置为通过对当前层画面进行下采样来产生参考层画面，从参考层画面确定在针对当前层画面的层间预测中使用的参考区域，通过对参考区域进行上采样来产生扩展参考区域；编码信息确定器，被配置为从参考层画面和参考区域确定指示参考层画面的高度和宽度的参考层尺寸信息以及用于从参考层画面限定在层间预测中使用的参考区域的面积的参考层偏移，从当前层画面和扩展参考区域确定指示当前层画面的高度和宽度的当前层尺寸信息以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移；比特流发送器，被配置为发送包括参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息的比特流。
[0020] 根据各种实施例，提供了一种视频编码方法，包括：通过对当前层画面进行下采样来产生参考层画面；从参考层画面确定在针对当前层画面的层间预测中使用的参考区域；通过对参考区域进行上采样来产生扩展参考区域；从参考层画面和参考区域确定指示参考层画面的高度和宽度的参考层尺寸信息以及用于从参考层画面限定在层间预测中使用的参考区域的面积的参考层偏移；从当前层画面和扩展参考区域确定指示当前层画面的高度和宽度的当前层尺寸信息以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移；发送包括参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息的比特流。
[0021] 根据各种实施例，提供了一种记录有用于执行视频解码方法的程序的计算机可读记录介质。
[0022] 根据各种实施例，提供了一种记录有用于执行视频编码方法的程序的计算机可读记录介质。
[0023] 有益效果
[0024] 通过使用树结构的编码/解码方法，基于编码单元对画面执行编码/解码操作。由于最小编码单元是8×8，因此如果参考层画面的分辨率和当前层画面的分辨率不是8的倍数，则无法快速执行上采样。因此，如果参考层画面的分辨率不是8的倍数，则参考层画面中分辨率为8的倍数的参考区域可被设置。同样，如果当前层画面的分辨率不是8的倍数，则当前层画面中分辨率为8的倍数的参考区域可被设置。
[0026] 图1a示出根据实施例的可伸缩视频编码设备的框图。
[0027] 图1b示出根据实施例的可伸缩视频编码方法的流程图。
[0028] 图2a示出根据实施例的可伸缩视频解码设备的框图。
[0029] 图2b示出根据实施例的可伸缩视频解码方法的流程图。
[0030] 图3示出根据实施例的参考层偏移和当前层偏移。
[0031] 图4示出根据实施例的参考层偏移和当前层偏移。
[0032] 图5示出根据实施例的用于描述获取编码信息的过程的语法。
[0033] 图6a和图6b示出根据实施例的可伸缩视频编码设备600的框图。
[0034] 图7a和图7b示出根据实施例的可伸缩视频解码设备700的框图。
[0035] 图8a示出根据实施例的基于具有树结构的编码单元的视频编码设备的框图。
[0036] 图8b示出根据实施例的基于具有树结构的编码单元的视频解码设备的框图。
[0037] 图9示出用于描述根据实施例的编码单元的概念的示图。
[0038] 图10a示出根据实施例的基于编码单元的图像编码器的框图。
[0039] 图10b示出根据实施例的基于编码单元的图像解码器的框图。
[0040] 图11示出根据实施例的根据深度的较深层编码单元以及分区的示图。
[0041] 图12示出根据实施例的用于描述编码单元与变换单元之间的关系的示图。
[0042] 图13示出根据实施例的与编码深度相应的多条编码信息。
[0043] 图14示出根据实施例的根据深度的较深层编码单元。
[0044] 图15、图16和图17示出根据实施例的编码单元、预测单元和变换单元之间的关系。
[0045] 图18示出根据表1的编码模式信息的编码单元、预测单元、和变换单元之间的关系。
[0046] 图19示出根据实施例的存储程序的盘的物理结构。
[0048] 图21示出提供内容分发服务的内容供应系统的整体结构。
[0049] 图22和图23示出根据实施例的应用了视频编码方法和视频解码方法的移动电话的外部结构和内部结构。
[0050] 图24示出根据实施例的采用了通信系统的数字广播系统。
[0051] 最佳模式
[0052] 根据各种实施例，提供了一种视频解码设备，包括：编码信息获取器，被配置为从比特流获取指示参考层画面的高度和宽度的参考层尺寸信息、用于从参考层画面限定在层间预测中使用的参考区域的参考层偏移信息、指示当前层画面的高度和宽度的当前层尺寸信息、以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移信息；伸缩比率确定器，被配置为根据从参考层尺寸信息和参考层偏移信息确定的参考区域的尺寸以及从当前层尺寸信息和当前层偏移信息确定的扩展参考区域的尺寸，确定指示参考区域的尺寸与扩展参考区域的尺寸之间的差的伸缩比率；上采样单元，被配置为通过根据参考层偏移信息、当前层偏移信息以及所述伸缩比率对参考区域进行上采样来确定扩展参考区域。
[0053] 根据各种实施例，提供了一种视频解码方法，包括：从比特流获取指示参考层画面的高度和宽度的参考层尺寸信息、用于从参考层画面限定在层间预测中使用的参考区域的参考层偏移信息、指示当前层画面的高度和宽度的当前层尺寸信息、以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移信息；从参考层尺寸信息和参考层偏移信息确定参考区域的尺寸；从当前层尺寸信息和当前层偏移信息确定扩展参考区域的尺寸；根据参考区域的尺寸和扩展参考区域的尺寸，确定指示参考区域的尺寸与扩展参考区域的尺寸之间的差的伸缩比率；通过根据参考层偏移信息、当前层偏移信息以及所述伸缩比率对参考区域进行上采样来确定扩展参考区域。
[0054] 根据各种实施例，提供了一种包括编码器的视频编码设备，其中，所述编码器被配置为：通过对当前层画面进行下采样来产生参考层画面，从参考层画面确定在针对当前层画面的层间预测中使用的参考区域，通过对参考区域进行上采样来产生扩展参考区域；编码信息确定器，被配置为：从参考层画面和参考区域确定指示参考层画面的高度和宽度的参考层尺寸信息以及用于从参考层画面限定在层间预测中使用的参考区域的面积的参考层偏移，从当前层画面和扩展参考区域确定指示当前层画面的高度和宽度的当前层尺寸信息以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移；比特流发送器，被配置为发送包括参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息的比特流。
[0055] 根据各种实施例，提供了一种视频编码方法，包括：通过对当前层画面进行下采样来产生参考层画面，从参考层画面确定在针对当前层画面的层间预测中使用的参考区域；通过对参考区域进行上采样来产生扩展参考区域；从参考层画面和参考区域确定指示参考层画面的高度和宽度的参考层尺寸信息以及用于从参考层画面限定在层间预测中使用的参考区域的面积的参考层偏移；从当前层画面和扩展参考区域确定指示当前层画面的高度和宽度的当前层尺寸信息以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移；发送包括参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息的比特流。
具体实施方式
[0057] 可伸缩编码方案指示一种对一个图像进行分层编码以使该图像适合于各种分辨率、帧率、图像质量等的方法。由于一个比特流包括具有各种分辨率、帧率、图像质量等的图像，因此内容消费者可提取比特流的一部分，并可再现满足用户期望的分辨率、帧率、图像质量的图像。
[0058] 根据可伸缩编码方案编码的图像具有至少两层。每层具有上级层和下级层中的至少一层。在一些实施例中，每层可具有两个或更多个上级层和下级层。
[0059] 层可被分类为当前层和参考层。当前层指示参考层的上级层，上级层是通过参考参考层的画面而被编码/解码的。参考层指示当前层的下级层，下级层提供在对当前层的编码/解码中所需的画面。通常，参考层的画面的分辨率、帧率和图像质量次于当前层的画面的分辨率、帧率和图像质量。
[0060] 当前层和参考层是相对概念。例如，当按照从上级层开始的顺序存在第一层、第二层和第三层时，第二层可成为相对于第一层的参考层。相反，第二层可成为相对于第三层的当前层。
[0061] 通常，当前层与术语“增强层”一起使用。参考层与术语“基本层”一起使用。因此，在本说明书中使用的增强层与当前层具有相同的含义。同样地，在本说明书中使用的基本层与参考层具有相同的含义。
[0062] 在本说明书中，描述了针对分辨率对参考层的画面进行上采样并在预测当前层的画面的操作中使用参考层的画面的一方面。
[0063] 在本说明书中，偏移是指像素之间的移位或样点之间的移位。水平偏移指示像素之间或样点之间的水平方向的移位。垂直偏移是指像素之间或样点之间的垂直方向的移位。例如，当像素B是从像素A开始向右4个像素并且向下2个像素时，像素B相对于像素A的水平偏移是4，并且像素B的垂直偏移是2。
[0064] 根据树结构的编码/解码方法，基于编码单元来对画面执行编码/解码操作。由于最小编码单元是8×8，因此如果参考层的画面(在下文中，被称为“参考层画面”)的分辨率以及当前层的画面(在下文中，被称为“当前层画面”)的分辨率不是8的倍数，则不能快速执行上采样。因此，如果参考层画面的分辨率不是8的倍数，则可设置参考层画面中分辨率是8的倍数的参考区域。同样，如果当前层画面的分辨率不是8的倍数，则可设置当前层画面中分辨率是8的倍数的参考区域。
[0065] 本说明书的各种实施例提供了用于向参考层的画面(在下文中，被称为“参考层画面”)分配偏移并由此确定参考层画面的参考区域的方法和设备，其中，所述参考区域在当前层画面的预测中被使用。此外，本说明书的各种实施例提供了一种用于向当前层的画面(在下文中，被称为“当前层画面”)分配偏移并由此确定作为被上采样的参考区域的扩展参考区域的方法和设备。
[0066] 在下文中，参照图1a至图5，在下面提出了通过考虑参考层和当前层的偏移来执行的对图像的上采样。此外，参照图6a至图7b，在下面提出了考虑参考层和当前层的偏移使用上采样的可伸缩视频编码和解码。在下文中，参照图8至图18，提出了在可伸缩视频系统的每一层中执行的基于根据树结构的编码单元的视频编码和解码。
[0067] 在下文中，参照图1a至图5，详细描述了根据各种实施例的通过考虑参考层和当前层的偏移所执行的图像上采样。
[0068] 图1a示出根据实施例的可伸缩视频编码设备100的框图。
[0069] 可伸缩视频编码设备100可包括编码器110、编码信息确定器120和比特流发送器130。参照图1a，编码器110、编码信息确定器120和比特流发送器130被示出为单独的元件，但在另一实施例中，编码器110和编码信息确定器120可被组合并由此可被实现为一个元件。同样，比特流发送器130可与编码器110和编码信息确定器120中的至少一个相组合。
[0070] 参照图1a，编码器110、编码信息确定器120和比特流发送器130被示出为位于一个设备中的元件，但分别执行编码器110、编码信息确定器120和比特流发送器130的功能的设备可不彼此物理邻近。因此，在另一实施例中，编码器110、编码信息确定器120和比特流发送器130可以是离散的。
[0071] 图1a的编码器110、编码信息确定器120和比特流发送器130在实施例中可由一个处理器来实现。在另一实施例中，它们可由多个处理器来实现。
[0072] 可伸缩视频编码设备100可包括用于存储在编码器110、编码信息确定器120和比特流发送器130中产生的数据的存储器(未示出)。此外，编码器110、编码信息确定器120和比特流发送器130可从存储器(未示出)提取存储的数据，并可使用所述数据。
[0074] 编码器110对输入到可伸缩视频编码设备100的图像进行编码。更详细地讲，编码器110通过对输入图像的当前层画面进行下采样来产生参考层画面。
[0075] 在本说明书中，当前层画面指示当前层的编码/解码画面，参考层画面指示参考层的编码/解码画面。
[0076] 在本说明书中，下采样操作表示减少构成画面的像素数量的过程。例如，当构成画面的像素的数量是32×32时，通过使用下采样可获取像素数量为16×16的经过下采样的画面。由于下采样而减少的像素的比率可根据实施例而变化。
[0077] 由于通对当前层画面进行下采样来产生参考层画面，因此参考层画面的像素数量少于当前层画面的像素数量。
[0078] 编码器110可从参考层画面确定在针对当前层画面的层间预测中使用的参考区域，可对参考区域进行上采样并由此可产生扩展参考区域。
[0079] 在本说明书中，参考区域指示参考画面层的区域，该区域在层间预测中被使用。参考层画面的整个区域可被确定为参考区域。可选择地，参考层画面的仅一部分可被确定为参考区域。
[0080] 在本说明书中，上采样操作指示增加构成画面的像素数量的过程。例如，当构成画面的像素数量是32×32时，通过使用上采样可获取像素数量是64×64的经过上采样的画面。由于上采样而增加的像素的比率可根据实施例而变化。
[0081] 在本说明书中，扩展参考区域指示通过对参考区域进行上采样而产生的画面。如上所述，由于当前层画面的分辨率高于参考层画面的分辨率，因此当前层画面的分辨率高于作为参考层画面的一部分的参考区域的分辨率。因此，难以通过使用低分辨率的参考区域来预测高分辨率的当前层画面。因此，通过对参考区域进行上采样而使用具有提高的分辨率的扩展参考区域来预测当前层画面。
[0082] 编码器110可独立于当前层画面对参考层画面进行编码。此外，编码器110可通过使用对基于树结构的单层画面进行编码的方法来对参考层画面进行编码。
[0083] 编码器110可通过使用参考区域对当前层画面进行编码。在实施例中，编码器110可独立于参考区域对当前层画面进行编码，而无需使用参考区域。
[0084] 将参照图6a和图6b详细描述由编码器110执行的层间预测。将参照图8至图17详细描述基于树结构的编码。
[0085] 编码信息确定器120可从参考层画面和参考区域确定参考层尺寸信息以及参考层偏移信息。
[0086] 在本说明书中，参考层尺寸信息指示关于参考层画面的高度和宽度的信息。在本说明书中，参考层偏移信息指示参考层画面与参考区域之间的偏移。
[0087] 参考层偏移信息可包括参考层左偏移、参考层右偏移、参考层上偏移和参考层下偏移。
[0088] 参考层左偏移是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的水平偏移。参考层上偏移是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的垂直偏移。
[0089] 参考层右偏移是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的水平偏移，参考层下偏移是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的垂直偏移。
[0090] 参考层偏移可被用于限定参考层画面的参考区域。
[0091] 编码信息确定器120可从当前层画面和扩展参考区域确定指示当前层画面的高度和宽度的当前层尺寸信息、以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移。
[0092] 在本说明书中，当前层尺寸信息指示关于当前层画面的高度和宽度的信息。在本说明书中，当前层偏移指示当前层画面与扩展参考区域之间的偏移。
[0093] 关于当前层偏移的信息可包括当前层左偏移、当前层右偏移、当前层上偏移和当前层下偏移。
[0094] 当前层左偏移是当前层画面的左上区域中的亮度样点与扩展参考区域的左上区域中的亮度样点之间的水平偏移。当前层上偏移是当前层画面的左上区域中的亮度样点与扩展参考区域的左上区域中的亮度样点之间的垂直偏移。
[0095] 当前层右偏移是当前层画面的右下区域中的亮度样点与扩展参考区域的右下区域中的亮度样点之间的水平偏移，当前层下偏移是当前层画面的右下区域中的亮度样点与扩展参考区域的右下区域中的亮度样点之间的垂直偏移。
[0096] 当前层偏移信息可被用于限定在当前层图像的预测中使用的扩展参考区域。
[0097] 参考层偏移信息和当前层偏移信息可被表示为亮度样点单元。例如，当参考层左偏移是4并且参考层上偏移是2时，距参考层画面的左上区域中的亮度样点向右4个样点且向下2个样点的亮度样点变成参考区域的左上区域中的亮度样点。
[0099] 此外，根据当前层画面和参考层画面的颜色格式，表示为亮度样点单元的参考层偏移信息和当前层偏移信息的值可与表示为色度样点单元的参考层偏移信息和当前层偏移信息的值不同。
[0100] 例如，在当前层画面和参考层画面的颜色格式是4:2:0时，仅一个色度样点相应于一个亮度样点2×2的块。因此，表示为亮度样点单元并且被包括在参考层偏移信息和当前层偏移信息中的垂直偏移和水平偏移的值可以是表示为色度样点单元的垂直偏移和水平偏移的值的两倍。
[0101] 在另一方面，在当前层画面和参考层画面的颜色格式是4:4:4时，亮度样点和色度样点彼此相应。因此，参考层偏移信息和当前层偏移信息的所有偏移在亮度样点单元和色度样点单元中具有相同的值。
[0102] 将参照图3和图4详细描述参考层偏移信息和当前层偏移信息。
[0103] 比特流发送器130发送比特流，其中，比特流包括由编码信息确定器120确定的参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息。
[0104] 图1b示出根据实施例的可伸缩视频编码设备100执行的可伸缩视频编码方法10的流程图。
[0105] 在操作11，通过对当前层画面进行下采样来产生参考层画面。
[0106] 在操作12，从参考层画面确定在针对当前层画面的层间预测中使用的参考区域。
[0107] 在操作13，通过对参考区域进行上采样来产生扩展参考区域。
[0108] 操作11至13由编码器110执行。
[0109] 在操作14，从参考层画面和参考区域确定指示参考层画面的高度和宽度的参考层尺寸信息以及用于从参考层画面限定在层间预测中使用的参考区域的面积的参考层偏移。
[0110] 之后，从当前层画面和扩展参考区域确定指示当前层画面的高度和宽度的当前层尺寸信息以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移。
[0111] 操作14由编码信息确定器120执行。
[0112] 在操作15，包括参考层尺寸信息、参考层偏移信息、当前层尺寸信息以及当前层偏移信息的比特流被发送。
[0113] 操作15由比特流发送器130执行。
[0114] 图2a示出根据实施例的可伸缩视频解码设备200的框图。
[0115] 可伸缩视频解码设备200可包括编码信息获取器210、伸缩比率确定器220和上采样单元230。参照图2a，编码信息获取器210、伸缩比率确定器220和上采样单元230被示出为单独的元件，但在另一实施例中，编码信息获取器210和伸缩比率确定器220可被组合并因此可被实现为一个元件。同样，上采样单元230可与编码信息获取器210和伸缩比率确定器220中的至少一个组合。
[0116] 参照图2a，编码信息获取器210、伸缩比率确定器220和上采样单元230被示出为位于一个设备中的元件，但分别执行编码信息获取器210、伸缩比率确定器220和上采样单元230的功能的设备可不彼此物理邻近。因此，在另一实施例中，编码信息获取器210、伸缩比率确定器220和上采样单元230可以是离散的。
[0117] 图2a的编码信息获取器210、伸缩比率确定器220和上采样单元230在实施例中可由一个处理器来实现。在另一实施例中，它们可由多个处理器来实现。
[0118] 可伸缩视频解码设备200可包括用于存储在编码信息获取器210、伸缩比率确定器220和上采样单元230中产生的数据的存储器(未示出)。此外，编码信息获取器210、伸缩比率确定器220和上采样单元230可从存储器(未示出)提取存储的数据并可使用该数据。
[0119] 图2a的可伸缩视频解码设备200不限于物理设备。例如，可伸缩视频解码设备的功能之中的一些功能可不被实现为硬件，而是可被实现为软件。
[0120] 编码信息获取器210从比特流获取参考层尺寸信息、用于从参考层画面限定在层间预测中使用的参考区域的参考层偏移信息、当前层尺寸信息以及用于从当前层画面限定与参考区域相应的扩展参考区域的当前层偏移信息。
[0121] 如以上参照图1a所描述的，参考层尺寸信息指示参考层画面的高度和宽度。当前层尺寸信息指示当前层画面的高度和宽度。
[0122] 参考层偏移信息指示参考层画面和参考区域之间的偏移。当前层偏移信息指示当前层画面与扩展参考区域之间的偏移。参考层偏移信息可被用于从参考层画面限定在层间预测中使用的参考区域。当前层偏移信息可被用于从当前层画面限定在当前层画面的预测中使用的扩展参考区域。
[0123] 如以上参照图1a所描述的，参考层偏移信息可包括参考层左偏移、参考层右偏移、参考层上偏移和参考层下偏移，当前层偏移信息可包括当前层左偏移、当前层右偏移、当前层上偏移和当前层下偏移。
[0124] 如以上参照图1a所描述的，参考层偏移信息和当前层偏移信息可被表示为亮度样点单元。在另一实施例中，参考层偏移信息和当前层偏移信息可被表示为色度样点单元。
[0125] 根据实施例，由编码信息获取器210获取的比特流可以是从比特流发送器发送的比特流。
[0126] 伸缩比率确定器220根据由编码信息获取器210获取的编码信息确定伸缩比率。伸缩比率是指参考区域与扩展参考区域的比率。伸缩比率包括指示参考区域的宽度与扩展参考区域的宽度的比率的水平伸缩比率、以及指示参考区域的高度与扩展参考区域的高度的比率的垂直伸缩比率。例如，当垂直伸缩比率和水平伸缩比率均是1：2，并且参考区域的亮度样点的数量是16×16时，扩展参考区域的亮度样点的数量可以是32×32。
[0127] 伸缩比率确定器220从参考层尺寸信息和参考层偏移信息确定参考区域的尺寸。
[0128] 根据实施例，伸缩比率确定器220通过从参考层画面的高度减去参考层上偏移和参考层下偏移来确定参考区域的高度。伸缩比率确定器220通过从参考层画面的宽度减去参考层右偏移和参考层左偏移来确定参考区域的宽度。
[0129] 伸缩比率确定器220从当前层尺寸信息和当前层偏移信息确定扩展参考区域的尺寸。
[0130] 根据实施例，伸缩比率确定器220通过从当前层画面的高度减去当前层上偏移和当前层下偏移来确定扩展参考区域的高度。伸缩比率确定器220通过从当前层画面的宽度减去当前层右偏移和当前层左偏移来确定扩展参考区域的宽度。
[0131] 伸缩比率确定器220从参考区域的尺寸和扩展参考区域的尺寸确定伸缩比率。根据实施例，伸缩比率确定器220可通过将参考区域的宽度与扩展参考区域的宽度进行比较来确定水平伸缩比率。此外，伸缩比率确定器220可通过将参考区域的高度与扩展参考区域的高度进行比较来确定垂直伸缩比率。
[0132] 伸缩比率确定器220通过根据参考层偏移信息、当前层偏移信息以及伸缩比率对参考区域进行上采样来确定扩展参考区域。
[0133] 根据实施例，上采样单元230通过考虑参考层偏移信息、当前层偏移信息以及伸缩比率将扩展参考区域的像素与参考区域的像素进行匹配。扩展参考区域的像素的样点值被确定为与扩展参考区域的像素相应的参考区域的像素的样点值。因此，扩展参考区域的所有像素中的每个像素与参考区域的像素之一匹配，使得包括在扩展参考区域中的所有像素的样点值被确定。
[0134] 将参照图5详细描述由上采样单元230执行的匹配方法的实施例。
[0135] 可伸缩视频解码设备200可包括用于基于扩展参考区域产生针对当前层画面的预测值的预测值产生器(未示出)。预测值产生器(未示出)基于扩展参考区域的像素的样点值确定当前层画面的预测值。预测值产生器(未示出)可通过使用填充、修剪、上采样、下采样方法等之中的至少一种方法来确定当前层画面的预测值。
[0136] 通过确定包括在与扩展参考区域不同的区域中的像素的所有样点值，包括在用于预测当前层画面的预测画面中的像素的样点值均被确定。
[0137] 图2b示出根据实施例的由可伸缩视频解码设备200执行的可伸缩视频解码方法20的流程图。
[0138] 在操作21，从比特流获取参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息。
[0139] 参考层尺寸信息指示参考层画面的高度和宽度。当前层尺寸信息指示当前层画面的高度和宽度。
[0140] 参考层偏移信息指示参考层画面和参考区域之间的偏移。当前层偏移信息指示当前层画面和扩展参考区域之间的偏移。参考层偏移信息可被用于从参考层画面限定在层间预测中使用的参考区域。当前层偏移信息可被用于从当前层画面限定在当前层画面的预测中使用的扩展参考区域。
[0141] 参考层偏移信息可包括参考层左偏移、参考层右偏移、参考层上偏移和参考层下偏移，当前层偏移信息可包括当前层左偏移、当前层右偏移、当前层上偏移和当前层下偏移。
[0142] 参考层偏移信息和当前层偏移信息可被表示为亮度样点单元。在另一实施例中，参考层偏移信息和当前层偏移信息可被表示为色度样点单元。
[0143] 操作21可由编码信息获取器210执行。
[0144] 在操作22，从参考层尺寸信息和参考层偏移信息确定参考区域的尺寸。
[0145] 通过从参考层画面的高度减去参考层上偏移和参考层下偏移来确定参考区域的高度。通过从参考层画面的宽度减去参考层右偏移和参考层左偏移来确定参考区域的宽度。
[0146] 在操作23，从当前层尺寸信息和当前层偏移信息确定扩展参考区域的尺寸。
[0147] 通过从当前层画面的高度减去当前层上偏移和当前层下偏移来确定扩展参考区域的高度。通过从当前层画面的宽度减去当前层右偏移和当前层左偏移来确定扩展参考区域的宽度。
[0148] 在操作24，根据参考区域的尺寸以及扩展参考区域的尺寸，确定指示参考区域的尺寸和扩展参考区域的尺寸之间的差的伸缩比率。
[0149] 伸缩比率包括水平伸缩比率和垂直伸缩比率。可通过将参考区域的宽度与扩展参考区域的宽度进行比较来确定水平伸缩比率。可通过将参考区域的高度与扩展参考区域的高度进行比较来确定垂直伸缩比率。
[0150] 操作22至24可由伸缩比率确定器220来执行。
[0151] 在操作25，通过根据参考层偏移信息、当前层偏移信息以及伸缩比率对参考区域进行上采样来确定扩展参考区域。
[0152] 通过考虑参考层偏移信息、当前层偏移信息以及伸缩比率，将扩展参考区域的像素与参考区域的像素进行匹配。扩展参考区域的像素的样点值被确定为与扩展参考区域的像素相应的参考区域的像素的样点值。因此，扩展参考区域的所有像素中的每个像素与参考区域的像素之一匹配，使得包括在扩展参考区域中的所有像素的样点值被确定。
[0153] 操作25可由上采样单元230执行。
[0154] 当在操作25确定了扩展参考区域的像素的样点值时，可由预测图像确定器(未示出)确定与扩展参考区域不同的区域中的像素的样点值。可基于扩展参考区域的像素的样点值来确定与扩展参考区域不同的区域中的像素的样点值。
[0155] 图3和图4示出根据实施例的使用参考层偏移信息和当前层偏移信息的上采样过程。
[0156] 图3示出当前层画面310和参考层画面330。扩展参考区域320被限定在当前层画面310中，参考区域340被限定在参考层画面330中。
[0157] 可基于当前层画面310的宽度312a和高度312b以及当前层偏移信息314a、314b、314c和314d来确定扩展参考区域320的宽度322a和高度322b。
[0158] 当前层偏移信息314a、314b、314c和314d可包括当前层左偏移314a、当前层上偏移314b、当前层右偏移314c和当前层下偏移314d。
[0159] 可通过从当前层画面310的宽度312a减去当前层左偏移314a和当前层右偏移314c来确定扩展参考区域320的宽度322a。
[0160] 可通过从当前层画面310的高度312b减去当前层上偏移314b和当前层下偏移314d来确定扩展参考区域320的高度322b。
[0161] 可基于参考层画面330的宽度332a和高度332b以及参考层偏移信息334a、334b、334c和334d来确定参考区域340的宽度342a和高度342b。
[0162] 参考层偏移信息334a、334b、334c和334d可包括参考层左偏移334a、参考层上偏移334b、参考层右偏移334c和参考层下偏移334d。
[0163] 可通过从当前层画面310的宽度312a减去当前层左偏移314a和当前层右偏移314c来确定扩展参考区域320的宽度322a。
[0164] 可通过从参考层画面330的高度332b减去参考层上偏移334b和参考层下偏移334d来确定参考区域340的高度342b。
[0165] 可通过将参考区域340的宽度342a与扩展参考区域320的宽度322a进行比较来确定水平伸缩比率。更详细地讲，通过将扩展参考区域320的宽度322a除以参考区域340的宽度342a而获取的值可被确定为水平伸缩比率。
[0166] 可通过将参考区域340的高度342b与扩展参考区域320的高度322b进行比较来确定垂直伸缩比率。更详细地讲，通过将扩展参考区域320的高度322b除以参考区域340的高度342b而获取的值可被确定为垂直伸缩比率。
[0167] 图4示出根据实施例的亮度样点单元中的参考层偏移和当前层偏移。
[0168] 图4示出颜色格式为4:2:0的参考层画面400。图4还示出参考层画面400的左上区域中的像素410以及包括在参考层画面400中的参考区域420的左上区域中的像素。
[0169] 每个像素中的正方形符号指示亮度样点，三角形符号和圆形符号分别指示Cb色度样点和Cr色度样点。像素410和像素430包括各自的亮度样点411和421以及各自的Cb色度样点412和422。
[0170] 2×2的像素块41可包括4个亮度样点。在这点上，包括在2×2的像素块414中的色度样点的数量可根据颜色格式被确定。例如，当颜色格式是如图4中的4:2:0时，2×2的像素块414在左上像素中包括一个Cb色度样点并且在左下像素中包括的一个Cr色度样点。当颜色格式是4:2:2时，2×2的像素块414在左上像素中包括一个Cb色度样点和一个Cr色度样点，并在左下像素中包括一个Cb色度样点和一个Cr色度样点。当颜色格式是4:4:5时，2×2的像素块414在所有像素中的每个像素中包括一个Cb色度样点和一个Cr色度样点。
[0171] 同样，参考层画面400的另一2×2像素块如2×2的像素块414中那样包括根据颜色格式的亮度样点和色度样点。
[0172] 在下文中，针对关于参考层偏移信息和当前层偏移信息的描述，参考层偏移信息基于作为Cb色度样点的色度样点单元。
[0173] 当参考层偏移信息基于亮度样点单元时，参考层画面400的左上区域中的亮度样点411和参考区域420的左上区域中的亮度样点421之间的水平偏移是参考层左偏移。根据图4中示出的实施例，参考层左偏移是4。
[0174] 当参考层偏移基于色度样点单元时，参考层画面400的左上区域中的Cb色度样点412与参考区域420的左上区域中的Cb色度样点422之间的水平偏移是参考层左偏移。根据图4中示出的实施例，参考层左偏移是2。
[0175] 同样，参考层上偏移可被确定。
[0176] 当参考层偏移信息基于亮度样点单元时，参考层画面400的左上区域中的亮度样点411与参考区域420的左上区域中的亮度样点421之间的垂直偏移是参考层上偏移。根据图4中示出的实施例，参考层上偏移是2。
[0177] 当参考层偏移信息基于色度样点单元时，参考层画面400的左上区域中的Cb色度样点412与参考区域420的左上区域中的Cb色度样点422之间的垂直偏移是参考层上偏移。根据图4中示出的实施例，参考层上偏移是1。
[0178] 当颜色格式是如图4中的4:2:0时，沿水平方向每隔两个亮度样点放置一个Cb色度样点。因此，根据色度样点单元的参考层左偏移和参考层右偏移的值是根据亮度样点单元的参考层左偏移和参考层右偏移的值的一半。
[0179] 此外，当颜色格式是4:2:0时，沿垂直方向每隔两个亮度样点放置一个Cb色度样点。因此，根据色度样点单元的参考层上偏移和参考层下偏移的值是根据亮度样点单元的参考层上偏移和参考层下偏移的值的一半。
[0180] 当颜色格式是4:2:2时，沿水平方向每隔两个亮度样点放置一个Cb色度样点。因此，根据色度样点单元的参考层左偏移和参考层右偏移的值是根据亮度样点单元的参考层左偏移和参考层右偏移的值的一半。
[0181] 然而，由于沿垂直方向每隔一个亮度样点放置一个Cb色度样点，因此根据色度样点单元的参考层上偏移和参考层下偏移的值等于根据亮度样点单元的参考层上偏移和参考层下偏移的值。
[0182] 当颜色格式是4:4:4时，在所有像素中亮度样点和Cb色度样点彼此相应。因此，基于亮度样点单元的参考层偏移信息和基于Cb色度样点单元的参考层偏移信息具有相同的值。
[0183] 图5示出根据实施例的用于描述获取编码信息的过程的语法。
[0184] 图5的num_scaled_ref_layer_offsets指明具有当前层偏移信息的层的数量。根据可伸缩编码方案，图像可被编码为至少两层。在这点上，所有的层具有上级层和下级层中的至少一层。由于下级层提供在针对上级层的编码/解码中使用的参考区域，因此下级层变为针对上级层的参考层。相反，由于通过使用下级层的参考区域对上级层进行编码/解码，因此上级层变为针对下级层的当前层。因此，除了最下级层以外的所有层可具有当前层偏移信息。因此，当图像被编码为n层时，可伸缩视频解码设备200对num_scaled_ref_layer_offsets进行解析以便确定针对除了最下级层以外的n-1层是否存在当前层偏移信息。
[0185] 例如，当图像被编码为8层并且num_scaled_ref_layer_offsets指示5时，除了最下级层以外的7层之中的仅5层可具有当前层偏移信息。在这点上，由于残留的两层不具有当前层偏移信息，因此扩展参考区域的尺寸被确定为等于当前层画面的尺寸。
[0186] 可伸缩视频解码设备200从比特流获取num_scaled_ref_layer_offsets。可伸缩视频解码设备200可通过对num_scaled_ref_layer_offsets进行解析来确定具有当前层偏移信息的层数。
[0187] for(i＝0；i
[0188] scaled_ref_layer_id[i]
[0189] scaled_ref_layer_left_offset[scaled_ref_layer_id[i]]
[0190] scaled_ref_layer_top_offset[scaled_ref_layer_id[i]]
[0191] scaled_ref_layer_right_offset[scaled_ref_layer_id[i]]
[0192] scaled_ref_layer_bottom_offset[scaled_ref_layer_id[i]]
[0193] }
[0194] 以上语法表示当i是0,1,...,(num_scaled_ref_layer_offsets-1)时，获取针对与i相应的当前层的当前层偏移信息的过程。
[0195] scaled_ref_layer_id[i]指示具有当前层偏移的当前层的标识号。例如，当图像被编码为四层(其中，第一层、第二层、第三层和第四层之中的第一层和第三层具有当前层偏移信息)时，num_scaled_ref_layer_offsets可指示2，scaled_ref_layer_id[0]可指示第一层，并且scaled_ref_layer_id[1]可指示第三层。
[0196] scaled_ref_layer_left_offset[scaled_ref_layer_id[i]]指示与scaled_ref_layer_id[i]相应的当前层左偏移。例如，当scaled_ref_layer_id[0]指示第一层并且第一层的当前层左偏移是2时，scaled_ref_layer_left_offset[scaled_ref_layer_id[0]]指示2。
[0197] scaled_ref_layer_top_offset[scaled_ref_layer_id[i]]指示与scaled_ref_layer_id[i]相应的当前层上偏移。例如，当ref_layer_id[0]指示第一层并且第一层的当前层上偏移是1时，scaled_ref_layer_top_offset[scaled_ref_layer_id[0]]指示1。
[0198] scaled_ref_layer_right_offset[scaled_ref_layer_id[i]]指示与scaled_ref_layer_id[i]相应的当前层右偏移。例如，当ref_layer_id[0]指示第一层并且第一层的当前层右偏移是2时，scaled_ref_layer_right_offset[scaled_ref_layer_id[0]]指示2。
[0199] scaled_ref_layer_bottom_offset[scaled_ref_layer_id[i]]指示与scaled_ref_layer_id[i]相应的当前层下偏移。例如，当ref_layer_id[0]指示第一层并且第一层的当前层下偏移是1时，scaled_ref_layer_bottom_offset[scaled_ref_layer_id[0]]指示1。
[0200] 可伸缩视频解码设备200可从比特流获取scaled_ref_layer_id[i]、ref_layer_left_offset[scaled_ref_layer_id[i]]、scaled_ref_layer_top_offset[scaled_ref_layer_id[i]]、scaled_ref_layer_right_offset[scaled_ref_layer_id[i]]和scaled_ref_layer_bottom_offset[scaled_ref_layer_id[i]]。
[0201] 如果scaled_ref_layer_left_offset[scaled_ref_layer_id[i]]在比特流中不存在，则可伸缩视频解码设备200将scaled_ref_layer_left_offset[scaled_ref_layer_id[i]]确定为0。
[0202] 如果scaled_ref_layer_top_offset[scaled_ref_layer_id[i]]在比特流中不存在，则可伸缩视频解码设备200将scaled_ref_layer_top_offset[ref_layer_id[i]]确定为0。
[0203] 如果scaled_ref_layer_right_offset[ref_layer_id[i]]在比特流中不存在，则可伸缩视频解码设备200将scaled_ref_layer_right_offset[ref_layer_id[i]]确定为0。
[0204] 如果scaled_ref_layer_bottom_offset[ref_layer_id[i]]在比特流中不存在，则可伸缩视频解码设备200将scaled_ref_layer_bottom_offset[ref_layer_id[i]]确定为0。
[0205] 图5的num_ref_layer_offsets指明具有参考层偏移信息的层的数量。当图像被编码为n层时，可伸缩视频解码设备200解析num_scaled_ref_layer_offsets以便确定针对除最上级层以外的n-1层是否存在参考层偏移信息。
[0206] 例如，当图像被编码为8层并且num_ref_layer_offsets指示5时，除最上级层以外的7层之中的仅5层可具有参考层偏移信息。在这点上，由于残留的两层不具有参考层偏移信息，因此整个参考层画面被确定为参考区域。
[0207] 可伸缩视频解码设备200从比特流获取num_ref_layer_offsets。可伸缩视频解码设备200可通过解析num_ref_layer_offsets来获取具有参考层偏移信息的层数。
[0208] for(i＝0；i
[0209] ref_layer_id[i]
[0210] ref_layer_left_offset[ref_layer_id[i]]
[0211] ref_layer_top_offset[ref_layer_id[i]]
[0212] ref_layer_right_offset[ref_layer_id[i]]
[0213] ref_layer_bottom_offset[ref_layer_id[i]]
[0214] }
[0215] 以上语法表示当i是0,1,...,(num_ref_layer_offsets-1)时，获取针对与i相应的参考层的参考层偏移信息的过程。
[0216] ref_layer_id[i]指示具有参考层偏移的参考层的标识号。例如，当图像被编码为四层(其中，第一层、第二层、第三层和第四层之中的第二层和第四层具有参考层偏移信息)时，num_ref_layer_offsets可指示2，ref_layer_id[0]可指示第二层，并且ref_layer_id[1]可指示第四层。
[0217] ref_layer_left_offset[ref_layer_id[i]]指示与ref_layer_id[i]相应的参考层左偏移。例如，当ref_layer_id[0]指示第二层，并且第二层的参考层左偏移是2时，ref_layer_left_offset[ref_layer_id[0]]指示2。
[0218] ref_layer_top_offset[ref_layer_id[i]]指示与ref_layer_id[i]相应的参考层上偏移。例如，当ref_layer_id[0]指示第二层，并且第二层的参考层上偏移是1时，ref_layer_top_offset[ref_layer_id[0]]指示1。
[0219] ref_layer_right_offset[ref_layer_id[i]]指示与ref_layer_id[i]相应的参考层右偏移。例如，当ref_layer_id[0]指示第二层，并且第二层的参考层右偏移是2时，ref_layer_right_offset[ref_layer_id[0]]指示2。
[0220] ref_layer_bottom_offset[ref_layer_id[i]]指示与ref_layer_id[i]相应的参考层下偏移。当ref_layer_id[0]指示第二层，并且第二层的参考层下偏移是1时，ref_layer_bottom_offset[ref_layer_id[0]]指示1。
[0221] 可伸缩视频解码设备200可从比特流获取ref_layer_id[i]、ref_layer_left_offset[ref_layer_id[i]]、ref_layer_top_offset[ref_layer_id[i]]、ref_layer_right_offset[ref_layer_id[i]]和ref_layer_bottom_offset[ref_layer_id[i]]。
[0222] 如果ref_layer_left_offset[ref_layer_id[i]]在比特流中不存在，则可伸缩视频解码设备200将ref_layer_left_offset[ref_layer_id[i]]确定为0。
[0223] 如果ref_layer_top_offset[ref_layer_id[i]]在比特流中不存在，则可伸缩视频解码设备200将ref_layer_top_offset[ref_layer_id[i]]确定为0。
[0224] 如果ref_layer_right_offset[ref_layer_id[i]]在比特流中不存在，则可伸缩视频解码设备200将ref_layer_right_offset[ref_layer_id[i]]确定为0。
[0225] 如果ref_layer_bottom_offset[ref_layer_id[i]]在比特流中不存在，则可伸缩视频解码设备200将ref_layer_bottom_offset[ref_layer_id[i]]确定为0。
[0226] 上述scaled_ref_layer_left_offset[scaled_ref_layer_id[i]]、scaled_ref_layer_top_offset[scaled_ref_layer_id[i]]、scaled_ref_layer_right_offset[scaled_ref_layer_id[i]]、scaled_ref_layer_bottom_offset[scaled_ref_layer_id[i]]、ref_layer_left_offset[ref_layer_id[i]],ref_layer_top_offset[ref_layer_id[i]]、ref_layer_right_offset[ref_layer_id[i]]和ref_layer_bottom_offset[ref_layer_id[i]]可以是均表示为亮度样点单元的值。当偏移均被表示为色度样点单元时，可伸缩视频解码设备200可根据颜色格式将所述偏移转换为亮度样点单元。
[0227] 可伸缩视频解码设备200可通过使用获取的scaled_ref_layer_left_offset[scaled_ref_layer_id[i]]、scaled_ref_layer_top_offset[scaled_ref_layer_id[i]]、scaled_ref_layer_right_offset[scaled_ref_layer_id[i]]和scaled_ref_layer_bottom_offset[scaled_ref_layer_id[i]]来确定当前层画面的高度和宽度。可根据等式1和等式2确定扩展参考区域的高度和宽度。
[0228] ScaledRefLayerRegionWidthInSamplesY＝PicWidthInSamplesCurrY？ScaledRefLayerRegionLeftOffset？ScaledRefLayerRegionRightOffset[等式1][0229] ScaledRefLayerRegionHeightInSamplesY＝PicHeightInSamplesCurrY？ScaledRefLayerRegionTopOffset？ScaledRefLayerRegionBottomOffset[等式2][0230] 在等式1和等式2中，ScaledRefLayerRegionWidthInSamplesY指示扩展参考区域的宽度，ScaledRefLayerRegionHeightInSamplesY指示扩展参考区域的高度。PicWidthInSamplesCurrY指示当前层画面的宽度，PicHeightInSamplesCurrY指示当前层画面的高度。
[0231] ScaledRefLayerRegionLeftOffset、ScaledRefLayerRegionRightOffset、ScaledRefLayerRegionTopOffset和ScaledRefLayerRegionBottomOffset指示可伸缩视频解码设备200从比特流获取的当前层左偏移、当前层上偏移、当前层右偏移和当前层下偏移。
[0232] 根 据 等 式 1 ，通 过 从 P i c W i d t h I n S a m p l e s C u r r Y 减 去ScaledRefLayerRegionLeftOffset和ScaledRefLayerRegionRightOffset来确定ScaledRefLayerRegionWidthInSamplesY。
[0233] 根 据 等式 2 ，通 过 从 Pi c H e ig h t I n Sa m p l e s Cu r r Y 减 去ScaledRefLayerRegionTopOffset和ScaledRefLayerRegionBottomOffset来确定ScaledRefLayerRegionHeightInSamplesY。
[0234] 可伸缩视频解码设备200可通过使用获取的ref_layer_left_offset[ref_layer_id[i]],ref_layer_top_offset[ref_layer_id[i]]、ref_layer_right_offset[ref_layer_id[i]]和ref_layer_bottom_offset[ref_layer_id[i]]来确定参考区域的高度和宽度。参考区域的高度和宽度可根据等式3和等式4来确定。
[0235] RefLayerRegionWidthInSamplesY＝PicWidthInSamplesRefLayerY？RefLayerRegionLeftOffset？RefLayerRegionRightOffset[等式3]
[0236] RefLayerRegionHeightInSamplesY＝PicHeightInSamplesRefLayerY？RefLayerRegionTopOffset？RefLayerRegionBottomOffset[等式4]
[0237] 在等式3和等式4中，RefLayerRegionWidthInSamplesY指示参考区域的宽度，RefLayerRegionHeightInSamplesY指示参考区域的高度。PicWidthInSamplesRefLayerY指示参考层画面的宽度，PicHeightInSamplesRefLayerY指示参考层画面的高度。
[0238] RefLayerRegionLeftOffset、RefLayerRegionRightOffset、RefLayerRegionTopOffset和RefLayerRegionBottomOffset表示可伸缩视频解码设备200从比特流获取的参考层左偏移、参考层上偏移、参考层右偏移和参考层下偏移。
[0239] 根据等式1，通过从PicWidthInSa mplesRefLayerY减去RefLayerRegionLeftOffset和RefLayerRegionRightOffset来确定
RefLayerRegionWidthInSamplesY。
RefLayerRegionWidthInSamplesY。
[0240] 根据等式2，通过从PicHeightInSamplesRefLayerY减去RefLayerRegionTopOffset和RefLayerRegionBottomOffset来确定
RefLayerRegionHeightInSamplesY。
RefLayerRegionHeightInSamplesY。
[0241] 可伸缩视频解码设备200可通过使用参考区域的高度和宽度以及扩展参考区域的高度和宽度来确定水平伸缩比率和垂直伸缩比率。水平伸缩比率和垂直伸缩比率可根据等式5和等式6来确定。
[0242] SpatialScaleFactorHorY＝((RefLayerRegionWidthInSamplesY<<16)+[0243] (ScaledRefRegionWidthInSamplesY>>1))/ScaledRefRegionWidthInSamplesY[等式5]
[0244] SpatialScaleFactorVerY＝((RefLayerRegionHeightInSamplesY<<16)+[0245] (ScaledRefRegionHeightInSamplesY>>1))/ScaledRefRegionHeightInSamplesY[等式6]
[0246] 在等式5和等式6中，SpatialScaleFactorHorY和SpatialScaleFactorVerY分别指示水平伸缩比率和垂直伸缩比率。A<>B分别是左移位运算符和右移位运算符。左移位运算符表示0被插入到比特序列的右侧。因此，A<>2表示
010010。
010010。
[0247] 根据等式5，SpatialScaleFactorHorY等于通过将另一个值除以ScaledRefRegionWidthInSamplesY而获取的值，所述另一个值是通过将
RefLayerRegionWidthInSamplesY向右移位16个像素而获取的。因此，为了使水平伸缩比率被确定为大于1的整数，将RefLayerRegionWidthInSamplesY与2^16相乘，其中，2^16是扩展参考区域与参考区域之比的最大值。
RefLayerRegionWidthInSamplesY向右移位16个像素而获取的。因此，为了使水平伸缩比率被确定为大于1的整数，将RefLayerRegionWidthInSamplesY与2^16相乘，其中，2^16是扩展参考区域与参考区域之比的最大值。
[0248] 根据等式5，为了使(RefLayerRegionWidthInSamplesY<<16)/Sca led Re fRe gi onW id thI nSa mp les Y的结 果值 四舍五 入 ，将
ScaledRefRegionWidthInSamplesY>>1添加到RefLayerRegionWidthInSamplesY<<16。
ScaledRefRegionWidthInSamplesY>>1添加到RefLayerRegionWidthInSamplesY<<16。
[0249] 根据等式6，SpatialScaleFactorVerY等于通过将另一个值除以ScaledRefRegionHeightInSamplesY而获取的值，所述另一个值是通过使
RefLayerRegionHeightInSamplesY向右移位16个像素而获取的。在等式5中，ScaledRefRegionHeightInSamplesY大于RefLayerRegionHeightInSamplesY。因此，为了使垂直伸缩比率被确定为大于1的值，将RefLayerRegionHeightInSamplesY与2^16相乘，其中，2^16是扩展参考区域与参考区域之比的最大值。
RefLayerRegionHeightInSamplesY向右移位16个像素而获取的。在等式5中，ScaledRefRegionHeightInSamplesY大于RefLayerRegionHeightInSamplesY。因此，为了使垂直伸缩比率被确定为大于1的值，将RefLayerRegionHeightInSamplesY与2^16相乘，其中，2^16是扩展参考区域与参考区域之比的最大值。
[0250] 根据等式5，为了使(RefLayerRegionHeightInSamplesY<<16)/ScaledR efRegion HeightIn Sa mplesY的 结果值四舍五入 ，将
ScaledRefRegionHeightInSamplesY>>1与RefLayerRegionHeightInSamplesY<<16相加。
ScaledRefRegionHeightInSamplesY>>1与RefLayerRegionHeightInSamplesY<<16相加。
[0251] 结果，根据等式5和等式6，通过将SpatialScaleFactorHorY除以2^16而获取的值是实际的水平伸缩比率，通过将SpatialScaleFactorVerY除以2^16而获取的值是实际的垂直伸缩比率。
[0252] 可伸缩视频解码设备200可通过将扩展参考区域的像素映射到参考区域的像素来确定扩展参考区域的像素的样点值。参照等式7和等式8，描述了将扩展参考区域的像素映射到参考区域的像素的方法。
[0253] xRef16＝(((xP？ScaledRefLayerLeftOffset)*SpatialScaleFactorHorY+addX+(1<<11))>>12)+(RefLayerRegionLeftOffset<<4)[等式7]
[0254] yRef16＝(((yP？ScaledRefLayerTopOffset)*SpatialScaleFactorVerY+addY+(1<<11))>>12)+(RefLayerRegionTopOffset<<4)[等式8]
[0255] 在等式7和等式8中，xP和yP是指示扩展参考区域的像素相对于当前层画面的位置的坐标值。xP指示从当前层画面的左上像素到扩展参考区域的像素的水平距离。yP指示从当前层画面的左上像素到扩展参考区域的像素的垂直距离。
[0256] xRef16和yRef16是指示参考区域的像素相对于参考层画面的位置的坐标值。xRef16和yRef16指示亮度样点单元中的参考区域的像素的位置。xRef16指示从参考层画面的左上像素到参考区域的像素的水平距离。yRef16指示从参考层画面的左上像素到参考区域的像素的垂直距离。
[0257] addX指示水平伸缩比率和水平相位差的乘积。水平相位差是指水平方向的相位差，其中，当参考区域被上采样为扩展参考区域时出现所述相位差。addY指示垂直伸缩比率与垂直相位差的乘积。垂直相位差是指垂直方向的相位差，其中，当参考区域被上采样为扩展参考区域时出现所述相位差。为了易于描述等式7和等式8，假设addX和addY为0。
[0258] 为了获取xRef16，可伸缩视频解码设备200将指示水平伸缩比率的SpatialScaleFactorHorY与通过从指示当前层左偏移的ScaledRefLayerLeftOffset减去xP而获取的值相乘。可伸缩视频解码设备200使(xP？ScaledRefLayerLeftOffset)*SpatialScaleFactorHorY的结果值向右移位12个像素，并将指示参考层左偏移的(RefLayerRegionLeftOffset<<4)与移位运算的结果值相加。
[0259] 等式7是通过考虑SpatialScaleFactorHorY是比实际水平伸缩比率大2^16的值的因素以及被表示为亮度样点单元的xRef16必须是大于1的整数的因素而被确定的。因此，在等式7中，(xP？ScaledRefLayerLeftOffset)*SpatialScaleFactorHorY的结果值被向右移位12个像素，并且RefLayerRegionLeftOffset被向左移位4个像素。因此，通过将xRef16除以16个像素(等于2^4)而获取的值是参考区域的像素的实际位置。
[0260] yRef16是以类似于xRef16的方式通过使用等式8而确定的。
[0261] 扩展参考区域中的与xP和yP相应的样点值可通过根据使用等式7和等式8而确定的xRef16和yRef16对参考区域的样点进行插值来确定。
[0262] 参照图5描述的语法是实施例，并且本说明书的各种实施例可由构造不同于图5的语法的构造的语法来实现。
[0263] 图6a示出根据实施例的可伸缩视频编码设备600的框图。
[0264] 可伸缩视频编码设备600可包括下采样单元605、参考层编码器610、上采样单元650、当前层编码器660和复用器690。
[0265] 下采样单元605接收当前层画面602的输入。下采样单元605通过对输入的当前层画面602进行下采样来产生参考层画面607。
[0266] 参考层编码器610接收参考层画面607的输入。参考层编码器610对参考层画面607进行编码。参考层编码器610可根据单层编码方案对参考层画面607进行编码。参考层编码器610可通过对参考层画面607进行编码并随后对参考层画面607进行解码来重建参考层画面607，并可将重建的参考层画面607存储在存储器(未示出)中。此外，参考层编码器610可从参考层画面607确定参考区域651。
[0267] 上采样单元650从参考层编码器610接收参考区域651的输入。上采样单元650通过对参考区域651进行上采样来确定扩展参考区域652。
[0268] 当前层编码器660接收当前层画面602和扩展参考区域652的输入。当前层编码器660可根据单层编码方案对当前层画面602进行编码。此外，当前层编码器660可通过根据扩展参考区域652产生当前层画面602的预测画面来对当前层画面602进行编码。
[0269] 参考层编码器610将包括参考层画面607的编码信息的比特流发送到复用器690。当前层编码器660将包括当前层画面602的编码信息的比特流发送到复用器690。
[0270] 复用器690通过对从参考层编码器610和当前层编码器660发送的比特流进行组合来产生可伸缩比特流695。
[0271] 图6b示出根据实施例的可伸缩视频编码设备600的框图。图6b具体示出参考层编码器610和当前层编码器660进行的编码过程。
[0272] 参考层编码器610可通过根据最大编码单元、编码单元、预测单元、变换单元等对参考层画面607进行划分来对参考层画面607进行编码。帧内预测器622可通过根据帧内模式和编码深度确定最佳编码模式来预测参考层画面607。运动补偿器624可通过参照存储在存储器中的参考画面列表来预测参考层画面607。参考层画面列表可包括输入到参考层编码器610中的参考层画面。可根据帧内预测或帧间预测针对每个预测单元产生残差数据。
[0273] 变换器/量化器630通过对残差数据执行频率变换和量化来产生量化的变换系数。随后，熵编码器632对量化的变换系数进行熵编码。在编码过程中产生的多条编码信息以及经过熵编码的量化的变换系数被发送到复用器690。
[0274] 逆变换器/反量化器634通过对量化的变换系数进行反量化和逆变换来重建残差数据。帧内预测器622或运动补偿器624通过使用残差数据和编码信息来重建参考层画面607。
[0275] 当根据帧间预测模式预测出参考层画面607时，可由环路滤波器636对重建的参考层画面607的编码误差进行补偿。环路滤波器636可包括去块滤波器和样点自适应偏移(SAO)滤波器中的至少一个。
[0276] 重建的参考层画面607可被存储在存储器638中。此外，重建的参考层画面607可被发送到运动补偿器624，并可在针对另一参考层画面的预测中被使用。
[0277] 可由上采样单元650对存储在存储器638中的参考层画面607的参考区域651进行上采样。上采样单元650可将作为经过上采样的参考区域651的扩展参考区域发送到当前层编码器660的存储器668。
[0278] 此外，运动补偿器624可产生通过根据当前层画面与参考层画面的伸缩比率对运动预测信息进行缩放而获取的层间运动预测信息654，其中，所述运动预测信息曾在帧间预测中被使用。运动补偿器624可将层间运动预测信息654发送到当前层编码器660的运动补偿器674。
[0279] 根据前述方案，针对参考层画面的编码操作可被重复。
[0280] 当前层编码器660可通过根据最大编码单元、编码单元、预测单元、变换单元等对当前层画面602进行划分来对当前层画面602进行编码。帧内预测器672可通过根据帧内模式和编码深度确定最佳编码模式来预测当前层画面602。运动补偿器674可通过参照存储在存储器中的参考画面列表来预测当前层画面602。此外，对于帧间预测，运动补偿器674可使用由参考层编码器610的运动补偿器624产生的层间运动预测信息654。参考层画面列表可包括输入到当前层编码器660中的当前层画面以及由上采样单元650上采样得到的扩展参考区域652。可根据帧内预测或帧间预测针对每个预测单元产生残差数据。
[0281] 变换器/量化器680通过对残差数据执行频率变换和量化来产生量化的变换系数。随后，熵编码器682对量化的变换系数进行熵编码。在编码过程中产生的多条编码信息以及经过熵编码的量化的变换系数被发送到复用器690。
[0282] 逆变换器/反量化器684通过对量化的变换系数进行反量化和逆变换来重建残差数据。帧内预测器672或运动补偿器674通过使用残差数据和编码信息来重建当前层画面602。
[0283] 当根据帧间预测模式预测出当前层画面602时，可由环路滤波器686对重建的当前层画面602的编码误差进行补偿。环路滤波器686可包括去块滤波器和样点自适应偏移(SAO)滤波器中的至少一个。
[0284] 重建的当前层画面602可被存储在存储器688中。此外，重建的当前层画面602可被发送到运动补偿器624，并可在针对另一参考层画面的预测中被使用。
[0285] 根据前述方案，针对当前层画面的编码操作可被重复。
[0286] 图7a示出根据实施例的可伸缩视频解码设备700的框图。
[0287] 可伸缩视频解码设备700可包括解复用器705、参考层解码器710、上采样单元750和当前层解码器760。
[0288] 解复用器705接收可伸缩比特流702的输入。然后，解复用器705对可伸缩比特流702进行解析并将可伸缩比特流702划分为关于当前层画面797的比特流和关于参考层画面
795的比特流。关于当前层画面797的比特流被发送到当前层解码器760。关于参考层画面
795的比特流被发送到参考层解码器710。
795的比特流。关于当前层画面797的比特流被发送到当前层解码器760。关于参考层画面
795的比特流被发送到参考层解码器710。
[0289] 参考层解码器710对输入的关于参考层画面795的比特流进行解码。参考层解码器710可根据单层解码方案对参考层画面795进行解码。参考层解码器710可将解码的参考层画面795存储在存储器(未示出)中。此外，参考层解码器710可从解码的参考层画面795确定参考区域751。参考层画面795可经由参考层解码器710的解码过程被输出。
[0290] 上采样单元750从参考层解码器710接收参考区域751的输入。然后，上采样单元750对参考区域751进行上采样并确定扩展参考区域752。
[0291] 当前层解码器760接收关于当前层画面797的比特流以及扩展参考区域的输入。当前层解码器760可根据单层解码方案对当前层画面797进行解码。此外，当前层解码器760可根据扩展参考区域752产生当前层画面797的预测画面，并可对当前层画面797进行解码。当前层画面797可经由当前层解码器760的解码过程被输出。
[0292] 图7b示出根据实施例的可伸缩视频解码设备700的框图。图7b具体示出由参考层解码器710和当前层解码器760进行的解码过程。
[0293] 熵解码器720通过对关于参考层画面795的比特流进行熵解码来产生量化的变换系数。然后，逆变换器/反量化器722通过对量化的变换系数进行反量化和逆变换来重建残差数据。
[0294] 帧内预测器732可根据残差数据和编码信息对参考层画面795进行预测。运动补偿器734可通过参考残差数据和存储在存储器中的参考画面列表来预测参考层画面795。参考画面列表包括由参考层解码器710重建的参考层画面。
[0295] 当根据帧间预测模式预测出参考层画面795时，可由环路滤波器724对重建的参考层画面795的编码误差进行补偿。环路滤波器724可包括去块滤波器和样点自适应偏移(SAO)滤波器中的至少一个。
[0296] 重建的参考层画面795可被存储在存储器738中。重建的参考层画面795可被发送到运动补偿器734，并可在针对另一参考层画面的预测中被使用。
[0297] 可由上采样单元750对存储在存储器738中的参考层画面795的参考区域751进行上采样。上采样单元750可将作为经过上采样的参考区域751的扩展参考区域发送到当前层编码器760的存储器788。
[0298] 环路滤波器724可产生通过根据当前层画面与参考层画面的伸缩比率对运动预测信息进行缩放而获取的层间运动预测信息754，其中，所述运动预测信息曾在帧间预测中被使用。运动补偿器734可将层间运动预测信息754发送到当前层编码器的运动补偿器784。
[0299] 根据前述方案，针对参考层画面的编码操作可被重复。
[0300] 熵解码器770通过对关于当前层画面797的比特流进行熵解码来产生量化的变换系数。然后，逆变换器/反量化器772通过对量化的变换系数进行反量化和逆变换来重建残差数据。
[0301] 帧内预测器782可根据残差数据和编码信息对当前层画面797进行预测。运动补偿器784可通过参考残差数据和存储在存储器788中的参考画面列表来预测当前层画面797。运动补偿器784可针对帧间预测使用层间运动预测信息754，其中，层间运动预测信息754是由参考层编码器710的运动补偿器734产生的。参考画面列表包括由当前层解码器760重建的当前层画面以及由上采样单元750上采样得到的扩展参考区域752。
[0302] 当根据帧间预测模式预测出当前层画面797时，可由环路滤波器774对重建的当前层画面797的编码误差进行补偿。环路滤波器774可包括去块滤波器和样点自适应偏移(SAO)滤波器中的至少一个。
[0303] 重建的当前层画面797可被存储在存储器788中。然后，重建的当前层画面797可被发送到运动补偿器784，并可在针对另一参考层画面的预测中被使用。
[0304] 根据前述方案，针对当前层画面的解码操作可被重复。
[0305] 通过解码操作，可从参考层解码器710输出参考层画面795，并可从当前层解码器760输出当前层画面797。
[0306] 参照图6和图7，描述了仅包括两层的可伸缩视频编码/解码设备。然而，参照图6和图7提供的编码/解码原理还可被应用于包括三层或更多层的可伸缩视频编码/解码设备。例如，当输入图像被编码为第一层、第二层和第三层时，用于层间预测的扩展参考区域以及层间运动预测信息可在第一层编码器和第二层编码器的编码过程期间被产生。同样，用于层间预测的扩展参考区域以及层间运动预测信息可在第二层编码器和第三层编码器的编码过程期间被产生。
[0307] 参照图8至图18详细描述参照图6和图7描述的按照块单元执行的根据树结构的编码/解码方法。
[0308] 因此，为了便于描述，由于将参照图8a至图18描述的基于根据树结构的编码单元的视频编码处理和视频解码处理是对单层视频执行的，因此将仅描述帧间预测和运动补偿。然而，如参照图6a至图7b所描述的，参考层画面和当前层画面之间的层间预测和补偿被执行以对视频流进行编码/解码。
[0309] 因此，为了根据实施例的可伸缩视频编码设备100的编码器110基于树结构的编码单元对多层视频进行编码，可伸缩视频编码设备100可包括与多层视频的层数一样多的图8的视频编码设备800以对每个单层视频执行视频编码，并可控制视频编码设备800分别对单层视频进行编码。此外，可伸缩视频编码设备100可通过使用针对视频编码设备800获取的离散的单视点的编码结果来执行视点间预测。因此，可伸缩视频编码设备100的编码器110可产生包括每层的编码结果的基本视层视频流和当前层视频流。
[0310] 类似地，为了使可伸缩视频解码设备200的解码器基于树结构的编码单元对多层视频进行解码，可伸缩视频解码设备200可包括与多层视频的层数相应的图8b的视频解码设备850，以便对接收到的参考层视频流和接收到的当前层视频流中的每层执行视频解码，并可控制视频解码设备850分别对单层视频进行解码。然后，可伸缩视频解码设备200可通过使用针对视频解码设备850获取的离散的单层的解码结果来执行层间补偿。因此，可伸缩视频解码设备850可产生针对每层而被重建的参考层图像和当前层图像。
[0311] 图8a示出根据各种实施例的基于树结构的编码单元的视频编码设备800的框图。
[0312] 涉及基于树结构的编码单元的视频预测的视频编码设备800包括编码器810和输出单元820。在下文中，为便于描述，涉及基于树结构的编码单元的视频预测的视频编码设备800被称为“视频编码设备800”。
[0313] 编码器810可基于图像的当前画面的最大编码单元来划分当前画面，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。根据实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。
[0314] 根据实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度可被定义为最高深度，最小编码单元的深度可被定义为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
[0315] 如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根据实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图像数据进行分层分类。
[0316] 可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。
[0317] 编码器810对通过根据深度对最大编码单元的区域进行划分而获取的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码结果的深度。换句话说，编码器810通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。将确定的编码深度和根据最大编码单元的图像数据输出到输出单元820。
[0318] 基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码单元中的图像数据进行编码，并且比较基于每个较深层编码单元对图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
[0319] 随着编码单元根据深度被分层地划分并且随着编码单元的数量增加，最大编码单元的尺寸被划分。此外，即使在一个最大编码单元中编码单元与同一深度相应，仍通过分别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，编码误差仍可根据所述一个最大编码单元中的区域而不同，因此编码深度可根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元来对最大编码单元的图像数据进行划分。
[0320] 因此，根据实施例的编码器810可确定包括在当前最大编码单元中的具有树结构的编码单元。根据实施例的“具有树结构的编码单元”包括当前最大编码单元中包括的所有较深层编码单元之中的与确定为编码深度的深度相应的编码单元。可根据最大编码单元的同一区域中的深度来分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。同样，可与另一区域中的编码深度独立地确定当前区域中的编码深度。
[0321] 根据实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据实施例的最大深度可表示从最大编码单元到最小编码单元的总划分次数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4的深度等级，并且因此最大深度可被设置为4。
[0322] 可根据最大编码单元执行预测编码和变换。根据最大编码单元，还基于根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
[0323] 由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。在下文中，为了便于描述，在至少一个最大编码单元中，现在将基于当前深度的编码单元来描述预测编码和变换。
[0324] 根据实施例的视频编码设备800可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
[0325] 例如，视频编码设备800不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。
[0326] 为了在最大编码单元中执行预测编码，可基于编码深度的编码单元(即，基于不再被划分的编码单元)来执行预测编码。在下文中，不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元而获取的分区可包括预测单元或通过对从预测单元的高度和宽度选择的至少一个进行划分而获取的数据单元。分区是编码单元的预测单元被划分的数据单元，并且预测单元可以是与编码单元具有相同的尺寸的分区。
[0327] 例如，当2N×2N(其中，N是正整数)的编码单元不再被划分并成为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例可选择性地包括通过对预测单元的高度或宽度进行对称地划分而获取的对称分区、通过对预测单元的高度或宽度进行非对称地划分(诸如，1：n或n:1)而获取的分区、通过对预测单元进行几何地划分而获取的分区、或具有任意形状的分区。
[0328] 预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式和帧间模式。此外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
[0329] 根据实施例的视频编码设备800还可不仅基于用于对图像数据进行编码的编码单元还基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，变换单元可包括帧内模式的数据单元和帧间模式的变换单元。
[0330] 以与根据树结构的编码单元类似的方式，编码单元中的变换单元可被递归地划分为更小尺寸的区域，因此，可基于根据变换深度的具有树结构的变换单元，对编码单元的残差数据进行划分。
[0331] 还可在变换单元中设置变换深度，其中，变换深度指示通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。也就是说，可根据变换深度设置具有树结构的变换单元。
[0332] 根据编码深度的划分信息不仅需要关于编码深度的信息，还需要关于与预测和变换相关的信息。因此，编码器810不仅可确定产生最小编码误差的编码深度，还可确定将预测单元划分为分区的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
[0333] 稍后将参照图15至图24详细描述根据实施例的最大编码单元中的根据树结构的编码单元以及确定预测单元/分区和变换单元的方法。
[0334] 编码器810可通过使用基于拉格朗日乘数的率失真优化来测量根据深度的较深层编码单元的编码误差。
[0335] 输出单元820在比特流中输出最大编码单元的图像数据和根据深度的编码模式信息，其中，所述最大编码单元的图像数据基于由编码器810确定的至少一个编码深度而被编码。
[0336] 可通过对图像的残差数据进行编码来获取编码的图像数据。
[0337] 根据深度的编码模式信息可包括编码深度信息、预测单元的分区类型信息、预测模式信息和变换单元的尺寸信息。
[0338] 可通过使用根据深度的划分信息来定义编码深度信息，其中，编码深度信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则通过使用当前深度的编码单元对当前编码单元进行编码，因此可将当前深度的划分信息定义为不将当前编码单元划分到更低深度。相反，如果当前编码单元的当前深度不是编码深度，则必须对更低深度的编码单元执行编码，并因此可将当前深度的划分信息定义为将当前编码单元划分为更低深度的编码单元。
[0339] 如果当前深度不是编码深度，则对被划分到更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，并因此可对具有相同深度的编码单元递归地执行编码。
[0340] 由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定至少一条编码模式信息，因此可针对一个最大编码单元确定至少一条编码模式信息。此外，由于根据深度对最大编码单元的数据进行分层划分，因此最大编码单元的数据的编码深度可根据位置而不同，因此可针对所述数据设置编码深度和编码模式信息。
[0341] 因此，根据实施例的输出单元820可将关于相应编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
[0342] 根据实施例的最小单元是通过将构成最低编码深度的最小编码单元划分为4份而获取的正方形数据单元。可选择地，根据实施例的最小单元可以是可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大正方形数据单元。
[0343] 例如，通过输出单元820输出的编码信息可被分类为根据较深层编码单元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括关于预测模式的信息和关于分区的尺寸的信息。根据预测单元的编码信息可包括关于帧间模式期间的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧内模式期间的插值方法的信息。
[0344] 根据画面、条带分段或GOP定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集中。
[0345] 还可通过比特流的头、序列参数集或画面参数集来输出关于针对当前视频允许的变换单元的最大尺寸的信息、以及关于变换单元的最小尺寸的信息。输出单元820可对与预测相关的参考信息、预测信息和条带分段类型信息进行编码和输出。
[0346] 根据针对视频编码设备800的最简单的实施例，较深层编码单元可以是通过将更高深度(更高一层)的编码单元的高度或宽度划分成两份而获取的编码单元。也就是说，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。此外，尺寸为2N×2N的当前编码单元可包括最多4个尺寸为N×N的更低深度的编码单元。
[0347] 因此，视频编码设备800可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编码单元。此外，由于可通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最优编码模式。
[0348] 因此，如果以传统宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用根据实施例的视频编码设备，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并且在考虑图像的特征的同时调整编码单元，因此可提高图像压缩效率。
[0349] 以上参照图6a描述的可伸缩视频编码设备600可包括与层数相应的视频编码设备800，以便在多层视频中的每层中对单层图像进行编码。例如，参考层编码器610可包括一个视频编码设备800，当前层编码器660可包括当前层的数量相应的视频编码设备800。
[0350] 当视频编码设备800对参考层图像进行编码时，编码器810可在每个最大编码单元中根据树结构的编码单元中的每一个编码单元确定用于图像间预测的预测单元，并可对每个预测单元执行图像间预测。
[0351] 当视频编码设备800对当前层图像进行编码时，编码器810可在每个最大编码单元中确定树结构的编码单元和预测单元，并可对每个预测单元执行帧间预测。
[0352] 视频编码设备800可通过使用SAO对用于预测当前层图像的层间预测误差进行编码。因此，可通过基于预测误差的样点值分布使用关于SAO类型和偏移的信息对当前层图像的预测误差进行编码，而不必对每个像素位置的预测误差进行编码。
[0353] 编码器810可执行图1的编码器110和编码信息确定器120的功能。输出单元820可执行比特流发送器130的功能。
[0354] 图8b示出根据各种实施例的基于具有树结构的编码单元的视频解码设备850的框图。
[0355] 基于根据树结构的编码单元的视频解码设备850包括接收器210、图像数据和编码信息接收提取单元860以及解码器870。在下文中，为了便于描述，使用基于根据树结构的编码单元的视频预测的视频解码设备850将被称为“视频编码设备850”。
[0356] 用于视频解码设备850的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与参照图8和视频编码设备800描述的定义相同。
[0357] 图像数据和编码信息接收提取单元860接收并解析编码的视频的比特流。图像数据和编码信息接收提取单元860从解析的比特流针对每个编码单元提取编码的图像数据，并将提取的图像数据输出到解码器870，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息接收提取单元860可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。
[0358] 此外，图像数据和编码信息接收提取单元860从解析的比特流根据每个最大编码单元提取关于具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到解码器870。也就是说，比特流中的图像数据被划分为最大编码单元，使得解码器870针对每个最大编码单元对图像数据进行解码。
[0359] 可针对关于与编码深度相应的至少一个编码单元的信息来设置根据最大编码单元的关于编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。此外，根据深度的划分信息可被提取为关于编码深度的信息。
[0360] 由图像数据和编码信息接收提取单元860提取的根据每个最大编码单元的关于编码深度和编码模式的信息是这样的关于编码深度和编码模式的信息：所述编码深度和编码模式被确定为在编码器(诸如，根据实施例的视频编码设备800)根据每个最大编码单元对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备850可通过根据产生最小编码误差的编码方法对数据进行解码来重建图像。
[0361] 由于根据实施例的关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元和最小单元之中的预定数据单元，因此图像数据和编码信息接收提取单元860可根据预定数据单元提取关于编码深度和编码模式的信息。可将被分配相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
[0362] 解码器870可基于根据每个最大编码单元的编码深度和编码模式信息，通过对每个最大编码单元中的图像数据进行解码来重建当前画面。也就是说，解码器870可基于读取的包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单元，对编码的图像数据进行解码。解码处理可包括预测处理(包含帧内预测和运动补偿)和逆变换处理。
[0363] 解码器870可基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。
[0364] 此外，为了针对每个最大编码单元进行逆变换，解码器870可针对每个编码单元读取关于根据树结构的变换单元的信息，以便基于每个编码单元的变换单元执行逆变换。由于逆变换，可重建编码单元的空间域的像素值。
[0365] 解码器870可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，解码器870可针对与当前深度相应的每个编码单元，通过使用关于预测单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息，对当前最大编码单元的图像数据进行解码。
[0366] 也就是说，可通过观察被分配用于编码单元、预测单元和最小单元之中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由解码器870以相同编码模式进行解码的一个数据单元。因此，可通过获取关于每个编码单元的编码模式的信息来对当前编码单元进行解码。
[0367] 参照图7b描述的可伸缩视频解码设备700可包括与视点数相应的视频解码设备850，以便通过对接收的参考层图像流和当前层图像流进行解码来重建参考层图像和当前层图像。
[0368] 当参考层图像流被接收时，视频解码设备850的解码器870可将由图像数据和编码信息接收提取单元860从参考层图像流提取的参考层图像的样点划分为根据最大编码单元的树结构的编码单元。解码器870可基于用于图像间预测的预测单元对参考层图像的样点的根据树结构的编码单元中的每个编码单元执行运动补偿，并可重建参考层图像。
[0369] 在当前层图像流被接收时，视频解码设备850的解码器870可将由图像数据和编码信息接收提取单元860从当前层图像流提取的当前层图像的样点划分为根据最大编码单元的树结构的编码单元。解码器870可基于用于图像间预测的预测单元对当前层图像的样点的根据树结构的编码单元中的每个编码单元执行运动补偿，并可重建当前层图像。
[0370] 图像数据和编码信息接收提取单元860可从接收到的当前层比特流获取SAO类型和偏移，并可针对当前层预测图像的每个像素根据样点值的分布来确定SAO类别，由此通过使用SAO类型和偏移来获取针对每种SAO类别的偏移。因此，解码器870可针对当前层预测图像的每个像素对相应类别的偏移进行补偿，而无需接收针对每个像素的预测误差，并且解码器870可通过参考补偿后的当前层预测图像来确定重建的当前层图像。
[0371] 因此，视频解码设备850可获取与在对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元有关的信息，并可使用所述信息来对当前画面进行解码。也就是说，可对每个最大编码单元中的被确定为最优编码单元的具有树结构的编码单元进行解码。
[0372] 因此，即使图像数据具有高分辨率或具有极大数据量，也可通过使用通过使用编码单元的尺寸和编码模式来有效地对图像进行解码和重建，其中，所述编码单元的尺寸和编码模式是通过使用从编码器接收的最优编码模式信息，根据图像的特性而被自适应地确定的。
[0373] 图像数据和编码信息接收提取单元860可执行图2的编码信息获取器210的功能。解码器870可执行伸缩比率确定器220和上采样单元230的功能。
[0374] 图9示出根据各种实施例的编码单元的构思。
[0375] 编码单元的尺寸可被表示为宽度×高度，并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
[0376] 在视频数据910中，分辨率为1920×1080，编码单元的最大尺寸为64，最大深度为2。在视频数据920中，分辨率为1920×1080，编码单元的最大尺寸为64，最大深度为3。在视频数据930中，分辨率为352×288，编码单元的最大尺寸为16，最大深度为1。图15中示出的最大深度表示从最大编码单元到最小解码单元的划分总次数。
[0377] 如果分辨率高或数据量大，则编码单元的最大尺寸优选较大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据930更高分辨率的视频数据910和920的编码单元的最大尺寸可被选为64。
[0378] 由于视频数据910的最大深度是2，因此由于通过对最大编码单元划分两次，深度加深至两层，因此视频数据910的编码单元915可包括长轴尺寸为64的最大编码单元和长轴尺寸为32和16的编码单元。另一方面，由于视频数据930的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层，因此视频数据930的编码单元935可包括长轴尺寸为16的最大编码单元和长轴尺寸为8的编码单元。
[0379] 由于视频数据920的最大深度是3，因此由于通过对最大编码单元划分三次，深度加深至3层，因此视频数据920的编码单元925可包括长轴尺寸为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深，可提高针对详细信息的表现能力。
[0380] 图10a示出根据各种实施例的基于编码单元的图像编码器1000的框图。
[0381] 根据实施例的图像编码器1000包括视频编码设备900的编码器910执行的对图像数据进行编码的操作。也就是说，帧内预测器1004在当前帧1002中对帧内模式下的编码单元执行帧内预测，运动估计器1006和运动补偿器1008通过使用当前帧1002和参考帧1026在当前帧1002中对帧间模式下的编码单元执行帧间估计和运动补偿。
[0382] 从帧内预测器1004、运动估计器1006和运动补偿器1008输出的数据通过变换器1010和量化器1012被输出为量化后的变换系数。量化后的变换系数通过反量化器1018和逆变换器1020被恢复为空间域中的数据。恢复的空间域中的数据在通过去块单元1022和偏移补偿单元1024后处理之后被输出为参考帧1026。量化的变换系数可通过熵编码器1014被输出为比特流1016。
[0383] 为了将图像编码器1000应用于视频编码设备900，图像编码器1000的所有元件(即，帧内预测器1004、运动估计器1006、运动补偿器1008、变换器1010、量化器1012、熵编码器1014、反量化器1018、逆变换器1020、去块单元1022和偏移补偿单元1024)在考虑每个最大编码单元的最大深度的同时基于具有树结构的编码单元之中的每个编码单元执行操作。
[0384] 具体地，帧内预测器1004、运动估计器1006和运动补偿器1008可在考虑当前最大编码单元的最大尺寸和最大深度的同时确定具有树结构的编码单元之中的每个编码单元的分区和预测模式，变换器1010可确定是否在具有树结构的编码单元之中的每个编码单元中确定变换单元的尺寸。
[0385] 图10b示出根据各种实施例的基于编码单元的图像解码器1050的框图。
[0386] 解析器1054从比特流1052解析将被解码的编码图像数据和解码所需的关于编码的信息。编码图像数据通过熵解码器1056和反量化器1058被输出为经过反量化的数据，并且经过反量化的数据通过逆变换器1060被恢复为空间域中的图像数据。
[0387] 帧内预测器1062针对空间域中的图像数据对帧内模式下的编码单元执行帧内预测，运动补偿器1064通过使用参考帧1070，对帧间模式下的编码单元执行运动补偿。
[0388] 经过了帧内预测器1062和运动补偿器1064的空间域中的图像数据可在通过去块单元1066和偏移补偿单元1068后处理之后被输出为恢复帧1072。此外，通过去块单元1066和偏移补偿单元1068后处理的图像数据可被输出为参考帧1070。
[0389] 为了在视频解码设备1050的解码器970中对图像数据进行解码，根据实施例的图像解码器1050可执行解析器1054执行操作之后被执行的操作。
[0390] 为了将图像解码器1050应用于视频解码设备950，图像解码器1050的所有元件(即，解析器1054、熵解码器1056、反量化器1058、逆变换器1060、帧内预测器1062、运动补偿器1064、去块单元1066和偏移补偿单元1068)针对每个最大编码单元基于具有树结构的编码单元执行操作。
[0391] 具体地，帧内预测器1062和运动补偿器1064基于针对具有树结构的编码单元中的每个编码单元的分区和预测模式执行操作，逆变换器1060基于针对每个编码单元的变换单元的尺寸执行操作。
[0392] 图10a的编码操作和图10b的解码操作分别详细描述了单层中的视频流编码操作和视频流解码操作。因此，如果图6a的可伸缩视频编码设备600对两层或更多层的视频流进行编码，则可针对每层提供图像编码器1000。类似地，如果图7a的可伸缩视频解码设备700对两层或更多层的视频流进行解码，则可针对每层提供图像解码器1050。
[0393] 图11示出根据各种实施例的根据深度的较深层编码单元以及分区的示图。
[0394] 根据实施例的视频编码设备800和根据实施例的视频解码设备850使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。
[0395] 在根据实施例的编码单元的分层结构1100中，编码单元的最大高度和最大宽度均是64，最大深度是4。在此情况下，最大深度是指编码单元从最大编码单元到最小编码单元被划分的总次数。由于深度沿着分层结构1100的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。此外，预测单元和分区沿着分层结构1100的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
[0396] 也就是说，编码单元1110是分层结构1100中的最大编码单元，其中，深度为0，尺寸(即，高度乘宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32且深度为1的编码单元1120、尺寸为16×16且深度为2的编码单元1130、尺寸为8×8且深度为3的编码单元1140。尺寸为8×8和深度为3的编码单元1140是最小编码单元。
[0397] 编码单元的预测单元和分区根据每个深度沿着水平轴被排列。也就是说，如果尺寸为64×64且深度为0的编码单元1110是预测单元，则可将预测单元划分成包括在尺寸为64×64的编码单元1110中的分区，即，尺寸为64×64的分区1110、尺寸为64×32的分区
1112、尺寸为32×64的分区1114或尺寸为32×32的分区1116。
1112、尺寸为32×64的分区1114或尺寸为32×32的分区1116。
[0398] 同样，可将尺寸为32×32且深度为1的编码单元1120的预测单元划分成包括在尺寸为32×32的编码单元1120中的分区，即，尺寸为32×32的分区1120、尺寸为32×16的分区1122、尺寸为16×32的分区1124和尺寸为16×16的分区1126。
[0399] 同样，可将尺寸为16×16且深度为2的编码单元1130的预测单元划分成包括在尺寸为16×16的编码单元1130中的分区，即，包括在编码度单元1130中的尺寸为16×16的分区1130、尺寸为16×8的分区1132、尺寸为8×16的分区1134和尺寸为8×8的分区1136。
[0400] 同样，可将尺寸为8×8且深度为3的编码单元1140的预测单元划分成包括在尺寸为8×8的编码单元1140中的分区，即，尺寸为8×8的分区1140、尺寸为8×4的分区1142、尺寸为4×8的分区1144和尺寸为4×4的分区1146。
[0401] 为了确定最大编码单元1110的编码深度，视频编码设备100的编码器810对包括在最大编码单元1110中的与深度分别相应的编码单元执行编码。
[0402] 随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，必须通过使用与深度1相应的编码单元和四个与深度2相应的编码单元中的每一个来对数据进行编码。
[0403] 为了根据多个深度中的每个深度执行编码，可沿着编码单元1100的分层结构1100的水平轴，通过对根据深度的编码单元中的每个预测单元执行编码来选择最小编码误差，其中，该最小编码误差是相应深度的代表性编码误差。此外，随着深度沿着编码单元的分层结构1100的垂直轴加深，可通过针对每个深度执行编码来比较根据深度的代表性最小编码误差，以搜索最小编码误差。最大编码单元1110中的具有最小编码误差的深度和分区可被选为最大编码单元1110的编码深度和分区类型。
[0404] 图12示出用于描述根据各种实施例的编码单元和变换单元之间的关系的示图。
[0405] 根据实施例的视频编码设备800或根据实施例的视频解码设备850针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择用于在编码处理期间进行变换的变换单元的尺寸。
[0406] 例如，在视频编码设备800或视频解码设备850中，当编码单元1210的尺寸是64×64时，可通过使用尺寸为32×32的变换单元1220来执行变换。
[0407] 此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的变换单元中的每一个执行变换，来对尺寸为64×64的编码单元1210的数据进行编码，然后可选择针对原始图像具有最小编码误差的变换单元。
[0408] 图13示出根据各种实施例的根据深度的多条编码信息。
[0409] 根据实施例的视频编码设备100的输出单元820可对与编码深度相应的每个编码单元的作为编码模式信息的分区类型信息1300、预测模式信息1310以及变换单元尺寸信息1320进行编码和发送。
[0410] 分区类型信息1300指示关于通过划分当前编码单元的预测单元而获取的分区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2N×2N的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为2N×2N的分区1302、尺寸为2N×N的分区1304、尺寸为N×2N的分区1306和尺寸为N×N的分区1308。在这种情况下，关于当前编码单元的分区类型信息1300被设置为指示以下分区之一：尺寸为2N×N的分区1304、尺寸为N×2N的分区1306和尺寸为N×N的分区1308。
[0411] 预测模式信息1310指示每个分区的预测模式。例如，预测模式信息1310可指示对由分区类型信息1300指示的分区执行的预测编码的模式，即，帧内模式1312、帧间模式1314或跳过模式1316。
[0412] 变换单元尺寸信息1320指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元1322、第二帧内变换单元1324、第一帧间变换单元1326和第二帧间变换单元1328中的一个。
[0413] 视频解码设备850的图像数据和编码信息接收提取单元860可根据每个较深层编码单元，提取并使用用于解码的分区类型信息1300、预测模式信息1310和变换单元尺寸信息1320。
[0414] 图14示出根据各种实施例的根据深度的较深层编码单元。
[0415] 划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。
[0416] 用于对深度为0且尺寸为2N_0×2N_0的编码单元1400进行预测编码的预测单元1410可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型1412、尺寸为2N_0×N_0的分区类型1414、尺寸为N_0×2N_0的分区类型1416和尺寸为N_0×N_0的分区类型1418。仅示出了通过对称地划分预测单元而获取的分区类型1412、1414、1416和1418，但如上所述，分区类型不限于此，并且分区类型可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
[0417] 根据每种分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
[0418] 如果在尺寸为2N_0×2N_0、N_0×2N_0和2N_0×N_0的分区类型1412、1414和1416中的一个分区类型中编码误差最小，则可不将预测单元1410划分到更低深度。
[0419] 如果在尺寸为N_0×N_0的分区类型1418中编码误差最小，则深度从0改变到1并执行划分(操作1420)，并对深度为2且尺寸为N_0×N_0的分区类型的编码单元1430重复地执行编码来搜索最小编码误差。
[0420] 用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元1430进行预测编码的预测单元1430可包括以下分区类型：尺寸为2N_1×2N_1的分区类型1442、尺寸为2N_1×N_1的分区类型1444、尺寸为N_1×2N_1的分区类型1446以及尺寸为N_1×N_1的分区类型1448。
[0421] 如果在尺寸为N_1×N_1的分区类型1448中编码误差最小，则深度从1改变到2并执行划分(在操作1450)，并对深度为2且尺寸为N_2×N_2的编码单元1460重复执行编码来搜索最小编码误差。
[0422] 当最大深度是d时，根据度的较深层编码单元可被设置，直到深度与d-1相应时为止，并且划分信息可被设置，直到深度与d-2相应时为止。也就是说，当编码被执行直到在与d-2的深度相应的编码单元中被划分(在操作1470中)之后深度是d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元1480进行预测编码的预测单元1490可包括以下分区类型的分区：尺寸为2N_(d-1)×2N_(d-1)的分区类型1492、尺寸为2N_(d-1)×N_(d-1)的分区类型1494、尺寸为N_(d-1)×2N_(d-1)的分区类型1496和尺寸为N_(d-1)×N_(d-1)的分区类型1498。
[0423] 可对分区类型之中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。
[0424] 即使当尺寸为N_(d-1)xN_(d-1)的分区类型1498具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)不再被划分到更低深度，用于构成当前最大编码单元1400的编码单元的编码深度被确定为d-1，并且当前最大编码单元1400的分区类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度是d，因此不设置针对深度为d-1的编码单元1452的划分信息。
[0425] 数据单元1499可以是用于当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低编码深度的最小编码单元划分成4份而获取的正方形数据单元。通过重复地执行编码，根据实施例的视频编码设备100可通过比较根据编码单元1400的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码模式。
[0426] 这样，在所有深度0、1、…、d-1、d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为深度。编码深度、预测单元的分区类型和预测模式可作为编码模式信息被编码并被发送。此外，由于编码单元必须从深0度被划分到编码深度，因此仅将编码深度的划分信息设置为“0”，并且将除了编码深度以外的深度的划分信息设置为“1”。
[0427] 根据实施例的视频解码设备850的图像数据和编码信息接收提取单元860可提取并使用关于编码单元1400的编码深度和预测单元信息，以对编码单元1412进行解码。根据实施例的视频解码设备850可通过使用根据深度的划分信息，将划分信息为“0”的深度确定为深度，并且可使用关于相应深度的编码模式信息来进行解码。
[0428] 图15、图16和图17示出根据各种实施例的在编码单元、预测单元和变换单元之间的关系。
[0429] 编码单元1510是最大编码单元中的根据由视频编码设备100确定的编码深度的较深层编码单元。预测单元1560是根据编码深度的每个编码单元1510的预测单元的分区，变换单元1570是根据编码深度的每个编码单元的变换单元。
[0430] 当在较深层编码单元1510中的最大编码单元的深度是0时，编码单元1512的深度是1，编码单元1514、1516、1518、1528、1550和1552的深度是2，编码单元1520、1522、1524、1526、1530、1532和1548的深度是3，编码单元1540、1542、1544和1546的深度是4。
[0431] 在预测单元1560中，通过划分编码单元来获取一些分区1514、1516、1522、1532、1548、1550、1552和1554。也就是说，分区1514、1522、1550和1554是尺寸为2N×N的分区类型，分区1516、1548和1552是尺寸为N×2N的分区，分区1532是尺寸为N×N的分区。较深层编码单元1510的预测单元和分区小于或等于每个编码单元。
[0432] 在小于编码单元1552的数据单元中的变换单元1570中，对编码单元1552的图像数据执行变换或逆变换。此外，在尺寸和形状方面，变换单元1560中的编码单元1514、1516、1522、1532、1548、1550、1552和1554是不同于预测单元1560中的编码单元1514、1516、1522、
1532、1548、1550、1552和1554的数据单元。也就是说，根据实施例的视频编码设备800和视频解码设备850可对同一编码单元中的各个数据单元执行帧内预测/运动估计/运动补偿/以及变换/逆变换。
1532、1548、1550、1552和1554的数据单元。也就是说，根据实施例的视频编码设备800和视频解码设备850可对同一编码单元中的各个数据单元执行帧内预测/运动估计/运动补偿/以及变换/逆变换。
[0433] 因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码来确定最优编码单元，从而可获取具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、分区类型信息、预测类型信息和变换单元尺寸信息。以下的表1示出可由根据实施例的视频编码设备800和视频解码设备850设置的编码信息。
[0434] [表1]
[0435]
[0436]
[0437] 根据实施例的视频编码设备800的输出单元820可输出关于具有树结构的编码单元的编码信息，根据实施例的视频解码设备850的图像数据和编码信息接收提取单元860可从接收到的比特流提取关于具有树结构的编码单元的编码信息。
[0438] 划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对编码深度来定义分区类型信息、预测模式信息和变换单元尺寸信息。如果当前编码单元必须根据划分信息被进一步划分，则必须对更低深度的四个划分编码单元中的每一个独立地执行编码。
[0439] 预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区类型中定义帧内模式和帧间模式，可仅在尺寸为2N×2N的分区类型中定义跳过模式。
[0440] 分区类型信息可指示通过对称地划分预测单元的高度或宽度而获取的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对称地划分预测单元的高度或宽度而获取的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按1:3和3:1来划分预测单元的高度来分别获取尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1来划分预测单元的宽度来分别获取尺寸为nL×2N和nR×2N的非对称分区类型。
[0441] 可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。也就是说，如果变换单元的划分信息是0，则变换单元的尺寸可以是2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获取变换单元。此外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。
[0442] 根据实施例的关于具有树结构的编码单元的编码信息可被分配给编码深度的编码单元、预测单元和最小单元中的至少一个。编码深度的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。
[0443] 因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编码深度相应的同一编码单元中。此外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，并因此可推断出最大编码单元中的编码深度的分布。
[0444] 因此，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
[0445] 在另一实施例中，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则可通过使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码单元来对当前编码单元进行预测。
[0446] 图18示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系。
[0447] 最大编码单元1800包括编码深度的编码单元1802、1804、1806、1812、1814、1816和1818。这里，由于编码单元1818是编码深度的编码单元，因此划分信息可被设置成0。可将尺寸为2N×2N的编码单元1818的分区类型信息设置成包括2N×2N 1822、2N×N 1824、N×2N
1826、N×N 1828、2N×nU1832、2N×nD 1834、nL×2N 1836和nR×2N 1838的多种分区类型之一。
1826、N×N 1828、2N×nU1832、2N×nD 1834、nL×2N 1836和nR×2N 1838的多种分区类型之一。
[0448] 变换单元划分信息(TU尺寸标志)是一种类型的变换索引，与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
[0449] 例如，当分区类型信息被设置为对称分区类型2N×2N 1822、2N×N 1824、N×2N 1826和N×N 1828之一时，如果变换单元划分信息是0，则可设置尺寸为2N×2N的变换单元
1842，如果变换单元划分信息是1，则可设置尺寸为N×N的变换单元1844。
1842，如果变换单元划分信息是1，则可设置尺寸为N×N的变换单元1844。
[0450] 当分区类型信息被设置成非对称分区类型2N×nU 1832、2N×nD 1834、nL×2N 1836和nR×2N 1838之一时，如果变换单元划分信息(TU尺寸标志)是0，则可设置尺寸为2N×2N的变换单元1852，如果变换单元划分信息是1，则可设置尺寸为N/2×N/2的变换单元
1854。
1854。
[0451] 以上参照图12描述的变换单元划分信息(TU尺寸标志)是具有值0或1的标志，但是根据实施例的变换单元划分信息不限于具有1比特的标志，并且变换单元可根据设置在变换单元划分信息以0、1、2、3...等的方式增加时被分层划分。变换单元划分信息可以是变换索引的示例。
[0452] 在这种情况下，可通过使用根据实施例的变换单元划分信息以及变换单元的最大尺寸和变换单元的最小尺寸来表示实际上已使用的变换单元的尺寸。根据实施例的视频编码设备100可对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码的结果可被插入SPS。根据实施例的视频解码设备850可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息来对视频进行解码。
[0453] 例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则(a-1)当TU尺寸标志为0时，变换单元的尺寸可以是32×32，(a-2)当TU尺寸标志为1时，变换单元的尺寸可以是16×16，(a-3)当TU尺寸标志为2时，变换单元的尺寸可以是8×8。
[0454] 作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则(b-1)当TU尺寸标志为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标志不能够被设置为除了0以外的值。
[0455] 作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标志为1，则TU尺寸标志可以是0或1。这里，TU尺寸标志不能够被设置为除了0或1以外的值。
[0456] 因此，如果定义最大TU尺寸标志为“MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，并且当TU尺寸标志为0时的变换单元尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”：
[0457] CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))
[0458] …(1)
[0459] 与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可指示可在系统中选择的最大变换单元尺寸。也就是说，在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”指示当TU尺寸标志为0时，变换单元尺寸“RootTuSize”被划分了与最大TU尺寸标志相应的次数时的变换单元尺寸，“MinTransformSize”指示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。
[0460] 根据实施例，最大变换单元尺寸RootTuSize可根据预测模式的类型而改变。
[0461] 例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸。
[0462] RootTuSize＝min(MaxTransformSize,PUSize)……(2)
[0463] 也就是说，如果当前预测模式是帧间模式，则当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中较小的值。
[0464] 如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“RootTuSize”。在等式(3)中，“PartitionSize”指示当前分区单元的尺寸：
[0465] RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)
[0466] 也就是说，如果当前预测模式是帧内模式，则当TU尺寸标志为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。
[0467] 然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅是实施例，并且用于确定当前最大变换单元尺寸的因素不限于此。
[0468] 根据以上参照图15至图18描述的基于树结构的编码单元的视频编码方法，按照树结构的编码单元中的每个编码单元对空间域的图像数据进行编码，并且按照根据基于树结构的编码单元的视频解码方法对每个最大编码单元执行解码的方式来重建空间域的图像数据，使得由画面和画面序列形成的视频可被重建。重建的视频可由再现设备来再现，可存储在存储介质中，或可通过网络来发送。
[0469] 前述实施例可被编写为计算机程序，并可实现在使用计算机可读记录介质执行程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。
[0470] 为便于描述，以上参照图6a至图18描述的可伸缩视频编码方法和/或视频编码方法将被统称为“本发明的可伸缩视频编码方法”。此外，以上参照图6a至图18描述的可伸缩视频解码方法和/或视频解码方法将被统称为“本发明的视频解码方法”。
[0471] 此外，参照图6a至图18描述的包括可伸缩视频编码设备600、视频编码设备800或图像编码器1000的视频编码设备将被统称为“本发明的视频编码设备”。此外，参照图6a至图18描述的包括可伸缩视频解码设备700、视频解码设备850或图像解码器1050的视频解码设备将被统称为“本发明的视频解码设备”。
[0472] 现在将详细描述根据实施例的存储程序的计算机可读记录介质(诸如盘26000)。
[0473] 图19示出根据各种实施例的存储程序的盘26000的物理结构。作为存储介质被描述的盘26000可以是硬盘驱动器、致密盘只读存储器(CD-ROM)盘、蓝光盘或数字多功能盘(DVD)。盘26000包括多个同心磁道Tr，每个同心磁道Tr沿盘26000的圆周方向被划分成特定数量的扇区Se。在盘26000的特定区域中，可分配并存储执行以上所描述的量化参数确定方法、视频编码方法和视频解码方法的程序。
[0474] 现在将参照图21来描述使用存储用于执行如上所述的视频编码方法和视频解码方法的程序的存储介质来实现的计算机系统。
[0475] 图20示出通过使用盘26000来记录和读取程序的盘驱动器26800。计算机系统26700可经由盘驱动器26800将执行本发明的视频编码方法和视频解码方法中的至少一个的程序存储在盘26000中。为了在计算机系统26700中运行存储在盘26000中的程序，可通过使用盘驱动器26800从盘26000读取程序并可将程序发送到计算机系统26700。
[0476] 执行本发明的视频编码方法和视频解码方法中的至少一个的程序不仅可被存储在图19和图21中示出的盘26000中，还可被存储在存储卡、ROM卡带或固态驱动器(SSD)中。
[0477] 以下将描述应用了以上所描述的根据实施例的视频编码方法和视频解码方法的系统。
[0478] 图21示出用于提供内容分发服务的内容供应系统11000的整体结构。将通信系统的服务区域划分成预定尺寸的小区，并将无线基站11700、11800、11900和12000分别安装在这些小区中。
[0479] 内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、视频相机12300和移动电话12500的多个独立装置经由互联网服务提供器11200、通信网络11400和无线基站11700、11800、11900和12000连接到互联网11100。
[0480] 然而，内容供应系统11000不限于如图21中所示，并且装置可选择性地被连接到内容供应系统11000。多个独立装置可不经由无线基站11700、11800、11900和12000而直接连接到通信网络11400。
[0481] 视频相机12300是能够捕捉视频图像的成像装置，例如，数字视频相机。移动电话12500可利用各种协议(例如，个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人手持电话系统(PHS))中的至少一种通信方法。
[0482] 视频相机12300可经由无线基站11900和通信网络11400连接到流服务器11300。流服务器11300允许经由视频相机12300从用户接收到的内容经由实时广播被流传输。可由视频相机12300或流服务器11300对从视频相机12300接收到的内容进行编码。通过视频相机12300捕捉到的视频数据可经由计算机12100被发送到流服务器11300。
[0483] 通过相机12600捕捉到的视频数据也可经由计算机12100被发送到流服务器11300。与数码相机类似，相机12600是能够捕捉静止图像和视频图像两者的成像装置。可使用相机12600或计算机12100对通过相机12600捕捉到的视频数据进行编码。可将对视频执行编码和解码的软件存储在可由计算机12100访问的计算机可读记录介质(例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡)中。
[0484] 如果视频通过安装在移动电话12500中的相机被捕捉到，则可从移动电话12500接收视频数据。
[0485] 还可通过安装在视频相机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统来对视频数据进行编码。
[0486] 内容供应系统11000可对由用户使用视频相机12300、相机12600、移动电话12500或另一成像装置所记录的内容数据(例如，在音乐会期间记录的内容)进行编码，并可将编码后的内容数据发送到流服务器11300。流服务器11300可将编码后的内容数据以流传输内容的类型发送到请求内容数据的其它客户端。
[0487] 客户端是能够对编码后的内容数据进行解码的装置，例如，计算机12100、PDA 12200、视频相机12300或移动电话12500。因此，内容供应系统11000允许客户端接收并再现编码后的内容数据。此外，内容供应系统11000允许客户端实时接收编码后的内容数据并对编码后的内容数据进行解码和再现，从而能够进行个人广播。
[0488] 本发明的视频编码设备和视频解码设备可被应用于包括在内容供应系统11000中的多个独立装置的编码和解码操作。
[0489] 参照图22和图24，现将详细地描述包括在根据实施例的内容供应系统11000中的移动电话12500。
[0490] 图22示出根据各种实施例的应用了本发明的视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，所述智能电话的功能不受限，并且所述智能电话的大多数功能可被改变或扩展。
[0491] 移动电话12500包括可与无线基站12000交换射频(RF)信号的内部天线12510，并包括用于显示由相机12530捕捉到的图像或经由天线12510接收到的并被解码的图像的显示屏12520(例如，液晶显示器(LCD)或有机发光二极管(OLED)屏幕)。移动电话12500包括包含有控制按钮和触摸面板的操作面板12540。如果显示屏12520是触摸屏，则操作面板12540还包括显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元、以及用于输入语音和声音的麦克风12550或另一类型的声音输入单元。移动电话12500还包括用于捕捉视频和静止图像的相机12530，诸如电荷耦合器件(CCD)相机。移动电话12500还可包括：存储介质12570，用于存储通过相机12530捕捉到的、经由电子邮件接收到的、或根据各种方式获取的编码/解码数据(例如，视频或静止图像)；插槽12560，存储介质12570经由插槽12560被装入移动电话12500中。存储介质12570可以是闪存，例如，包括在塑料壳中的安全数字(SD)卡或电可擦除可编程只读存储器(EEPROM)。
[0492] 图23示出移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面板12540的移动电话12500的每个部件，供电电路12700、操作输入控制器12640、图像编码器12720、相机接口12630、LCD控制器12620、图像解码器12690、复用器/解复用器12680、记录器/读取器12670、调制器/解调器12660和声音处理器12650经由同步总线12730被连接到中央控制器12710。
[0493] 如果用户操作电源按钮，并从“电源关闭”状态设置为“电源开启”状态，则供电电路12700从电池组向移动电话12500的所有部件供电，从而将移动电话12500设置为操作模式。
[0494] 中央控制器12710包括CPU、只读存储器(ROM)和随机存取存储器(RAM)。
[0495] 在移动电话12500将通信数据发送到外部的同时，在中央控制器12710的控制下，由移动电话12500产生数字信号。例如，声音处理器12650可产生数字声音信号，图像编码器12720可产生数字图像信号，并且消息的文本数据可经由操作面板12540和操作输入控制器
12640被产生。当数字信号在中央控制器12710的控制下被传送到调制器/解调器12660时，调制器/解调器12660对数字信号的频带进行调制，并且通信电路12610对频带调制后的数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发送信号可经由天线
12510被发送到语音通信基站或无线基站12000。
12640被产生。当数字信号在中央控制器12710的控制下被传送到调制器/解调器12660时，调制器/解调器12660对数字信号的频带进行调制，并且通信电路12610对频带调制后的数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发送信号可经由天线
12510被发送到语音通信基站或无线基站12000。
[0496] 例如，当移动电话12500处于会话模式时，在中央控制器12710的控制下，经由麦克风12550获取的声音信号通过声音处理器12650被变换成数字声音信号。数字声音信号可经由调制器/解调器12660和通信电路12610被变换成发送信号，并可经由天线12510被发送。
[0497] 当文本消息(例如，电子邮件)在数据通信模式期间被发送时，文本消息的文本数据经由操作面板12540被输入，并经由操作输入控制器12640被发送到中央控制器12610。在中央控制器12610的控制下，文本数据经由调制器/解调器12660和通信电路12610被变换成发送信号，并经由天线12510被发送到无线基站12000。
[0498] 为了在数据通信模式期间发送图像数据，由相机12530捕捉到的图像数据经由相机接口12630被提供给图像编码器12720。捕捉到的图像数据可经由相机接口12630和LCD控制器12620被直接显示在显示屏12520上。
[0499] 图像编码器12720的结构可与上述视频编码设备100的结构相应。图像编码器12720可根据上述视频编码方法，将从相机12530接收到的图像数据变换为压缩和编码后的图像数据，并随后将编码后的图像数据输出到复用器/解复用器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获取的声音信号可经由声音处理器12650被变换成数字声音数据，并且数字声音数据可被发送到复用器/解复用器12680。
[0500] 复用器/解复用器12680对从图像编码器12720接收到的编码后的图像数据与从声音处理器12650接收到的声音数据一起进行复用。对数据进行复用的结果可经由调制器/解调器12660和通信电路12610被变换成发送信号，然后可经由天线12510被发送。
[0501] 当移动电话12500从外部接收到通信数据时，可对经由天线12510接收到的信号执行频率恢复和模数转换(A/D)以将信号变换成数字信号。调制器/解调器12660对数字信号的频带进行调制。根据频带调制后的数字信号的类型，将所述数字信号发送到图像解码器12690、声音处理器12650或LCD控制器12620。
[0502] 在从外部接收到通信数据的会话模式期间，移动电话12500对经由天线12510接收到的信号进行放大，并通过对放大后的信号执行频率转换和A/D来获取数字声音信号。在中央控制器12710的控制下，接收到的数字声音信号经由调制器/解调器12660和声音处理器12650被变换成模拟声音信号，并且模拟声音信号经由扬声器12580被输出。
[0503] 当在数据通信模式期间时，接收在互联网网站上访问的视频文件的数据，经由调制器/解调器12660将经由天线12510从无线基站12000接收到的信号输出为复用数据，并将复用数据发送到复用器/解复用器12680。
[0504] 为了对经由天线12510接收到的复用数据进行解码，复用器/解复用器12680将复用数据解复用成编码后的视频数据流和编码后的音频数据流。经由同步总线12730，编码后的视频数据流和编码后的音频数据流分别被提供给图像解码器12690和声音处理器12650。
[0505] 图像解码器12690的结构可与上述视频解码设备的结构相应。图像解码器12690可通过使用本发明的上述视频解码方法，对编码后的视频数据进行解码来获取重建的视频数据，并经由LCD控制器12620将重建的视频数据提供给显示屏12520。
[0506] 因此，可将在互联网网站上访问的视频文件的数据显示在显示屏12520上。同时，声音处理器12650可将音频数据变换成模拟声音信号，并将模拟声音信号提供给扬声器12580。因此，也可经由扬声器12580再现在互联网网站上访问的视频文件中包含的音频数据。
[0507] 移动电话12500或另一类型的通信终端可以是包括本发明的视频编码设备和视频解码设备两者的收发终端，可以是仅包括本发明的视频编码设备的收发终端，或者可以是仅包括本发明的视频解码设备的收发终端。
[0508] 本发明的通信系统不限于以上参照图21描述的通信系统。例如，图24示出根据各种实施例的采用通信系统的数字广播系统。图24的数字广播系统可通过使用本发明的视频编码设备和视频解码设备来接收经由卫星或地面网络发送的数字广播。
[0509] 更详细地，广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫星12900。广播卫星12900发送广播信号，广播信号经由家用天线12860被发送到卫星广播接收器。在每个房屋中，可通过TV接收器12810、机顶盒12870或其它装置对编码后的视频流进行解码和再现。
[0510] 当本发明的视频解码设备被实现在再现设备12830中时，再现设备12830可对记录在存储介质12820(诸如盘或存储卡)上的编码后的视频流进行解析和解码，以重建数字信号。因此，可在例如监视器12840上再现重建的视频信号。
[0511] 在被连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV)广播的有线天线12850的机顶盒12870中，可安装本发明的视频解码设备。从机顶盒12870输出的数据也可被再现在TV监视器12880上。
[0512] 作为另一示例，可将本发明的视频解码设备安装在TV接收器12810中，而不是机顶盒12870中。
[0514] 视频信号可由本发明的视频编码设备来编码，然后可被记录并存储在存储介质中。更详细地讲，可由DVD记录器将图像信号存储在DVD盘12960中，或可由硬盘记录器12950将图像信号存储在硬盘中。作为另一示例，可将视频信号存储在SD卡12970中。如果硬盘记录器12950包括根据示例性实施例的视频解码设备，则记录在DVD盘12960、SD卡12970或另一存储介质上的视频信号可在TV监视器12880上被再现。
[0515] 汽车导航系统12930可不包括图23的相机12530、相机接口12630和图像编码单元12720。例如，计算机12100和TV接收器12810可不包括图23的相机12530、相机接口12630或图像编码单元12720。
[0516] 在这一点上，用户终端可包括以上参照图1a至图18描述的本发明的视频解码设备。作为另一示例，用户终端可包括以上参照图1a至图18描述的本发明的视频编码设备。可选择地，用户终端可包括以上参照图1a至图18描述的本发明的视频解码设备和本发明的视频编码设备两者。
[0517] 已参照图1a至图18描述了根据上述实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而，根据上述实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用不限于以上参照图1a至图18描述的实施例。
[0518] 尽管已参照本发明的实施例具体示出和描述了本发明，但本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可作出形式和细节上的各种改变。公开的实施例应仅被看作描述性意义，而不是限制的目的。因此，本发明的范围不由本发明的详细描述来限定，而由权利要求来限定，在所述范围内的所有不同将被解释为包括在本发明中。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种视频帧编码方法、装置及终端设备 | 2020-05-08 | 303 |
| 一种视频编码方法及装置 | 2020-05-11 | 354 |
| 解码器、解码方法、编码器以及编码方法 | 2020-05-11 | 978 |
| 编码方法、系统和编码器、解码方法、系统和解码器 | 2020-05-12 | 159 |
| 具有低延迟的视频编码方法及装置 | 2020-05-11 | 341 |
| 基于Sobel算子和线性回归的高清视频编码码率控制方法 | 2020-05-08 | 694 |
| 图像处理方法、装置、存储介质及电子设备 | 2020-05-08 | 595 |
| 一种360度视频帧间快速编码方法 | 2020-05-08 | 379 |
| 时序动作提名的生成方法、装置、设备及存储介质 | 2020-05-11 | 284 |
| 一种视频数据处理方法及装置 | 2020-05-12 | 405 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈