[0001] 交叉引用
[0002] 本
发明主张在2016年3月16日提出的
申请号为62/309,001，标题为“Methods for pattern-based MV derivation for Video Coding”的美国临时
专利申请的优先权，主张在2016年10月15日提出的申请号为62/408,724，标题为“Methods of coding unit coding”的美国临时专利申请的优先权，主张在2017年01月12日提出的申请号为62/445,284，标题为“Methods of coding unit coding”的美国临时专利申请的优先权，其内容以引用方式整体并入本文中。
技术领域
[0003] 本发明涉及视频编码中的基于块的视频数据处理。具体而言，本发明涉及具有限制块尺寸的视频编码和视频解码的技术。
背景技术
[0004] 在高效率视频编码(High Efficiency Video Coding,HEVC)标准中编码的视频图像可以被划分成一个或多个切片(slice)，并且每个切片被划分成多个编码树单元(coding tree units，CTU)。在HEVC的主要配置文件中，编码树单元的最小尺寸和最大尺寸由序列参数集(sequence parameter set,SPS)中的语法元素
指定。每个编码树单元包括
亮度编码树块(coding tree block,CTB)、对应的
色度编码树块和语法元素。亮度编码树块的尺寸选自16x16,32x32或64x64，其中较大的尺寸通常能够提供更好的压缩率以简化或平滑纹理区域。依据光栅扫描顺序处理切片内的编码树单元。
[0005] HEVC支持将编码树单元划分为多个编码单元(coding unit,CU)，以使用四叉树(quadtree)分割处理来适应各种局部特征。对于2Nx2N编码树单元，它可以是单个编码单元，或者可以分成四个相同大小的较小的块(即NxN)。四叉树分割过程将每个编码树单元递归地分割成更小的块，直到到达四叉树编码树的叶
节点。四叉树编码树的叶节点称为HEVC中的编码单元。在编码单元层级进行使用
帧间(时间)预测或帧内(空间)预测对图像区域进行编码的决定。由于最小编码单元尺寸可以为8x8，所以在不同的基本预测类型之间切换的最小间隔尺寸(granularity)是8×8。
[0006] 依据如图1所示的预测单元(prediction units,PU)分割类型之一，为每个编码单元指定一个，两个或四个预测单元。其中预测单元作为共享预测信息的基本代表性块。图1示出了在HEVC中支持的八种不同的预测单元分割类型，包括对称和非对称分割类型。在每个预测单元内部，应用相同的预测处理，并且基于预测单元将相关预测信息发送到
解码器。在通过在预测单元上应用预测处理来获得预测残差后，依据另一个四叉树结构将编码单元划分为变换单元(transform unit,TU)，其类似于用于从最大编码单元获得编码单元的四叉编码树(quadtree coding tree)。变换单元是用于应用变换和量化的残差或变换系数的基本代表性块。变换单元的已变换和已量化残差
信号在变换单元
基础上进行变换和量化之后被编码并被传送到解码器。
[0007] 与编码树块的定义类似，编码块(coding block,CB)，预测块(prediction block,PB)和变换块(transform block,TB)被定义为分别指定与编码单元、预测单元和变换单元相关的亮度分量或色度分量的
采样数组。四叉树分割过程通常同时应用于亮度和色度分量，尽管当达到色度分量的某些最小尺寸时有异常情况。
发明内容
[0008] 本发明公开了一种在编码系统和解码系统中处理视频数据的方法和装置。编码系统的
实施例接收与视频数据的当前图像相关联的输入数据，并且确定用于发送一个或多个当前编码树单元层级语法的当前编码树单元的尺寸。在一些实施例中，当前编码树单元包括一个或多个当前编码单元。使用
阈值检查当前编码树单元或当前编码单元的尺寸，宽度或高度，如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则编码系统将当前编码树单元或当前编码单元强制分成多个块，直到当前编码树单元或当前编码单元中的每个块的尺寸，宽度或高度不大于阈值。编码系统通过预测和变换处理当前编码树单元或当前编码单元。编码系统还确定当前编码树单元的编码树单元层级语法，并依据编码树单元层级语法处理当前编码树单元。当前编码树单元被编码以形成视频比特流，并且编码树单元层级语法在视频比特流中被发送。
[0009] 视频解码系统的实施例接收与当前图像中的当前编码树单元相关联的视频比特流，并从视频比特流解析当前编码树单元的一个或多个编码树单元层级语法和残差。当前编码树单元可以包括一个或多个当前编码单元。确定当前编码树单元或当前编码单元的尺寸并将其与阈值进行比较，并且如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则解码系统推断将当前编码树单元或当前编码单元分割为多个块，直到当前编码树单元或当前编码单元中的每个块的尺寸，宽度或高度不大于阈值为止。通过预测和逆变换处理当前编码树单元或当前编码单元，并且依据从视频比特流解析的一个或多个编码树单元层级语法对当前编码树单元进行解码。
[0010] 用于确定当前编码树单元或当前编码单元是否需要进一步分割的阈值的实施例，对应于最大支持变换单元尺寸，并且最大支持变换单元尺寸的示例是128×128。最大支持变换单元尺寸可以在视频比特流中的序列层级，图像层级或切
片层级中被发送，以通知解码器侧。在一些实施例中，如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则使用四叉树分割或二叉树分割来分割当前编码树单元或当前编码单元。在一个实施例中，当使用二叉树分割对当前编码树单元或当前编码单元进行分割时，如果当前编码树单元或当前编码单元的宽度或尺寸大于阈值，则当前编码树单元或当前编码单元通过垂直分割而被分割；如果当前编码树单元或当前编码单元的高度或尺寸大于阈值，则当前编码树单元或当前编码单元通过
水平分割而被分割。在一个实施例中，在视频比特流中发送分割标志，以指示当前编码树单元或当前编码单元的分割。
[0011] 编码树单元层级语法的一些实施例是用于例如采样自适应偏移(SAO)，自适应环路滤波(ALF)和去块滤波之类的环路滤波处理的各种语法，并且如果相应的环路滤波处理应用于当前编码树单元，则编码系统可以发送当前编码树单元的一个或多个编码树单元层级语法。如果将相应的采样自适应偏移，自适应环路滤波，和/或去块
滤波器处理应用于当前编码树单元，解码系统可以解析当前编码树单元的一个或多个编码树单元层级语法。
[0012] 在一个实施例中，当前图像被分成编码树单元组，并且当前编码树单元的编码树单元层级语法与相同编码树单元组中的其他编码树单元共享。编码树单元组的示例包括MxN编码树单元，其中M和N是正整数，并且编码树单元组的尺寸是预定义值，或者在视频比特流中的序列层级，图像层级或切片层级中被发送。编码树单元组共享的编码树单元级语法可以是采样自适应偏移，自适应环路滤波和去块滤波的语法中的一个或组合。
[0013] 在另一个实施例中，依据当前编码树单元的
位置，当前编码树单元或当前编码单元的宽度和高度，以及当前图像的宽度和高度，使用四叉树分割，垂直二叉树分割或水平二叉树分割来分割当前编码树单元或图像边界处的当前编码单元。
[0014] 如果尺寸，宽度或高度大于阈值，则视频编码或解码系统的一些实施例将当前编码树单元或当前编码单元隐含地分割成多个块，然后视频编码或解码系统依据分割决定，确定是否进一步分割当前编码树单元或当前编码单元。分割决定可以依据
编码器侧的速率和失真优化(Rate and Distortion Optimization,RDO)来确定，并且视频编码系统发送与视频比特流中的分割决定相关联的信息信号，以指示当前编码树单元或当前编码单元的分割。视频解码系统解码分割决定，并依据已解码的分割决定来分割当前编码树单元或当前编码单元。由分割决定生成的块通过预测和变换进行处理。
[0015] 在一些其他实施例中，如果尺寸，宽度或高度不大于阈值，则当前编码树单元或当前编码单元被作为一个块来处理，并且对当前编码树单元或当前编码单元中的每个块执行预测处理和变换处理，无需进一步分割。在另一个实施例中，视频编码系统依据分割决定确定当前编码单元的尺寸，并且如果尺寸，宽度或高度大于阈值，则将当前编码单元分割成多个块。如果当前编码单元被分割成多个块，则对当前编码单元执行预测处理，并且对当前编码单元中的每个块执行变换处理。
[0016] 本公开的一方面进一步提供用于视频编码系统的装置和用于视频解码系统的装置，以处理具有受限块尺寸的视频数据。该装置将当前编码树单元或当前编码单元的尺寸与阈值进行比较，并且如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则分割当前编码树单元或当前编码单元。
[0017] 本公开的一方面还提供了一种非暂时性计算器可读介质，其存储用于使装置的处理
电路执行视频编码方法或视频解码方法的程序指令。视频编码或解码方法包括检查当前编码树单元或当前编码单元是否具有大于阈值的尺寸，宽度或高度，并依据生成尺寸不大于阈值的块，来分割当前编码树单元或当前编码单元。例如采样自适应偏移(SAO)，自适应环路滤波(ALF)和去块滤波的编码树单元层级语法被发送，以用于当前编码树单元或包括多个编码树单元的编码树单元组。在阅读本发明实施方式的以下详细描述之后，本发明的其他方面和特征对于本技术领域技术人员来说是清楚的。
附图说明
[0018] 将参考以下图式详细描述作为示例提出的本公开的各种实施例，其中相同的图式标记表示相同的组件，并且其中：
[0019] 图1标出了在高效率视频编码(HEVC)中支持的八个预测单元(PU)分割类型。
[0020] 图2A示出了依据四叉树-二进制树(Quad-Tree-Binary-Tree,QTBT)结构的示例性块分割。
[0021] 图2B示出了对应于图2A的块分区的编码树结构。
[0022] 图3示出依据本发明的实施例的示例性视频编解码(coding)系统的
流程图。
[0023] 图4示出依据本发明的实施例的示例性视频编码(encoding)系统的流程图。
[0024] 图5示出依据本发明的实施例的示例性视频解码系统的流程图。
[0025] 图6示出了依据本发明的实施例的用于图像边界处的块的块分割方法。
[0026] 图7示出了依据本发明的实施例的用于视频编码系统的示例性系统
框图。
[0027] 图8示出了依据本发明的实施例的用于视频解码系统的示例性系统框图。
具体实施方式
[0028] 将容易理解的是，本发明的组件，如本文图中一般描述和示出的，可以以各种各样的不同配置进行布置和设计。因此，如附图所示的本发明的系统和方法的实施例的以下更详细的描述并不旨在限制如所要求保护的本发明的范围，而是仅代表本发明的
选定实施例。
[0029] 整个
说明书中对“实施例”，“一些实施例”或类似语言的引用意味着结合实施例描述的特定特征，结构或特性可以包括在本发明的至少一个实施例中。因此，贯穿本说明书的各个地方的短语“在一个实施例中”或“在一些实施例中”的出现不一定全部指代相同的实施例，这些实施例可以单独地或结合一个或多个其他实施例来实现。
[0030] 此外，所描述的特征，结构或特性可以以任何合适的方式组合在一个或多个实施例中。然而，本领域技术人员将认识到，可以在没有一个或多个具体细节，或其他方法，组件等的情况下实现本发明。在其他情况下，已知的结构或操作，未示出或详细描述以避免模糊本发明。
[0031] 与例如HEVC的常规视频编码标准支持的四叉树结构不同，二进制树块分割结构可以用于分割视频图像或视频数据切片。依据分割类型，例如对称水平分割和对称垂直分割，块可以递归地分割成更小的块。对于正在考虑的块，使用标志来指示是否将块分割成两个较小的块。如果标志指示分割，则发出另一个语法元素以指示使用哪种分割类型，例如垂直分割或水平分割。可以重复二叉树分割过程，直到分割块的尺寸(宽度或高度)达到允许的最小块尺寸(宽度或高度)为止。
[0032] 二叉树块分割结构比四叉树结构更灵活，因为允许更多的分割形状。然而，编码复杂度也将随着选择最佳分区形状而增加。为了平衡复杂度和编码效率，二叉树结构与四叉树结构组合，称为四叉树-二进制树(Quad-Tree-Binary-Tree,以下简称为QTBT)结构。与HEVC中的四叉树结构相比，QTBT结构显示出满意的编码性能。
[0033] 示例性QTBT结构在图2A中示出。其中较大块首先被四叉树结构分割，然后被二叉树结构分割。图2A标出了依据QTBT结构的块分割的示例，图2B示出了对应于图2A所示的块分割的QTBT结构的树形图。图2A和2B中的实线表示四叉树分割。图2A和2B中的虚线表示二叉树分割。在二叉树结构的每个分割(即非叶)节点中，一个标志指示使用哪种分割类型(水平或垂直)，0表示水平分割，1表示垂直分割。QTBT结构分割图2A中的较大块为多个较小的块，并且这些较小的块通过预测和变换编码被进一步处理。对这些较小的块不进行进一步划分，以形成不同大小的预测单元和变换单元。换句话说，由QTBT分割结构生成的每个块是用于预测和变换处理的基本单元。例如，图2A中的大块是尺寸为128x128的CTU，最小允许的四叉树叶节点尺寸为16x16，最大允许二叉树根节点尺寸为64x64，最小允许二叉树叶节点宽度或高度为4，最小允许二进制树深度为4.在该示例中，CTU首先被四叉树结构划分，并且叶四叉树块可以具有从16×16到128×128的尺寸。如果叶四叉树块是128×128，则由于二进制树结构的尺寸超过允许的最大二叉树根节点尺寸64x64，所以不能被二进制树结构进一步分割。叶四叉树块被用作二进制树深度等于0的根二叉树块。当二叉树深度达到4时，不分割是隐含的；当二叉树节点的宽度等于4时，非垂直分割是隐含的；并且当二叉树节点的高度等于4时，非水平分割是隐含的。该QTBT结构可以分别应用于I切片(即，帧内已编码的切片)的亮度和色度分量，并同时应用于P切片和B切片的亮度和色度分量。在I切片中编码块时，亮度分量和两个色度分量的QTBT结构块分割可能全部不同。
[0034] 为了有效地编码和解码高
分辨率视频数据，例如使用8000
像素×4000像素的8K×4K视频来表示每个图像，下一代视频编码允许用于视频编码处理的较大的基本代表块，例如预测，变换，和
环路滤波器。HEVC递归地将每个编码树单元分解成编码单元，预测单元和变换单元分别依据预测单元分割类型和四叉树分割结构从相应的编码单元而被分割。为了简化HEVC的块分割方法，将四叉树结构或QTBT分割结构等分割结构的每个叶节点设置为预测和变换处理的基本代表块，因此不需要进一步分割。在这种情况下，编码单元等于预测单元，也等于变换单元。在一些实施例中，编码树单元等于编码单元，预测单元和变换单元。增加编码树单元和编码单元的尺寸意味着预测和转换支持的尺寸也需要增加。例如，当编码树单元的大小为256×256时，预测单元尺寸和变换单元尺寸也为256×256，然而，随着变换单元尺寸线性增加，变换逻辑的
硅栅极(silicon gates)数呈指数增长。变换单元尺寸等于
256x256的变换逻辑的硅栅极数量太大，实现起来成本太高。以下实施例提供了通过允许用于视频编码的大块尺寸而引起的问题的一些解决方案。本发明的一些实施例被应用于处理具有用于预测和变换处理的统一块分割的视频数据和具有用于变换和逆变换的限制块尺寸的视频数据。一些其他实施例被应用于具有用于预测和变换处理的、但简化了块分割的单独的块分割来处理视频数据。
[0035] 第一实施例第一实施例是一个编码器，其仅限制调节编码器以产生具有支持尺寸的变换单元，以用于变换逻辑
硬件实现。第一实施例的编码器确定用于预测处理和变换处理的每个编码单元(CU)或预测单元(PU)的尺寸。编码单元或预测单元尺寸确定的示例包括使
用例如四叉树分割，二进制树分割或QTBT分割的分割方法来执行速率和失真优化(rate-distortion optimization,RDO)以选择最佳大小。编码器然后用阈值检查当前编码单元或预测单元的尺寸MxN，宽度M或高度N是否大于阈值。例如，尺寸的阈值为128×128，并且M或N的阈值为128。阈值可以是预定义的或用户定义的，并且阈值可以依据最大支持变换单元尺寸来确定。编码器的示例在视频比特流的序列层级(sequence-level)，图像层级(picture-level)或切片层级(slice-level)中发送最大支持的变换单元尺寸，例如在序列参数集(Sequence Parameter Set,SPS)、图像参数集(Picture Parameter Set,PPS)或切片头(slice header)中发送的最大支持的变换单元尺寸。如果尺寸，宽度M或高度N大于阈值，则编码器依据四叉树分割或二叉树分割器强制当前编码单元或预测单元分成多个变换单元。当尺寸，宽度M或高度N大于阈值时，编码器可以跳过将视频比特流中的变换单元分割标志信号发送到解码器，因为解码器也强制分割当前编码单元或预测单元。在另一示例中，编码器可以在视频比特流中发送变换单元分割标志，但是变换单元分割标志被限制为1，指示在编码器侧执行分割。如果编码单元或预测单元的尺寸大于阈值，则在本实施例中变换单元的尺寸不同于编码单元或预测单元的尺寸；如果编码单元或预测单元的尺寸不大于阈值，变换单元的尺寸与编码单元或预测单元的尺寸相同。在一个示例中，如果当前编码单元或预测单元的尺寸，M或N大于阈值并且使用四叉树分割，则将当前编码单元或预测单元分成四个变换单元，并且编码器可以发送或可以不发送变换单元分割标志。在另一个示例中，如果宽度M大于阈值并且使用二叉树分割，则当前编码单元或预测单元通过垂直分割被分割成两个变换单元，并且编码器可以发送或可以不发送指示垂直分割的变换单元分割标志或者编码器可以发送垂直变换单元分割标志。如果高度N大于阈值并且使用二叉树分割，则通过水平分割将当前编码单元或预测单元分成两个变换单元，并且编码器可以发送或可以不发送指示使用水平分割的变换单元分割标志，或者编码器可以发送水平变换单元分割标志。与用于编码单元和变换单元的两个单独的块分割结构的HEVC标准相比，本发明的第一实施例仅向编码单元和变换单元发送一个块分割结构。
[0036] 第二实施例第二实施例是解码器解碼具有较大块尺寸的视频数据的规范解决方案。依据第二实施例的解码器解码视频比特流，并依据例如在视频比特流中发送的分割标志的信息来确定当前图像的块分割。当解码器正在处理当前的编码单元或预测单元时，它检查当前编码单元或预测单元的尺寸MxN，如果尺寸大于阈值，或者如果宽度M或高度N大于阈值，则推断变换单元要被分割而不涉及分割标志。阈值的示例是尺寸128x128、或宽度或高度128。阈值可以通过解析视频比特流中的相关信息来确定，或者阈值可以是预定义的或用户定义的。在一个示例中，如果四叉树分割被应用于分割，则如果当前编码单元或预测单元的尺寸，宽度M或高度N，大于阈值，则因为变换单元分割标志被推定为1，当前编码单元或预测单元分割为四个变换单元。在另一个例子中，如果二进制树分割分被应用于分割，则如果宽度M或高度N大于阈值，则因为垂直或水平变换单元拆分标志被推断为1,将当前编码单元或预测单元分为两个变换单元。
[0037] 在第一和第二实施例中，如果当前编码单元或预测单元的尺寸、宽度或高度大于阈值，则编码器或解码器仅强制分割变换单元而不是当前的编码单元或预测单元。换句话说，如果当前编码单元或预测单元的尺寸、宽度或高度不大于阈值，则当前编码单元或预测单元的尺寸与当前编码单元或预测单元对应的当前变换单元的尺寸相同。如果当前编码单元或预测单元的尺寸、宽度或高度大于阈值，则当前编码单元或预测单元的尺寸与当前编码单元或预测单元对应的当前变换单元的尺寸不同。
[0038] 图3示出了结合本发明的第一或第二实施例的示例性视频编解码系统的流程图。在步骤S31中，视频编码系统接收与当前图像中的当前块相关联的输入数据，并且当前块可以是当前编码单元或当前预测单元。步骤S32确定当前块的尺寸，并且步骤S33检查当前块的尺寸，宽度或高度是否大于阈值。阈值的示例对应于最大支持的变换单元尺寸。如果当前块的尺寸、宽度或高度大于阈值，则在步骤S34中视频编码系统将当前块分割成具有不大于阈值、宽度或高度的尺寸的多个块。在步骤S35中通过变换或逆变换处理从当前块分割的块，并且通过预测来处理当前块。如果当前块的尺寸、宽度或高度不大于阈值，则步骤S36通过预测、和变换或逆变换处理当前块。在步骤S37中，视频编码系统对当前块进行编码或解码。
[0039] 第三实施例第三实施例不仅迫使编码器将较大编码单元或预测单元分割成多个变换单元，而且还迫使编码树单元或编码单元依据比较结果进行分割。第三实施例的编码器首先确定用于发送编码单元层级语法的每个编码树单元的尺寸。为每个编码树单元确定一个或多个编码树单元层级语法，并在视频比特流的编码树单元层级中发送。编码树单元层级语法的一些示例包括为例如采样自适应偏移(sample adaptive offset,SAO)，自适应环路滤波(adaptive loop filter,ALF)和去块滤波的环路滤波器指定的语法。例如，编码树单元层级语法可以包括SAO类型，SAO参数，ALF参数和去块滤波的边界强度之一或组合。编码树单元中的视频数据共享编码树单元层级语法中的信息。然后，编码器通过将尺寸、宽度或高度与阈值进行比较，来检查当前编码树单元中的当前编码单元或当前编码树单元的尺寸MxN、宽度M或高度N。如果尺寸、宽度或高度大于阈值，则视频编码器将当前编码树单元或编码单元分割成更小的块，直到较小块的尺寸、宽度或高度不大于阈值。阈值可以由预定义或用户定义的最大支持的变换单元尺寸来确定。可以在视频比特流中发送阈值，以在对应的编码树单元或编码单元大于阈值时通知解码器强制分割。例如，最大支持的变换单元尺寸在视频比特流的序列层级，图像层级或切片层级中发送。当尺寸、宽度或高度大于阈值时，将当前编码树单元或编码单元分割的示例依据四叉树分割将当前编码树单元或编码单元分成四个块。当尺寸或宽度大于阈值时，将当前编码树单元或编码单元分割的示例依据垂直分割将当前编码树单元或编码单元分割成两个块，或者当尺寸或高度大于阈值时，将当前编码树单元或编码单元分割的示例依据水平分割将当前编码树单元或编码单元分割成两个块。视频编码器通过执行RDO来确定是否进一步分割当前编码树单元或编码单元或较小的块，以决定用于预测和变换处理的最佳块尺寸。视频编码器对当前编码树单元或编码单元中的每个块执行预测处理和变换处理，并且发送视频比特流中的分割决定。
[0040] 图4示出了依据本发明第三实施例的用于处理具有受限块尺寸的视频数据的示例性视频编码系统的流程图。在步骤S41中视频编码系统接收与当前图像相关联的输入数据，并且在步骤S42中确定用于发送一个或多个编码树单元层级语法的当前编码树单元的尺寸。在步骤43中，检查当前编码树单元中的当前编码单元或当前编码树单元的尺寸、宽度或高度，以确定其是否大于阈值。如果步骤S43的检查结果肯定的，则在步骤S44中当前编码树单元或当前编码单元被分割成块，直到每个块的尺寸、宽度或高度不大于的阈值。如果步骤S43的检查结果示出当前编码树单元或当前编码单元的尺寸、宽度或高度不大于阈值，则视频编码系统进行步骤S46。在步骤S46中，视频编码系统确定分割决定以进一步分割当前编码树单元或当前编码单元，并且通过预测和变换处理当前编码树单元或编码单元中的每个块。分割决定可以由RDO结果来确定，其选择最佳块分割以用于预测和变换处理。在步骤S47中视频编码系统确定编码树单元层级语法并将其应用于当前编码树单元，并在步骤S48对当前编码树单元进行编码以形成视频比特流并在视频比特流中发送编码树单元层级语法。
[0041] 第四实施例当当前编码树单元或编码单元的尺寸MxN、宽度M或高度N大于阈值时，第四实施例迫使解码器将当前编码树单元或编码单元分割成更小的块。解码器解码与分割决定相关的信息，例如来自视频比特流的分割标志，并且依据分割决定进一步分割当前编码树单元或编码单元或较小的块。然后在本实施例的解码器中通过预测和逆变换来处理当前编码树单元或编码单元中的每个块。阈值可以是预定义的或用户定义的，并且在一个实施例中，通过解析视频比特流中的相关信息来确定阈值。阈值对应于最大支持的变换单元尺寸，并且阈值的一些示例对于变换单元尺寸为128×128，对于变换单元宽度或变换单元高度为128，对于变换单元尺寸为64x64，对于变换单元宽度或变换单元高度为64。当解码器确定当前编码树单元或编码单元的尺寸MxN、宽度M或高度N大于阈值时，推断当前编码树单元或编码单元被分割而不解码分割标志。换句话说，当尺寸，宽度或高度大于阈值时，当使用四叉树分割来分割当前编码树单元或编码单元为四个较小的块时，当前编码树单元或编码单元的四叉分割标志被推断为1(即分割)。在另一示例中，当尺寸或宽度大于阈值时，当使用二叉树分割来将当前编码树单元或编码单元分割成两个较小块时，垂直分割标志被推断为1(即，分割)。当尺寸或高度大于阈值时，当使用二叉树分割来将当前编码树单元或编码单元分割成两个较小的块时，水平分割标志被推断为1(即分割)。虽然解码器在当前编码树单元的每个块中执行例如预测和逆变换的解码处理，但是从当前编码树单元中的所有块使用从视频比特流解析的编码树单元层级语法。
[0042] 第三和第四实施例在根层级(root-level)分割当前编码树单元，或分割当前编码单元，直到当前编码树单元或编码单元不大于阈值。在这两个实施例中，用于应用预测和变换处理的基本代表块总是相同的。依据第三和第四实施例的编码器和解码器允许大编码树单元(例如256×256)用于发送编码树单元层级语法，同时将用于变换或逆变换处理的块尺寸限制为小于或等于阈值(例如128×128)。在一些实施例中，分割标志不在视频比特流中发送，以指定大于阈值的编码树单元或编码单元的分割，编码器和解码器推断为分割大编码树单元或编码单元，因此节省了用于发送分割标志所需的比特，从而实现更好的编码效率。
[0043] 图5示出了依据本发明的第四实施例的包含具有受限块尺寸的视频数据处理方法的示例性视频解码系统的流程图。在步骤S51中，视频解码系统接收包含当前图像的视频比特流，并且在步骤S52中从视频比特流解析当前图像中的当前编码树单元的编码树单元层级语法和残差。在步骤S53中，确定当前编码树单元中的当前编码单元或当前编码树单元的尺寸，并且在步骤S54中将当前编码树单元或当前编码单元的尺寸，宽度或高度与阈值进行比较。如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则步骤S55将当前编码树单元或当前编码单元分割成块，直到每个块的尺寸，宽度或高度不大于阈值。如果当前编码树单元或当前编码单元的尺寸，宽度或高度不大于阈值，则视频解码系统进行步骤S57。在步骤S57中，视频解码系统解码与自视频比特流的分割决定相关联的信息，并依据分割决定进一步分割当前编码树单元或编码单元。步骤S57还包括通过预测和逆变换处理当前编码树单元或当前编码单元的每个块。在步骤S58中，视频解码系统依据解析编码树单元层级语法解码当前编码树单元。
[0044] 第五实施例第五实施例与一个或多个其他编码树单元共享当前编码树单元的一个或多个编码树单元层级语法。与编码工具相关联的编码树单元层级语法有时在多个编码树单元中非常相似，为了进一步减少比特流携带的位，第五实施例引入了称为编码树单元组(CTU group)的概念。同一编码树单元组中的编码树单元共享一些或所有编码树单元层级语法，其可以包括SAO，ALF和去块滤波的一种或一组语法或参数的组合。编码树单元组的尺寸可以是预定义的值，或者尺寸可以在例如SPS，PPS或切片文件头中的视频比特流的序列层级，图片层级或切片层级中被发送。在一个实施例中，SAO，ALF，解块或其他环路滤波器中的任何两个的编码树单元组尺寸可以相同或不同。例如，编码树单元组尺寸由M×N编码树单元表示，其中M和N都是正整数，M+N>2。第五实施例中的图片被分成编码树单元组，同一编码树单元组中的编码树单元共享一个或多个编码树单元层级语法。这种共享编码树单元层级语法的想法也可以被扩展以共享编码单元，预测单元或变换单元级层语法，例如，一个编码树单元中的编码单元层级或变换单元层级变换语法被发送一次，并且这些变换语法被属于同一编码树单元组的编码树单元中的所有编码单元或变换单元重用或共享。
[0045] 第六实施例第六实施例提供了一种HEVC中的块分割方法的替代解决方案以用于在图像边界分割当前编码树单元或当前编码单元。在HEVC中，图像边界处的编码单元被推断为被四叉树分割为四个子编码单元。本发明的第六实施例依据当前编码树单元或当前编码单元的边界条件确定将四叉树分割或二叉树分割应用于当前编码树单元或当前编码单元。令(x0，y0)指定当前图像中当前编码树单元或当前编码单元的上左采样的亮度位置，cuWidth和cuHeight指定当前编码树单元或当前编码单元的宽度和高度，picWidth和picHeight指定当前图像的宽度和高度。如果两个值(x0+cuWidth)和(y0+cuHeight)分别大于picWidth和picHeight，则推断当前编码树单元或当前编码单元被四叉树分割。推断当前的编码树单元或当前编码单元被四叉树分为四个相同尺寸cuWidth/2x cuHeight/2的子编码单元。
[0046] 如果只有值(x0+cuWidth)大于picWidth，则依据垂直二叉树分割推断当前编码树单元或当前编码单元被划分成两个子编码单元，并且两个子编码单元的尺寸是cuWidth/2x cuHeight。如果只有值(y0+cuHeight)大于picHeight，则依据水平二叉树分割推断当前编码树单元或当前编码单元被分割为两个子编码单元，并且两个子编码单元的尺寸为cuWidth x cuHeight/2。
[0047] 依据第六实施例的编码器或解码器，依据当前块的位置，当前块的宽度和高度，以及当前图像的宽度和高度，使用四叉树分割，垂直二叉树分割和水平二叉树分割之一分割当前图像的图像边界处的当前编码树单元或当前编码单元。图6示出了依据第六实施例的图像边界处块的可能的分割类型。视频编码器或解码器接收与视频图像60相关联的输入数据，并且视频图像60被划分为包括块602,604和606的多个块。块602,604和606可以是编码树单元或编码单元。视频图像60的右边界处的块602被强制使用垂直二叉树分割来分割，并且使用水平二叉树分割，在视频图像60的底部边界处的块604被强制分割。视频图像60的底部靠右边界处的块606使用四叉树分割进行分割。
[0048] 图7示出了实现本发明实施例的视频编码器700的示例性系统框图。
帧内预测710基于当前图像的已重构视频数据提供帧内预测，而运动预测712执行
运动估计(ME)和
运动补偿(MC)，以基于来自其他图像的视频数据提供预估器。将当前图像中的当前编码树单元或当前编码单元的尺寸，宽度或高度与阈值进行比较，如果尺寸，宽度或高度为大于阈值，则当前编码树单元或当前编码单元被分割成多个块。在一些实施例中，当前编码树单元或当前编码单元可以依据分割决定被进一步分割。当前编码树单元或当前编码单元中的每个块可以由帧内预测710或运动预测712来预测。由运动预测712处理的块选择由帧间预测7122以帧间模式进行编码，或由合并预测7124以合并模式进行编码。
开关714从帧内预测
710和运动预测712中选择一个输出，并将所选择的预估器提供给加法器716以形成预测误差，也称为预测残差。
[0049] 每个块的预测残差通过变换(T)718进一步处理，随后进行量化(Q)720。然后，已变换和已量化的残差信号由
熵编码器734编码以形成已编码的视频比特流。然后，已编码的视频比特流
包装有例如编码树单元层级语法之类的边信息(side information)。与边信息相关联的数据也被提供给熵编码器734。每个块的经变换和量化的残差信号由逆量化(IQ)722和逆变换(IT)724处理以恢复预测残差。如图7所示，通过在重建(REC)726处添加回所选择的预估器来恢复预测残差，以产生已重建的视频数据。已重建的视频数据可以存储在参考图像
缓冲器(即，Ref.Pict.缓冲器)732中，并用于预测其它图像。由于编码处理，来自重建726的已重建的视频数据可能受到各种损害，因此，在存储于参考图像缓冲器732之前，环路内处理去块滤波(DF)728和采样自适应偏移(SAO)730被应用于已重建的视频数据的每个编码树单元，以进一步提高图像
质量。与用于环路内处理去块滤波728和采样自适应偏移730的信息相关联的语法是编码树单元层级语法，并且被提供给熵编码器734以合并到编码视频比特流中。
[0050] 用于图7的视频编码器700的相应视频解码器800如图8所示。已编码视频比特流是视频解码器800的输入，并由熵解码器810解碼，以解析和恢复已变换和已量化残差信号，编码树单元级语法，例如每个编码树单元的DF和SAO信息，以及其他系统信息。解码器800的解码过程类似于编码器700处的重建环路，除了解码器800仅需要运动预测814中的
运动补偿预测之外。运动预测814包括帧间预测8142和合并预测8144。解码器800确定当前编码树单元的尺寸或当前编码树单元中的当前编码单元的尺寸，如果当前编码树单元或当前编码单元的尺寸，宽度或高度大于阈值，则解码器800迫使将当前编码树单元或当前编码单元分成块，直到每个块具有尺寸，宽度或高度不大于阈值为止。依据一些实施例，当前编码树单元或当前编码单元可以依据与从视频比特流解码的与分割决定相关联的信息而被进一步分割。当前编码树单元中的每个块或当前编码单元通过帧内预测812或运动预测814进行解码。以帧间模式编码的块由帧间预测8142解码，并且以合并模式编码的块由合并预测8144解码。开关816依据已解码的模式信息，选择来自帧内预测812的帧内预测子或来自帧间预测814的帧间预测子。通过逆量化(IQ)820和逆变换(IT)822来恢复与每个块相关联的已变换和已量化的残差信号。通过在重建818中加回预估器，已恢复的、已变换的、和已量化的残差信号被重建，以产生已重建的视频。每个编码树单元的重建视频由去块滤波824和采样自适应偏移826进一步处理，以依据编码树单元层级语法产生最终已解码的视频。如果当前已解码的图像是参考图像，则当前已解码图像的重构视频也存储在参考图像缓冲器中，以用于解码顺序的后续图像。
[0051] 图7和图8中的视频编码器700和视频解码器800的各种组件可以由硬件组件实现，被配置为执行存储在
存储器中的程序指令的一个或多个处理器，或硬件和处理器的组合。例如，处理器执行程序指令以控制与当前图像相关联的输入数据的接收。处理器配备有单个或多个处理核心。在一些示例中，处理器执行程序指令以在编码器700和解码器800中的一些组件中执行功能，并且与处理器电耦合的存储器用于存储程序指令，对应于块的已重建图像的信息，和/或编码或解码过程中的中间数据。在一些实施例中的存储器包括非暂时性计算器可读介质，例如
半导体或固态存储器，
随机存取存储器(RAM)，
只读存储器(ROM)，
硬盘，光盘或其他合适的存储介质。存储器还可以是上面列出的两个或更多个非暂时性计算器可读介质的组合。如图7和8所示，编码器700和解码器800可以在相同的
电子设备中实现，因此如果在相同的电子设备中实现，则编码器700和解码器800的各种功能组件可以被共享或重用。例如，图7中的重建726，转换718，量化720，去块滤波728，采样自适应偏移730和参考图像缓冲器732中的一个或多个，也可以分别用于实现图8中的重建818，变换822，量化820，去块滤波824，采样自适应偏移826和参考图像缓冲器828的功能。
[0052] 用于视频编码系统的块分割方法的实施例可以在集成到视频压缩芯片中的电路中实现，或者集成到视频压缩
软件中以执行上述处理的程序代码来实现。例如，可以在计算器处理器，
数字信号处理器(DSP)，
微处理器或现场可编程
门数组(FPGA)上执行的程序代码中实现块划分的决定。可以通过执行定义本发明所体现的特定方法的机器可读
软件代码或韧体代码来将这些处理器配置成执行依据本发明的特定任务。
[0053] 在不脱离本发明的精神或基本特征的情况下，本发明可以以其他具体形式实施。所描述的例子仅在所有方面被认为是说明性的而不是限制性的。因此，本发明的范围由
权利要求而不是前面的描述来指示。属于权利要求的等同的含义和范围内的所有变化将被包括在其范围内。
