[0001] 交叉引用
[0002] 本
发明主张在2014年1月29日提出的
申请号为61/932,832的美国临时
专利申请的优先权；主张在2014年3月14日提出的申请号为61/952,917的美国临时专利申请的优先权；主张在2014年3月17日提出的申请号为61/954,171的美国临时专利申请的优先权；以及主张在2014年3月19日提出的申请号为61/955,464的美国临时专利申请的优先权。因此在全文中合并参考该些专利申请案。
技术领域
[0003] 本发明是有关于利用视频数据的自适应运动向量精度，特别是有关于通过选择性地使能或禁能视频数据的某种类型的自适应运动向量精度，以改善
视频编码的性能的技术。本发明也与自适应运动向量精度的发送方法相关。
背景技术
[0004] 高效视频编码(High Efficiency Video Coding,以下简称为HEVC)是近年来开发的新的编码标准。在HEVC系统中，H.264/AVC中固定尺寸的宏
块由灵活的区块来代替，并将其命名为编码单元(coding unit,CU)。在编码单元中
像素共享相同的编码参数，以改善编码效率。编码单元可开始于最大编码单元(largest CU,LCU)，其在HEVC中也被称为编码树单元。除编码单元的概念之外，预测单元的概念也被引入HEVC中。一旦编码单元分层树的分割完成，根据预测类型和预测单元分割，每一个叶编码单元被进一步分割为一个或多个预测单元。
[0005] 在HEVC标准的发展过程中，也开发了HEVC的扩展版本。HEVC的扩展包括范围扩展(range extensions,以下简称为RExt)，其目标在于非4:2:0
颜色格式(例如4:2:2和4:4:4)以及更高比特深度视频(例如，每次
采样12、14以及16比特)。利用RExt的一个可能的应用是通过有线或无线连接的屏幕共享。由于屏幕内容的具体特点，已开发一些编码工具以及这些编码工具证明编码效率收益显著。在这些编码工具中，
调色板编码(也称为基于主要颜色的编码)技术利用至调色板(主要颜色)的索引(indices)而表示区块的像素，并利用空间冗余来编码调色板和索引。尽管可能的颜色组合的总数很大，但是用于典型的屏幕内容的图片区域中的颜色数通常有限。因此，颜色索引编码十分有效地用于屏幕内容素材(screen content materials)。对于屏幕内容，
帧内
运动补偿已被开发用于改善编码性能，其原因在于一个画片(patch)或屏幕内容可在屏幕的其他部分找到相似的内容。在此情况下，帧内运动向量用于
定位在相同帧中的参考屏幕内容。
[0006] 在HEVC中，应用子像素(sub-pixel)运动向量估计/运动补偿(ME/MC)。运动向量精度是1/4像素准确度。因此，先进的运动向量预测已被开发用于HECV，其中，根据在
编码器侧和
解码器侧的运动向量的竞争，运动候选可自空间和时间相邻区块而被得到。若当前运动向量与运动候选相同，则编码器可发送
信号指示当前运动向量可与运动候选“合并”而不需要传送运动信息以及对应的运动向量编码模式称为合并模式(Merge mode)。运动候选也可被用作当前运动向量的预测子。在此情况下，在当前运动向量和选择的运动候选之间的运动向量差值(motion vector difference,MVD)被编码，以及该方法被称为先进的运动向量预测(advanced motion vector prediction,AMV)。对于合并模式和先进的运动向量预测，运动向量预测子和运动向量差值同样是1/4像素(quarter-pixel)准确度的。若运动向量为子像素，即，1/2像素(half-pixel)或1/4像素，应用子像素运动补偿。根据HEVC，子像素运动补偿利用用于
亮度组分的8抽头(8-tap)离散余弦变换(discrete cosine transform,DCT)插值
滤波器(interpolation filter)和用于
色度组分的4抽头离散余弦编码插值滤波器(DCTIF)而被实施。
[0007] 编码单元级自适应运动向量精度方法在JCTVC-Q0049中被Li等人所揭示(“RCE1:Adaptive MV Precision,”Document of Joint Collaborative Team on Video Coding,JCTVC-Q0049,Mar.2014)，其中，编码单元级标志被发送以指示在编码单元中的所有预测单元是否利用整数精度的运动向量。若标志为1，则运动向量精度为整数精度，在此情况下，预测单元的运动向量预测子舍入为整数精度，以及运动向量差值以整数精度来发送。若标志为0，则运动向量精度为1/4像素精度。运动向量编码与HEVC版本1相同，以及子像素运动补偿被允许。在HEVC范围扩展核心实验1(Range Extensions Core Experiment 1,RCE1)的测试2中，自适应运动向量精度被应用于所有的帧间编码单元。编码单元级标志的上下文信息需要上方编码单元的已编码的自适应运动向量精度标志的信息，这将需要行
缓冲器来存储该标志。
[0008] 因此，有必要开发一种方法，以进一步改善自适应运动向量精度的编码效率及/或消除用于整数运动向量精度的与编码单元级标志相关的行缓冲器的需要。
发明内容
[0009] 根据本发明的实施方式，提供一种利用自适应运动向量精度的编码方法，该编码方法用于视频编码系统的视频数据区块或视频数据区块的运动向量。其中，运动向量的至少两个运动向量精度被用于视频数据区块。根据一个实施方式，根据当前区块的预测模式、当前区块的分区类型、或其组合，决定是否利用自适应运动向量精度以用于当前区块。若自适应运动向量精度被使用，对于编码器侧，则决定当前区块的当前运动向量的当前运动向量精度，并利用当前运动向量精度，编码当前运动向量。对于解码器侧，自视频比特流解析自适应运动向量精度语法元素或推断自适应运动向量精度语法元素，以决定当前区块的当前运动向量的当前运动向量精度，并利用当前运动向量精度，解码当前运动向量。若自适应运动向量精度不被使用，对于编码器侧，则利用较好的运动向量精度，编码当前运动向量。对于解码器侧，利用较好的运动向量精度，解码当前运动向量。
[0010] 举例来说，若当前区块利用合并模式而被编码，则自适应运动向量精度被禁能以用于当前区块。此外，当前区块对应于预测单元，若在当前编码单元中的所有预测单元利用合并模式而被编码，则自适应运动向量精度被禁能以用于当前编码单元。若当前区块对应于2Nx2N预测单元，则自适应运动向量精度被禁能以用于当前区块。若当前区块对应于在合并模式或跳过模式中被编码的2Nx2N预测单元，则自适应运动向量精度被禁能以用于当前区块。高级自适应运动向量精度标志被发送于序列级、图片级、条带级，以根据高级自适应运动向量精度标志，而使能或禁能自适应运动向量精度以用于对应的序列、图片、或条带中的所有区块。
[0011] 若自适应运动向量精度被使用以用于当前区块，当前运动向量精度语法元素可被进一步发送于编码器侧或解析于解码器侧，以决定当前运动向量精度。另外，当前自适应运动向量精度标志可被发送于编码器侧或解析于解码器侧，以指示自适应运动向量精度是否被使用以用于当前区块。运动向量精度语法元素、当前自适应运动向量精度标志、或其组合，可通过只有一个上下文的基于上下文的编码而被编码。可选地，基于一个或多个相邻区块、当前区块、或一个或多个相邻区块和当前区块的信息，运动向量精度语法元素、当前自适应运动向量精度标志、或其组合通过利用上下文模型的基于上下文的编码而被编码。相邻区块的信息对应于左侧区块、或左侧区块和上方区块的运动向量精度。若自适应运动向量精度被用于当前区块以及当前区块对应于编码单元或预测单元，当前自适应运动向量精度标志被发送于条带级、编码单元级、或预测单元级以用于当前区块。当在当前编码单元中不是所有的预测单元被编码于合并模式时，运动向量精度语法元素、当前自适应运动向量精度标志、或其组合在所有预测单元语法被发送之后而被编码。可选地，运动向量精度语法元素、当前自适应运动向量精度标志、或其组合在第一非合并模式预测单元之后而被编码。
[0012] 当前运动向量精度自相邻区块而被继承。举例来说，若当前区块被编码于合并模式、当前运动向量精度自目标合并区块的运动向量精度而被继承。当当前运动向量精度对应于粗粒度时，例如，整数像素
分辨率或1/2像素分辨率，当前区块的当前运动向量的运动向量预测子被舍入为粗粒度。当前运动向量精度与当前运动向量的运动向量差值的运动向量精度相关，以及当前运动向量精度对应于粗粒度，运动向量差值舍入至粗粒度，以及当前运动向量的运动向量预测子的运动向量精度不变。
[0013] 在另一实施方式中，根据当前区块的预测模式、当前区块的分区类型、或其组合，用于当前区块的当前自适应运动向量精度标志的值被选择，以指示是否利用自适应运动向量精度以用于当前区块。若当前自适应运动向量精度标志指示自适应运动向量精度被使用，则决定当前区块的当前运动向量的当前运动向量精度，并利用当前运动向量精度，编码当前运动向量。若当前自适应运动向量精度标志指示自适应运动向量精度不被使用，则利用较好的运动向量精度，编码当前运动向量。
附图说明
[0014] 图1描述了根据本发明实施方式的利用自适应运动向量精度的视频编码的的
流程图。
[0015] 图2描述了根据本发明实施方式的利用自适应运动向量精度的视频解码的流程图。
[0016] 图3描述了根据本发明实施方式的利用自适应运动向量精度的视频编码的另一流程图。
具体实施方式
[0017] 在本发明中，揭示了控制自适应运动向量精度使用的各种技术。特别是，自适应运动向量精度被关闭以用于某些模式或编码条件，来改善性能或降低复杂度/存储要求。
[0018] 在屏幕内容编码中，屏幕内容的特点与自然场景的普通运动视频不同。屏幕内容通常包括颜色、强度，或颜色和强度的尖锐过度。在各种编码标准(例如，高效率视频编码标准)中被采用的分数的(fractional)运动向量，可能不是十分有用，其原因在于子像素插值过程趋于破坏(smear)尖锐过渡。因此，需要能够设置运动向量精度为整数像素粒度(granularity)自适应地依赖于内容的特性。语法元素和标志可被发送于条带级、预测单元级，以指示运动向量精度是否为整数像素、1/2像素、或1/4像素。
[0019] 根据一个实施方式，在较高级语法级的控制标志，例如，序列级标志(例如，序列参数集中(sequence parameter set,SPS))、图片级标志(图片参数集中(picture parameter set,PPS))、或条带级标志(条带头)，可被发送以开启/关闭自适应运动向量精度语法。举例来说，在图片级中的标志可被使用以指示用于图片的自适应运动向量精度是否被开启或被关闭。若自适应运动向量精度被关闭以用于图片，在图片中的所有区块(例如，编码单元或预测单元)将不会使用自适应运动向量精度。在此示例中，在较细粒度处固定的运动向量精度(例如，1/4像素分辨率)将被使用。若自适应运动向量精度被开启以用于图片，则在图片中的区块可决定是否使用各自的自适应运动向量精度。
[0020] 运动向量精度语法/标志可利用基于上下文的编码而被编码，以及上下文模型可依赖于相邻区块(例如，相邻编码单元或相邻预测单元)的信息。举例来说，上下文模型依赖于当前区块的左侧预测单元、上方预测单元、或左侧和上方预测单元的运动向量精度。在JCTVC-Q0049中揭示的方法中，运动向量精度语法/标志的上下文模型依赖于上方区块，这意味着与上方区块的行相关的信息需要被缓冲。在一个实施方式中，上下文模型仅依赖于左侧预测单元的运动向量精度，以移除行缓冲器存储上方区块的行相关信息的需要。用于运动向量精度的上下文模型也可依赖于当前区块的信息，例如，当前区块的深度。用于运动向量精度语法/标志的上下文模型可依赖于分区类型(partition type)和预测模式。举例来说，用于合并模式区块的上下文模型可与其他区块不同。在另一实施方式中，用于2Nx2N_合并(2Nx2N_Merge)和2Nx2N_跳过(2Nx2N_SKIP)区块的上下文模型可与其他区块不同。
[0021] 在又一实施方式中，用于运动向量精度的上下文模型仅利用一个上下文。此不仅避免需要行缓冲器，而且也降低了基于上下文编码的复杂度。
[0022] 自适应运动向量精度可被开启/关闭或被应用于区块的某些类型。举例来说，基于分区类型，自适应运动向量精度可被开启/关闭。在一个示例中，当区块分区为2Nx2N时，自适应运动向量精度可被发送。相似地，当区块分区为非-2Nx2N时，自适应运动向量精度可被发送。在另一示例中，基于预测模式，自适应运动向量精度可被开启/关闭。举例来说，当区块预测模式为合并模式时，自适应运动向量精度可被发送。相似地，当区块分区模式为非合并模式或帧间模式时，自适应运动向量精度可被发送。
[0023] 在另一实施方式中，自适应运动向量精度仅用于非2Nx2N_合并(2Nx2N_Merge)和非2Nx2N_跳过(2Nx2N_SKIP)区块中。自适应运动向量精度标志可被发送于编码单元级。此外，一旦决定区块将为非2Nx2N_合并或为2Nx2N_跳过区块，运动向量精度标志可被发送。
[0024] 在另一实施方式中，自适应运动向量精度仅被应用于非合并区块。自适应运动向量精度标志可被发送于编码单元级或预测单元级。举例来说，若在编码单元中的所有预测单元于合并模式被编码，其意味着自适应运动向量精度被关闭以及不需要发送运动向量精度语法/标志。只有在编码单元中存在至少一非合并预测单元的时候，运动向量精度语法/标志将被发送。当在当前编码单元中并非所有的预测单元被编码于合并模式时，在发送所有的预测单元语法之后，运动向量精度语法/标志可被编码。可选地，在第一非合并模式预测单元之后，运动向量精度语法/标志可被编码。
[0025] 在又一实施方式中，自适应运动向量精度标志可被设置为用于区块的某些特定类型的某个特定值，例如，真或假。举例来说，基于分区类型及/或预测模式，自适应运动向量精度标志可被设置为真或假。在一个示例中，当区块分区为2Nx2N时，自适应运动向量精度标志可被设置为真或假。相似地，当区块分区为非2Nx2N时，自适应运动向量精度标志可被设置为真或假。在另一示例中，当区块预测模式为合并模式时，自适应运动向量精度标志可被设置为真或假。相似地，当区块预测模式为非合并模式时或帧间模式，自适应运动向量精度标志可被设置为真或假。在又一示例中，自适应运动向量精度标志可被设置为为真或假以用于非2Nx2N_合并和非2Nx2N_跳过区块。
[0026] 当前区块的运动向量精度可继承相邻区块的运动向量精度。举例来说，若当前区块的预测模式是合并模式，则当前区块的运动向量精度可继承目标合并区块的运动向量精度。举例来说，若当前区块与左侧区块合并，则当前区块的运动向量精度可继承左侧区块的运动向量精度。
[0027] 当运动向量精度被设置为粗粒度(coarser granularity)时，运动向量预测子可舍入为目标粒度。举例来说，若运动向量精度为整数像素，则在1/4像素精度处的运动向量预测子将舍入为整数精度。舍入过程可舍入运动向量的值为最近的整数。然而，当在距运动向量预测子相等的距离处存在两个最近的整数时，运动向量预测子将被舍入值接近于0的整数。举例来说，0.5被舍入至0，以及-1.5被舍入至-1。舍入过程也可通常被舍入至接近于0的最近整数。举例来说，0.75被舍入至0，而不是1。
[0028] 当运动向量精度被设置为粗粒度时，运动向量差值(motion vector difference,MVD)编码语法也可被改变。举例来说，若运动向量精度被设置为整数，则对应于abs_mvd_greater0_flag和abs_mvd_greater1_flag的运动向量差值码字的头两个二进制位(bin)可被跳过。其中，abs_mvd_greater0_flag
指定运动向量组分差值的绝对值是否大于0，以及abs_mvd_greater1_flag指定运动向量组分差值的绝对值是否大于1。
[0029] 当运动向量精度被设置为粗粒度时，运动向量差值(motion vector difference,MVD)编码语法的上下文模型也可被改变。举例来说，语法元素的上下文模型，不同的运动向量精度的abs_mvd_greater0_flag和abs_mvd_greater1_flag可利用上下文模型的不同设置。
[0030] 在另一实施方式中，运动向量精度语法/标志与运动向量差值相关。当用于运动向量差值的运动向量精度被设置为粗粒度时，运动向量差值的精度可被设置为整数，然而，运动向量预测子精度不会改变。换句话说，舍入处理不被应用于运动向量预测子。
[0031] 在另一实施方式中，运动向量精度语法/标志与运动向量预测子相关。当用于运动向量差值的运动向量精度被设置为粗粒度时，运动向量预测子精度可被设置为整数，然而，运动向量差值精度不会改变。换句话说，运动向量差值精度为较好的精度(finer precision)。
[0032] 对于合并区块或2Nx2N合并/跳过区块，运动向量信息可自空间相邻区块或时间同位(collocated)区块而被继承，不需要舍入至整数像素精度。然而，运动向量在此合并区块的运动补偿(motion compensation,MC)过程期间被舍入。换句话说，非舍入的运动向量被存储并被用作相邻区块的预测子，以及舍入的运动向量被用于此合并区块的运动补偿。
[0033] 在发送所有的预测单元语法之后，自适应运动向量精度标志可被发送。只有当当前编码单元在某种模式(例如，2Nx2N跳过/合并模式、或在当前编码单元中所有的预测单元为合并模式)中不被编码时，自适应运动向量精度标志将被发送。否则，自适应运动向量精度标志被推断为假。可选地，自适应运动向量精度标志在第一非合并模式预测单元之后将被发送。
[0034] 图1为根据本发明实施方式的利用自适应运动向量精度的视频编码的流程图。在图1中的流程图对应于视频数据的区块、或视频数据的区块的运动向量的编码过程，以用于利用自适应运动向量精度的视频编码系统。系统允许利用至少两个运动向量精度，以用于编码运动向量或编码视频数据的区块。视频数据包括屏幕内容。当用于编码视频数据的区块时，运动向量被使用以存取参考数据以及与运动向量相关的信息也被编码。如步骤110所示，系统接收与当前区块相关的输入数据。输入数据可包括与当前区块相关的信息，例如，运动向量、预测模式、分区类型，等等。信息可通过编码系统的其他处理单元而得到，以及输入数据可自
存储器(例如，计算机存储器、缓冲器(RAM或DRAM)或其他媒体)或自处理器而接收。如步骤120所示，根据当前区块的预测模式、当前区块的分区类型、或其组合，决定是否利用自适应运动向量精度以用于当前区块。在步骤130中，关于自适应运动向量精度是否被使用的测试被执行。若结果为“是”，则步骤140被执行。若结果为“否”，则步骤150被执行。在步骤140中，当前运动向量精度被决定以用于当前区块的当前运动向量，以及利用当前运动向量精度，当前运动向量被编码。在步骤150中，利用较好的运动向量精度(finer MV precision)，当前运动向量被编码。
[0035] 图2描述了本根据本发明实施方式的对应于图1中利用自适应运动向量精度的编码系统的视频解码的流程图。在步骤210中，用于当前区块的已编码数据被接收。在步骤220中，根据自已编码数据得到的当前区块的预测模式、当前区块的分区类型、或其组合，决定是否利用自适应运动向量精度以用于当前区块。在步骤230中，关于是否自适应运动向量精度的测试被执行。如结果为“是”，则执行步骤240。若结果为“否”，在执行步骤250。在步骤240中，自视频比特流解析运动向量精度语法元素，以决定用于当前区块的当前运动向量的当前运动向量精度，以及利用当前运动向量精度，当前运动向量被解码。在步骤250中，利用较好的运动向量精度，当前运动向量被解码。
[0036] 图3描述了根据本发明实施方式的利用自适应运动向量精度的视频编码的另一流程图。在步骤310中，系统接收与当前区块相关的输入数据。输入数据可包括与当前区块相关的信息，例如，运动向量、预测模式、分区类型，等等。信息可通过编码系统的其他处理单元而得到，以及输入数据可自存储器(例如，计算机存储器、缓冲器(RAM或DRAM)或其他媒体)或自处理器而接收。在步骤320中，根据当前区块的预测模式、当前区块的分区类型、或其组合，当前区块的当前自适应运动向量精度标志的值被选择，以指示是否利用自适应运动向量精度以用于当前区块。在步骤330中，关于自适应运动向量精度标志是否指示自适应运动向量精度被使用的测试被执行。若结果为“是”，则步骤340被执行。若结果为“否”，则步骤350被执行。在步骤340中，当前运动向量精度被决定以用于当前区块的当前运动向量，以及利用当前运动向量精度，当前运动向量被编码。在步骤350中，利用较好的运动向量精度，当前运动向量被编码。
[0037] 上述的流程图用于描述根据本发明的利用自适应运动向量精度的视频编码的示例。本领域技术人员可在不脱离本发明精神的前提下，
修改、重排列、拆分、或组合各个步骤，以实现本发明。在本申请中，特定的语法和语义用于解释本发明的示范性实施方式。本领域技术人员可在不脱离本发明的精神的前提下，利用等同的语法和语义来取代上述的语法和语义，来实现本发明。
[0038] 在提供特定应用和其需求的情况下，以上描述使得本领域技术人员能够实现本发明。对本领域技术人员来说，各种修饰是清楚的，以及在此定义的基本原理可以应用与其他实施方式。因此，本发明并不限于描述的特定实施方式，而应与在此公开的原则和新颖性特征相一致的最广范围相符合。在上述详细描述中，为全面理解本发明，描述了各种特定细节。然而，本领域技术人员能够理解本发明可以实现。
[0039] 以上描述的本发明的实施方式可在各种
硬件、
软件编码或两者组合中进行实施。例如，本发明的实施方式可为集成入视频压缩芯片的
电路或集成入视频压缩软件以执行上述过程的程序代码。本发明的实施方式也可为在数据
信号处理器(Digital Signal Processor,DSP)中执行上述程序的程序代码。本发明也可涉及计算机处理器、
数字信号处理器、
微处理器或现场可编程
门阵列(Field Programmable Gate Array,FPGA)执行的多种功能。可根据本发明配置上述处理器执行特定任务，其通过执行定义了本发明揭示的特定方法的机器可读
软件代码或
固件代码来完成。可将软件代码或固件代码发展为不同的程序语言与不同的格式或形式。也可为了不同的目标平台编译软件代码。然而，根据本发明执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本发明的精神与范围。
[0040] 在不脱离本发明精神或本质特征的情况下，可以其他特定形式实施本发明。描述示例被认为仅在所有方面进行说明并且不是限制性的。因此，本发明的范围由
权利要求书指示，而非前面描述。所有在权利要求等同的方法与范围中的变化都属于本发明的涵盖范围。
