首页 / 专利库 / 多媒体工具与应用 / 视频编码 / 用于视频编解码中具有帧内方向预测模式的内含帧内编解码工具设定的方法和装置

用于视频编解码中具有内方向预测模式的内含帧内编解码工具设定的方法和装置

阅读:1034发布:2020-05-29

专利汇可以提供用于视频编解码中具有内方向预测模式的内含帧内编解码工具设定的方法和装置专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种用于由 视频编码 器或 解码器 执行的视频编码或解码的方法和装置,该视频 编码器 或视频解码器集成具有多个方向 帧 内预测 模式的帧内预测的编解码工具。根据本发明,当帧内预测模式是方向模式时,基于帧内预测模式来确定一个或多个编解码工具设定,使得不需要显性信令基于帧内预测模式所确定的一个或多个编解码工具设定。在编码器侧处,将帧内预测和编解码工具应用于当前 块 以生成当前块的帧内预测残差或已变换帧内预测残差。,下面是用于视频编解码中具有内方向预测模式的内含帧内编解码工具设定的方法和装置专利的具体信息内容。

1.一种解码视频数据的方法,该方法包括:
接收包括压缩数据的比特流,该压缩数据对应于待解码的当前内预测残差或已变换帧内预测残差;
从该比特流中确定该当前块的当前帧内预测模式;以及
如果该当前帧内预测模式是方向帧内预测模式,且一个编解码工具被使能以用于帧内预测,则:
根据该当前帧内预测模式或者一个或多个编解码参数,确定该编解码工具的一个或多个目标设置;以及
将该帧内预测和该编解码工具应用于帧内预测残差或已变换帧内预测残差,以生成已重构当前块,其中,该帧内预测是根据该当前帧内预测模式来应用于该帧内预测残差或已变换帧内预测残差的,该编解码工具是根据该一个或多个目标设置来应用于该帧内预测残差或已变换帧内预测残差。
2.根据权利要求1所述的解码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该编解码工具开启或关闭的旗标,以及
如果该当前帧内预测模式是偶数编号的方向帧内预测模式,则该旗标被设置以指示该编解码工具开启;如果该当前帧内预测模式是奇数编号的方向帧内预测模式,则该旗标被设置以指示该编解码工具关闭。
3.根据权利要求1所述的解码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该编解码工具开启或关闭的旗标,以及
如果该当前帧内预测模式是奇数编号的方向帧内预测模式,则该旗标被设置以该指示该编解码工具开启;如果该当前帧内预测模式是偶数编号的方向帧内预测模式,则该旗标被设置以指示该编解码工具关闭。
4.根据权利要求1所述的解码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该编解码工具开启或关闭的旗标,以及
如果该当前帧内预测模式为属于由默认数量的方向帧内预测模式组成的模式组的一个方向帧内预测模式,则该旗标被设置以指示该编解码工具开启;如果该当前帧内预测模式为不属于该模式组的一个方向帧内预测模式,则该旗标被设置以指示该编解码工具关闭。
5.根据权利要求4所述的解码视频数据的方法,其特征在于,该模式组是根据由该预设数量的方向帧内预测模式组成的表格或者根据公式来确定的。
6.根据权利要求1所述的解码视频数据的方法,其特征在于,该编解码工具对应于基于位置帧内预测组合或适应性参考样本平滑,其中:
基于位置帧内预测组合编解码工具透过将基于多个滤波边界参考样本推导的第一帧内预测子与未滤波边界参考样本进行组合,生成组合帧内预测子;
适应性参考样本平滑编解码工具透过不应用滤波器或者将自滤波器集选择的一个滤波器应用于多个边界参考样本,自该多个边界参考样本生成目标帧内预测子;
根据该当前帧内预测模式的帧内预测和根据该一个或多个目标设置的该编解码工具被应用于该帧内预测残差以生成该已重构当前块。
7.根据权利要求6所述的解码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该基于位置帧内预测组合开启或关闭的旗标、或者指示该适应性参考样本平滑开启或关闭的旗标、或者指示在该适应性参考样本平滑开启时所选的适应性参考样本平滑滤波器的索引。
8.根据权利要求1所述的解码视频数据的方法,其特征在于,该编解码工具对应于适应性多重变换,其中适应性多重变换编解码工具利用不同于第一变换集的第二变换集。
9.根据权利要求8所述的解码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该适应性多重变换开启或关闭的旗标,或者指示在该适应性多重变换开启时从该第二变换集中选择的目标变换的索引;
根据该一个或多个目标设置的该编解码工具被应用于该已变换帧内预测残差以生成已重构帧内预测残差,且根据该当前帧内预测模式的帧内预测被应用于已重构帧内预测残差以生成该已重构当前块。
10.根据权利要求1所述的解码视频数据的方法,其特征在于,该一个或多个编解码参数包括当前块尺寸,当前块宽度,当前块高度,与当前块相关的量化参数或与当前块相关的片段类型。
11.一种解码装置或解码视频数据的装置,该装置包括一个或多个电子电路或者处理器,用于:
接收包括压缩数据的比特流,该压缩数据对应于待解码的当前块的帧内预测残差或已变换帧内预测残差;
从该比特流中确定该当前块的当前帧内预测模式;以及
如果该当前帧内预测模式是一方向帧内预测模式,且一编解码工具被使能以用于帧内预测,则:
根据该当前帧内预测模式或者一个或多个编解码参数,确定该编解码工具的一个或多个目标设置;以及
将该帧内预测和该编解码工具应用于帧内预测残差或已变换帧内预测残差,以生成已重构当前块,其中,该帧内预测是根据该当前帧内预测模式来应用于该帧内预测残差或已变换帧内预测残差的,该编解码工具是根据该一个或多个目标设置来应用于该帧内预测残差或已变换帧内预测残差。
12.一种编码视频数据的方法,该方法包括:
接收待编码的当前块;
当使用帧内预测预测该当前块时,识别多个方向帧内预测模式;
识别被使能以用于该当前块的编解码工具;
选择该当前块的当前帧内预测模式;
如果该当前帧内预测模式是方向帧内预测模式,则:
根据该当前块的该当前帧内预测模式,确定该编解码工具的一个或多个目标设置;以及
将该帧内预测和该编解码工具应用于该当前块,以生成该当前块的帧内预测残差或已变换帧内预测残差,其中该帧内预测是根据该当前帧内预测模式来应用于该当前块的,并且该编解码工具是根据该一个或多个目标设置来应用于该当前块。
13.根据权利要求12所述的编码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该编解码工具开启或关闭的旗标,以及
如果该当前帧内预测模式是偶数编号的方向帧内预测模式,则该旗标被设置以指示该编解码工具开启;如果该当前帧内预测模式是奇数编号的方向帧内预测模式,则该旗标被设置以指示该编解码工具关闭。
14.根据权利要求12所述的编码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该编解码工具开启或关闭的旗标,以及
如果该当前帧内预测模式是奇数编号的方向帧内预测模式,则该旗标被设置以该指示该编解码工具开启;如果该当前帧内预测模式是偶数编号的方向帧内预测模式,则该旗标被设置以指示该编解码工具关闭。
15.根据权利要求12所述的编码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该编解码工具开启或关闭的旗标,以及
如果该当前帧内预测模式为属于由默认数量的方向帧内预测模式组成的模式组的一个方向帧内预测模式,则该旗标被设置以指示该编解码工具开启;如果该当前帧内预测模式为不属于该模式组的一个方向帧内预测模式,则该旗标被设置以指示该编解码工具关闭。
16.根据权利要求15所述的编码视频数据的方法,其特征在于,该模式组是根据由该预设数量的方向帧内预测模式组成的表格或者根据公式来确定的。
17.根据权利要求12所述的编码视频数据的方法,其特征在于,该编解码工具对应于基于位置帧内预测组合或适应性参考样本平滑,其中:
基于位置帧内预测组合编解码工具透过将基于多个滤波边界参考样本推导的第一帧内预测子与未滤波边界参考样本进行组合,生成组合帧内预测子;
适应性参考样本平滑编解码工具透过不应用滤波器或者将自滤波器集选择的一个滤波器应用于多个边界参考样本,自该多个边界参考样本生成目标帧内预测子;
根据该当前帧内预测模式的帧内预测和根据该一个或多个目标设置的该编解码工具被应用于该帧内预测残差以生成该已重构当前块。
18.根据权利要求17所述的编码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该基于位置帧内预测组合开启或关闭的旗标、或者指示该适应性参考样本平滑开启或关闭的旗标、或者指示在该适应性参考样本平滑开启时所选的适应性参考样本平滑滤波器的索引。
19.根据权利要求12所述的编码视频数据的方法,其特征在于,该编解码工具对应于适应性多重变换,其中适应性多重变换编解码工具利用不同于第一变换集的第二变换集。
20.根据权利要求19所述的编码视频数据的方法,其特征在于,该一个或多个目标设置对应于指示该适应性多重变换开启或关闭的旗标,或者指示在该适应性多重变换开启时从该第二变换集中选择的目标变换的索引;
根据该当前帧内预测模式的该帧内预测被应用于当前块以生成帧内预测残差,且根据该一个或多个目标设置的该编解码工具被应用于该帧内预测残差以生成已变换帧内预测残差。
21.根据权利要求12所述的编码视频数据的方法,其特征在于,该一个或多个编解码参数包括当前块尺寸,当前块宽度,当前块高度,与当前块相关的量化参数或与当前块相关的片段类型。
22.一种编码装置或解码视频数据的装置,该装置包括一个或多个电子电路或者处理器,用于:
接收待编码的当前块;
当使用帧内预测预测该当前块时,识别多个方向帧内预测模式;
识别被使能以用于该当前块的编解码工具;
选择该当前块的当前帧内预测模式;
如果该当前帧内预测模式是方向帧内预测模式,则:
根据该当前块的该当前帧内预测模式,确定该编解码工具的一个或多个目标设置;以及
将该帧内预测和该编解码工具应用于该当前块,以生成该当前块的帧内预测残差或已变换帧内预测残差,其中该帧内预测是根据该当前帧内预测模式来应用于该当前块的,并且该编解码工具是根据该一个或多个目标设置来应用于该当前块。

说明书全文

用于视频编解码中具有内方向预测模式的内含帧内编解码

工具设定的方法和装置

[0001] 交叉申请
[0002] 本发明要求2017年3月10日提出申请号为62/469,562的美国临时专利申请的优先权。上述美国临时申请整体以引用方式并入本文中。

技术领域

[0003] 本发明通常涉及结合帧内预测的视频编解码。具体地,本发明涉及用于使用具有帧内预测基于位置帧内预测组合(Position Dependent Intra Prediction Combination,PDPC)或适应性参考样本平滑(Adaptive Reference Sample Smoothing,ARSS)或适应性多变换(Adaptive Multiple Transforms,AMT)编解码工具来提高视频编解码系统的编解码效率或降低其复杂度的技术。

背景技术

[0004] 高效视频编解码(High Efficiency Video Coding,HEVC)标准是在ITU-T视频编解码专家组(Video Coding Experts Group,VCEG)和ISO/IEC运动图像专家组(Moving Picture Experts Group,MPEG)标准化组织的联合视频项目下开发的,并特别地与称为视频编解码联合协作小组(Joint Collaborative Team on Video Coding,JCT-VC)存在伙伴关系。
[0005] 在HEVC中,一个片段被分割成多个编解码树单元(Coding Tree Unit,CTU)。在主配置文件中,CTU的最小尺寸和最大尺寸由序列参数集(Sequence Parameter Set,SPS)中的语法元素指定。允许的CTU尺寸可以是8x8,16x16,32x32或64x64。对于每个片段,片段内的CTU根据光栅扫描顺序进行处理。
[0006] CTU进一步被分割成多个编解码单元(Coding Unit,CU)以适应各种局部特征。表示为编解码树的四叉树用于将CTU分割成多个CU。将CTU尺寸设为M×M,其中M是值64,32或16中的一个。CTU可以是单个CU或可以被分割成四个相同尺寸的较小单元(即M/2xM/2),其为编解码树的节点。如果这些单元是编解码树的叶节点,则这些单元变成CU。否则,四叉树分割流程可以被迭代,直到节点的尺寸达到SPS中指定的最小允许CU尺寸。这种表示形成了如图1中的编解码树(也称为分割树结构)120所指定的递归结构。CTU分割110在图1中示出,其中实线表示CU边界。在CU层做出是使用图像间(时间)预测或是图像内(空间)预测来编解码图像区域的决定。由于最小CU尺寸可以是8x8,所以用于在不同基本预测类型之间切换的最小间隔尺寸是8x8。
[0007] 给每个CU指定一个或多个预测单元(Prediction Unit,PU)。结合CU,PU作为共享预测信息的基本表示。在每个PU内部,应用相同的预测流程,并将相关信息以PU为基础发送给解码器。根据PU分割类型,CU可以被分割成一个,两个或四个PU。如图2所示,HEVC定义了用于将CU分成PU的八个形状。与CU不同,PU可以仅被分割一次。第二列所示的分割对应于不对称分割,其中两个分割部分具有不同的尺寸。
[0008] 在透过基于PU分割类型应用预测进程来获得残差块之后,可以根据另一四叉树结构,其与CU的编解码树类似,将CU分割成变换单元(Transform Unit,TU)。在图1中,块110中的实线表示CU边界,并且块110中的虚线表示TU边界。类似地,分割树结构120的实线对应于CU分割树结构,分割树结构120的虚线对应于TU分割树结构。TU是用于应用整数变换和量化的残差或变换系数的基本代表块。对于每个TU,将具有相同尺寸的一个整数变换应用于TU以获得残差系数。在以TU基础的量化后,这些系数被传输到解码器。
[0009] 分别定义术语编解码树块(Coding Tree Block,CTB),编解码块(Coding Block,CB),预测块(Prediction Block,PB)和变换块(Transform Block,TB)以指定分别与CTU,CU,PU,和TU相关的一个颜色分量的2-D样本数组。这样,CTU由一个亮度CTB,两个色度CTB和相关的语法元素组成。类似的关系对CU,PU和TU有效。通常同时将树分割应用于亮度和色度,尽管当达到色度的特定最小时发生特例。
[0010] 可选地,如在ITU-T SG 16(Study Period 2013),Contribution 966(J.An,et al,“Block partitioning structure for next generation video coding”,ITU-T T13 SG16 COM 16–C 966R3–E,Geneva,September 2015)所公开,可以使用二叉树块分割结构。在所公开的二叉树分割结构中,块可以被递归地分割成两个较小块。如图3所示有几种分割类型。如最有效和最简单的分割类型是图3中的前两种分割类型所示的对称平分割和对称垂直分割。因此,系统可以选择仅使用这两种分割类型。对于尺寸为MxM的给定块,可以信令旗标以表示是否将块分割成两个较小块。如果该旗标表示“是”,则标示另一语法元素以表示使用哪种分割类型(即,水平或垂直)。如果使用水平分割,则将其分割成两个尺寸为M x M/2的块,否则如果使用垂直分割,则将其分割成两个尺寸为M/2x M的块。二叉树分割流程可以被迭代,直到分割块的尺寸(宽度或高度)达到可以在诸如SPS的高层语法中定义的最小允许块尺寸(宽度或高度)。由于二叉树具有两种分割类型(即水平和垂直),所以应该均指示最小允许块宽度和最小允许块高度。当分割形成小于所表示的最小值的块高度时,非水平分割是隐性的。当分割会形成小于所表示的最小值的块宽度时,非垂直分割是隐性的。图4示出了块分割410及其相应的二叉树结构420的示例。在二叉树的每个分割(即非叶)节点中,一个旗标表示使用哪种分割类型(水平或垂直),0表示水平分割,1表示垂直分割。
[0011] 所提出的二叉树结构可以用于将块分割成多个较小块,诸如将一片段分割成多个CTU,将一CTU分割成多个CU,将一CU分割成多个PU或将一CU分割成多个TU,等等。在一个实施例中,二叉树用于将CTU分割成多个CU。换句话说,二叉树的根节点是CTU,二叉树的叶节点是CU。叶节点由预测和变换编解码进行进一步处理。在另一实施例中,为简化块分割流程,不存在从CU到PU或从CU到TU的进一步分割。这意味着CU等同于PU并且也等同于TU。因此,在这种情况下,二叉树的叶节点也是用于预测和变换编解码的基本单元。
[0012] 二叉树结构比四叉树结构更灵活,是因为可以支持更多的分割形状,这也是编解码效率提高的一个因素。但是,为了选择最佳的分割形状,编码复杂度也会增加。为了平衡复杂度和编解码效率,在JVET-E1001(Chen et al.“, Algorithm Description of Joint Exploration Test Model 5(JEM5)”,Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,5th Meeting:Geneva,CH,12–20January,2017,Document:JVET-E1001)中已采用了组合四叉树和二叉树结构的方法,该结构也称为四叉树加二叉树(quadtree plus binary tree,QTBT)结构。在所公开的QTBT结构中,首先透过四叉树结构对块进行分割,四叉树分割可以被迭代直到分割块的尺寸达到最小允许四叉树叶节点尺寸。如果叶四叉树块不大于最大允许二叉树根节点尺寸,则可以透过二叉树结构进一步分割,二叉树分割可以被迭代直到分割块的尺寸(宽度或高度)达到最小允许二叉树叶节点尺寸(宽度或高度)或二叉树深度达到最大允许二叉树深度。在QTBT结构中,可以在高级语法如SPS中指示最小允许四叉树叶节点大小,最大允许二叉树根节点大小,最小允许二叉树叶节点宽度和高度以及最大允许二叉树深度。图5示出了块分割510及其对应的QTBT结构520的示例。实线表示四叉树分割,虚线表示二叉树分割。在二叉树的每个分割(即非叶)节点中,一个旗标指示使用哪种分割类型(水平或垂直),0表示水平分割,1表示垂直分割。
[0013] 所公开的QTBT结构可以用于将块分割成多个更小的块,诸如将一片段分割成多个CTU,将一CTU分割成多个CU,将一CU分割成多个PU或将一CU分割成多个TU等等。例如,QTBT可用于将CTU分割为多个CU,即,QTBT的根节点是CTU,其由QTBT结构分割成多个CU。CU由预测和变换编解码进行进一步处理。QTBT结构的简化也在2015年12月9日提交的PCT/CN2015/096761中公开,其中从CU到PU或从CU到TU没有应用进一步分割。换句话说,CU等同于PU并且也等同于TU。因此,QTBT结构的叶节点是预测和变换的基本单元。
[0014] 在HEVC中,帧内预测模式支持对应于DC和平面模式以及其他33个方向预测模式的35种不同的预测模式。在预测之后,一个CU的预测残差被分割成多个TU,并且每个TU使用变换和量化来处理。由于其强大的“能量压缩”特性,HEVC采用离散余弦变换II型(Discrete Cosine Transform type II,DCT-II)作为其核心转换。
[0015] 对于在ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索组(Joint Video Exploration Team,JVET)下正在开发的下一代视频编解码标准(即联合探索模型(Joint Exploration Model,JEM)),33种方向预测模式被扩展为使用方向预测模式。更多方向预测模式允许捕捉自然视频中呈现的更精细的边缘方向。新的方向模式如原始33种模式的每两个相邻方向模式之间的虚线箭头示出,其在图6中以实线箭头示出。平面模式和DC模式保持相同。这些更密集的方向帧内预测模式可应用于亮度和色度帧内预测的所有块尺寸。
[0016] 除了更多方向帧内预测模式之外,正在开发的下一代编解码还支持一些其他帧内编解码工具以改进帧内预测模式的预测质量。例如,在JVET-D1001(Chen et al.,“Algorithm Description of Joint Exploration Test Model 4(JEM 4)”,Joint Collaborative Team on Video Coding of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,4th Meeting:Chengdu,CN,15–21October 2016,Document:JVET-D1001)中,公开了基于位置帧内预测组合(position dependent Intra prediction combination,PDPC)作为用于帧内预测的后处理方法,其调用HEVC帧内预测与未滤波的边界参考样本的组合。图7示出根据HEVC和PDPC的4×4块中的帧内预测的示例。新预测p[x,y]将边界元素的加权值与HEVC预测q[x,y]组合,如下:
[0017]
[0018] 在上述公式中,r和s分别表示具有未滤波参考和滤波参考的边界样本。HEVC帧内预测(即q[x,y])基于滤波参考s。x和y是距离块边界的水平距离和垂直距离。此外,为存储的预测参数,对于宽度小于或等于16的块,dx=1;对于宽度大于16的块,dx=2;对于高度小于或等于16的块以及对于高度大于16的块,dy=2。b[x,y]是如下所述的归一化因子:
[0019]
[0020] 在JVET-D1001中,使用一组7抽头低通滤波器来平滑边界样本,其中滤波器k的脉冲回应被指定为如公式(3)中的hk和用于计算滤波参考的附加的存储参数a。
[0021] s=ar+(1-a)(hk*r)  (3)
[0022] 其中,“*”表示卷积。
[0023] 根据JVET-D1001,每个帧内预测模式和块尺寸定义了一组预测参数(a和滤波器索引k),其中相邻预测方向被分组。标示CU层旗标以表示是否应用PDPC。值0表示使用现有的HEVC帧内预测(具有禁能的HEVC参考样本平滑滤波器),并且值1表示应用PDPC。当PDPC旗标值等于0时,应用如下所述的适应性参考样本平滑方法来生成帧内预测。
[0024] 在编码器侧,用于帧内编解码CU的PDPC旗标在CU层确定。当CU需要帧内模式率失真(Rate-Distortion,RD)成本检测时,添加一个额外CU层RD检测以给帧内编解码CU选择值0与1之间的最佳PDPC旗标。
[0025] 适应性参考样本平滑(Adaptive Reference Sample Smoothing,ARSS)是JVET-D1001中采用的用于帧内预测的另一种编解码工具,其中透过使用两个低通滤波器(Low Pass Filter,LPF)来引入新的参考样本滤波机制以处理参考样本:
[0026] ·系数为[1,2,1]/4的3抽头LPF
[0027] ·系数为[2,3,6,3,2]/16的5抽头LPF
[0028] ARSS编解码工具透过一组决策以确定用于参考样本的滤波处理,其选择没有滤波器,HEVC滤波器,3抽头LPF或5抽头LPF。
[0029] ARSS需要信令(signal)所选择的滤波器项。在JVET-D1001中,使用数据隐藏而不是将该旗标信令在比特流中。在HEVC中,系数组(Coefficients Group,CG)的最后一个系数的符号被隐藏在CG的系数的绝对值的和中。在JEM(即,在JVET下正在开发的下一代生成视频编解码的联合探索测试模型(Joint Exploration Test Model,JEM)软件)中,使用类似的技术来隐藏滤波旗标,该滤波旗标表示根据块尺寸和帧内预测模式选择的且与相同滤波器组相关的两个滤波器。位于奇数位置处的给定编解码块的变换系数用于隐藏滤波旗目标值。
[0030] 在JVET-D1001中,ARSS仅被应用于亮度分量。在CU的尺寸小于或等于1024个亮度样本并且大于或等于64个亮度样本的情况下,亮度编解码块中的至少一个系数子组具有隐藏的符号位,并且帧内预测模式不是DC模式。与HEVC相比,亮度分量的参考样本平滑的条件已被修改:帧内模式与最接近的水平或垂直轴之间的度的阈值已经减小了2。亮度分量的4抽头内插值滤波器的选择规则也已被修改:立方体帧内插值用于编解码所有尺寸的块。
[0031] 在JEM中,当CU的PDPC旗标等于1时,该CU中的ARSS被禁能。
[0032] 为编解码块选择最佳ARSS旗标值,在编码器侧处,需要进行两轮RD成本检测:一个将ARSS旗标设置为等于零,另一个将ARSS旗标设置为等于1。在JEM软件中,使用以下快速编码器机制来简化编码器端的ARSS计算复杂度。
[0033] ·当默认参考样本平滑(即ARSS旗标为零)的CBF等于0时,ARSS旗标等于1的情况的RD成本检测被跳过。
[0034] 在编码器侧处,ARSS旗标隐藏与符号隐藏相结合。值得注意的是,符号隐藏和ARSS旗标隐藏的系数调整不是单独的步骤。两个比特隐藏在单个步骤中被联合执行(即“隐藏流程”)。编码器选择系数以相对于符号隐藏和ARSS旗标隐藏校验和值进行修改。调整位于两个奇数位置或偶数位置的系数。因此,有可能提供所需的符号隐藏和ARSS旗标隐藏校验和值的组合。
[0035] 在JVET-D1001中,增强型多重变换(Enhanced Multiple Transform,EMT)方案用于帧内编解码块和帧间编解码块的残差编解码。在本文中,EMT也可以被称为适应性多重变换(Adaptive Multiple Transform,AMT)。其利用除HEVC中当前变换之外的来自DCT/DST族的多个所选择的变换。新引入的变换矩阵是DST-VII,DCT-VIII,DST-I和DCT-V。表1总结了N点输入的每个变换的变换基函数。
[0036] 表1 N点输入的变换基函数
[0037]
[0038] 根据EMT,多重变换可被选择用于一个TU。例如,对于帧间CU,一个EMT旗标可以被编解码,以指示HEVC被使用(即,EMT旗标等于0),还是新的多重变换中的一个被使用(即,EMT旗标等于1)。当EMT旗标等于1时,在水平方向和垂直方向上分别存在两种不同的变换。EMT索引可以用于指示所选择以用于水平方向和垂直方向中的每个的变换。总的来说,当EMT旗标为1时,对于每个CU,四个不同的变换被支持。对于帧内CU,在多重变换中也存在四个候选项。然而,根据帧内预测方向,这四个候选项是可变的。
[0039] 当新的编解码工具被开发并与帧内预测模式一起使用时,可能需要显性信令。例如,一个比特旗标被需要以用于PDPC和ARSS,以表示其被开启还是关闭。对于AMT,需要使用多个旗标来信令正在使用的相应多重变换。对于编码器,这也意味着多次试验(即RD检测)以选择最佳模式或变换,这反过来增加了编码器的复杂度。

发明内容

[0040] 本发明公开了一种用于由视频编码器或解码器执行的视频编码或解码的方法和装置,视频编码器或视频解码器集成具有多个方向帧内预测模式的帧内预测的编解码工具。根据本发明,当帧内预测模式是方向模式时,基于帧内预测模式来确定一个或多个编解码工具设定,使得不需要显性信令基于帧内预测模式所确定的一个或多个编解码工具设定。在编码器侧,将帧内预测和编解码工具应用于当前块以生成当前块的帧内预测残差或已变换帧内预测残差。在解码器侧,将帧内预测和编解码工具应用于帧内预测残差或已变换帧内预测残差以生成已重构当前块。根据当前帧内预测模式来应用帧内预测,并且根据一个或多个目标设置来应用编解码工具。
[0041] 在一实施例中,编解码工具的目标设置对应于指示编解码工具开启或关闭的旗标,其中,如果当前帧内预测模式是偶数编号的方向帧内预测模式,则旗标被设置以指示编解码工具开启;如果当前帧内预测模式是奇数编号的方向帧内预测模式,则旗标被设置以指示编解码工具关闭。在另一实施例中,编解码工具的开启/关闭设置是根据相反方式的偶数/奇数编号的方向帧内预测模式设置的。在又一实施例中,编解码工具的开启/关闭设置取决于当前帧内预测模式是否属于由预定数量的方向帧内预测模式组成的模式组的一个方向帧内预测模式。在这种情况下,模式组可以根据由预定数量的方向帧内预测模式组成的表格或根据等式来确定。
[0042] 在一实施例中,编解码工具对应于基于位置帧内预测组合(Position Dependent Intra Prediction Combination,PDPC)或适应性参考样本平滑(Adaptive Reference Sample Smoothing,ARSS),其中PDPC编解码工具透过将基于多个滤波边界参考样本推导的第一帧内预测子与未滤波边界参考样本进行组合,生成组合帧内预测子;以及,ARSS编解码工具透过不应用滤波器或者将自滤波器集选择的一个滤波器应用于多个边界参考样本,自多个边界参考样本生成目标帧内预测子。一个或多个目标设置对应于指示PDPC组合开启或关闭,或者指示ARSS开启或关闭的旗标,或者指示在ARSS开启时所选ARSS滤波器的索引。对于PDPC和ARSS,在编码器侧,将帧内预测和编解码工具应用于当前块以生成帧内预测残差,或者在解码器侧,应用于帧内预测残差以生成已重构当前块。
[0043] 在另一实施例中,编解码工具对应于适应性多重变换(Adaptive Multiple Transform,AMT),其中AMT编解码工具利用不同于第一变换集的第二变换集。在该情况下,一个或多个目标设置对应于指示AMT开启或关闭的旗标,或者在指示AMT开启时从第二变换集中选出的目标变换的索引。对于AMT编解码工具,在编码侧,将根据当前帧内预测模式的帧内预测应用于当前块以生成帧内预测残差,并且将根据一个或多个目标设置的编解码工具应用于帧内预测残差以生成已变换帧内预测残差。在解码器侧,将根据一个或多个目标设置的编解码工具应用于已变换帧内预测残差以生成已重构帧内预测残差,并且将根据当前帧内预测模式的帧内预测应用于已重构帧内预测残差以生成已重构当前块。
[0044] 在基于一个或多个编解码参数确定一个或多个目标设置的情况下,一个或多个编解码参数包括当前块尺寸,当前块宽度,当前块高度,与当前块相关的量化参数或与当前块相关的片段类型。附图说明
[0045] 图1示出了使用HEVC中对应的四叉树将CTU分割成CU和TU的子分割。
[0046] 图2示出了在HEVC中将CU分成一个或多个PU的八种分割类型。
[0047] 图3示出了二叉树的可能分割类型。
[0048] 图4示出了使用相应的二叉树的块分割的示例。
[0049] 图5示出了使用相应的四叉树加二叉树的块分割的示例。
[0050] 图6示出了如实线箭头所示的原始33种方向帧内预测模式的每个两中相邻方向模式之间且如虚线箭头的新的方向帧内预测模式。
[0051] 图7示出了根据HEVC帧内预测和PDPC帧内预测的4×4块中的帧内预测的示例。
[0052] 图8示出了根据本发明的方法的示例性编码系统的流程图,其中编码系统集成有具有编解码工具的帧内预测,编解码工具具有基于帧内预测的编解码工具设定或者一个或多个编解码参数。
[0053] 图9示出了根据本发明的方法的示例性解码系统的流程图,其中解码系统集成有具有编解码工具的帧内预测,编解码工具具有基于帧内预测的编解码工具设定或者一个或多个编解码参数。

具体实施方式

[0054] 以下描述为本发明的较佳实施例。以下实施例仅用来举例阐释本发明的技术特征,并非用以限定本发明。本发明的保护范围当视权利要求书所界定为准。
[0055] 如前面所述,引入若干新的编解码工具,例如PDPC,RSS和AMT,以用于集成在下一代视频编解码中的帧内预测。这些编解码工具的使用通常涉及信令相关编解码工具设定,这将增加所需的带宽。本发明旨在提高编解码效率或降低集成具有帧内预测的这些编解码工具中任何的编解码系统的复杂度。
[0056] 本发明中,公开了与编解码工具设定相关的隐性信令(implicit signalling),以替换根据方向帧内预测模式的显性指示。隐性信令特别适用于方向的数量变大的情况。一般而言,方向预测越精细,相邻方向预测子(predictor)之间的差异越小。因此,优选的是,将编解码工具的不同设置分配给相邻方向帧内预测模式。例如,新工具的不同设置可对应于将编解码工具设定成开启和关闭。又例如,如果编解码工具对应于AMT,则新工具的不同设置可以对应于选择不同变换。如果相邻方向帧内预测模式生成相似的预测子,则可以测试不同的工具设定。不同的工具设定可以导致更加不同的编解码结果以用于相邻方向帧内预测模式,这为可能的编码增益创造了机会。利用隐性分配,使用帧内模式编解码的原始信令,方向帧内预测模式和编解码工具设定可以同时被信令。本发明还可以降低编码器的复杂度,是因为当在编码器处测试方向模式时,可以同时确定不同的工具设定,而无需对不同的编解码工具设定进行额外的检测。
[0057] 在一个实施例中,当65(从2到66)种方向帧内预测模式用于帧内预测并且PDPC也被使能时,本发明隐性地确定PDPC设置(或称为PDPC的目标设置)以用于方向帧内预测模式。例如,具有偶数编号(例如2,4,6,…,66)的方向帧内预测模式可以被隐性地分配给PDPC关闭,而具有奇数编号(例如3,5,7,…,65)的方向帧内预测模式可以被隐性分配给PDPC开启。又例如,PDPC开启/关闭也可以以相反的方式进行分配。
[0058] 如本领域中已知的是,当在编码器处,将具有PDPC编解码工具的帧内预测应用于当前块时,根据所选的帧内预测模式的帧内预测和根据目标编解码工具设定的PDPC编解码工具被应用于当前块以生成当前块的帧内预测残差。根据本发明,如果所选的帧内预测模式是方向帧内预测模式,则基于所选的帧内预测模式来确定目标编解码工具设定。因此,不需要信令目标编解码工具设定。在解码器侧处,对于帧内编解码的当前块,帧内预测模式是确定的,例如,自比特流解码。根据本发明,如果所选的帧内预测模式是方向帧内预测模式,则基于所选的帧内预测模式来确定目标编解码工具设定。因此,不需要从比特流中解析目标编解码工具设定。根据确定的帧内预测模式的帧内预测和根据推导的目标编解码工具设定的编解码工具被应用于当前块的帧内预测残差,以产生已重构当前块。
[0059] 在另一实施例中,当65(从2到66)种方向帧内预测模式用于帧内预测并且PDPC也被使能时,预设数量的方向帧内预测模式可被隐性地分配给PDPC开启,而其余的方向帧内预测模式可被隐性地分配给PDPC关闭。PDPC开启/关闭也可以以相反的方式进行分配。默认方向帧内预测模式可以由具有固定条目的表格(例如{2,18(水平),34(对角线),50(垂直),66})或透过固定公式来指定。例如,默认方向帧内预测模式的集合可以对应于{2,18(水平),34(对角线),50(垂直),66}+偏移,其中偏移可以是预设的或适应性地确定的。例如,如果偏移等于1,则默认方向帧内预测模式的集合可以对应于{3,9,35,51,67}。又例如,默认方向帧内预测模式的集合可以对应于{方向模式%N==n},其中N和n均是预设的并且“%”对应于模运算(modulo operation)。
[0060] 在又一个实施例中,当65(从2到66)种方向帧内预测模式用于帧内预测并且PDPC也被使能时,多个隐性分配可以被组合,以确定PDPC是开启还是关闭。例如,如上所述,可以组合分配奇数方向帧内预测模式被隐性分配给PDPC开启的情况和预设数量的方向帧内预测模式被隐性分配给PDPC开启的情况。
[0061] 在又一个实施例中,当65(从2到66)种方向帧内预测模式用于帧内预测并且PDPC也被支持时,可以根据其他可用编解码参数适应性地应用隐性分配,例如CU尺寸,CU宽度,CU高度,量化参数或片段类型。例如,仅当CU区域大于默认阈值时,应用分配给PDPC开启的奇数编号的方向帧内预测模式。另外,可以根据高层语法(例如序列,图像或片段头中的旗标)来使能或禁能隐性分配。隐性分配也可以与显性信令一起使用。
[0062] 集成有用于PDPC编解码工具的如上所述的隐性分配的各种实施例也可以用于具有方向帧内模式的ARSS编解码工具以确定用于ARSS的开启选择/关闭选择或者滤波器。
[0063] 如本领域中已知的是,当在编码器侧处,将具有ARSS编解码工具的帧内预测应用于当前块时,根据所选的帧内预测模式的帧内预测和根据目标编解码工具设定的ARSS编解码工具被应用于当前块以生成当前块的帧内预测残差。根据本发明,如果所选的帧内预测模式是方向帧内预测模式,则基于所选的帧内预测模式来确定一个或多个目标编解码工具设定。因此,不需要信令编解码工具设定。目标编解码工具设定可以对应于指示ARSS开启或关闭的旗标。当ARSS开启时,可能需要额外的编解码工具设定,例如,一个索引以指示用于滤波边界参考样本的所选的滤波器。指示所选的滤波器的索引也可以取决于方向帧内预测模式。在解码器侧处,对于帧内编解码的当前块,帧内预测模式是确定的,例如,自比特流解码。根据本发明,如果所选的帧内预测模式是方向帧内预测模式,则可以基于所选的帧内预测模式来确定一个或多个目标编解码工具设定。因此,不需要从比特流中解析目标编解码工具设定,或者需要解析较少的编解码工具设定。因此,根据确定的帧内预测模式的帧内预测和根据一个或多个推导的目标编解码工具设定的编解码工具被应用于当前块的帧内预测残差,以生成已重构当前块。
[0064] 集成有用于PDPC编解码工具的如上所述的隐性分配的各种实施例也可以用于具有方向帧内模式的AMT编解码工具以确定不同变换的选择。
[0065] 如本领域已知的是,当在编码器侧处,将具有AMT编解码工具的帧内预测应用于当前块时,根据所选的帧内预测模式的帧内预测被应用于当前块以生成帧内预测残差。根据目标编解码工具设定的AMT编解码工具被应用于帧内预测残差以生成当前块的已变换帧内预测残差。根据本发明,如果所选的帧内预测模式是方向帧内预测模式,则可以基于所选的帧内预测模式来确定一个或多个目标编解码工具设定。因此,不需要信令目标编解码工具设定,或者需要解析较少的编解码工具设定。在解码器侧,对于帧内编解码对比当前块,帧内预测模式是确定的,例如,自比特流解码。根据本发明,如果所选的帧内预测模式是方向帧内预测模式,则基于所选的帧内预测模式来确定一个或多个目标编解码工具设定。因此,不需要从比特流中解析目标编解码工具设定,或者需要解析较少的编解码工具设定。因此,根据确定的帧内预测模式的帧内预测和根据推导的目标编解码工具设定的编解码工具被应用于当前块的帧内预测残差,以生成已重构当前块。
[0066] 如上述,已公开了根据方向帧内预测模式的隐性编解码工具设定以用于PDPC,ARSS和AMT。三种帧内预测的具体编解码工具用作根据方向帧内预测模式的隐形编解码工具设定的示例。隐性分配也可以用于方向帧内模式和其他编解码工具,以确定工具设定,以用于提高与帧内预测相关的编解码性能。
[0067] 图8示出了根据本发明的方法的示例性编码系统的流程图,其中编码系统集成具有编解码工具的帧内预测,编解码工具具有基于帧内预测的编解码工具设定或者一个或多个编解码参数。流程图中所示的步骤可以被实现为在编码器侧处的一个或多个处理器(例如一个或多个CPU)上可执行的程序代码。流程图中所示的步骤也可以基于硬件来实现,例如用于执行流程图中的步骤的一个或多个电子设备或处理器。根据本方法,在步骤810中,接收待编码的当前块。在步骤820中,当使用帧内预测预测当前块时,识别多个方向帧内预测模式。在步骤830中,也识别被使能以用于当前块的编解码工具,在步骤840中,选择当前帧内预测模式以用于当前块。在步骤850中,检测当前帧内预测模式是否是一个方向帧内预测模式。如果当前帧内预测模式是一个方向帧内预测模式(即来自于步骤850的“是”路径),则执行步骤860和步骤870。否则(即来自于步骤850的“否”路径),跳过步骤860和870。在步骤860中,根据当前块的当前帧内预测模式来确定编解码工具的目标设置。在步骤870中,将帧内预测和编解码工具应用于当前块,以生成当前块的帧内预测残差或经已变换帧内预测残差,其中帧内预测根据当前帧内预测模式而被应用于当前块,并且编解码工具根据目标设置而被应用于当前块。
[0068] 图9示出了根据本发明的方法用于示例性解码系统的流程图,其中解码系统集成具有编解码工具的帧内预测,编解码工具具有基于帧内预测的编解码工具设定或者一个或多个编解码参数。在步骤910中,接收包括对应于待解码的当前块的帧内预测残差或已变换帧内预测残差的压缩数据的比特流。在步骤920中,从比特流中确定当前块的当前帧内预测模式。在步骤930中,检测当前帧内预测模式是否为方向帧内预测模式,且编解码工具是否被使能以用于帧内预测。如果当前帧内预测模式是方向帧内预测模式并且编解码工具被使能以用于帧内预测(即来自于步骤930中的“是”路径),则执行步骤940和步骤950。否则(即来自于步骤930中的“否”路径),跳过步骤940和步骤950。在步骤940中,根据当前帧内预测模式或一个或多个编解码参数,确定编解码工具的目标设置。在步骤950中,将帧内预测和编解码工具应用于帧内预测残差或已变换帧内预测残差,以生成已重构当前块,其中,帧内预测根据当前帧内预测模式而被应用于帧内预测残差或已变换帧内预测残差,并且编解码工具根据目标设置而被应用于帧内预测残差或已变换帧内预测残差。
[0069] 所示的流程图用于示出根据本发明的视频编解码的示例。在不脱离本发明的精神的情况下,所属领域中具有习知技术者可以修改每个步骤、重组这些步骤、将一个步骤进行分离或者组合这些步骤而实施本发明。在本发明中,具体的语法和语义已被使用以示出实现本发明实施例的示例。在不脱离本发明的精神的情况下,透过用等同的语法和语义来替换该语法和语义,具有习知技术者可以实施本发明。
[0070] 上述说明,使得所属领域中具有习知技术者能够在特定应用程序的内容及其需求中实施本发明。对所属领域中具有习知技术者来说,所描述的实施例的各种变形将是显而易见的,并且本文定义的一般原则可以应用于其他实施例中。因此,本发明不限于所示和描述的特定实施例,而是将被赋予与本文所公开的原理和新颖特征相一致的最大范围。在上述详细说明中,说明了各种具体细节,以便透彻理解本发明。尽管如此,将被本领域的具有习知技术者理解的是,本发明能够被实践。
[0071] 如上所述的本发明的实施例可以在各种硬件、软件代码或两者的结合中实现。例如,本发明的实施例可以是集成在视频压缩芯片内的电路,或者是集成到视频压缩软件中的程序代码,以执行本文所述的处理。本发明的一个实施例也可以是在数字信号处理器(Digital Signal Processor,DSP)上执行的程序代码,以执行本文所描述的处理。本发明还可以包括由计算机处理器、数字信号处理器、微处理器或现场可程序设计阵列(field programmable gate array,FPGA)所执行的若干函数。根据本发明,透过执行定义了本发明所实施的特定方法的机器可读软件代码或者固件代码,这些处理器可以被配置为执行特定任务。软件代码或固件代码可以由不同的程序设计语言和不同的格式或样式开发。软件代码也可以编译为不同的目标平台。然而,执行本发明的任务的不同的代码格式、软件代码的样式和语言以及其他形式的配置代码,不会背离本发明的精神和范围。
[0072] 本发明可以以不脱离其精神或本质特征的其他具体形式来实施。所描述的例子在所有方面仅是说明性的,而非限制性的。因此,本发明的范围由附加的权利要求来表示,而不是前述的描述来表示。权利要求的含义以及相同范围内的所有变化都应纳入其范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈