一种基于模式依赖特性的不可分二次变换模式的帧内快速选
择方法
技术领域
背景技术
[0002] NSST(Non-separable Secondary Transform)是不可分二次变换。在早期
视频编码中，
编码器使用DCT(Discrete Cosine Transform)离散余弦变换来进行视频压缩。但传统的DCT是一种次优变换，当残差
信号具有较大的对
角分量时，DCT无法有效的对信号
能量进行压缩。在新一代视频编码标准中，NSST代替了原本标准中的DCT，通过二次变换对信号进行有效压缩。新一代视频编码中的NSST具有模式依赖的特性，也被称为MDNSST(Mode Dependent Non-separable Secondary Transform)最近，新一代视频编码标准的制定引入了大量的新型编码工具，MDNSST则是其中之一。
[0003] 近年来，随着高清、超高清视频(
分辨率达4K×2K、8K×4K)应用逐步走进人们的
视野，视频压缩技术受到了巨大的挑战，视频压缩编码标准体系也得到了迅猛发展，此外，各式各样的视频应用也随着网络和存储技术的发展不断涌现，如今，
数字视频广播、移动无线视频、远程检测、医学成像和便携摄影等，都已走进人们的生活，大众对于视频
质量的要求也越来越高，因此，视频应用的多样化和高清化趋势对于比H.265/HEVC编码效率更高的下一代视频编码标准提出了更强烈的要求。正是在这样的背景下，ITU-T VCEG的VCEG(视频编码专家组)和ISO/IEC的MPEG(
动态图像专家组)于2016年成立了视频编码探究联合小组JVET(Joint Video Exploration Team)，旨在探讨新一代视频编码标准的研发和制定。
[0004] 新一代的视频编码标准依旧采用混合编码
框架，包括变换、量化、
熵编码、
帧内预测、帧间预测以及环路滤波等模
块，但是，为了提高视频压缩率，该标准采用QTBT(Quadtree plus binary tree)的划分结构，取代了HEVC的四叉树划分。在QTBT结构下，去掉了多种划分类型如CU、PU和TU分离观念，支持更弹性的CU划分类型来更好的匹配视频数据的局部特征。同时在各个模块引入了一系列相当耗时的新型编码工具，这些提高压缩率的改进大幅度提高了编码器的计算复杂度，不利于新一代视频编码标准的产业化推广。因此，在保证视频主观质量下降可忽略不计的情况下优化编码器并减少编码时间是视频编解码领域亟待研究和解决的问题之一。
[0005] 在新一代视频编码标准中，进行帧内预测时，每个CU(编码单元)完成系数变换之后，会传输一个索引。当索引值为0时，表示当前CU没有非零系数；当索引值为2时，表示当前CU使用Planar(平面预测模式)或DC(角度预测模式)进行编码；当索引值为3时，表示当前CU使用帧内角度预测模式进行编码。只有在当前CU的非零系数个数不为0时，NSST的索引值才被传输，其它情况下不被传输，默认值为0。NSST共包含4个索引值，每个索引值对应不同的二次变换方式，索引值分别为0、1、2、3。NSST索引值为0时，表示当前CU不使用二次变换。索引值为1～3时，则表示启用当前CU使用二次变换。
[0006] 通过对新一代视频编码标准的参考
软件JEM的测试分析发现，在All Intra配置下，MDNSST索引循环的编码时间约占总编码时间的30％。因此，如果能通过对相关信息的判断，提前缩小MDNSST索引循环范围，减少需要运算的候选角度模式，从而避免不必要的二次变换模式计算，可有效提高新一代视频编码标准的帧内编码效率。
[0007] MDNSST的索引循环：在编码器端，当前CU以MDNSST索引值为循环，循环4次，通过比较率失真函数RD Cost选择当前编码块的最佳MDNSST模式，即选出最佳模式的索引值。
发明内容
[0008] 本发明是针对
现有技术中新一代视频编码标准，帧内编码效率过低，提出一种基于不可分二次变换模式的帧内快速选择方法，通过提前预测NSST最佳模式的索引值，跳过其不必要的索引循环过程，在保证视频主观质量下降可忽略不计的情况下，降低编码器的计算复杂度，减少编码时间，提高编码效率。
[0009] 一种基于不可分二次变换模式的帧内快速选择方法，包括以下步骤：
[0010] 步骤1：判断当前待编码单元CU是否位于整个编码区中的起始
位置或边缘位置，若是，进入步骤2，若不是，进入步骤3；
[0011] 由编码器的编码顺序决定，这四个位置的相邻单元在当前待编码CU编码之前就已经完成编码，参考信息完备，并且因为编码图像相邻位置的相关性强，实验表明，利用这些编码块的信息作为当前待编码CU的参考，平均相关性高达90％以上。
[0012] 步骤2：对当前待编码CU进行完整编码，完成后编码后，进入下一个待编码单元CU，返回步骤1；
[0013] 即不跳过任何MDNSST索引循环；
[0014] 步骤3：分别获取CULeft、CUAboveLeft、CUAbove、CUCol的最佳角度模式BestDirMode和最佳NSST模式BestROTidx，并依次存入二维矩阵Ref_Dir_ROT中；
[0015] 其中，二维矩阵Ref_Dir_ROT的大小为4*2，第一列保存最佳角度模式，第二列保存最佳NSST模式；
[0016] CULeft、CUAboveLeft、CUAbove、CUCol表示当前待编码的编码单元CU的相邻单元，CULeft、CUAboveLeft、CUAbove、CUCol分别代表当前待编码的编码单元的左邻块、左上邻块、上邻块以及同位块，所述同位块是指处于参考帧中，且位置和当前待编码的编码单元在当前帧；
[0017] 步骤4：利用相邻块的最佳角度模式，选取当前待编码单元CU需执行的角度模式和最佳NSST模式；
[0018] 对当前待编码CU进行编码，从编码器中获取当前待编码单元CU的候选角度模式DIR1、DIR2、DIR3，并将所述候选角度模式DIR1、DIR2、DIR3与步骤3中获得的二维矩阵Ref_Dir_ROT第一列数据对比，判断二维矩阵Ref_Dir_ROT第一列数据中是否存在2个及以上候选角度模式，若是，则选择相同的角度模式作为预测角度模式，并从二维矩阵中获取相同的角度模式对应的最佳NSST模式集合{MDROTn}，n∈{2,3}，进入步骤5，否则，返回步骤2；
[0019] 若当前编码CU的候选角度模式与矩阵Ref_Dir_ROT中的角度模式存在两个或以上的相同数据，说明此处图像的相关性强，实验表明，对每个预测角度模式执行全部的预测NSST模式可大幅提升预测准确度。
[0020] 步骤5：进入当前待编码单元CU的MDNSST索引循环，索引值从的最佳NSST模式集合{MDROTn}中由小到大依次选取，执行对应索引值下的RDCost运算，跳过其余索引值的MDNSST索引循环，完成编码单元CU的MDNSST索引循环，获得当前编码单元的最佳MDNSST模式。
[0021] 进一步地，判断当前待编码单元CU是否位于整个编码区中的起始位置或边缘位置的过程如下：
[0022] 获取当前待编码单元CU的四个相邻单元CULeft、CUAboveLeft、CUAbove、CUCol的
指针信息，通过对上述四个相邻单元的指针信息判断当前待编码单元CU是否处于整个编码区的起始位置或边缘位置，若上述四个相邻单元的指针信息均不为空，则当前待编码单元CU不处于整个编码区的起始位置或边缘位置。
[0023] 编码单元的指针信息是否为空指针可以用来判断该编码单元是否已经编码，若编码单元的指针信息为空，则表示该编码单元还未编码，即该编码单元不可用做待编码块的参考CU。
[0024] 进一步地，所述当前编码单元CU的最佳MDNSST模式是指比较当前深度下编码单元CU在不同MDNSST模式下的率失真函数RDCost，选择RDCost最小对应的NSST模式为当前深度下编码单元CU的最佳MDNSST模式。
[0025] 有益效果
[0026] 本发明提供了一种基于不可分二次变换模式的帧内快速选择方法，通过利用相邻位置的编码单元CU的在视频序列中的
时空相关性，提前预测MDNSST最佳模式的索引值以及减少候选角度模式，跳过其不必要的索引循环过程，避免编码流程中耗时的MDNSST模式选择过程，在保证视频主观质量下降可忽略不计的情况下，降低编码器的计算复杂度，减少编码时间，提高编码效率。同时，本发明所述方案简单易行，有利于新一代视频编码标准的产业化推广。
附图说明
[0027] 图1为本发明所述方法的流程示意图。
具体实施方式
[0028] 下面将结合附图和
实施例对本发明做进一步的说明。
[0029] 如图1所示，一种基于不可分二次变换模式的帧内快速选择方法，包括以下步骤：
[0030] 步骤1：判断当前待编码单元CU是否位于整个编码区中的起始位置或边缘位置，若是，进入步骤2，若不是，进入步骤3；
[0031] 由编码器的编码顺序决定，这四个位置的相邻单元在当前待编码CU编码之前就已经完成编码，参考信息完备，并且因为编码图像相邻位置的相关性强，实验表明，利用这些编码块的信息作为当前待编码CU的参考，平均相关性高达90％以上。
[0032] 步骤2：对当前待编码CU进行完整编码，完成后编码后，进入下一个待编码单元CU，返回步骤1；
[0033] 即不跳过任何MDNSST索引循环；
[0034] 步骤3：分别获取CULeft、CUAboveLeft、CUAbove、CUCol的最佳角度模式BestDirMode和最佳NSST模式BestROTidx，并依次存入二维矩阵Ref_Dir_ROT中；
[0035] 其中，二维矩阵Ref_Dir_ROT的大小为4*2，第一列保存最佳角度模式，第二列保存最佳NSST模式；
[0036] 其中，CULeft、CUAboveLeft、CUAbove、CUCol表示当前待编码的编码单元CU的相邻单元，CULeft、CUAboveLeft、CUAbove、CUCol分别代表当前待编码的编码单元的左邻块、左上邻块、上邻块以及同位块，所述同位块是指处于参考帧中，且位置和当前待编码的编码单元在当前帧；
[0037] 获取CUAboveLeft的最佳角度模式BestDirMode和最佳NSST模式BestROTidx，分别存入数组Ref_Dir_ROT[1][0]、Ref_Dir_ROT[1][1]中；
[0038] 获取CUAbove的最佳角度模式BestDirMode和最佳NSST模式BestROTidx，分别存入数组Ref_Dir_ROT[2][0]、Ref_Dir_ROT[2][1]中；
[0039] 获取CUColt的最佳角度模式BestDirMode和最佳NSST模式BestROTidx，分别存入数组Ref_Dir_ROT[3][0]、Ref_Dir_ROT[3][1]中；
[0040] 步骤4：利用相邻块的最佳角度模式，选取当前待编码单元CU需执行的角度模式和最佳NSST模式；
[0041] 对当前待编码CU进行编码，从编码器中获取当前待编码单元CU的候选角度模式DIR1、DIR2、DIR3，并将所述候选角度模式DIR1、DIR2、DIR3与步骤3中获得的二维矩阵Ref_Dir_ROT第一列数据对比，判断二维矩阵Ref_Dir_ROT第一列数据中是否存在2个及以上候选角度模式，若是，则选择相同的角度模式作为预测角度模式，并从二维矩阵中获取相同的角度模式对应的最佳NSST模式集合{MDROTn}，n∈{2,3}，进入步骤5，否则，返回步骤2；
[0042] 若当前编码CU的候选角度模式与矩阵Ref_Dir_ROT中的角度模式存在两个或以上的相同数据，说明此处图像的相关性强，实验表明，对每个预测角度模式执行全部的预测NSST模式可大幅提升预测准确度。
[0043] 步骤5：进入当前待编码单元CU的MDNSST索引循环，索引值从的最佳NSST模式集合{MDROTn}中由小到大依次选取，执行对应索引值下的RDCost运算，跳过其余索引值的MDNSST索引循环，完成编码单元CU的MDNSST索引循环，获得当前编码单元的最佳MDNSST模式。
[0044] 判断当前待编码单元CU是否位于整个编码区中的起始位置或边缘位置的过程如下：
[0045] 获取当前待编码单元CU的四个相邻单元CULeft、CUAboveLeft、CUAbove、CUCol的指针信息，通过对上述四个相邻单元的指针信息判断当前待编码单元CU是否处于整个编码区的起始位置或边缘位置，若上述四个相邻单元的指针信息均不为空，则当前待编码单元CU不处于整个编码区的起始位置或边缘位置。
[0046] 编码单元的指针信息是否为空指针可以用来判断该编码单元是否已经编码，若编码单元的指针信息为空，则表示该编码单元还未编码，即该编码单元不可用做待编码块的参考CU。
[0047] 所述当前编码单元CU的最佳MDNSST模式是指比较当前深度下编码单元CU在不同MDNSST模式下的率失真函数RDCost，选择RDCost最小对应的NSST模式为当前深度下编码单元CU的最佳MDNSST模式。
[0048] 为了验证本发明所述方案的正确性以及有效性，本发明基于参考软件JEM7.0在Visual Studio 2015软件上实现该方案。所有实验的具体编码参数的配置选用JEM标准配置文件：encoder_intra_jvet10.cfg以及对应测试序列的标准配置文件。
[0049] 为了验证本方案性能的好坏，采用BDBR(Bjotegaard Delta Bit rate)以及ΔT两个指标来进行评估。其中，BDBR是用来评估
算法对视频质量的影响，BDBR越大说明算法对视频质量的影响越大，即算法的性能越差。ΔT则是反映当前算法对编码器效率的提升，其计算公式如下所示：
[0050]
[0051] 其中，Torg代表使用不加任何快速算法的原始编码器编码所使用的时间，Tnew代表加快速算法后编码所需时间，ΔT则代表加快速算法后编码器在效率上提升的百分比。
[0052]
[0053] 根据实验仿真结果表1可知：编码时间降低了8.35％，而BDBR上升仅为0.64。由此实验结果可以看出，本发明在保证视频主观质量的前提下，有效地提高了编码效率，达到了本发明的目的。
