技术领域
[0001] 本
发明设计空间可伸缩
视频编码领域，具体为一种空间可伸缩的快速编码方法。
背景技术
[0002] 现在，高清、超清、蓝光视频在日常生活中应用的越来越广泛，流媒体的快速发展、网络的异构性及用户需求的差异都促进着视频编码技术的发展。而传统的视频编码技术已不能满足诸多需求，可伸缩视频编码应运而生。基于H.265/HEVC的可伸缩视频编码(Scalable High-efficiency Video Coding，SHVC)是目前最新的标准技术，SHVC分为空间可伸缩、时间可伸缩、
质量可伸缩3类。高效视频编码(High Efficiency Video Coding，HEVC)相对于H.264来说，增加了很多先进的编码技术，使其具有更高的压缩率和视频图像质量，但是其编码复杂度也随之增加；SHVC在有着HEVC的优点，但是编码复杂度更甚。所以，在保证视频图像质量损失可以忽略的情况下，降低编码复杂度、提高实时性是可伸缩视频编码的研究热点。
[0003] 其中空间可伸缩视频编码技术是保证基本层(BaseLayer，BL)和增强层(Enhancement Layer，EL)
帧率、量化参数不变的前提下，
分辨率不同。基本层的视频图像是由增强层图像按照2:1的比例下
采样得到的，即基本层视频图像的分辨率是增强层的1/4。针对降低SHVC编码复杂度的方法已经出现，都在一定程度上降低了编码的计算量，提高了实时性，但是在编码的计算量以及实时性上仍有很大的提升空间。
发明内容
[0004] 针对以上
现有技术的问题，本发明提出了一种空间可伸缩的快速编码方法，包括：
[0005] 根据基本层中的深度分布情况将视频序列分为三类；
[0006] 根据增强层的当前编码单元与相邻编码单元的相关性程度，为相邻编码单元设置代表相关性程度的权值；所述相邻编码单元也即是所述增强层的当前编码单元的相邻编码单元；
[0007] 根据相邻编码单元的深度以及相邻编码单元的权值，计算增强层的当前编码单元的深度的可能性概率，按照可能性概率从大到小的顺序将各个深度排序；
[0008] 根据所述视频序列的类别，排除可能性概率较小的深度的遍历过程；
[0009] 计算可能性概率较大的深度的率失真值，通过比较率失真值与失真
阈值的大小，确定增强层的当前编码单元的深度，对视频序列编码。
[0010] 进一步的，统计所述视频序列中基本层编码单元深度为3的比例；根据所述基本层编码单元深度为3的比例的大小将视频序列分为三类，分别为第一序列，第二序列以及第三序列；具体为：
[0011] 当所述基本层编码单元深度为3的比例大于或等于上限阈值时，视频序列为第一序列；
[0012] 当所述基本层编码单元深度为3的比例小于或等于下限阈值时，视频序列为第二序列；
[0013] 当所述基本层编码单元深度为3的比例小于所述上限阈值且大于所述下限阈值时，视频序列为第三序列。
[0014] 为所述相邻编码单元设置代表相关性程度的权值的方法包括：利用基本层与增强层的层间相关性、增强层前一帧与增强层当前帧的时间相关性以及增强层前一帧与增强层当前帧的空间相关性，得到增强层的当前编码单元与相邻编码单元的相关性程度；根据视频序列的不同分类以及相关性程度，对相邻编码单元设置权值；
[0015] 所述相邻编码单元包括6个相邻编码单元，分别为：基本层中对应增强层相同编码单元
位置的编码单元BC，前一帧中对应增强层的当前编码单元的编码单元FC，增强层当前编码单元的左编码单元L，增强层当前编码单元的左上编码单元LT，增强层当前编码单元的上编码单元T，增强层当前编码单元的右上编码单元RT；
[0016] 进一步的，增强层的当前编码单元深度的可能性概率计算方法包括：根据相邻编码单元的深度和相邻编码单元的深度的权值，分别计算6个相邻编码单元采用深度为i时的深度权值wi，计算wi的比例值pi，所述比例值pi即为增强层的当前编码单元的深度的可能性概率；其中，计算pi的公式为：
[0017]
[0018] 排除可能性概率较小的深度的遍历过程的方法包括：
[0019] 若所述视频序列为第一序列，则深度为3的可能性概率最大，深度为0或1的可能性概率最小，采用跳过遍历方法，排除深度为0或1的遍历过程；可遍历的深度为2和3；
[0020] 若所述视频序列为第二序列，则深度为0的可能性概率最大，深度为2或3的可能性概率最低，采用提前终止遍历方法，排除深度为2或3的遍历过程；可遍历的深度为0和1；
[0021] 若所述视频序列为第三序列，则深度为0的可能性概率最大，深度为3的可能性概率最低；采用提前终止遍历方法，排除深度为3的遍历过程，可遍历的深度为0、1和2。
[0022] 排除深度为3的遍历过程表示排除了深度为3时的计算率失真值的过程；上述的遍历过程均如上解释。
[0023] 进一步的，所述确定增强层的当前编码单元的深度的方法为：计算增强层的当前编码单元中可能性概率最大的深度对应的率失真值，将率失真值和阈值进行比较，若率失真值小于失真阈值，则确定可能性概率最大的深度为增强层的当前编码单元的深度；若率失真大于失真阈值，则遍历下一个可能性概率最大的深度，直至找到；若可遍历的深度的率失真值都大于失真阈值，则选择遍历过程中率失真值最小的深度，就为增强层的当前编码单元的深度。
[0024] 进一步的，失真阈值的计算方法为：根据相邻编码单元的率失真值和相邻编码单元的深度的权值，得到率失真权值；将所述率失真权值除去各个相邻编码单元的深度的权值之和，得到失真阈值。
[0025] 优选的，所述失真阈值可以通过计算得到，6个相邻编码单元的率失真值乘上对应的代表相关性程度的权值，6项相加除去总的权值之和就是初始失真阈值。
[0026] 若编码单元大小为64×64，则失真阈值就为初始失真阈值；
[0027] 若编码单元大小为32×32，则失真阈值为初始失真阈值的1/4；
[0028] 若编码单元大小为16×16，则失真阈值为初始失真阈值的1/16。
[0029] 对于视频序列增强层的第一帧及增强层视频图像边缘部分的编码单元使用国际标准技术计算，以保证正确率，用来预测后面编码单元的深度。
[0030] 本发明具有以下的有益效果：
[0031] 本发明能够在保证视频图像质量损失可以忽略的情况下，有效的降低编码的计算复杂度，缩短编码时间，提高编码实时性；因基本层图像是按照2:1的比例从增强层
下采样得到的，所以，基本层与增强层的图像具有相似的纹理和结构信息，即导致相邻编码单元FC、BC、L、LT、T、RT与增强层的当前编码单元C都有着很强的相关性，根据数理统计结果计算各自相邻编码单元与增强层的当前编码单元C的相关性程度，并为每一个相邻编码单元设置一个权值；并根据基本层的分布情况，数理统计将视频序列分类；根据已知的相邻编码单元的深度及其权值预测得到各种增强层的当前编码单元深度的可能性概率，并按照可能性概率从大到小的顺序进行排列；对应不同类别的序列采用不同的措施，计算增强层的当前编码单元中可能性概率最大的深度对应的率失真值，将该率失真值和阈值进行比较，具体为：
[0032] 步骤1、若率失真值小于失真阈值，则确定可能性概率最大的深度为增强层的当前编码单元的深度；
[0033] 步骤2、若率失真值大于失真阈值，则遍历下一个可能性概率最大的深度，返回步骤1，直至率失真值小于失真阈值；否则进入步骤3；
[0034] 步骤3、若可遍历的深度的率失真值都大于失真阈值，则确定遍历过程中率失真值最小的深度，就为增强层的当前编码单元的深度。
[0035] 本发明能够减少一些不必要的遍历过程，从而确定增强层的当前编码单元的深度，根据增强层的当前编码单元的深度对视频进行编码。
附图说明
[0036] 图1是本发明的一种空间可伸缩的深度预测的视频编码方法的
流程图；
[0037] 图2是SHVC可伸缩视频编码的流程图；
[0038] 图3是增强层CTU对应的基本层CTU图；
[0039] 图4是增强层当前编码单元与其相邻的6个编码单元；
[0040] 图5是一个CTU四叉树划分为CU的示意图；
[0041] 图6为本发明空间可伸缩增强层视频编码的优选
实施例图。
具体实施方式
[0042] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043] 可伸缩视频编码分为空间可伸缩、时间可伸缩、质量可伸缩3类。本发明针对的是空间可伸缩视频编码。如图1所示，图1是空间可伸缩视频
编码器的结构
框图，框图中包括一个基本层和一个增强层，原视频序列为增强层的视频序列，基本层的视频序列由增强层序列下采样2倍得到；基本层相较于增强层来说，除了分辨率是增强层序列分辨率的1/4，两层的帧率、量化参数都一样。除去基本层和增强层之间的层间预测技术，基本层和增强层都采用了HEVC标准的编解码过程。图1的空间可伸缩视频编码器的结构框图是本领域技术人员所熟知的结构框图。
[0044] 由于基本层、增强层当前帧的前一帧及增强层当前帧之间的空间相关性，利用其相关性程度，本发明提出了一种空间可伸缩视频编码的快速方法。
[0045] 实施例1
[0046] 对增强层的视频序列按照2：1的比例进行下采样，对基本层进行编码，得到基本层的视频序列；
[0047] 因为空间可伸缩视频编码技术基本层的视频序列是由增强层序列按照2:1的比例下采样得到，所以根据图3可知，增强层的编码树单元(Coding TreeUnit，CU)大小为64×64，则基本层中对应的编码树单元大小为32×32。
[0048] 编码单元(CodingUnit，CU)是从编码树单元分裂来的，编码单元的大小最大不能超过编码树单元。并且本发明是针对空间可伸缩视频编码技术的
帧内预测来说的，对于编码单元的划分只有2种方式，即2N×2N、N×N。
[0049] 进一步的，本发明的采用的空间可伸缩的编码方法如图2所示，包括：
[0050] 根据基本层编码单元的深度分布情况将视频序列分为三类；
[0051] 进一步的，本发明采用空间可伸缩视频编码技术，首先对基本层进行编码，统计基本层视频图像中深度为3的比例，根据基本层编码单元深度为3的比例将视频序列分为3类：包括：第一序列、第二序列、以及第三序列；其中，第一序列、第二序列、以及第三序列依次对应为背景复杂的视频序列、背景简单的视频序列，背景既不简单又不复杂的视频序列。
[0052] 计算相邻编码单元与增强层的当前编码单元的相关性程度；为所述相邻编码单元设置代表相关性程度的权值；
[0053] 根据相邻编码单元的深度以及相邻编码单元的权值，计算增强层的当前编码单元的深度可能性，按照可能性概率从大到小的顺序将各个深度排序；从而减少不必要的深度的遍历过程；
[0054] 计算可能性概率较大的深度的率失真值，通过比较率失真值与阈值的大小，确定增强层的当前编码单元的深度，对视频序列编码。
[0055] 进一步的，为所述相邻编码单元设置代表相关性程度的权值的方法包括：
[0056] 根据标准技术得到的深度，计算增强层的当前编码单元的6个相邻的编码单元与增强层的当前编码单元的相关性程度，结合不同背景(类别)的视频序列，为6个相邻编码单元设置代表相关性程度的权值，其中，这6个相邻的编码单元分别为：基本层对应增强层相同编码单元位置的编码单元BC，前一帧中对应当前编码单元的编码单元FC，增强层当前编码单元的左编码单元L，增强层当前编码单元的左上编码单元LT，增强层当前编码单元的上编码单元T，增强层当前编码单元的右上编码单元RT；如表1所示：
[0057] 表1视频序列的编码单元对应关系
[0058]
[0059] 本发明相关性程度的获取是通过数理统计实验，得到所有编码单元的深度，统计在增强层的相邻编码单元各深度的情况下，统计增强层的当前编码单元的深度，然后对这个统计结果进行分析得到相关性程度，从而为所述相邻编码单元设置代表所述相关性程度的权值，其中，本发明的权值对应如表1所示。
[0060] 增强层的当前编码单元C与增强层的当前编码单元的相邻编码单元的位置关系如图4所示：从图4中可以知道，增强层当前编码单元C对应的6个相邻编码单元分别为：LT、T、R、LC、BC、FC；其中，每一帧都包括增强层和基本层；而本发明采用的编码单元FC是前一帧增强层中的编码单元，对前一帧基本层的编码单元不做处理；图中字母F开头表示前一帧的编码单元，字母B开头的表示基本层的编码单元；FL表示FC的左编码单元，FLT表示FC的左上编码单元，FT表示FC的上编码单元，FRT表示FC的右上编码单元；BL表示BC的左编码单元，BLT表示BC的左上编码单元，BT表示BC的上编码单元，BRT表示BC的右上编码单元；本发明对除上述6个相邻编码单元和增强层的当前编码单元C以外的编码单元不做处理。
[0061] 由已知的6个相邻编码单元的深度及其权值，计算增强层的当前编码单元各深度的可能性概率，按照可能性概率的值从大到小的顺序排列深度；
[0062] 若所述视频序列为第一序列，则深度为3的可能性概率最大，深度为0或1的可能性概率最小，采用跳过遍历方法，排除深度为0或1的遍历过程；可遍历的深度为2和3；
[0063] 若所述视频序列为第二序列，则深度为0的可能性概率最大，深度为2或3的可能性概率最低，采用提前终止遍历方法，排除深度为2或3的遍历过程；可遍历的深度为0和1；
[0064] 若所述视频序列为第三序列，则深度为0的可能性概率最大，深度为3的可能性概率最低；采用提前终止遍历方法，排除深度为3的遍历过程，可遍历的深度为0、1和2。
[0065] 计算增强层的当前编码单元中可能性概率最大的深度对应的率失真值，将率失真值和阈值进行比较，若率失真值小于失真阈值，则确定可能性概率最大的深度为增强层的当前编码单元的深度；若率失真值大于失真阈值，则遍历下一个可能性概率最大的深度，直至该可能性概率最大的深度对应的率失真值小于失真阈值，则该深度就为增强层的当前编码单元的深度；若可遍历的深度的率失真值都大于失真阈值，则选择遍历过程中率失真值最小的深度，就为增强层的当前编码单元的深度。
[0066] 进一步的，所述失真阈值可以通过计算得到，6个相邻编码单元的率失真值乘上对应的代表相关性程度的权值，6项相加除去总的权值之和就是初始失真阈值。
[0067] 若编码单元大小为64×64，则失真阈值就为初始失真阈值；
[0068] 若编码单元大小为32×32，则失真阈值为初始失真阈值的1/4；
[0069] 若编码单元大小为16×16，则失真阈值为初始失真阈值的1/16。
[0070] 对于视频序列增强层的第一帧及增强层视频图像边缘部分的编码单元使用国际标准技术计算，以保证正确率，用来预测后面编码单元的深度。
[0071] 图5是一个编码树单元(Coding Tree Unit，CTU)四叉树递归划分的过程，对于增强层来说，编码单元可划分为64×64、32×32、16×16、8×8的大小，分别对应的深度为0、1、2、3。则对应的基本层的编码单元为32×32、16×16、8×8、4×4，对应的深度为0、1、2、3。
[0072] 实施例2
[0073] 如图6所示，此图中可看出增强层当前编码单元依据相邻编码单元深度预测的过程，是本发明的优选实施例流程图。
[0074] 对于增强层当前编码单元深度预测的另一种可实现方法为：
[0075] 第一步，按照国际标准技术可以产生原始数据，对原始数据中基本层的编码单元的深度进行数理统计，计算深度为3的比例，将视频序列分类；
[0076] 作为一种可选方式，当深度为3的比例大于上限阈值时，视频序列为第一序列(背景复杂的序列)，当深度为3的比例小于下限阈值时，视频序列为第二序列(背景简单的序列)，否则，视频序列为第三序列(背景既不简单又不复杂序列)。针对不同类别的视频序列采取不同的预测方法，优选的，上限阈值为60％-70％，下限阈值为15％-25％，本发明选取的上限阈值是64％，下限阈值是20％。
[0077] 第二步，因基本层和增强层、增强层相邻帧之间、同一帧相邻编码单元之间都有着很强的相关性，造成很大的数据冗余。因此原始数据中，在已知6个相邻编码单元各深度的情况下，统计增强层中各深度的比例，计算出增强层的当前编码单元与6个相邻编码单元之间的相关性程度；
[0078] 第三步，由第二步可得到增强层的当前编码单元与增强层的6个相邻编码单元之间的相关性程度，结合视频序列，针对每一类别的序列，对每一个相邻编码单元设置相应的权值代表相关性程度。
[0079] 第四步，已知6个相邻单元的深度以及权值，可以计算增强层的当前编码单元各深度的可能性大小，按照可能性大小的顺序降序排列深度。
[0080] 第五步，对于第一序列，当可能性概率最大的深度为3且可能性概率大于80％，可能性概率最小的深度为0或1且可能性概率之和小于8％时，跳过深度为0和1的遍历过程，计算深度为3对应的率失真值，将该率失真值和阈值比较，若小于失真阈值，则增强层的当前编码单元的深度为3；否则计算深度为2的率失真值，将该率失真值和失真阈值比较，若小于失真阈值，则增强层的当前编码单元的深度为2，若大于失真阈值，则比较深度为2和深度为3的率失真值，选择较小率失真值对应的深度。若最大可能性概率的深度不为3或可能性概率较小，则增强层的当前编码单元按照高效视频编码HEVC编码器编码。
[0081] 第六步，对于第二序列，当可能性概率最大的深度为0且可能性大于85％，可能性概率最小的深度为3或2且可能性小于7％时，采用提前终止，只计算深度为0或1的率失真值，省去深度为2和3的遍历过程；计算深度为0的率失真值，和失真阈值比较，小于失真阈值，则增强层的当前编码单元深度为0；否则计算深度为1的率失真值，和失真阈值比较，小于失真阈值，增强层的当前编码单元深度为1；若大于失真阈值，则比较深度为0和1的率失真值，选择较小率失真值对应的深度为当前编码单元的深度；若最大可能性的深度不为0或可能性概率较小，则增强层的当前编码单元采用高效视频编码HEVC编码器编码。
[0082] 第七步，对于第三序列，当可能性概率最大的深度为0且可能性概率大于90％，可能性概率最小的深度为3且可能性概率小于5％，采用提前终止，只计算深度为0或1或2的率失真值，省去深度为3的遍历过程；计算深度为0对应的率失真值，和失真阈值比较，小于失真阈值，则增强层的当前编码单元的深度为0，否则继续让失真阈值分别比较深度为1和深度为2的率失真值，若都不小于失真阈值，则取三个率失真值中最小所对应的深度为增强层的当前编码单元的深度。若可能性概率最大的深度为3且可能性概率大于90％，可能概率性最小的深度为0且可能性概率小于5％，则只计算深度为3或2或1的率失真值，跳过深度为0的遍历过程；计算深度为3的率失真值，和失真阈值比较，小于失真阈值，为增强层的当前编码单元的深度；否则，计算深度为2的率失真值，和失真阈值比较，依次类推，若都不小于失真阈值，则取三个率失真值中最小所对应的深度为增强层的当前编码单元的深度。若以上条件都不满足，则增强层的当前编码单元按照高效视频编码HEVC编码器编码。
[0083] 第八步，第五、六、七步中提到的失真阈值可以通过计算得到，6个相邻编码单元(L、LT、T、RT、B、F)的率失真值乘上对应的代表相关性程度的权值，6项相加除去总的权值之和就是初始失真阈值。
[0084] 若编码单元大小为64×64，则失真阈值就为初始失真阈值；
[0085] 若编码单元大小为32×32，则失真阈值为初始失真阈值的1/4；
[0086] 若编码单元大小为16×16，则失真阈值为初始失真阈值的1/16。
[0087] 第九步，对于基本层的编码单元、增强层第一帧的编码单元、及增强层当前帧的周边的编码单元都采用高效视频编码HEVC编码器编码。
[0088] 本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的
硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读
存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。
[0089] 以上对本发明实施例所提供的空间可伸缩的深度预测的视频编码方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本实施例内容不应理解为对本发明的限制。
