技术领域
[0001] 本
发明涉及一种用于可伸缩视频编码的快速帧内编码模式决策方法，涉及视频编码技术领域。
背景技术
[0002] SHVC(Scalable-high Efficiency Video Coding的缩写)标准是基于H.265/HEVC(High Efficiency Video Coding的缩写)视频编码标准而开发的可伸缩视频编码标准。SHVC标准由国际电信联盟电信标准化部
门视频编码专家组和国际标准化组织
动态图像专家组组成的联合视频专家组共同制定。SHVC标准采用多层编码
框架，并在继承了H.265/HEVC标准中所有先进编码技术的同时，引入了层间预测等新的编码工具。与上一代可伸缩视频编码标准H.264/SVC(Scalable Video Coding的缩写)相比，在保持相同重建视频
质量的前提下，SHVC标准可节省50％的码率。SHVC标准优异的编码性能是以极高的运算复杂度为代价的。这些复杂度极高的编码
算法严重降低了SHVC视频编码系统的运算效率，导致无法利用SHVC标准实现实时的视频编码，严重阻碍了SHVC标准的推广与应用。其中，帧内编码模式决策算法是造成SHVC编码复杂度高的主要原因之一。因此，需要开发针对SHVC标准的快速帧内编码模式决策技术。现有的针对SHVC标准的快速帧内编码模式决策技术存在的主要问题有：
[0003] 1、现有的相关性模型不能准确描述SHVC编码中帧内编码模式的相关性。SHVC标准采用基于层的编码框架。在空间可伸缩编码中，增强层视频由
分辨率较低的基本层视频根据伸缩因子进行上
采样获得，即对基本层视频纹理根据伸缩因子进行拉伸。视频中图像的拉伸导致了CU(Coding Unit，即编码
块)内纹理复杂度的变化，从而增加了帧内编码模式决策的不确定性并增加了计算的复杂度。现有的针对SHVC标准的快速帧内编码模式决策算法没有分析和探讨空间可伸缩编码中帧内编码模式的层间相关性，也没有建立准确的模型用以描述基本层帧内编码模式和增强层帧内编码模式之间的相关性。因此，现有的快速帧内编码模式决策算法不能充分利用编码基本层视频而产生的先验知识，并且不能充分利用层间的相关性来降低编码增强层时进行层间预测过程的复杂度。
[0004] 2、缺少针对不同大小的PU(Prediction Unit，即预测单元)的快速帧内编码模式决策算法。SHVC标准沿用H.265/HEVC标准的35种帧内编码模式(见图1)，每个PU均需对这35种帧内编码模式进行粗略模式决策(Rough Mode Decision，RMD)处理，从中选出最优帧内编码模式。现有的算法对不同大小的PU均执行相同的最优帧内编码模式决策算法，而并没有探讨不同大小的PU在帧内编码模式的层间相关性上的差异，从而未能有针对性地为不同大小的PU减少在RMD过程中需要处理的帧内编码模式的数量。因此，现有的算法并没有充分利用帧内编码模式的层间相关性来降低帧内编码模式决策过程的运算复杂度；
[0005] 3、缺乏针对RMD过程之后的编码过程所进行的优化。在SHVC标准的帧内编码过程中，除了为当前的PU构造初始候选帧内编码模式列表之外，还要对从候选帧内编码模式列表中筛选出来的哈达玛代价值(Hadamard Cost)较小的帧内编码模式以及MPM(Most Probable Mode，即最有可能模式)执行RQT(Residual Quad-Tree，即残差四叉树)处理过程。现有的针对SHVC标准的快速帧内编码模式决策算法主要针对RMD过程进行了简化，并未能有效降低RQT过程的运算复杂度。若能充分地利用帧内编码模式的哈达玛代价值，则可以减少在RQT过程中需要处理的帧内编码模式的数量，从而进一步提高SHVC标准的编码速度；
[0006] 4、现有的针对SHVC标准的快速帧内编码模式决策算法的性能较差。现有的针对SHVC标准的快速帧内编码模式决策算法未充分利用层间、空间和时间相关性信息。尤其在空间可伸缩编码中，由于基本层视频与增强层视频的分辨率不同，所以并非所有基本层的信息都适合直接用于增强层的帧内编码模式预测，不恰当地使用基本层的信息会使得针对SHVC标准的快速帧内编码模式决策方法要么较大程度地影响编码效率，要么对具有不同特征的视频序列不具有普遍适用性。
发明内容
[0007] 本发明的目的是为了解决现有针对可伸缩视频的快速帧内编码模式决策技术存在的相关性模型不能准确描述SHVC编码中帧内编码模式的相关性、缺少针对不同大小PU的快速帧内编码模式决策算法、缺乏针对RMD过程之后的编码过程所进行的优化、针对SHVC标准的快速帧内编码模式决策算法的性能较差等问题，而提出的一种用于可伸缩视频编码的快速帧内编码模式决策方法。本发明中提出的方法适用于增强层对于基本层的伸缩因子为2的情形，即增强层中PU的长度和宽度分别为基本层中PU的长度和宽度的2倍，并且本发明中提出的快速帧内编码模式决策方法实现于增强层中，而基本层的帧内编码模式决策过程采用由联合视频专家组开发的SHM12.0开源参考
软件中的原始帧内编码模式决策算法。
[0008] 上述的发明目的是通过以下技术方案实现的：
[0009] 步骤一、获取增强层中当前PU在基本层中同位PU(二者的
位置关系如图2所示)的帧内编码模式信息，定义基本层和增强层在帧内编码模式上的相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在基本层中同位PU的最优帧内编码模式或次优帧内编码模式的模式序号(如图1所示)差值小于1的概率；
[0010] 步骤二、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用由联合视频专家组开发的SHM12.0开源参考软件进行编码，并利用在步骤一中定义的基本层和增强层在帧内编码模式上的相关性，计算基本层和增强层在帧内编码模式上的相关性数据(层间相关性数据)；
[0011] 步骤三、定义增强层中当前PU与其在前一帧中的同位PU(二者的位置关系如图3所示)之间的帧内编码模式相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在前一帧中的同位PU的最优帧内编码模式的模式序号(如图1所示)差值小于1的概率；
[0012] 步骤四、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤三中定义的增强层中当前PU与其在前一帧中的同位PU之间的帧内编码模式相关性，计算增强层中当前PU与其在前一帧中的同位PU之间的帧内编码模式相关性数据(时间相关性数据)；
[0013] 步骤五、定义增强层中当前PU与其在基本层中的同位PU的空间相邻PU(各PU的位置关系如图2所示)之间的帧内编码模式相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU以及左上方相邻PU的最优帧内编码模式或次优帧内编码模式的模式序号(如图1所示)差值小于1的概率；
[0014] 步骤六、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤五中定义的增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间在帧内编码模式上的空间相关性，计算增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的帧内编码模式相关性数据(空间相关性数据)；
[0015] 步骤七、根据在步骤二中得到的层间相关性数据、步骤四中得到的时间相关性数据和步骤六中得到的空间相关性数据，针对增强层中不同大小的PU构造初始候选帧内编码模式列表：首先判断增强层中当前PU的大小是否为64×64；如果是，则为增强层中的当前PU根据式(1-1)构造初始候选帧内编码模式列表CL0，然后执行步骤十四；否则，执行步骤八；
[0016]
[0017] 其中，Ai和SAi分别是增强层中当前PU在基本层中的同位PU(大小为32×32)内的第i个编码块(大小为4×4，共64个)的最优帧内编码模式和次优帧内编码模式；0表示Planar模式；1表示DC模式(见图1)；∪表示取并集运算；
[0018] 步骤八、判断增强层中当前PU的大小是否为32×32；如果是，则为增强层中的当前PU根据式(1-2)构造初始候选帧内编码模式列表CL1，然后执行步骤十四；否则，执行步骤九；
[0019]
[0020] 其中，Ai和SAi分别是增强层中当前PU在基本层中的同位PU(大小为16×16)内的第i个编码块(大小为4×4，共16个)的最优帧内编码模式和次优帧内编码模式；0表示Planar模式；1表示DC模式(见图1)；∪表示取并集运算；CL′的定义为：
[0021]
[0022] 其中，min表示增强层中当前PU在基本层中的同位PU内的全部16个编码块的所有Ai和SAi(i∈[0，1，...，15])中模式序号最小的帧内编码模式；min+1和min-1分别表示模式序号比min的模式序号大1和小1的帧内编码模式；max表示增强层中当前PU在基本层中的同位PU内的全部16个编码块的所有Ai和SAi(i∈[0，1，...，15])中模式序号最大的帧内编码模式；max+1和max-1分别表示模式序号比max的模式序号大1和小1的帧内编码模式；
[0023] 步骤九、判断增强层中当前PU的大小是否为16×16；如果是，则执行步骤十；否则，执行步骤十一；
[0024] 步骤十、判断当前帧是否为第0帧；如果是，则为增强层中的当前PU根据式(1-4)构造初始候选帧内编码模式列表CLin，然后执行步骤十四；否则，为增强层中的当前PU根据式(1-5)构造初始候选帧内编码模式列表CL2，然后执行步骤十四；
[0025] CLin＝{0，1，2，4，6，8，10，12，14，16，18，20，22，24，26，28，30，32，34} (1-4)[0026] 其中，0表示Planar模式；1表示DC模式；2，4，…，34分别表示模式序号为偶数的方向性帧内编码模式(见图1及
附图说明)；
[0027]
[0028] 其中，Ai和SAi分别是增强层中当前PU在基本层中的同位PU(大小为8×8)内的第i个编码块(大小为4×4，共4个)的最优帧内编码模式和次优帧内编码模式；Ai+1和Ai-1分别表示模式序号比Ai的模式序号大1和小1的帧内编码模式；SAi+1和SAi-1分别表示模式序号比SAi的模式序号大1和小1的帧内编码模式；mj表示增强层中当前PU在前一帧中的同位PU(大小为16×16)内的第j个编码块(大小为4×4，共16个)的最优帧内编码模式；mj+1和mj-1分别表示模式序号比mj的模式序号大1和小1的帧内编码模式；∪表示取并集运算；
[0029] 步骤十一、判断增强层中当前PU的大小是否为8×8；如果是，则执行步骤十二；否则，执行步骤十三；
[0030] 步骤十二、判断当前帧是否为第0帧；如果是，则为增强层中的当前PU根据式(1-4)构造初始候选帧内编码模式列表CLin，然后执行步骤十四；否则，为增强层中的当前PU根据式(1-6)构造初始候选帧内编码模式列表CL3，然后执行步骤十四；
[0031] CL3＝{w，w+1，w-1}，w∈CL＇3 (1-6)
[0032] 其中，w是属于帧内编码模式集合CL＇3中的帧内编码模式；w+1和w-1分别表示模式序号比w的模式序号大1和小1的帧内编码模式；CL＇3的定义如式(1-7)所示：
[0033]
[0034] 其中，A和SA分别是增强层中当前PU在基本层中的同位PU(大小为4×4)的最优帧内编码模式和次优帧内编码模式；xl、xu和yl_u分别是增强层中当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU和左上方相邻PU的最优帧内编码模式；yl、yu和yl_u分别是增强层中当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU和左上方相邻PU的次优帧内编码模式；mi表示增强层中当前PU在前一帧中的同位PU(大小为8×8)内的第i个编码块(大小为4×4，共4个)的最优帧内编码模式；∪表示取并集运算；
[0035] 步骤十三、根据式(1-8)为增强层中大小为4×4的当前PU构造初始候选帧内编码模式列表CL4，然后执行步骤十四；
[0036] CL4＝{A，SA，A-1，SA-1，A+1，SA+1} (1-8)
[0037] 其中，A和SA分别是增强层中当前PU(大小为4×4)所属的大小为8×8的PU在基本层中的同位PU(大小为4×4)的最优帧内编码模式和次优帧内编码模式；A+1和A-1分别表示模式序号比A的模式序号大1和小1的帧内编码模式；SA+1和SA-1分别表示模式序号比SA的模式序号大1和小1的帧内编码模式；
[0038] 步骤十四、将最有可能模式(MPM，Most Probable Mode)根据实际执行的步骤合并入在步骤七、步骤八、步骤十、步骤十二或步骤十三中构造的初始候选帧内编码模式列表中，组成新的候选帧内编码模式列表CLnew；其中，MPM指的是增强层中当前PU的左侧相邻PU和上方相邻PU(各PU的位置关系见图2)的最优帧内编码模式；然后，对CLnew中的帧内编码模式进行粗略模式决策(RMD，Rough Mode Decision)处理(即按照式(1-9)计算每种帧内编码模式的哈达玛代价值HCOSTMODE，然后按照各帧内编码模式哈达玛代价值的大小，从小到大排序，并保留哈达玛代价值最小的M种帧内编码模式，其中M值的大小如表2-4所示)；然后，判断当前PU采用的初始候选帧内编码模式列表是否为CLin；如果是，则执行步骤十五；否则，执行步骤十六；
[0039]
[0040] 其中，HCOSTMODE是采用某一帧内编码模式得到的哈达玛代价值；SATDMODE是采用某一帧内编码模式得到的预测残差经哈达玛变换后得到的变换系数的绝对值之和；ω是当前PU的原始灰度值； 是当前PU的重构灰度值；λ是拉格朗日系数； 是采用某一帧内编码模式对当前PU进行编码所需的比特数的估计值；H表示哈达玛变换；
[0041] 步骤十五、构造一个新的候选帧内编码模式列表CL′new，其中包括在步骤十四中经过RMD处理后得到的M种帧内编码模式，以及模式序号与这M种帧内编码模式中的方向性帧内编码模式(即模式序号为2，3，…，34的帧内编码模式)的模式序号相差为1的帧内编码模式；对列表CL′new中的帧内编码模式再次进行RMD处理，并保留哈达玛代价值最小的M种帧内编码模式，然后执行步骤十六；
[0042] 步骤十六、计算在步骤十五中经过再次RMD处理得到的M种帧内编码模式和MPM的哈达玛代价值，其中最小的哈达玛代价值记为HCOSTMODE_MIN；将哈达玛代价值大于HCOSTMODE_MIN的1.5倍的帧内编码模式从候选帧内编码模式列表中移除；判断候选帧内编码模式列表中剩余的帧内编码模式的个数是否大于1；如果是，则执行步骤十七；否则，执行步骤十八；
[0043] 步骤十七、候选帧内编码模式列表中仅保留哈达玛代价值最小的两种帧内编码模式，然后执行步骤十八；
[0044] 步骤十八、对候选帧内编码模式列表中最终保留下来的帧内编码模式执行SHM12.0参考软件中默认的残差四叉树编码处理(RQT，Residual Quad-Tree Process)，为当前PU选择出最优帧内编码模式；即完成了一种用于可伸缩视频编码的快速帧内编码模式决策方法。
[0045] 发明效果
[0046] (1)本发明为SHVC标准定义了一种新的帧内编码模式的相关性模型。该模型考虑到了基本层和增强层的视频图像在纹理复杂度上的差异，建立的帧内编码模式的相关性模型是基本层与增强层联合的相关性模型，解决了现有的针对SHVC标准的快速帧内编码模式决策算法中的相关性模型不能准确描述SHVC标准中帧内编码模式的层间相关性的问题。
[0047] (2)本发明为SHVC标准提出了一种针对不同大小PU的快速帧内编码模式决策方法。该方法充分考虑到了不同大小的PU在帧内编码模式的层间相关性上的差异，不同大小的PU可以有针对性地利用帧内编码模式在层间、时间或空间上的相关性信息，有效降低了帧内编码模式决策过程的运算复杂度。
[0048] (3)本发明为SHVC标准提出了一种针对RMD过程之后的编码过程的优化方法。该方法考虑到了帧内编码模式的哈达玛代价值对帧内编码模式决策过程所起到的作用，利用帧内编码模式的哈达玛代价值之间的关系，解决了现有的针对SHVC标准的帧内编码模式决策算法中未能简化RMD过程之后的编码过程的问题。
[0049] (4)本发明为SHVC标准提出了一种编码性能更优异的快速帧内编码模式决策方法。该方法充分结合了帧内编码模式在层间、空间和时间上的相关性，恰当地利用了基本层的帧内编码模式信息，解决了现有快速帧内编码模式决策算法在不影响编码效率的前提下，无法实现普遍适用于具有不同特征的视频序列的问题。
[0050] 与由联合视频专家组开发的SHM12.0参考软件中的原始算法相比，本发明中提出的方法可以在不明显损失重建视频质量的前提下，显著地节省编码时间。通过对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列进行帧内编码，验证了本发明中提出的方法的有效性。实验结果证明，本发明中提出的方法能够平均减少19.54％的编码时间；在相同的重建视频质量(即峰值
信噪比，也即Peak Signal to Noise Ratio(PSNR))下，提出的方法引起的平均码率增加量只有0.98％；在相同的码率下，提出的算法引起的
峰值信噪比的降低量仅为0.06dB。总体来说，对于分辨率、运动剧烈程度以及纹理复杂度不同的视频，本发明中提出的方法均能明显地节省编码时间，并能保持与SHM12.0中原始算法相同的编码性能。
附图说明
[0051] 图1为SHVC标准的
现有技术中采用的35种帧内编码模式，图中，0，1，…，34为帧内编码模式的模式序号，其中，模式序号0表示Planar模式，模式序号1表示DC模式，模式序号为0和1的帧内编码模式为非方向性帧内编码模式，模式序号为2，3，…，34的帧内编码模式为方向性帧内编码模式；
[0052] 图2为增强层中当前PU与其在基本层中的同位PU，以及其在基本层中的同位PU的空间相邻PU(左侧相邻PU、上方相邻PU以及左上方相邻PU)，以及其在增强层中的左侧相邻PU和上方相邻PU的位置关系示意图；
[0053] 图3为增强层中当前PU与其在前一帧中的同位PU的位置关系示意图；
[0054] 图4为所提出的针对SHVC标准的快速帧内编码模式决策方法的
流程图。
具体实施方式
[0055] 具体实施方式一：本实施方式描述用于可伸缩视频编码的快速帧内编码模式决策算法的实现过程，编码
框图如图4所示；本发明适用于增强层对于基本层的伸缩因子为2的情形，即增强层中当前PU的长度和宽度分别为基本层PU的长度和宽度的2倍；其中，基本层的帧内编码模式选择过程采用由联合视频专家组开发的SHM12.0开源参考软件中的原始帧内编码模式决策算法；对于增强层，提出的快速帧内编码模式决策方法如下所述：
[0056] 步骤一、获取增强层中当前PU在基本层中同位PU(二者的位置关系如图2所示)的帧内编码模式信息，定义基本层和增强层在帧内编码模式上的相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在基本层中同位PU的最优帧内编码模式或次优帧内编码模式的模式序号(如图1所示)差值小于1的概率；基本层和增强层在帧内编码模式上的相关性可以用式(2-1)表示为：
[0057]
[0058] 其中，Corinter_layer表示基本层和增强层在帧内编码模式上的相关性(单位为：％)；BlockBL&EL_col表示增强层中满足以下条件的大小为4×4的PU的个数：其最优帧内编码模式的模式序号与其所属的PU(大小为8×8)在基本层中的同位PU(大小为4×4)的最优帧内编码模式或次优帧内编码模式的模式序号的差值小于1；Blocktotal表示增强层中包含的大小为4×4的PU的总个数；
[0059] 步骤二、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤一中定义的基本层和增强层在帧内编码模式上的相关性，计算基本层和增强层在帧内编码模式上的相关性数据(层间相关性数据)如表2-1所示；
[0060] 表2-1基本层和增强层在帧内编码模式上的相关性(单位：％)
[0061]
[0062] 表2-1中，QPBL和QPEL分别是基本层(Base Layer，BL)和增强层(Enhancement Layer，EL)在编码时采用的量化参数(Quantization Parameter，QP)；PeopleOnStreet、Kimonol、BQMall、RaceHorses和FourPeople表示在编码时采用的视频序列的名称分别是PeopleOnStreet、Kimonol、BQMall、RaceHorses和FourPeople；
[0063] 由表2-1可以得出如下结论：基本层和增强层在帧内编码模式上具有较强的相关性；即增强层中当前PU的最优帧内编码模式有较大的可能性与增强层中当前PU在基本层中的同位PU的最优帧内编码模式或次优帧内编码模式相同或相近；
[0064] 步骤三、定义增强层中当前PU与其在前一帧中的同位PU(二者的位置关系如图3所示)之间的帧内编码模式相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在前一帧中的同位PU的最优帧内编码模式的模式序号(如图1所示)差值小于1的概率；增强层中当前PU与其在前一帧中的同位PU在帧内编码模式上的相关性可以用式(2-2)表示为：
[0065]
[0066] 其中，Corinter-frame表示增强层中当前PU与其在前一帧中的同位PU在帧内编码模式上的相关性(单位为：％)；Blockpre&cur表示增强层中满足以下条件的大小为4×4的PU的个数：其最优帧内编码模式的模式序号与前一帧中的同位PU(大小为4×4)的最优帧内编码模式或次优帧内编码模式的模式序号的差值小于1；Blocktotal是增强层的一帧图像中包含的大小为4×4的PU的总个数；
[0067] 步骤四、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤三中定义的增强层中当前PU与其在前一帧中的同位PU之间的帧内编码模式相关性，计算增强层中当前PU与其在前一帧中的同位PU之间的帧内编码模式相关性数据(时间相关性数据)如表2-2所示；
[0068] 表2-2增强层中的相邻帧在帧内编码模式上的相关性(单位：％)
[0069]
[0070] 表2-2中，QPBL、QPEL、PeopleOnStreet、Kimonol、BQMall、RaceHorses和FourPeople的定义与表2-1中相同；
[0071] 由表2-2可以得出如下结论：增强层中的相邻帧在帧内编码模式上具有较强的相关性；即增强层中当前PU的最优帧内编码模式有较大的可能性与增强层中当前PU在前一帧中的同位PU的最优帧内编码模式或次优帧内编码模式相同或相近；
[0072] 步骤五、定义增强层中当前PU与其在基本层中的同位PU的空间相邻PU(各PU的位置关系如图2所示)之间的帧内编码模式相关性；即增强层中当前PU的帧内编码模式与增强层中当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU以及左上方相邻PU的最优帧内编码模式或次优帧内编码模式的模式序号(如图1所示)差值小于1的概率；增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的帧内编码模式相关性可以用式(2-3)表示为：
[0073]
[0074] 其中，Corspatial表示增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的帧内编码模式相关性(单位为：％)；BlockEL&Bl_spa表示在增强层的当前PU(大小为8×8)中，帧内编码模式的模式序号与其在基本层中的同位PU(大小为4×4)的空间相邻PU(大小为4×4)的最优帧内编码模式或次优帧内编码模式的模式序号的差值小于1的所有大小为4×4的编码单元的个数；其中，空间相邻PU指的是增强层中的当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU以及左上方相邻PU(见图2)；Blocktotal表示增强层中包含的大小为4×4的PU的总个数；
[0075] 步骤六、对分辨率、运动剧烈程度以及纹理复杂度不同的视频序列，利用SHM12.0参考软件进行编码，并利用在步骤五中定义的增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间在帧内编码模式上的空间相关性，计算增强层中当前PU与其在基本层中的同位PU的空间相邻PU之间的帧内编码模式相关性数据(空间相关性数据)如表2-3所示；
[0076] 表2-3增强层中当前PU与其在基本层中的同位PU的空间相邻PU在帧内编码模式上的相关性(单位：％)
[0077]
[0078] 表2-3中，QPBL、QPEL、PeopleOnStreet、Kimonol、BQMall、RaceHorses和FourPeople的定义与表2-1中相同；
[0079] 由表2-3可以得出如下结论：增强层中当前PU与其在基本层中的同位PU的空间相邻PU在帧内编码模式上具有较强的相关性；即增强层中当前PU的最优帧内编码模式有较大的可能性与增强层中当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU或左上方相邻PU的最优帧内编码模式或次优帧内编码模式相同或相近；
[0080] 步骤七、根据在步骤二中得到的层间相关性数据、步骤四中得到的时间相关性数据和步骤六中得到的空间相关性数据，针对增强层中不同大小的PU构造初始候选帧内编码模式列表：首先判断增强层中当前PU的大小是否为64×64；如果是，则为增强层中的当前PU根据式(2-4)构造初始候选帧内编码模式列表CL0，然后执行步骤十四；否则，执行步骤八；
[0081]
[0082] 其中，Ai和SAi分别是增强层中当前PU在基本层中的同位PU(大小为32×32)内的第i个编码块(大小为4×4，共64个)的最优帧内编码模式和次优帧内编码模式；0表示Planar模式；1表示DC模式(见图1)；∪表示取并集运算；
[0083] 步骤八、判断增强层中当前PU的大小是否为32×32；如果是，则为增强层中的当前PU根据式(2-5)构造初始候选帧内编码模式列表CL1，然后执行步骤十四；否则，执行步骤九；
[0084]
[0085] 其中，Ai和SAi分别是增强层中当前PU在基本层中的同位PU(大小为16×16)内的第i个编码块(大小为4×4，共16个)的最优帧内编码模式和次优帧内编码模式；0表示Planar模式；1表示DC模式(见图1)；∪表示取并集运算；CL′的定义为：
[0086]
[0087] 其中，min表示增强层中当前PU在基本层中的同位PU内的全部16个编码块的所有Ai和SAi(i∈[0，1，...，15])中模式序号最小的帧内编码模式；min+1和min-1分别表示模式序号比min的模式序号大1和小1的帧内编码模式；max表示增强层中当前PU在基本层中的同位PU内的全部16个编码块的所有Ai和SAi(i∈[0，1，...，15])中模式序号最大的帧内编码模式；max+1和max-1分别表示模式序号比max的模式序号大1和小1的帧内编码模式；
[0088] 步骤九、判断增强层中当前PU的大小是否为16×16；如果是，则执行步骤十；否则，执行步骤十一；
[0089] 步骤十、判断当前帧是否为第0帧；如果是，则为增强层中的当前PU根据式(2-7)构造初始候选帧内编码模式列表CLin，然后执行步骤十四；否则，为增强层中的当前PU根据式(2-8)构造初始候选帧内编码模式列表CL2，然后执行步骤十四；
[0090] CLin＝{0，1，2，4，6，8，10，12，14，16，18，20，22，24，26，28，30，32，34} (2-7)[0091] 其中，0表示Planar模式；1表示DC模式；2，4，…，34分别表示模式序号为偶数的方向性帧内编码模式(见图1及附图说明)；
[0092]
[0093] 其中，Ai和SAi分别是增强层中当前PU在基本层中的同位PU(大小为8×8)内的第i个编码块(大小为4×4，共4个)的最优帧内编码模式和次优帧内编码模式；Ai+1和Ai-1分别表示模式序号比Ai的模式序号大1和小1的帧内编码模式；SAi+1和SAi-1分别表示模式序号比SAi的模式序号大1和小1的帧内编码模式；mj表示增强层中当前PU在前一帧中的同位PU(大小为16×16)内的第j个编码块(大小为4×4，共16个)的最优帧内编码模式；mj+1和mj-1分别表示模式序号比mj的模式序号大1和小1的帧内编码模式；∪表示取并集运算；
[0094] 步骤十一、判断增强层中当前PU的大小是否为8×8；如果是，则执行步骤十二；否则，执行步骤十三；
[0095] 步骤十二、判断当前帧是否为第0帧；如果是，则为增强层中的当前PU根据式(2-7)构造初始候选帧内编码模式列表CLin，然后执行步骤十四；否则，为增强层中的当前PU根据式(2-9)构造初始候选帧内编码模式列表CL3，然后执行步骤十四；
[0096] CL3＝{w，w+1，w-1}，w∈CL｀3 (2-9)
[0097] 其中，w是属于帧内编码模式集合CL｀3中的帧内编码模式；w+1和w-1分别表示模式序号比w的模式序号大1和小1的帧内编码模式；CL′3的定义如式(2-10)所示：
[0098]
[0099] 其中，A和SA分别是增强层中当前PU在基本层中的同位PU(大小为4×4)的最优帧内编码模式和次优帧内编码模式；xl、xu和xl_u分别是增强层中当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU和左上方相邻PU的最优帧内编码模式；yl、yu和yl_u分别是增强层中当前PU在基本层中的同位PU的左侧相邻PU、上方相邻PU和左上方相邻PU的次优帧内编码模式；mi表示增强层中当前PU在前一帧中的同位PU(大小为8×8)内的第i个编码块(大小为4×4，共4个)的最优帧内编码模式；∪表示取并集运算；
[0100] 步骤十三、根据式(2-11)为增强层中大小为4×4的当前PU构造初始候选帧内编码模式列表CL4，然后执行步骤十四；
[0101] CL4＝{A，SA，A-1，SA-1，A+1，SA+1} (2-11)
[0102] 其中，A和SA分别是增强层中当前PU(大小为4×4)所属的大小为8×8的PU在基本层中的同位PU(大小为4×4)的最优帧内编码模式和次优帧内编码模式；A+1和A-1分别表示模式序号比A的模式序号大1和小1的帧内编码模式；SA+1和SA-1分别表示模式序号比SA的模式序号大1和小1的帧内编码模式；
[0103] 步骤十四、将最有可能模式(MPM，Most Probable Mode)根据实际执行的步骤合并入在步骤七、步骤八、步骤十、步骤十二或步骤十三中构造的初始候选帧内编码模式列表中，组成新的候选帧内编码模式列表CLnew；其中，MPM指的是增强层中当前PU的左侧相邻PU和上方相邻PU(各PU的位置关系见图2)的最优帧内编码模式；然后，对CLnew中的帧内编码模式进行粗略模式决策(RMD，Rough Mode Decision)处理(即按照式(2-12)计算每种帧内编码模式的哈达玛代价值HCOSTMODE，然后按照各帧内编码模式哈达玛代价值的大小，从小到大排序，并保留哈达玛代价值最小的M种帧内编码模式，其中M值的大小如表2-4所示)；然后，判断当前PU采用的初始候选帧内编码模式列表是否为CLin；如果是，则执行步骤十五；否则，执行步骤十六；
[0104] 表2-4 RMD处理后保留的帧内编码模式个数
[0105]PU大小 64×64 32×32 16×16 8×8 4×4
M 1 1 2 4 4
[0106]
[0107] 其中，HCOSTMODE是采用某一帧内编码模式得到的哈达玛代价值；SATDMODE是采用某一帧内编码模式得到的预测残差经哈达玛变换后得到的变换系数的绝对值之和；ω是当前PU的原始灰度值； 是当前PU的重构灰度值；λ是拉格朗日系数； 是采用某一帧内编码模式对当前PU进行编码所需的比特数的估计值；H表示哈达玛变换；
[0108] 步骤十五、构造一个新的候选帧内编码模式列表CLnew，其中包括在步骤十四中经过RMD处理后得到的M种帧内编码模式，以及模式序号与这M种帧内编码模式中的方向性帧内编码模式(即模式序号为2，3，…，34的帧内编码模式)的模式序号相差为1的帧内编码模式；对列表CLnew中的帧内编码模式再次进行RMD处理，并保留哈达玛代价值最小的M种帧内编码模式，然后执行步骤十六；
[0109] 步骤十六、计算在步骤十五中经过再次RMD处理得到的M种帧内编码模式和MPM的哈达玛代价值，其中最小的哈达玛代价值记为HCOSTMODE_MIN；将哈达玛代价值大于HCOSTMODE_MIN的1.5倍的帧内编码模式从候选帧内编码模式列表中移除；判断候选帧内编码模式列表中剩余的帧内编码模式的个数是否大于1；如果是，则执行步骤十七；否则，执行步骤十八；
[0110] 步骤十七、候选帧内编码模式列表中仅保留哈达玛代价值最小的两种帧内编码模式，然后执行步骤十八；
[0111] 步骤十八、对候选帧内编码模式列表中最终保留下来的帧内编码模式执行SHM12.0参考软件中默认的残差四叉树编码处理(RQT，Residual Quad-Tree Process)，为当前PU选择出最优帧内编码模式；即完成了一种用于可伸缩视频编码的快速帧内编码模式决策方法。
[0113] 将本发明中提出的一种用于可伸缩视频编码的快速帧内编码模式决策方法整合入由联合视频专家组开发的SHM12.0开源参考软件中。为了验证本发明的有效性，测试中使用了由联合视频专家组推荐的，涵盖了5种分辨率(Class A～Class E)的，图像细节和运动剧烈程度不同的17个标准视频序列。其中，Class A是分辨率为2560×1600的超清视频序列；Class B和Class E分别是1080P(分辨率为1920×1080)和720P(分辨率为1280×720)高清视频序列；Class C和Class D分别是WVGA(分辨率为832×480)和WQVGA(分辨率为416×240)视频序列。本发明中提出的方法所获得的实验结果与SHM12.0参考软件中的原始帧内编码模式决策算法的编码结果进行比较。编码配置文件采用全帧内配置(AI，All Intra)模式。为了保证测试数据的可靠性，对每个视频序列的前2秒进行编码，即对每个视频的前2×FR(Frame Rate，帧率)帧进行编码，其中FR为所编码视频序列的帧率值。各视频序列的FR值如表3-1中的第3列所示。测试中采用1个基本层和1个增强层的双层编码框架。基本层的量化参数(QP)设置为22、27、32和37，增强层相应的量化参数分别设置为20、25、30和35。其余的参数都设置为SHM12.0参考软件中的默认值。
[0114] 实验中采用由G.Bjφntegaard在ITU-T VCEG(国际电信联盟电信标准化部门视频编码专家组)提案VCEG-M33中提出的，被广泛认可的客观评价标准Bjφntegaard PSNR(BDPSNR，单位为：dB)和Bjφntegaard Bit Rate(BDBR，单位为：％)来评价本发明中所提出的方法的有效性，其中，BDBR反映的是在相同的重建视频质量下，两种不同的编码方法在码率上的差异；BDPSNR反映的是在相同的码率下，两种编码方法在重建视频质量上的差异。实验中采用TR(Time Reduction，即时间节省)来衡量所提出的算法所节省的编码时间，其中，TR的计算方法如式(3-1)所示：
[0115] TR＝(TSHM-TProposed)/TSHM×100％ (3-1)
[0116] 其中，TR(单位为：％)表示本发明中所提出的算法所节省的编码时间；TSHM表示SHM12.0参考软件中的原始帧内编码模式决策算法所用的编码时间；Tproposed表示整合了本发明中提出的方法后的SHM12.0参考软件所用的编码时间。本发明所提出的方法与SHM12.0参考软件中的原始帧内编码模式决策算法的对比实验结果如表3-1所示：
[0117] 表3-1实验结果
[0118]
[0119] 表3-1的第2列中的Traffic、PeopleOnStreet、BasketballDrive、BQTerrace、Cactus、Kimono1、ParkScene、BasketballDrill、BQMall、RaceHorses、BasketballPass、BlowingBubbles、BQSquare、FourPeople、Johnny表示在编码时采用的视频序列的名称分别是Traffic、PeopleOnStreet、BasketballDrive、BQTerrace、Cactus、Kimono1、ParkScene、BasketballDrill、BQMall、RaceHorses、BasketballPass、BlowingBubbles、BQSquare、FourPeople、Johnny。
[0120] 实验结果表明，相比于SHM12.0参考软件中的原始帧内编码模式决策算法，本发明中提出的算法能够平均节省19.54％的编码时间，而BDBR平均增加仅为0.98％，BDPSNR平均降低仅为0.06dB。也就是说，在相同的重建视频质量下，本发明中提出的方法所产生的码率增加仅为0.98％；在相同的码率下，本发明中提出的方法所引起的重建视频质量下降仅为0.06dB。上述实验结果说明，本发明中提出的方法能显著地减少编码时间，同时对SHM12.0参考软件的编码性能几乎不产生影响。另外，本发明中提出的方法对Class A～Class E中包含的全部17个视频序列进行编码时，所节省的编码时间均在19％左右。这表明本发明中提出的方法对于分辨率、运动剧烈程度以及纹理复杂度不同的视频序列均能有效减少编码时间，即本发明中提出的方法具有普遍适用性。
[0121] 本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和
变形，但这些相应的改变和变形都应属于本发明所附的
权利要求的保护范围。
