技术领域
[0001] 本
发明涉及一种用于高效视频编码的快速预测方向决策方法，涉及视频编码技术领域。
背景技术
[0002] 由国际电信联盟电信标准化部
门(ITU-T)视频编码专家组(VCEG)和国际标准化组织(ISO)
动态图像专家组(MPEG)组成的联合视频专家组(JCT-VC)共同制定了面向高清、超高清视频应用的新一代视频编码标准——高效视频编码(High Efficiency Video Coding，HEVC)标准。与上一代视频编码标准——先进视频编码(Advance Video Coding，AVC)标准相比，HEVC标准能够提供更高的编码效率。在获得与AVC标准相同的重建视频
质量的条件下，HEVC标准能够节省50％以上的编码码率，即HEVC标准的编码效率比AVC标准提高了一倍。但是，现有的高效视频编码技术存在以下主要问题：
[0003] 1、编码复杂度极高。与AVC标准相比，HEVC标准对数据组织、
帧内预测、帧间预测、变换编码、环路滤波等各个技术环节都进行了细致的改进和优化。这些技术在提升HEVC标准编码效率的同时，也极大地增加了编解码端的计算复杂度，增加了编解码耗时。这使得HEVC标准无法满足视频数据实时传输的要求，严重阻碍了HEVC标准在实时性应用中的推广。
[0004] 2、未能利用相邻树形编码层之间预测单元(Prediction Unit，PU)在预测方向上的相关性完成快速预测方向决策。在HEVC标准中，PU支持35种预测方向(见图1)。在进行预测方向决策时，需要对这35种预测方向进行粗略模式决策(Rough Mode Decision，RMD)处理。在HEVC标准的预测方向决策过程中，可以利用相邻树形编码层之间PU在预测方向上的相关性，进一步减少需要进行RMD处理的预测方向的个数，由此可以降低HEVC标准的编码复杂度，节省编码时间。
[0005] 3、未能利用预测方向与对应的哈达玛(Hadamard)变换代价值之间的关系完成快速预测方向决策。在HEVC标准中，残差四叉树(RQT，Residual Quad-Tree)过程作为预测方向决策过程中重要的一步，由于涉及到变换单元(Transform Unit，TU)的划分，所以是一个计算极为复杂、计算量极大的处理过程。如果能利用预测方向对应的哈达玛变换代价值之间的关系，则可以减少需要进行RQT处理的预测方向的个数，由此可以降低HEVC标准的计算复杂度，提升编码速度。
发明内容
[0006] 本发明的目的是提供一种用于高效视频编码的快速预测方向决策方法，以解决现有高效视频编码技术存在的编码复杂度极高、未能利用相邻树形编码层之间PU在预测方向上的相关性完成快速预测方向决策、未能利用预测方向与对应的哈达玛变换代价值之间的关系完成快速预测方向决策的问题。
[0007] 上述发明的目的是通过以下技术方案实现的：
[0008] 步骤1、判断当前PU所在的编码层在树形编码结构中的编码深度是否为0；如果是，则构造初始候选预测方向列表CL0，然后，执行步骤3；否则，执行步骤2；其中，初始候选预测方向列表CL0中包括Planar模式、DC模式以及序号为偶数的预测方向(见图1)，如式(1)所示：
[0009] CL0＝{0，1}∪{2，4，...，34} (1)
[0010] 式中，0表示Planar模式、1表示DC模式、2，4，…，34表示17个序号为偶数的预测方向；
[0011] 步骤2、判断当前PU所在的编码层在树形编码结构中是否存在上一编码层，以及判断当前PU在上一编码层中的同位PU(二者的
位置关系见图2)的最优预测方向与次优预测方向是否均为序号为2～34的预测方向之一；如果均为是，则构造初始候选预测方向列表CL1，然后，执行步骤3；否则，构造初始候选预测方向列表CL0，然后，执行步骤3；其中，初始候选预测方向列表CL1可由式(2)表示：
[0012] CL1＝{0，1，min-1，min，min+1，max-1，max，max+1} (2)
[0013] 式中，min表示当前PU在上一编码层中的同位PU的最优预测方向与次优预测方向中序号较小的预测方向；max表示当前PU在上一编码层中的同位PU的最优预测方向与次优预测方向中序号较大的预测方向；
[0014] 步骤3、将最有可能模式(MPM，Most Probable Mode)的预测方向根据实际执行的步骤合并入在步骤1或步骤2中构造的初始候选预测方向列表中，组成新的候选预测方向列表CLnew；其中，MPM是在HEVC标准中规定的，指的是当前PU的左侧相邻PU和上方相邻PU(三者的位置关系如图3所示)的最优编码模式；然后，对CLnew中的预测方向进行RMD处理，并保留其中哈达玛变换代价值最小的M种预测方向；然后，判断当前PU采用的初始候选预测方向列表是否为CL0；如果是，则执行步骤4；否则，执行步骤5；
[0015] 步骤4、利用在步骤3中保留下来的M种预测方向，以及与这M种预测方向中序号为2，3，…，34的预测方向的序号相差为1的预测方向，再次构造一个新的候选预测方向列表CL0new；对CL0new中的预测方向进行RMD处理，并保留其中哈达玛变换代价值最小的M种预测方向，然后执行步骤5；
[0016] 步骤5、对于在步骤4中保留下来的M种预测方向和MPM的预测方向，计算其哈达玛变换代价值，将其中最小的哈达玛变换代价值记为HCOSTMODE_MIN；将哈达玛变换代价值大于λ倍HCOSTMODE_MIN的预测方向从候选预测方向列表中移除，然后，执行步骤6；
[0017] 步骤6、判断候选预测方向列表中剩余的预测方向的个数是否大于1；如果是，则执行步骤7；否则，执行步骤8；
[0018] 步骤7、保留哈达玛变换代价值最小的两个预测方向，去除其余的预测方向，然后，执行步骤8；
[0019] 步骤8、对候选预测方向列表中保留下来的预测方向，按照HEVC标准中的规定，执行RQT处理，选择出当前PU的最优预测方向；即完成了一种用于高效视频编码的快速预测方向决策方法。
[0020] 发明效果
[0021] 本发明利用PU的预测方向之间的相互关系，为当前PU构造初始候选预测方向列表，减少了需要进行RMD处理的预测方向的个数。此外，利用相邻树形编码层之间PU在预测方向上的相关性，构造了更为细致的初始候选预测方向列表，进一步减少了需要进行RMD处理的预测模方向的个数。最后利用预测方向与所对应的哈达玛变换代价值之间的关系，去除了部分预测方向，减少了需要进行RQT处理的预测方向的个数。基于以上技术，本发明中提出了一种用于高效视频编码的快速预测方向决策方法。该方法的提出可以有效降低HEVC标准的运算复杂度，并且几乎不会对其编码性能产生影响。本发明中提出的方法解决了现有高效视频编码技术存在的编码复杂度极高、未能利用相邻树形编码层之间PU在预测方向上的相关性完成快速预测方向决策、未能利用预测方向与对应的哈达玛变换代价值之间的关系完成快速预测方向决策的问题，对HEVC标准提升编码速度、实现实时应用起到推动作用。
[0022] 与由JCT-VC开发的HM13.0开源参考
软件中的原始方法相比，本发明中提出的方法可以在不明显损失重建视频质量的前提下，显著地节省编码时间。通过对由JCT-VC推荐的标准视频测试序列进行编码，验证了本发明中所提出方法的有效性。实验结果证明，本发明中提出的方法能够平均减少33.76％的编码时间；在相同的重建视频质量(即峰值
信噪比，也即Peak Signal to Noise Ratio(PSNR))下，提出的方法引起的平均码率增加量只有1.09％；在相同的码率下，提出的
算法引起的
峰值信噪比的降低量仅为0.061dB。总体来说，对于
分辨率不同的视频序列，本发明中提出的方法均能明显地节省编码时间，并能保持与HM13.0中原始算法相同的编码性能。这说明本发明中提出的算法在对HM13.0的率失真性能几乎不产生影响的条件下，显著地减少了编码时间。
附图说明
[0023] 图1为HEVC标准的
现有技术中采用的35种预测方向；
[0024] 图2为树形编码结构中当前PU与其在上一编码层中的同位PU的位置关系示意图；
[0025] 图3为当前PU与其左侧相邻PU和上方相邻PU的位置关系示意图；
[0026] 图4为所提出的快速预测方向决策方法的
流程图。
具体实施方式
[0027] 具体实施方式一：本实施方式描述一种用于高效视频编码的快速预测方向决策方法的实现过程，流程图如图4所示；本发明提出的一种用于高效视频编码的快速预测方向决策方法，包括下述步骤：
[0028] 步骤1、判断当前PU所在的编码层在树形编码结构中的编码深度是否为0；如果是，则构造初始候选预测方向列表CL0，然后，执行步骤3；否则，执行步骤2；其中，初始候选预测方向列表CL0中包括Planar模式、DC模式以及序号为偶数的预测方向(见图1)，如式(3)所示：
[0029] CL0＝{0，1}∪{2，4，...，34} (3)
[0030] 式中，0表示Planar模式、1表示DC模式、2，4，…，34表示17个序号为偶数的预测方向；
[0031] 步骤2、对于树形编码结构中编码深度不为0的PU，可以将其分成以下几种情况分别进行处理：①对于一些处在视频图像边缘位置的PU，其所在的编码层在树形编码结构中可能不存在上一编码层，那么这些PU则无法获取上一编码层中的同位PU的信息，则采用CL0作为当前PU的初始候选预测方向列表；②如果当前PU所在的编码层在树形编码结构中存在上一编码层，但是不满足上一编码层中的同位PU的最优预测方向与次优预测方向均为序号为2～34的预测方向之一这个条件，则采用CL0作为当前PU的初始候选预测方向列表；③如果当前PU所在的编码层在树形编码结构中存在上一编码层，并且当前PU在上一编码层中的同位PU的最优预测方向与次优预测方向均为序号为2～34的预测方向之一，则可以利用相邻编码层之间PU在预测方向上的相关性对当前PU的最优预测方向进行预测，为当前PU构造初始候选预测方向列表CL1；
[0032] 简而言之，即判断当前PU所在的编码层在树形编码结构中是否存在上一编码层，以及判断当前PU在上一编码层中的同位PU(二者的位置关系见图2)的最优预测方向与次优预测方向是否均为序号为2～34的预测方向之一；如果均为是，则构造初始候选预测方向列表CL1，然后，执行步骤3；否则，构造初始候选预测方向列表CL0，然后，执行步骤3；其中，初始候选预测方向列表CL1可由式(4)表示：
[0033] CL1＝{0，1，min-1，min，min+1，max-1，max，max+1} (4)
[0034] 式中，min表示当前PU在上一编码层中的同位PU的最优预测方向与次优预测方向中序号较小的预测方向；max表示当前PU在上一编码层中的同位PU的最优预测方向与次优预测方向中序号较大的预测方向；
[0035] max和min可以用式(5)表示为：
[0036]
[0037] 式中，B表示当前PU在上一编码层中的同位PU的最优预测方向；Sb表示当前PU在上一编码层中的同位PU的次优预测方向；
[0038] 步骤3、将最有可能模式(MPM，Most Probable Mode)的预测方向根据实际执行的步骤合并入在步骤1或步骤2中构造的初始候选预测方向列表中，组成新的候选预测方向列表CLnew；其中，MPM是在HEVC标准中规定的，指的是当前PU的左侧相邻PU和上方相邻PU(三者的位置关系如图3所示)的最优编码模式；然后，对CLnew中的预测方向进行RMD处理(即按照HEVC标准中的规定，根据式(6)计算每种预测方向的哈达玛变换代价值HCOSTMODE，然后按照各预测方向的HCOSTMODE的大小，从小到大排序，并保留HCOSTMODE最小的M种预测方向，其中M值的大小如表1所示)；然后，判断当前PU采用的初始候选预测方向列表是否为CL0；如果是，则执行步骤4；否则，执行步骤5；
[0039]
[0040] 其中，HCOSTMODE是某一预测方向对应的哈达玛变换代价值；SATDMODE是采用某一预测方向得到的预测残差的哈达玛变换系数的绝对值之和；ω是当前PU的原始灰度值； 是当前PU的重构灰度值；λ是拉格朗日系数； 是采用某一预测方向对当前PU进行编码所需的比特数的估计值；H表示哈达玛变换；
[0041] 表1RMD处理后保留的预测方向的个数
[0042]PU的大小 64×64 32×32 16×16 8×8 4×4
M 1 1 2 4 4
[0043] 步骤4、利用在步骤3中保留下来的M种预测方向，以及与这M种预测方向中序号为2，3，…，34的预测方向的序号相差为1的预测方向，再次构造一个新的候选预测方向列表CL0new；对CL0new中的预测方向进行RMD处理，并保留其中哈达玛变换代价值最小的M种预测方向，然后执行步骤5；
[0044] 步骤5、对于在步骤4中保留下来的M种预测方向和MPM的预测方向，计算其哈达玛变换代价值，将其中最小的哈达玛变换代价值记为HCOSTMODE_MIN；将哈达玛变换代价值大于λ倍HCOSTMODE_MIN的预测方向从候选预测方向列表中移除，然后，执行步骤6；
[0045] 步骤6、判断候选预测方向列表中剩余的预测方向的个数是否大于1；如果是，则执行步骤7；否则，执行步骤8；
[0046] 步骤7、保留哈达玛变换代价值最小的两个预测方向，去除其余的预测方向，然后，执行步骤8；
[0047] 步骤8、对候选预测方向列表中保留下来的预测方向，按照HEVC标准中的规定，执行RQT处理，选择出当前PU的最优预测方向；即完成了一种用于高效视频编码的快速预测方向决策方法。
[0048] 具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤5中λ的值被设置为1.5。这样设置是为了保证既不损失HEVC标准的编码性能，同时又尽可能多地节省编码时间。
[0049] 对发明方法进行验证
[0050] 将本发明中提出的一种用于高效视频编码的快速预测方向决策方法整合入由JCT-VC开发的HM13.0开源参考软件中。为了验证本发明的有效性，测试中使用了由JCT-VC推荐的，涵盖了5种分辨率(Class A～Class E)的17个标准视频序列。其中，Class A是分辨率为2560×1600的超清视频序列；Class B和Class E分别是1080P(分辨率为1920×1080)和720P(分辨率为1280×720)高清视频序列；Class C和Class D分别是WVGA(分辨率为832×480)和WQVGA(分辨率为416×240)视频序列。在实验中采用JCT-VC在提案JCTVC-K1100中所规定的通用测试条件，量化参数(Quantization Parameter，QP)设置为22、27、32和37，其余的编码参数都设置为HM13.0参考软件中的默认值。为了保证实验结果的可靠性，对每个视频序列的前2秒进行编码，即对每个视频的前2×FR(Frame Rate，帧率)帧进行编码，其中FR为所编码视频序列的帧率值，FR是每个视频序列都具有的，用来描述视频属性的一个参数值。各视频序列的FR值如表2中的第3列所示。本发明中提出的方法所获得的实验结果与HM13.0参考软件中的原始预测方向决策算法的编码结果进行比较。
[0051] 表2实验结果
[0052]
[0053] 实验中采用由G.Bjφntegaard在ITU-T VCEG提案VCEG-M33中提出的，被广泛认可的客观评价标准Bjφntegaard PSNR(BDPSNR，单位为：dB)和Bjφntegaard Bit Rate(BDBR，单位为：％)来评价本发明中所提出的方法的有效性，其中，BDBR反映的是在相同的重建视频质量下，两种不同的编码方法在码率上的差异；BDPSNR反映的是在相同的码率下，两种编码方法在重建视频质量上的差异。实验中采用TR(Time Reduction，即时间节省)来衡量所提出的算法所节省的编码时间，其中，TR的计算方法如式(7)所示：
[0054] TR＝(THM-TProposed)/THM×100％ (7)
[0055] 式中，TR(单位为：％)表示本发明中所提出的算法所节省的编码时间；THM表示HM13.0参考软件中的原始预测方向决策算法所用的编码时间；TProposed表示表示整合了本发明中提出的方法后的HM13.0参考软件所用的编码时间。本发明所提出的方法与HM13.0参考软件中的原始预测方向决策算法的对比实验结果如表2所示：
[0056] 表2的第2列中的Traffic、PeopleOnStreet、BasketballDrive、BQTerrace、Cactus、Kimono1、ParkScene、BasketballDrill、BQMall、RaceHorses、BasketballPass、BlowingBubbles、BQSquare、FourPeople、Johnny表示采用的视频序列的名称分别是Traffic、PeopleOnStreet、BasketballDrive、BQTerrace、Cactus、Kimono1、ParkScene、BasketballDrill、BQMall、RaceHorses、BasketballPass、BlowingBubbles、BQSquare、FourPeople、Johnny。
[0057] 实验结果表明，相比于HM13.0参考软件中的原始预测方向决策算法，本发明中提出的算法能够平均节省33.76％的编码时间，而BDBR平均增加仅为1.09％，BDPSNR平均降低仅为0.061dB。也就是说，在相同的重建视频质量下，本发明中提出的方法所产生的码率增加仅为1.09％；在相同的码率下，本发明中提出的方法所引起的重建视频质量下降仅为0.061dB。上述实验结果说明，本发明中提出的方法能显著地减少编码时间，同时对HM13.0参考软件的编码性能几乎不产生影响。
[0058] 另外，经过统计，本发明中提出的方法对Class A视频序列平均编码时间节省为33.65％，对Class B视频序列平均编码时间节省为33.75％，对Class C视频序列平均编码时间节省为33.81％，对Class D视频序列平均编码时间节省为32.54％，对Class E视频序列平均编码时间节省为35.04％。因此，本发明中提出的方法对Class A～Class E中包含的全部17个视频序列进行编码时，所节省的编码时间均在31％以上。这表明本发明中提出的方法对于分辨率不同的视频序列均能有效减少编码时间，即本发明中提出的方法具有普遍适用性。
[0059] 本发明还可有其它多种
实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和
变形，但这些相应的改变和变形都应属于本发明所附的
权利要求的保护范围。
