技术领域
[0001] 本
发明属于高效视频压缩编码技术领域，特别涉及一种帧内预测编码方法，可用于3D视频预测编码。
背景技术
[0002] 高效
视频编码HEVC作为新一代的视频编码标准，在2013年由视频编码(JCT-VC,Joint Collaborative Team on Video Coding)联合制定。HEVC标准主要针对高清和超高清
分辨率视频的压缩，相比于H.264/AVC标准具有优异性能，编码效率提高了一倍。预测过程在HEVC中占据着极其重要的作用。HEVC分为帧内编码和帧间编码两种。对于帧内编码，它采用的是四叉树划分结构来编码视频。最大的编码单元大小是64x64，每一个64x64的编码单元可以划分为4个32x32的编码单元，然后递归划分直至最小尺寸为8x8。对于预测单元来说，它的大小等于编码单元大小。只有当编码单元划分至8x8时，预测单元大小可以是8x8或者4x4。对于每一个预测单元，他有35种帧内模式进行预测。其中模式0是Planar，适用于均匀光滑的区域。模式1是DC，适用于渐变平滑的区域。模式2到模式34是33种
角度模式。
[0003] 随着3D视频技术的进步，3D行业迅速兴起。基于HEVC的3D视频编码作为HEVC标准的扩展部分，其标准已于2015年2月最终确定。3D-HEVC采用的是多视点加深度图的格式来进行3D视频编码。这仅需编码2到3个视点以及相应的深度图就可以编码3D视频。深度图的特点与普通视图截然不同，它具有光滑的大片区域和锐利的边界。3D-HEVC作为HEVC的扩展版本，其帧内编码仍延续使用HEVC的四叉树划分结构。与HEVC不同的是，3D-HEVC中深度图的预测单元是NxN，其中N最大等于32，最小等于4。为了满足深度图的特点，在原有的35种帧内模式的
基础上，新加入了两种深度模式DMMs。一种是楔形划分模式DMM1，它通过边界上的
像素点来确定明确的起点和终点。另外一种是廓形划分模式DMM4，它将普通视图四个角的像素平均值设置为
门限，大于门限的像素点划分为一
块，小于门限的像素点划分为一块，形成廓形划分。
[0004] 3D-HEVC深度图每个预测单元的帧内预测编码过程分为两部分：粗选和细选。其中：
[0005] 粗选计算流程：先计算每个预测单元在35种普通帧内模式下的代价值，得到粗选代价值最小的3到8种模式，将其加入最佳模式候选列表中。若当前预测单元最佳模式候选列表中最小代价值对应的模式不是模式0或该预测单元的像素值方差大于
阈值，则计算当前预测单元的两种深度模式的代价值，并将其加入最佳模式候选列表中；否则跳过深度模式的计算。
[0006] 细选计算流程：计算当前预测单元最佳模式候选列表中的所有模式，得到代价值最小的一种模式作为最佳模式，该代价值将作为当前预测单元的最终代价，并用以进行层级划分比较。
[0007] 3D-HEVC对于层级划分采用的是递归四叉树划分结构，如图1所示。最大预测单元为32x32，允许其在编码中不断的递归划分为四个等大小的子预测单元，直到划分到最小预测单元4x4为止。其具体过程可以理解为一个
深度优先搜索的
迭代过程。首先对NxN(N＝32)大小的预测单元进行预测编码，再确定其最佳预测模式和最终代价；其次，划分其为四个子预测单元，将N更新为N/2，并进行依次处理。在处理中，对每个子预测单元，进行预测编码和再次划分及处理，直到N等于4时停止划分。需要说明的是，每次处理完四个子模块后，需要进行比较其未划分情况下模块的最终代价和划分情况下四个子模块的最终代价，以选择最佳划分情况。
[0008] 由于3D-HEVC采用的是递归四叉树划分，每个预测单元遍历37种模式，这使得预测编码复杂度很大。目前已有的降低HEVC帧内预测编码复杂度的方法大致分为两类，一类是基于层的方法，另一类是基于模式的方法。而3D-HEVC深度图预测编码不能直接使用这些方法来降低预测编码复杂度。已有的基于3D-HEVC深度图帧内预测编码的方法都是从模式的角度出发，如减少DMMs模式的计算量或者直接跳过DMMs等。这类方法降低的预测编码复杂度少，不能满足实际应用的要求。
发明内容
[0009] 本发明的目的在于提出一种基于层的3D-HEVC深度图帧内预测编码的方法，以减少预测编码的复杂度，提高编码速度。
[0010] 本发明的技术方案是这样实现的：
[0011] 在3D-HEVC现有的参考
软件HTM13.0上进行
修改，以实现基于层的快速编码，即根据帧内预测编码的粗选过程中，普通帧内模式计算得到的最小代价值来判断当前层的深度模式和细选过程是否执行；根据帧内预测编码的粗选过程中，普通帧内模式计算得到的最小代价值和楔形划分模式计算得到的最小代价值来判断当前层的细选过程是否执行。根据判断粗选结果得到的最佳模式候选列表中，代价值最小的模式是否为模式0，来确定细选过程是否只计算模式0。根据细选得到的最佳代价值来判断是否做后续的几层粗选和细选。
[0012] 根据上述思路，本发明的实现步骤包括如下：
[0013] (1)初始化：
[0014] 创建六个空的txt文件；
[0015] 创建18个门限，即帧内模式门限TEi、深度模式门限TDi、跳过深度模式门限TSi、细选门限TRi、01模式门限T0i、其他模式门限TLi；i＝1、2、3，其中i＝1表示大小为32x32的预测单元、i＝2表示大小为16x16的预测单元、i＝3表示大小为8x8的预测单元；
[0016] (2)统计测试序列的一个编码周期中第一帧视频的数据结果，该数据结果包括每个预测单元经过粗选得到的最佳模式候选列表中代价值最小的模式MI及其相应代价值JSATD，每个预测单元在楔形划分模式DMM1下的代价值JSSE，每个预测单元经过细选得到的最佳预测模式MR及其相应代价值JRD；
[0017] (3)把统计得到的数据根据当前预测单元划分结果及当前预测单元的大小，分类存放在已创建的6个txt文件中；
[0018] (4)根据第一帧视频中同一大小预测单元的最佳模式候选列表中最小代价值JSATD，计算第一帧视频的粗选帧内命中率HN，当HN＝75％时分别得到帧内模式门限TEi，当HN＝90％时分别得到跳过深度模式门限TSi；
[0019] (5)根据第一帧视频中同一大小预测单元的楔形划分模式DMM1下的代价值JSSE，计算第一帧视频的粗选深度模式命中率HD，当HD＝85％时分别得到深度模式门限TDi；
[0020] (6)根据第一帧视频中同一大小预测单元的细选最佳代价JRD值，计算出第一帧视频的细选命中率HR；当HR＝80％时得到细选门限TR1，当HR＝90％时得到细选门限TR2，当HR＝99％时得到细选门限TR3；
[0021] (7)根据细选的最佳模式MR的类型，设置01模式门限T01i和其他细选门限TLi：若细选的最佳模式MR为模式0或模式1时，则设01模式门限T01i为细选门限TRi，即T01i＝TRi；
[0022] 若细选的最佳模式MR为模式2到模式38时，则根据这些模式下的同一大小预测单元细选的最佳代价JRD计算出其他模式命中率HL；HL＝80％时得到其他模式门限TL1，HL＝90％时得到其他模式门限TL2，HL＝99％时得到其他模式门限TL3；
[0023] (8)对预测单元进行粗选：
[0024] (8a)计算当前预测单元35种普通帧内预测模式的代价值，找到普通帧内预测模式的最小代价值JSATD，执行步骤(8b)；
[0025] (8b)当预测单元普通帧内预测模式的最小代价JSATD大于相同大小预测单元的跳过深度模式门限TSi时，跳出当前预测单元，进入其子预测单元，返回步骤(8a)；否则将35种普通帧内预测模式中代价值最小的3或8种模式加入最佳模式候选列表中，计算当前预测单元的深度模式的代价值，并记录深度模式中楔形划分模式DMM1的代价值JSSE，执行步骤(8c)；
[0026] (8c)当楔形划分模式DMM1的代价值JSSE大于相同大小预测单元的深度模式门限TDi或深度预测模式不计算时，且预测单元普通帧内预测模式的最小代价JSATD大于相同大小预测单元的帧内模式门限TEi时，跳出当前预测单元，进入其子预测单元，返回步骤(8a)；否则，将两个深度模式加入最佳模式候选列表中，执行步骤(9)；
[0027] (9)对预测单元进行细选：
[0028] (9a)当最佳模式候选列表中代价值最小的模式MI为模式0，且没有计算当前预测单元的深度预测模式，则细选时只计算模式0作为最佳模式MR，并把其代价值作为细选最小代价JRD；否则计算最佳模式候选列表中的全部模式的代价，选出细选最小代价JRD，其对应模式为最佳模式MR，执行步骤(9b)；
[0029] (9b)当细选最佳模式MR是模式0或模式1且细选最佳代价JRD小于相同大小预测单元01模式门限时，或MR>＝2且JRD小于相同大小预测单元其他模式门限时，跳过其所有子预测单元的计算过程，执行步骤(9c)；否则进入当前预测单元的子预测单元，返回步骤(8)；
[0030] (9c)判断当前最大预测单元是否完成所有预测处理。若有，则进入下一个预测单元，返回步骤(8)，若无，则进入步骤(9d)；
[0031] (9d)判断当前编码帧中是否还有未编码的预测单元，若有，则设N＝32并返回步骤(8a)，若无，则进入步骤(10)。
[0032] (10)更新编码周期
[0033] (10a)判断编码帧周期中是否存在待编码帧，若本编码帧周期中还有待编码帧，则返回步骤8，对下一帧进行预测编码，否则执行步骤(10b)；
[0034] (10b)判断所有编码帧是否全部预测编码结束，若仍有待编码帧，则返回步骤(2)，进入下一个编码周期；否则结束编码。
[0035] 本发明主要从预测单元提前划分和预测单元提前终止的层角度来降低编码复杂度，并同时结合了细选跳过最佳模式候选列表中的所有模式的模式角度，有效降低了编码的复杂度。仿真结果表明，本发明平均降低复杂度50％左右，且性能变化在可接受范围内，而已有的大部分方法只能降低30％左右的方法复杂度，可见本发明在复杂度的降低方面明显优于其他方法。
附图说明
[0036] 图1是3D-HEVC深度图预测单元的四叉树划分结构
具体实施方式
[0038] 参照图2，本发明的实现步骤如下：
[0039] 步骤1：初始化：
[0040] 创建六个空的txt文件，分别命名为s32.txt、u32.txt、s16.txt、u16.txt、s8.txt、u8.txt；
[0041] 创建18个门限，即帧内模式门限TEi、深度模式门限TDi、跳过深度模式门限TSi、细选门限TRi、01模式门限T0i、其他模式门限TLi；i＝1、2、3，其中i＝1表示大小为32x32的预测单元、i＝2表示大小为16x16的预测单元、i＝3表示大小为8x8的预测单元。
[0042] 步骤2：统计测试序列相关数据。
[0043] 对HTM13.0代码配置allintra.cfg文件，并运行测试序列一个编码周期中第一帧视频，得到最佳模式候选列表中代价最小的模式MI及普通帧内模式最小代价值JSATD，楔形划分代价值JSSE，最佳预测模式MR，细选最小代价值JRD及最优划分；
[0044] 将这些得到的数据进行如下分类存储：
[0045] 把当前预测单元大小为32x32，但得到最优划分不是32x32的数据存放在第一个空文件s32.txt中；
[0046] 把当前预测单元大小为32x32，且得到最优划分仍为32x32的数据存放在第二个空文件u32.txt中；
[0047] 把当前预测单元大小为16x16，但得到最优划分不是16x16的数据存放在第三个空文件s16.txt中；
[0048] 把当前预测单元大小为16x16，且得到最优代价的划分仍为16x16的数据存放在第四个空文件u16.txt中；
[0049] 把当前预测单元大小为8x8，但得到最优划分不是8x8的数据存放在第五个空文件s8.txt中；
[0050] 把当前预测单元大小为8x8，且得到最优划分仍为8x8的数据存放在第六个空文件u8.txt中。
[0051] 以上这些数据用来计算本编码周期的门限，并应用于本编码周期中。
[0052] 步骤3：计算粗选需要用到的门限。
[0053] 3a)读取同一预测单元大小的两个txt文件，得到每个预测单元划分的普通帧内模式最小代价值JSATD和每个预测单元不划分的普通帧内模式最小代价值JSATD，计算粗选帧内命中率HE：
[0054]
[0055] 其中N1是指当普通帧内模式最小代价JSATD大于阈值时，一帧视频中同一大小预测单元划分的个数；N2是指当普通帧内模式最小代价JSATD大于阈值时，一帧视频中同一大小预测单元不划分的个数；
[0056] 3b)读取文件s32.txt和u32.txt，根据公式<1>计算32x32粗选帧内命中率HE1；当HE1＝90％时，得到预测单元大小为32x32的跳过深度模式门限TS1；当HE1＝75％时，得到预测单元大小为32x32的帧内模式门限TE1；
[0057] 3c)读取文件s16.txt和u16.txt，根据公式<1>计算16x16粗选帧内命中率HE2；当HE2＝90％时，得到预测单元大小为16x16的跳过深度模式门限TS2；当HE2＝75％时，得到预测单元大小为16x16的帧内模式门限TE2；
[0058] 3d)读取文件s8.txt和u8.txt，根据公式<1>计算8x8粗选帧内命中率HE3；当HE3＝90％时，得到预测单元大小为8x8的跳过深度模式门限TS3；当HE3＝75％时，得到预测单元大小为8x8帧内模式门限TE3；
[0059] 3e)读取第一帧视频中同一预测单元大小的两个txt文件，得到每个预测单元划分的楔形划分代价值JSSE和每个预测单元不划分的楔形划分代价值JSSE，计算粗选深度模式命中率HD：
[0060]
[0061] 其中N3是指当楔形划分代价值JSSE大于阈值时，一帧视频中同一大小预测单元划分的个数，N4是指当楔形划分代价值JSSE大于阈值时，一帧视频中同一大小预测单元不划分的个数；
[0062] 3f)读取文件s32.txt和u32.txt，根据公式<2>计算32x32粗选深度模式命中率HD1；当HD1＝85％时，得到预测单元大小为32x32的深度模式门限TD1；
[0063] 3g)读取文件s16.txt和u16.txt，根据公式<2>计算16x16粗选深度模式命中率HD2；当HD2＝85％时，得到预测单元大小为16x16的深度模式门限TD2；
[0064] 3h)读取文件s8.txt和u8.txt，根据公式<2>计算8x8粗选深度模式命中率HD3；当HD3＝85％时，得到预测单元大小为8x8的深度模式门限TD3。
[0065] 步骤4：计算细选门限TRi。
[0066] 4a)读取统一预测单元大小的两个txt文件，得到每个预测单元划分的细选最佳代价值JRD和每个预测单元不划分的细选最佳代价值JRD，计算出细选命中率HR：
[0067]
[0068] 其中N5是指当细选最小代价JRD小于阈值时，一帧视频中同一大小预测单元划分的个数；N6是指当细选最小代价JRD小于阈值时，一帧视频中同一大小预测单元不划分的个数；
[0069] 4b)读取文件s32.txt和u32.txt，根据公式<3>计算32x32细选命中率HR1；当HR1＝80％时，得到预测单元大小为32x32的细选门限TR1；
[0070] 4c)读取文件s16.txt和u16.txt，根据公式<3>计算16x16细选命中率HR2；当HR2＝90％时，得到预测单元大小为16x16的细选门限TR2；
[0071] 4d)读取文件s8.txt和u8.txt，根据公式<3>计算8x8细选命中率HR3；当HR3＝99％时，得到预测单元大小为8x8的细选门限TR3。
[0072] 步骤5：计算01模式门限T01i和其他模式门限TLi。
[0073] 5a)若最佳预测模式MR为模式0或模式1时，则设01模式门限T01i的值等于细选门限TRi，即T01i＝TRi；
[0074] 5b)若最佳预测模式MR为模式2到模式38时，读取统一预测单元大小的两个txt文件，得到每个预测单元划分的细选最佳代价值JRD和每个预测单元不划分的细选最佳代价值JRD，计算其他模式命中率HL：
[0075]
[0076] 其中N7是指预测单元细选最佳模式为2到38模式时且细选最小代价JRD小于阈值时，一帧视频中同一大小预测单元划分的个数；N8是指预测单元细选最佳模式为2到38模式时且细选最小代价JRD小于阈值时，一帧视频中同一大小预测单元不划分的个数；
[0077] 5c)读取文件s32.txt和u32.txt，根据公式<4>计算32x32其他模式命中率HL1；当HL1＝80％时，得到预测单元大小为32x32的其他模式门限TL1；
[0078] 5d)读取文件s16.txt和u16.txt，根据公式<4>计算16x16其他模式命中率HL2；当HL2＝90％时，得到预测单元大小为16x16的其他模式门限TL2；
[0079] 5e)读取文件s8.txt和u8.txt，根据公式<4>计算8x8其他模式命中率HL3；当HL3＝99％时，得到预测单元大小为8x8的其他模式门限TL3。
[0080] 步骤6：对预测单元进行粗选。
[0081] 6a)初始预测模块为一个编码帧周期中首个编码帧的首个最大预测单元NxN，其中N值为32。
[0082] 6b)计算当前大小为NxN预测单元的35种普通帧内预测模式的代价值，将35种普通帧内预测模式中代价值最小的3或8种模式加入最佳模式候选列表中，找到普通帧内预测模式的最小代价值JSATD；若N等于4，则将预测单元在两个深度模式下的划分结果加入最佳模式候选列表中，执行步骤7；否则，执行步骤6c)；
[0083] 6c)当预测单元普通帧内模式最小代价JSATD大于NxN预测单元的跳过深度模式门限TSi时，跳出当前预测单元，进入其子预测单元，其子预测单元NxN，此时N变为N/2，返回步骤6b)；否则计算当前预测单元的深度模式的代价值，并记录深度模式中楔形划分模式DMM1的代价值JSSE，执行步骤6d)；
[0084] 6d)当楔形划分模式DMM1的代价值JSSE大于NxN预测单元的深度模式门限TDi或深度预测模式不计算，且预测单元普通帧内预测模式的最小代价JSATD大于相同大小预测单元的帧内模式门限TEi时，跳出当前预测单元，进入其子预测单元，N变为N/2，返回步骤6b)；否则，将两个深度模式加入最佳模式候选列表中，执行步骤7。
[0085] 步骤7：对预测单元进行细选。
[0086] 预测单元的细选是对最佳模式候选列表中的所有模式帧内预测后的残差计算代价，选出代价值最小的一个模式作为最佳模式，其代价值为细选最小代价，即将每个大预测单元的细选最小代价值与其四个子预测单元的细选最小代价和进行比较，选取最小的代价值作为最终代价值，对应的预测单元确定为最终划分结果：
[0087] 7a)若当前预测单元最佳模式候选列表中代价值最小的模式MI为模式0，且没有计算当前预测单元的深度预测模式，则细选时只计算模式0作为最佳模式MR，并把其代价值作为细选最小代价JRD；否则计算最佳模式候选列表中的全部模式的代价，选出细选最小代价JRD，其对应模式为最佳模式MR，若N＝4，执行步骤7c)；否则，执行步骤7b)；
[0088] 7b)若当前预测单元细选最佳模式MR是模式0或模式1且细选最佳代价JRD小于相同大小预测单元01模式门限T0i时，或MR>＝2且JRD小于相同大小预测单元其他模式门限TLi时，则跳过其所有子预测单元的计算过程，执行步骤7c)；否则进入当前预测单元的子预测单元NxN，此时N变为N/2，返回步骤6a)；
[0089] 7c)判断当前大小为32x32的最大预测单元是否完成所有预测处理。若有，则下个预测单元的大小根据HTM中递归编码流程来确定，返回步骤6b)，若无，则进入步骤7d)。
[0090] 7d)判断当前编码帧中是否还有未编码的预测单元，若有，则设N＝32并返回步骤6b)，若无，则进入步骤8。
[0091] 步骤8：更新编码周期。
[0092] 8a)判断编码帧周期中是否存在待编码帧，若本编码帧周期中还有待编码帧，则返回步骤6，对下一帧进行预测编码，否则执行步骤8b)；
[0093] 8b)判断所有编码帧是否全部预测编码结束，若仍有待编码帧，则返回步骤2，进入下一个编码周期；否则结束编码。
[0094] 本发明的效果可以用以下实验结果进一步说明：
[0095] 1.测试条件
[0096] 选择主机处理器为Intel Core 2Duo CPU，内存为4GB，系统类型为64位
操作系统，测试平台是HTM13.0。
[0097] 2.测试内容
[0098] 在测试平台HTM13.0上，用本发明方法和现有的标准方法对多个测试序列的四组量化参数QP进行测试并进行比较，得到比较后的测试结果。其中普通视图QP＝25时深度图QP＝35，普通视图QP＝30时深度图QP＝39，普通视图的QP＝35时深度图QP＝42，普通视图QP＝40时深度图QP＝45，测试结果如表1：
[0099] 表1本发明与标准方法比较后的测试结果
[0100]
[0101] 从表1可以看出，本发明比标准方法的深度图编码时间减少了56.32％，比总编码时间减少了50.12％，合成视频的平均性能变化BD-rate为1.42％。
[0102] 测试结果表明：本发明在大幅降低了编码复杂度的同时，其性能变化能在可接受的范围内。
