技术领域
[0001]
发明涉及信源编码通信技术领域，具体为一种基于ROI区域的HEVC快速编码方法。
背景技术
[0002] 国际标准组织ITU-T的运动图像专家组VCEG和ISO的移动图像专家组MPEG成立了
视频编码合作组JCT-VC，制定了新一代高性能视频编码标准HEVC。HEVC编码标准的主要目标是在H.264/AVC标准的
基础上将高
分辨率/高保真的视频图像压缩效率提高一倍，即在保证相同视频图像
质量的前提下，使
视频流的码率减少50％，进而更好地适应各种不同的网络环境，HEVC编码效率提高1倍的目标已经实现，但由于在编码结构上使用了四叉树结构(quadtree structure)和更大的编码单元(LCU)，导致
编码器的计算复杂度显著提高，编码时间上无法满足实时性要求，HEVC在获得高压缩性能的同时也带来了极高的计算复杂度这一问题，这对于视频编码技术的长期发展来说显然是不利的。因此，如何在保存HEVC编码压缩效率和图像质量的前提下，显著地降低编码的计算量，加快编码速度就变得尤其重要。
[0003] 为了提高压缩效率，HEVC中编码单元CU采用四叉树递归划分，以CU的尺寸和深度Depth来表征CU的两大特征。每一
帧图像首先按顺序依次被分割为64*64大小的LCU，每一个LCU编码深度从0到3，被递归的分割成4种深度的(尺寸大小分别为64*64，32*32，16*16，8*8)的CU，构成四叉树编码结构。在HEVC帧间编码过程中，处于每一种编码深度下的CU，都有其对应的PU划分模式，进行
运动估计ME与
运动补偿MC。如图1所示，对于每一种深度d下的CU，其帧间预测模式包括SKIP/merge、正方形分割(Square，Inter 2N*2N，Inter N*N)、对称分割(SMP，Inter 2N*N，Inter N*2N)、非对称分割(AMP，Inter 2N*nU，Inter 2N*nD，Inter nL*2N，Inter nR*2N,)、以及intra modes(intra 2N*2N,intra N*N)。
[0004] HEVC编码器针对不同深度下的CU，都会自顶向下地对所有分割方式(SKIP/merge、Square、SMP、AMP以及intra modes)进行运动估计与运动补偿，在参考
软件HM12.0中帧间预测函数调用流程如图2所示，由LCU(编码深度d＝0)开始直至最小编码单元SCU(编码深度d＝3)结束，对每一层深度的CU中分别执行图2中的函数调用流程，对其中每一种帧间预测模式逐一计算率失真代价RD-Cost(Rate Distortion Cost)，找到率失真代价最小的PU分割方式作为当前CU的最佳PU预测模式。显然，这种遍历计算过程使得编码端的计算复杂度非常高，进行视频压缩所消耗的编码时间较长，无法满足实时性视频压缩需求。由此可见，HEVC的帧间预测过程引入了大量运算复杂度，如何有效降低编码器的运算量成为目前亟待解决的问题。
[0005]
现有技术的缺点：为了降低HEVC编码过程的复杂度，近两年已有若干新
算法被提出。有的利用图像的纹理信息和稳定区域检测信息，通过设定
门限值的方式判定当前CU是否需要进一步分割；有的利用率失真(RD)代价确定门限值提前终止当前CU的继续分割，而对于帧间预测模式的选择未进行有效处理；有的利用灰度差的分布特性对当前
块进行分割处理，但灰度二值化滤波的失真较大，其效果并不理想；有的利用光流法计算金字塔运动发散(PMD)的特征值判定CU的分割情况，有效降低了复杂度，但对于
运动矢量间的相关性未充分考虑，导致编码RD性能不佳；有的利用JND模型和ADD决策进行编码深度和帧间预测模式的快速
选定，但对于纹理复杂的序列该算法降低复杂度的效果有限；有的通过
时空域相邻CU的加权进行深度值预测，减少最大编码单元(LCU)的深度遍历次数，但其固定的权重算法未考虑序列之间的差异性，导致其预测的深度范围存在误差的问题。
发明内容
[0006] 发明的目的在于提供一种基于ROI区域的HEVC快速编码方法，以解决上述背景技术中提出的问题。
[0007] 为实现上述目的，发明提供如下技术方案：一种基于ROI区域的HEVC快速编码方法，其特征在于：具体包括以下步骤：
[0008] S1、感兴趣区域的确定：利用多帧图像差分算法计算得到感兴趣区域：设f(x,y,i-1)、f(x,y,i)和f(x,y,i+1)为视频
图像序列中连续的三帧图像，分别对它们进行两两差分运算，其中Df(x,y,i-1,i)为前一帧f(x,y,i-1)与当前帧f(x,y,i)之间二值差分图像，Df(x,y,i,i+1)为当前帧f(x,y,i)与下一帧f(x,y,i+1)之间二值差分图像，然后对二值差分图像进行与运算Df(x,y,i)＝Df(x,y,i-1,i)∩Df(x,y,i,i+1)，只有当Df(x,y,i-1,i)＝1和Df(x,y,i,i+1)＝1同时成立时，Df(x,y,i)＝1才成立，就认为是第i帧图像中的感兴趣区域；
[0009] S2、CU块深度的确定：CU块大小的选择取决于图像的复杂度和运动的剧烈程度。对于背景静止或平稳区域即非感兴趣区域，采用较大的CU块就能够较好地表达图像信息；而对于复杂的运动区域即感兴趣区域，较小的CU块能够更好地表达图像的细节信息。由于视频序列中相邻帧之间在时域上存在很强的相关性，因此视频中相邻两帧的同一
位置对应的CU之间，处于运动变换较小的平滑区域所对应残差数值分布比较均匀，其继续向下一层深度划分的趋势减弱；而在运动剧烈的区域，残差数值
波动较大，适合采用更小的CU尺寸进行处理，即CU的尺寸大小与相邻帧同位置CU的
像素残差分布具有密切关系，由此可以定义深度为d的CU的FDD：
[0010]
[0011]
[0012] 其中： 代表当前帧CU块坐标(x,y)位置处的像素值； 代表相邻帧的相同位置CU的(x,y)处像素值；Δx和Δy分别为已编码参考帧中匹配块的预测运动矢量PMV在
水平和垂直方向上的分量，Md代表当前编码深度指数，即Md＝2d，d∈[0,3]； 代表当前深度下CU块的边长；FDDd反映了残差中个数据值的差异程度，对于某深度下的CU，FDDd越小，残差分布越均匀，继续向下一级深度分割的趋势越小；若当前CU的FDDd值较小，可认为当前CU与前一帧CU在纹理与运动变化差异较小，两个CU的相似度较大；
[0013] S3、CU块预测模式的确定：进一步区分感兴趣区域来细化预测模式，对于感兴趣区域中不同位置的CU块对应不同的候选预测模式，这样可以排除感兴趣区域中不必要帧间预测模式，以达到减少运动复杂度的目的；因此，对于处于感兴趣区域边缘的CU块，候选预测模式为AMP和intra modes，对于处于感兴趣区域中间位置的CU块，候选预测模式为Square和SMP；
[0014] S4、总体流程：
[0015] ①利用多帧图像差分算法计算得到感兴趣区域ROI的二值图；②若当前CU块不在感兴趣区域之内，则只采用大的CU块进行预测，块尺寸为64*64，32*32；如果在深度为d＝0的LCU计算得到FDD0＝0，则说明当前LCU与相邻帧的LCU基本一致，可以直接跳出后续的子块划分过程，且判定当前LCU的帧间预测模式为SKIP/merge；如果在深度为d＝0计算得到FDD0不为0，则深度加一变为d＝1即划分为4个32*32块进行Square模式的帧间预测；③若当前CU块在感兴趣区域之内，则需要对图像进行细化处理，只采用小的CU块进行预测，块尺寸为16*16，8*8；从深度d＝2开始，对每个CU进行FDDd运算并和其4个子块的FDDd+1比较，若4个子块的FDDd+1之和大于当前CU的FDDd，则分割终止，就以当前CU的深度d＝2进行帧间预测，如果当前CU处于感兴趣区域边缘，那么候选预测模式为AMP和intra modes；如果当前CU处于感兴趣区域中间位置，那么候选预测模式为Square和SMP；如果四个CU子块的FDDd+1值比父块FDDd的值小，则对该CU进行分割，采用下一级深度d＝3进行帧间预测，如果当前CU处于感兴趣区域边缘，那么候选预测模式为AMP和intra modes；如果当前CU处于感兴趣区域中间位置，那么候选预测模式为Square和SMP。
[0016] 与现有技术相比，发明的有益效果是：该基于ROI区域的HEVC快速编码方法，通过多帧图像差分算法简单有效地识别感兴趣区域，通过感兴趣区域、非感兴趣区域和比较残差值大小来确定CU块的编码深度，再通过CU块处于非感兴趣区域、感兴趣区域的边缘和感兴趣区域的非边缘三种不同的位置，选取不同候选预测模式，排除不必要帧间预测模式，减少不必要模式判定过程，达到减少运动复杂度的目的，使编码效率进一步提高。
附图说明
[0017] 图1为现有技术中HEVC帧间预测分割模式示意图；
[0018] 图2为现有技术中参考软件HM12.0中帧间预测函数调用流程示意图；
[0019] 图3为一种基于ROI区域的HEVC快速编码方法的算法流程示意图；
[0020] 图4为一种基于ROI区域的HEVC快速编码方法的感兴趣区域ROI示意图。
具体实施方式
[0021] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0022] 请参阅图1-4，发明提供一种技术方案：一种基于ROI区域的HEVC快速编码方法，其特征在于：具体包括以下步骤：
[0023] S1、感兴趣区域的确定：在视频播放过程中，通常并不是图像的全部信息都受到同样关注，人眼最关注的往往是其中某一部分，该部分通常被称为感兴趣区域，在感兴趣区域编码中，通常人工划定或者采用规则形状，如矩形或圆形给出一个大致的区域，但并不能精确地给出人眼真正感兴趣的区域，如果该区域出现错误或者大范围失真，就会严重影响视频的观看质量；利用多帧图像差分算法计算得到感兴趣区域：设f(x,y,i-1)、f(x,y,i)和f(x,y,i+1)为视频图像序列中连续的三帧图像，分别对它们进行两两差分运算，其中Df(x,y,i-1,i)为前一帧f(x,y,i-1)与当前帧f(x,y,i)之间二值差分图像，Df(x,y,i,i+1)为当前帧f(x,y,i)与下一帧f(x,y,i+1)之间二值差分图像，然后对二值差分图像进行与运算Df(x,y,i)＝Df(x,y,i-1,i)∩Df(x,y,i,i+1)，只有当Df(x,y,i-1,i)＝1和Df(x,y,i,i+1)＝1同时成立时，Df(x,y,i)＝1才成立，就认为是第i帧图像中的感兴趣区域；
[0024] 如图4所示，左边为原图，右边为标识感兴趣区域ROI的二值图，通过多帧图像差分算法能够简单有效地识别感兴趣区域，为视频编码的快速编码提供条件。
[0025] S2、CU块深度的确定：CU块大小的选择取决于图像的复杂度和运动的剧烈程度。对于背景静止或平稳区域即非感兴趣区域，采用较大的CU块就能够较好地表达图像信息；而对于复杂的运动区域即感兴趣区域，较小的CU块能够更好地表达图像的细节信息。由于视频中相邻帧之间在时域上存在很强的相关性，且视频的帧率越高，相关性越强，因此视频中相邻两帧的同一位置对应的CU之间，处于运动变换较小的平滑区域所对应残差数值分布比较均匀，其继续向下一层深度划分的趋势减弱；而在运动剧烈的区域，残差数值波动较大，适合采用更小的CU尺寸进行处理，即CU的尺寸大小与相邻帧同位置CU的像素残差分布具有密切关系，由此可以定义深度为d的CU的FDD：
[0026]
[0027]
[0028] 其中： 代表当前帧CU块坐标(x,y)位置处的像素值； 代表相邻帧的相同位置CU的(x,y)处像素值；Δx和Δy分别为已编码参考帧中匹配块的预测运动矢量PMV在水平和垂直方向上的分量，Md代表当前编码深度指数，即Md＝2d，d∈[0,3]； 代表当前深度下CU块的边长；FDDd反映了残差中个数据值的差异程度，对于某深度下的CU，FDDd越小，残差分布越均匀，继续向下一级深度分割的趋势越小；若当前CU的FDDd值较小，可认为当前CU与前一帧CU在纹理与运动变化差异较小，两个CU的相似度较大；
[0029] S3、CU块预测模式的确定：CU块预测模式的确定，由于在帧间预测的过程中，处在均匀背景区域即非感兴趣区域CU通常编码深度较小，预测模式相对简单，如SKIP/merge mode，inter 2N*2N；而处在激烈运动区域即感兴趣区域的CU编码深度较大，相应的预测模式也更加多样，如SMP、AMP和intra modes；进一步区分感兴趣区域来细化预测模式，对于感兴趣区域中不同位置的CU块对应不同的候选预测模式，这样可以排除感兴趣区域中不必要帧间预测模式，以达到减少运动复杂度的目的；因此，对于处于感兴趣区域边缘的CU块，候选预测模式为AMP和intra modes，对于处于感兴趣区域中间位置的CU块，候选预测模式为Square和SMP；
[0030] S4、总体流程：
[0031] ①利用多帧图像差分算法计算得到感兴趣区域ROI的二值图；②若当前CU块不在感兴趣区域之内，则只采用大的CU块进行预测，块尺寸为64*64，32*32；如果在深度为d＝0的LCU计算得到FDD0＝0，则说明当前LCU与相邻帧的LCU基本一致，可以直接跳出后续的子块划分过程，且判定当前LCU的帧间预测模式为SKIP/merge；如果在深度为d＝0计算得到FDD0不为0，则深度加一变为d＝1即划分为4个32*32块进行Square模式的帧间预测；③若当前CU块在感兴趣区域之内，则需要对图像进行细化处理，只采用小的CU块进行预测，块尺寸为16*16，8*8；从深度d＝2开始，对每个CU进行FDDd运算并和其4个子块的FDDd+1比较，若4个子块的FDDd+1之和大于当前CU的FDDd，则分割终止，就以当前CU的深度d＝2进行帧间预测，如果当前CU处于感兴趣区域边缘，那么候选预测模式为AMP和intra modes；如果当前CU处于感兴趣区域中间位置，那么候选预测模式为Square和SMP；如果四个CU子块的FDDd+1值比父块FDDd的值小，则对该CU进行分割，采用下一级深度d＝3进行帧间预测，如果当前CU处于感兴趣区域边缘，那么候选预测模式为AMP和intra modes；如果当前CU处于感兴趣区域中间位置，那么候选预测模式为Square和SMP，具体流程如图3所示。
[0032] 该基于ROI区域的HEVC快速编码方法，通过多帧图像差分算法简单有效地识别感兴趣区域，通过感兴趣区域、非感兴趣区域和比较残差值大小来确定CU块的编码深度，再通过CU块处于非感兴趣区域、感兴趣区域的边缘和感兴趣区域的非边缘三种不同的位置，选取不同候选预测模式，排除不必要帧间预测模式，减少不必要模式判定过程，达到减少运动复杂度的目的，使编码效率进一步提高。
[0033] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些
修改和变型属于本发明
权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
