技术领域
[0001] 本
发明属于视频编解码技术领域，具体涉及一种3D视频
深度图像残差编码模式选择方法。
背景技术
[0002] 随着3D电影和电视的发展，3D视频技术成为近年研究的热点。H.265是联合视频开发组在2013年发布的新一代的国际
视频编码标准。其主体架构与H.264相似，但H.265能在有限带宽下传输更高
质量的视频，即H.265只需H.264的一半的带宽就可以传输相同质量的视频。同时H.265使用多种方式降低码率。H.265相较于H.264最重要的发展就是扩展了3D-HEVC标准。
[0003] 3D视频采用多视点加深度图格式(MVD)，这种格式对捕获的视点图像和与其相关联的深度图进行编码，并将得到的比特流一起作为3D视频的比特流。在视频和深度图解码后，通过使用
渲染技术(DIBR)加入适合3D内容显示的中间视点实现自动立体的显示效果的合成。多视点加深度图像的编码的一个重要的组成部分就是深度图像的压缩编码。深度图像以锐利的物体边界和大部分的平坦区域为特征，其
像素值代表物体与摄像镜头的距离。深度图像不是用来直接观看的，而是用来合成虚拟视点。传统意义上的多视点图像是用紧密排列的摄像机同时录像，通过将所有摄像机录制的视频合成产生3D效果。采用这种方式得到的3D视频基线固定，长时间观看会令人产生眩晕感。H.265使用多视点加深度图像得到的3D视频是纹理图像和深度图像合成的虚拟视点，其基线可调，在保证3D视频质量的同时，节省设备开支。
[0004] 但深度图像的引入增加了编解码的复杂度，在
帧内编码阶段不仅要对纹理图像编码还要对深度图像进行压缩编码。和纹理图像的编码不同，深度图像需要保留高
频率的物体边界，而对于平坦区域可进行压缩。深度图像帧内模式选择由四个步骤组成：1)rough mod选择；2)DMM模式选择；3)残差编码模式选择SDC(segment-wise DC coding)或non-SDC；4)实际编码。粗糙模式选择根据低复杂度的率失真代价计算为当前PU选出几个常用的HEVC帧内模式(CHIMs)并加入候选模式列表。然后，在大量候选模式中选出最优的楔形分割模式并加入候选模式列表。在步骤3)中，通过基于VSO的率失真函数为每个由粗糙模式选择选出的候选模式选择残差编码模式。在这个过程中，步骤2)DMM模式选择和步骤3)残差模式选择因为有大量的模式候选项因此会消耗大部分的时间。
发明内容
[0005] 本发明的目的在于提供一种使用纹理平滑信息的3D视频残差编码模式选择方法，在保证合成视
角中视频质量的前提下，通过使用纹理图像平坦信息加快对深度图像帧内编码残差模式的选择，并降低深度图像帧内残差模式选择的计算复杂度。
[0006] 实现本发明目的的技术解决方案为：一种使用纹理平滑信息的3D视频残差编码模式选择方法，使用纹理图像信息对预测单元即PU分类，不同类别PU的残差编码模式的选择方式不同，包括如下步骤：
[0007] 步骤1：在残差编码部分引入分类器对PU进行分类，收集统计数据，计算分类器
阈值T；
[0008] 步骤2：判断当前PU
水平方向像素梯度和是否小于分类器阈值T，如果小于阈值T直接跳到步骤4，否则继续步骤3；
[0009] 步骤3：计算模式列表里所有模式采用non-SDC残差编码时的率失真代价；
[0010] 步骤4：计算模式列表里所有模式采用SDC残差编码时的率失真代价；
[0011] 步骤5：比较步骤3和步骤4计算出来的率失真代价，选出最优的残差编码方式对当前PU
块编码；如果在步骤2中跳过步骤3，则不作比较直接采用SDC残差编码对当前PU编码。
[0012] 进一步地，步骤1所述在残差编码部分引入分类器对PU进行分类，其中分类器为特征分类器，所选用特征为PU的水平像素梯度和Grad，定义为p(x,y)表示当前块在
位置(x,y)处的纹理
像素值，S为当前PU块单行或单列包含的像素数。
[0013] 进一步地，步骤1所述分类器阈值T通过贝叶斯决策得到：
[0014] 残差模式的选择看成一个二分类问题ΨR：W＝{ωsdc,ωnon-sdc}，ΨR是分类器，W是包含两个元素的集合，ωsdc表示SDC是最优的残差模式，non-SDC残差验证需要跳过；ωnon-sdc表示按照HTM-13.0原来顺序检验SDC和non-SDC；
[0015] 根据贝叶斯决策，ω的后验概率p(ωi|x)定义为前验概率p(x|ωi)与似然函数p(ωi)乘积再与概率
密度函数p(x)的商： ωi为样本类别的第i类，i为样本类别序号，x为
指定条件；
[0016] 所以，分类器ΨR表示为：
[0017]
[0018] 实验表明，p(x|ωi)服从高斯分布，用高斯分布描述p(x|ωi)：
[0019]
[0020] 其中，参数μ和σ用最大似然估计得到，μ、σ的最大似然估计 为：
[0021]
[0022] 其中，n是视频序列前8帧图像即第一个GOP的样本总数，k为视频序列前8帧图像的样本编号，这些图像使用HTM-13.0编码方式编码；xk是样本的水平像素梯度和Grad；所以，分类器阈值T定义为：
[0023] 本发明与
现有技术相比，其显著优点在于：(1)利用纹理图像平滑信息，使用PU块水平像素梯度和作为特征对当前PU进行分类；(2)根据PU的类别分别进行不同的残差编码模式选择，若当前PU的水平像素梯度和小于阈值则跳过non-SDC率失真代价计算直接进行SDC率失真代价计算，在提高了编码的速度的同时，可以有效保留边界，从而保证了合成视角的视频质量。
附图说明
[0024] 图1是本发明使用纹理平滑信息的3D视频残差编码模式选择方法的结构图。
[0025] 图2是本发明使用纹理平滑信息的3D视频残差编码模式选择方法的整体
框架图。
[0026] 图3是水平像素梯度和类条件密度图。
[0027] 图4是每个基准视频深度图和纹理图，其中(a1)～(g1)为基准视频纹理图，(a2)～(g2)为基准视频纹理图(a1)～(g1)对应的深度图。
[0028] 图5是RCM
算法在不同QP下节省的编码时间比例图。
具体实施方式
[0029] 本发明提出的使用纹理平滑信息的3D视频残差编码模式选择方法，使用纹理图像信息对预测单元即PU分类，不同类别PU的残差编码模式的选择方式不同，对特征值小于阈值的PU块直接跳过non-SDC率失真代价计算，进而减少计算率失真代价时间和复杂度。如图1～2所示，本发明使用纹理平滑信息的3D视频残差编码模式选择方法，包括如下步骤：
[0030] 步骤201：在残差编码部分引入分类器对PU进行分类，收集统计数据，计算分类器阈值T；
[0031] 所述在残差编码部分引入分类器对PU进行分类，其中分类器为特征分类器，所选用特征为PU的水平像素梯度和Grad，定义为px,y表示当前块在位置x,y处的纹理像素值，S为当前PU块单行或单列包含的像素数。
[0032] 所述分类器阈值T通过贝叶斯决策得到：
[0033] 残差模式的选择看成一个二分类问题ΨR：W＝{ωsdc,ωnon-sdc}，ΨR是分类器，W是包含两个元素的集合，ωsdc表示SDC是最优的残差模式，non-SDC残差验证需要跳过；ωnon-sdc表示按照原来顺序检验SDC和non-SDC；
[0034] 根据贝叶斯决策，ω的后验概率p(ωi|x)定义为前验概率p(x|ωi)与似然函数p(ωi)乘积再与概率密度函数p(x)的商： ωi为样本类别的第i类，i为样本类别序号，x为指定条件；
[0035] 所以，分类器ΨR表示为：
[0036]
[0037] 实验表明，p(x|ωi)服从高斯分布，用高斯分布描述p(x|ωi)：
[0038]
[0039] 其中，参数μ和σ用最大似然估计得到，μ、σ的最大似然估计 为：
[0040]
[0041] 其中，n是视频序列前8帧图像即第一个GOP的样本总数，k为视频序列前8帧图像的样本编号，这些图像使用HTM-13.0编码方式编码；xk是样本的水平像素梯度和Grad；所以，分类器阈值T定义为：
[0042] 步骤202：判断当前PU水平方向像素梯度和是否小于分类器阈值T，如果小于阈值T直接跳到步骤204，否则继续步骤203；
[0043] 步骤203：计算模式列表里所有模式采用non-SDC残差编码时的率失真代价；
[0044] 步骤204：计算模式列表里所有模式采用SDC残差编码时的率失真代价；
[0045] 步骤205：比较步骤203和步骤204计算出来的率失真代价，选出最优的残差编码方式对当前PU块编码；如果在步骤202中跳过步骤203，则不作比较直接采用SDC残差编码对当前PU编码
[0046] 上述步骤201中引入分类器对PU分类，分类器阈值T通过贝叶斯决策得到，其大体思路如下：
[0047] 因为多视点加深度视频可被紧密相邻的平行的摄像机捕获，所以深度图像的扭曲只能发生在水平方向。因此，水平方向上纹理像素值的强度可反映深度失真的包含能
力。纹理强度越大，深度失真的容限越大。残差模式的选择可以看成一个二分类问题ΨR：W＝{ωsdc,ωnon-sdc}，ΨR是分类器，ωsdc表示SDC是最优的残差模式，non-SDC残差验证需要跳过；ωnon-sdc表示按照原来顺序检验SDC和non-SDC。纹理平滑可以用来判断是否有必要对深度映射进行non-SDC残差编码。采用纹理图像水平像素梯度和作为分类标准，定义为p(x,y)表示当前块在位置(x,y)处的纹理像素值，S为当前PU块单行或单列包含的像素数。
[0048] 贝叶斯的定义：在不完全情报下，对部分位置的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。
[0049] 根据贝叶斯决策，ω的后验概率定义为前验概率与似然函数乘积再与概率密度函数的商： 所以，分类器可表示为：
[0050]
[0051] 实验表明，p(x|ωi)服从高斯分布，如图3所示，可以用高斯分布描述p(x|ωi)：
[0052]
[0053] 其中，参数μ和σ可用最大似然估计得到，其估计公式为：
[0054]
[0055] 其中，n是视频序列前8帧图像的样本总数,这些图像使用HTM原来的方式编码。xk是样本的水平像素梯度和Grad。根据贝叶斯决策，分类器阈值T定义为：判断当前PU水平方向像素梯度和是否小于分类器阈值T，如果小于阈值T就跳过候选模式表中候选模式的non-SDC率失真代价计算，直接计算SDC率失真代价；否则，按照HTM顺序继续执行。
[0057] 为了使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例，对本发明进一步详细说明。
[0058] 本发明实施例对提出的3D视频深度图像残差模式选择方法的性能在3D-HEVC的参考
软件HTM-13.0中进行了验证，应用编码参数使用常用检测条件(CTC)，图4是每个基准视频深度图和纹理图，其中(a1)～(g1)为基准视频纹理图，(a2)～(g2)为基准视频纹理图(a1)～(g1)对应的深度图：
[0059] 视频序列
分辨率：1920x1088、1024x768。
[0060] 测试帧类型：全I帧
[0061] 深度模型模式(DMM)：开
[0062] 量化参数值：纹理图像：25 34 30 39深度图像：35 42 40 45
[0063] 简化深度编码(SDC)：开
[0064] 环路滤波：关
[0065] 样本自适应补偿滤波SAO：关
[0066] 视角合成优化VSO：开
[0067] 使用码率(BR)和峰值
信噪比(PSNR)来评价编码效果。ΔT表示与HTM方法相比编码时间的节省量。
[0068] 本实施例操作流程如图2所示，具体步骤如下：
[0069] 步骤201：在残差编码部分引入分类器对PU进行分类，收集统计数据，计算分类器阈值T。残差模式的选择可以看成一个二分类问题ΨR：W＝{ωsdc,ωnon-sdc}，ΨR是分类器，ωsdc表示SDC是最优的残差模式，non-SDC残差验证需要跳过；ωnon-sdc表示按照原来顺序检验SDC和non-SDC。根据贝叶斯决策，ω的后验概率定义为前验概率与似然函数乘积再与概率密度函数的商： 所以，分类器可表示为：
[0070]
[0071] 实验表明，p(x|ωi)服从高斯分布，如图3所示，可以用高斯分布描述p(x|ωi)：
[0072]
[0073] 其中，参数μ和σ可用最大似然估计得到，其估计公式为：
[0074]
[0075] 其中，n是视频序列前8帧图像的样本总数,这些图像使用HTM-13.0原来的方式编码。xk是样本的水平像素梯度和Grad。根据贝叶斯决策，分类器阈值T定义为：
[0076]
[0077] 步骤202：判断当前PU水平方向像素梯度和px,y表示当前块在位置x,y处的纹理像素值。判断其是否小于分类器阈值T，如果小于阈值T直接跳到步骤204，否则继续步骤203；
[0078] 步骤203：计算模式列表里所有模式采用non-SDC残差编码时的率失真代价；
[0079] 步骤204：计算模式列表里所有模式采用SDC残差编码时的率失真代价；
[0080] 步骤205：比较步骤203和步骤204计算出来的率失真代价，选出最优的残差编码方式对当前PU块编码；如果在步骤2中跳过步骤3，则不作比较直接采用SDC残差编码对当前PU编码。
[0081] 从图5可看出使用RCM算法节省的时间和量化参数QP有关，QP越大该算法效果越明显。这是因为RCM算法选取的阈值与量化参数有关，当量化参数增大时，阈值T变大，这就意味着会有更多的PU被认为是平滑区域而跳过SDC率失真代价计算。因此，在量化参数较大时non-SDC的计算复杂度在深度图编码复杂度中占很大比例。纹理图像的QP随深度图像QP的增加而增加。也就是说，当Grad取较小的值时，重建的纹理图像会包含更多的平滑区域，这使得p(x|ωsdc)的中心向左移动。同时，本发明提供的分类器的高斯参数采用在线学习的方法，所以ωsdc的决策域会随量化参数的增加而变大。
[0082] 表1本发明提供方法结果与HTM13.0方法比较结果表
[0083]
[0084] 从表1的实验结果可以看出使用本发明提出的残差编码方法(RCM)仅有0.37％码率的增加，PSNT仅有0.02％的下降，说明这种编码方法对合成视频的质量没有影响，但其可节省22.31％的编码时间。
