技术领域
[0001] 本
发明属于通信技术领域，具体是视频编解码技术领域，涉及一种基于块编码特性的3D视频错误隐藏方法。
背景技术
[0002] 3D视频在给观众带来逼真体验感的同时，也存在视频数据量远高于2D视频的问题。基于MV-HEVC编码标准压缩的立体
视频流压缩效率高，传输冗余信息低，但是对无线传输信道敏感。当信道中发生阻塞或延时等干扰因素时，3D视频流极易发生丢包，导致重建的视频画面出错，而差错会迅速传播，影响到后续将要解码的视频画面的
质量。为了有效改善视频数据流在传输过程中的错误，可以在
编码器中利用抗误码技术，增加额外的信息减少误差。考虑到这种技术会增加编码器的负担和传输带宽，解码端的错误隐藏技术应运而生。
发明内容
[0003] 本发明的目的就是在新标准HEVC的扩展平台MV-HEVC中，提供一种面向3D视频的错误隐藏方法。
[0004] 本发明方法是基于MV-HEVC编码平台，利用丢失块的周围可用块的
编码预测信息来预估当前丢失块的编码预测方式，对具有不同编码预测方式的丢失块采用不同的错误隐藏方法。本发明方法首先确定3D视频流中右视点的丢失块的所属区域类型，属于背景区域的丢失块对前向
帧、后向帧中同位块的
像素值进行加权平均填充恢复；属于前景区域的丢失块，根据估计出的编码预测方式采用不同的恢复方法。
[0005] 具体方法包括：
[0006] (1).恢复背景区域丢失块：
[0007] 通过将前向帧和后向帧中对应丢失块的同位块的像素的平均差值 和像素差值的平均方差 对丢失块进行分类处理，具体判断准则为：
[0008]
[0009] 下标D表示丢失块的深度，D＝0,1,2，分别对应尺寸为64×64、32×32、16×16的处理单元；ThD是随D变化的
阈值，分别为15、8、4；λ是固定阈值12； 和 定义如下：
[0010]
[0011]
[0012] 其中，(x,y)是丢失块的左上
角像素坐标，(i,j)是相对于左上角像素
位置的偏移，p(x+i,y+j)是像素
亮度值，n-k和n+k分别代表前向帧和后向帧，SD是深度D对应的处理单元大小；
[0013] 首先从最大尺寸64×64的丢失块开始处理：如果该丢失块满足背景块的条件，则加权平均前后向帧中同位块像素的方法恢复丢失块中的像素值；若不满足，将丢失块划分为32×32的子丢失块，重复之前的操作；当处理到16×16的子块时，背景块恢复操作停止，剩下未修复的丢失子块尺寸均为16×16，标记为前景块。
[0014] (2).恢复前景区域丢失块，具体如下：
[0015] (2-1).前景区域丢失块的编码预测方式估计：
[0016] 获取丢失块的周围有效块的编码预测信息，根据帧内编码块数量NIntra、帧间编码块数量NInter、视间编码块数量NInter-view，周围有效块的编码预测方式分为三种情况，分别处理：
[0017] (i)NIntra＞0且NInter＝0且NInter-view＝0,表示周围有效块的编码预测方式均为帧内编码，判定当前丢失块的编码预测方式为帧内编码；
[0018] (ii))NInter＞NInter-view，表示周围有效块的帧间编码块数量多于视间编码块，判定当前丢失块的编码预测方式为帧间编码；
[0019] (iii)NInter≤NInter-view，NInter＞0，表示周围有效块的视间编码块的数量多于或等于帧间编码块，判定当前丢失块的编码预测方式为视间编码。
[0020] (2-2).恢复帧内编码块：
[0021] 首先构建两个有效块集合L0和L1，L0中存放参考列表List0中
视频帧的邻域块，L1存放参考列表List1中视频帧的邻域块；
[0022] 构建候选预测补偿块，将提取的邻域块的参考帧和预测矢量赋予当前丢失块，丢失块通过参考帧和预测矢量获得对应的预测补偿块；L0和L1更新为候选预测补偿块的集合，其中L0加入零
运动矢量和全局
视差矢量GDV的预测补偿块。
[0023] 最佳候选预测补偿块具体如下：
[0024] a.当L1为空集合，根据加权边界匹配准则选取L0中的最佳候选预测补偿块中的像素填补当前丢失块；加权边界匹配准则定义为：
[0025]
[0026] 其中，(x0,y0)是丢失块的像素坐标，fn和f′n分别代表当前帧和参考帧，V0是L0中的预测候选补偿块的矢量，ωΔ,Δ＝u,d,l,r，是丢失块上、下、左、右边界的权重，ωΔ＝0，边界相邻块为丢失块；ωΔ＝0.5，边界相邻块为
算法恢复块；ωΔ＝1，边界相邻块为正确解码块；Sd是丢失块边界的像素的行数或列数；SAD(V0)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和；L0中的最佳候选预测补偿块是V0使得SAD(V0)最小的补偿块[0027] b.当L1为非空集合时，L0或L1中均有最佳候选预测补偿块 或 且有对应的SAD(V0)和SAD(V1)；将D＝|SAD(V0)-SAD(V1)|与设定的阈值T1进行比较，T1＝2～3：
[0028] 如果D≤T1，此时丢失块MB恢复如下：
[0029]
[0030] 如果D＞T1，丢失块MB由对应min{SAD0(V0)，SAD1(V1)}中的预测补偿块来恢复。
[0031] (2-3).恢复帧间编码块：
[0032] 假设物体在视频序列中是线性运动的，则丢失块MB采用线性双向预测的
运动补偿，即前向帧Ref0和后向帧Ref1中总能找到与丢失块相似的预测补偿块；
[0033] 为丢失块构建候选运动矢量集MVcol，通过最小化前向预测补偿块B0和后向预测补偿块B1的平均像素差值Δdiff来选择最优运动矢量；
[0034] 如果Δdiff＞T2，则表明前面的假设不成立，T2为设定的阈值，T2＝4～6，此时在候选运动矢量的
基础上执行范围内搜索最佳运动矢量来单向预测恢复丢失块的操作：
[0035] Step1.B0相对于MB的位移矢量 计算B0内所有像素亮度值的和SOL0；
[0036] Step2.连接B0和MB的中心点并延长到Ref1上得到B1，计算B1内所有像素亮度值的和SOL1，此时B1相对于MB的位移矢量
[0037] Step3.如果B0与B1之间的平均绝对差值 小于T2，则由B0和B1加权平均恢复MB；当ΔDs≥T2时，以当前运动矢量MV0为基础，在±16范围内搜索运动矢量，跳转到Step1；
[0038] Step4.当ΔDs≥T2一直成立时，改变双向预测补偿的策略，执行单向预测搜索恢复，即以MVcol为基础，在±16范围内搜索运动矢量使得SAD(V)最小的预测补偿块来恢复MB。
[0039] (2-4).恢复视间编码块：
[0040] 选取熵、
能量、
对比度三个统计特征值来分析纹理，且计算四个方向上的特征值后以平均值减轻方向因素的影响，构成
特征向量G：G＝(Fent,Fene,Fcon)；Fent、Fene、Fcon分别为熵值、能量值和对比度值，具体表示如下：
[0041]
[0042]
[0043]
[0044] 其中，K表示灰度共生矩阵的行数或列数，取值为8；(a,b)表示灰度共生矩阵的坐标；d表示方向上的距离，取值为1；θ表示方向0°,45°,90°,135°；g(a,b)表示对应(a,b)位置上的灰度共生矩阵值；当分别提取丢失块和候选块的边界的特征向量GR、GQ后，利用欧氏距离计算二者的相似度Ts＝|GR-GQ|，最终的灰度共生加权边界匹配准则为：
[0045] GSAD表示融合灰度共生矩阵后，即丢失块与参考
块匹配度，N是丢失块边界的像素的行数或列数，α是常数0.7。
[0046] 本发明方法针对3D视频数据流较大，且易在不可靠信道中传输出现右视点视频流丢包现象，首先在统计分析3D视频序列编码块的编码预测方式的基础上，利用丢失块的周围可用块的信息来估计当前丢失块的编码预测方式，将丢失块分类成帧内编码块、帧间编码块和视间编码块。针对帧内编码，采用加权融合运动补偿块和视间补偿块恢复；针对帧间编码块，采用双向预测加权平均或单向搜索预测恢复；针对视间编码块，利用灰度共生矩阵(Gray-level co-occurrence matrix,GLCM)改进传统边界匹配准则恢复。相比较用单一的方法掩盖所有的丢失块，本发明方法重建的视频质量更好。
附图说明
[0048] 图2为本发明方法中当前帧的前向帧和后向帧示意图；
[0049] 图3为对丢失块编码方式预测的正确率示意图；
[0050] 图4为帧内丢失块参考的邻域块分布示意图；
[0051] 图5为帧间丢失块的邻域块分布图和线性双向预测补偿图；
[0052] 图6为
实施例中实验仿真的出错视频帧；
[0053] 图7为实施例重建视频帧后的效果图。
具体实施方式
[0054] 结合以下具体实施例和附图，对本发明进一步的详细说明。
[0055] 如图1，一种基于块编码特性的3D视频错误隐藏方法，首先确定3D视频流中右视点的丢失块的所属区域类型，属于背景区域的丢失块直接加权平均前向、后向帧中同位块的像素值填充；属于前景区域的丢失块，根据估计出的编码预测方式采用不同的恢复方法。具体包括：
[0056] (1).恢复背景区域丢失块：
[0057] 如图2所示，Tn为当前帧(B帧)，Tn-k为低时间层已编码帧(前向帧)，Tn+k为高时间层已编码帧(后向帧)。通过将Tn-k和Tn+k中的对应丢失块的同位块的像素的平均差值 与阈值ThD进行比较，判断当前帧中丢失块所属的区域类型。实验中发现当出错帧的Tn-k和Tn+k距离较远时，Tn-k和Tn+k中的内容变化较大，仅利用 判断丢失块的类型出错率会增加。为了能够有效的区分前景块和背景块，结合 和像素差值的平均方差 对丢失块进行分类处理。具体判断准则为：
[0058]
[0059] 下标D是丢失块的深度，D＝0,1,2，分别对应尺寸为64×64、32×32、16×16的处理单元；ThD是随D变化的阈值，分别为15、8、4；λ是固定阈值12； 和 定义如下：
[0060]
[0061]
[0062] 其中，(x,y)是丢失块的左上角像素坐标，(i,j)是相对于左上角像素位置的偏移，p(x+i,y+j)是像素亮度值，n-k和n+k分别代表前向帧和后向帧，SD是深度D对应的处理单元大小。
[0063] 首先从最大尺寸64×64的丢失块开始处理：如果该丢失块满足背景块的条件，则加权平均前后向帧中同位块像素的方法恢复丢失块中的像素值；若不满足，将丢失块划分为32×32的子丢失块，重复之前的操作；考虑到复杂度以及恢复
精度，当处理到16×16的子块时，背景块恢复操作停止，即不再划分深度D＝2的丢失子块，此时剩下未修复的丢失子块尺寸均为16×16，标记为前景块；
[0064] (2).恢复前景区域丢失块，具体如下：
[0065] (2-1).前景区域丢失块的编码预测方式估计：
[0066] 获取丢失块的周围有效块的编码预测信息，根据帧内编码块数量NIntra、帧间编码块数量NInter、视间编码块数量NInter-view，周围有效块的编码预测方式分为三种情况，分别处理：
[0067] (i)NIntra＞0且NInter＝0且NInter-view＝0,表示周围有效块的编码预测方式均为帧内编码，判定当前丢失块的编码预测方式为帧内编码；
[0068] (ii))NInter＞NInter-view，表示周围有效块的帧间编码块数量多于视间编码块，判定当前丢失块的编码预测方式为帧间编码；
[0069] (iii)NInter≤NInter-view，NInter＞0，表示周围有效块的视间编码块的数量多于或等于帧间编码块，判定当前丢失块的编码预测方式为视间编码；
[0070] 为了验证上述方法估计丢失块的编码预测方式的正确性，在3D视频序列中用上述方式预测的结果与真实的编码预测方式进行比较，图3为丢失块的编码方式预测的正确率，其集中在85％～90％，证明预测的有效性。
[0071] (2-2).恢复帧内编码块：
[0072] 在帧间编码和视间编码均导致较大率失真代价时且帧内编码效果较好时，编码器会选择某种帧内模式进行编码。因此，单一的帧间预测或视间预测均不能够有效的恢复帧内编码块。本发明方法获取与丢失块的相关性较强的邻域块(不包括帧内编码块)信息，为当前丢失块构建候选预测补偿块集合，过程如下：
[0073] 首先构建两个有效块集合L0和L1，L0中存放参考列表List0中视频帧的邻域块，L1存放参考列表List1中视频帧的邻域块。如图4所示，候选预测补偿块的构建主要将提取的邻域块4×4的邻域块Ai,i＝0,...,4的参考帧、预测矢量和64×64的邻域块Bi,i＝0,...,4的视点参考帧、平均视差矢量，丢失块可通过该信息获得对应的预测补偿块。通过此操作L0和L1更新为候选预测补偿块的集合，其中L0加入零运动矢量(消除前背景块的误判)和全局视差矢量GDV的预测补偿块。
[0074] 构建候选预测补偿块，将提取的邻域块的参考帧和预测矢量赋予当前丢失块，丢失块通过参考帧和预测矢量获得对应的预测补偿块；L0和L1更新为候选预测补偿块的集合，其中L0加入零运动矢量(消除前背景块的误判)和全局视差矢量GDV的预测补偿块；
[0075] 最佳候选预测补偿块具体如下：
[0076] a.当L1为空集合，根据加权边界匹配准则(Weighted Boundary Matching Algorithm,WBMA)选取L0中的最佳候选预测补偿块中的像素填补当前丢失块；加权边界匹配准则定义为：
[0077]
[0078] 其中，(x0,y0)是丢失块的像素坐标，fn和f′n分别代表当前帧和参考帧，V0是L0中的预测候选补偿块的矢量，ωΔ,Δ＝u,d,l,r，是丢失块上、下、左、右边界的权重，ωΔ＝0，边界相邻块为丢失块；ωΔ＝0.5，边界相邻块为算法恢复块；ωΔ＝1，边界相邻块为正确解码块；Sd是丢失块边界的像素的行数或列数；SAD(V0)是丢失块的外边界像素与参考块的外边界像素的绝对差值之和；L0中的最佳候选预测补偿块是V0使得SAD(V0)最小的补偿块[0079] b.当L1为非空集合时，L0或L1中均有最佳候选预测补偿块 或 且有对应的SAD(V0)和SAD(V1)；SAD(V0)/SAD(V1)越大则表明该预测补偿块越不可靠，为了选择最佳预测补偿块，D＝|SAD(V0)-SAD(V1)|与设定的阈值T1进行比较，T1＝2～3，本实施例中T1＝3：
[0080] 如果D≤T1，此时丢失块MB恢复如下：
[0081]
[0082] 如果D＞T1，丢失块MB由对应min{SAD0(V0)，SAD1(V1)}中的预测补偿块来恢复。
[0083] (2-3).恢复帧间编码块：
[0084] 帧间编码块占据比例最大，包括背景块和运动程度较缓慢的图像块。如图5(b)所示，假设物体在视频序列中是线性运动的，则丢失块MB采用线性双向预测的运动补偿，即前向帧Ref0和后向帧Ref1中总能找到与丢失块相似的预测补偿块B0和B1。本发明方法参考图5(a)中的邻域块为丢失块构建候选运动矢量集MVcol，通过最小化B0和B1的平均像素差值Δdiff来选择最优运动矢量。如果Δdiff超过设定的阈值T2，则表明前面的假设不成立，T2＝4～6，本实施例中T2＝5。此时在候选运动矢量的基础上执行范围内搜索最佳运动矢量来单向预测恢复丢失块的操作：
[0085] Step1.B0相对于MB的位移矢量 计算B0内所有像素亮度值的和SOL0；
[0086] Step2.连接B0和MB的中心点并延长到Ref1上得到B1，计算B1内所有像素亮度值的和SOL1，此时B1相对于MB的位移矢量
[0087] Step3.如果B0与B1之间的平均绝对差值 小于T2，则由B0和B1加权平均恢复MB；当ΔDs≥T2时，以当前运动矢量MV0为基础，在±16范围内搜索运动矢量，跳转到Step1；
[0088] Step4.当ΔDs≥T2一直成立时，改变双向预测补偿的策略，执行单向预测搜索恢复，即以MVcol为基础，在±16范围内搜索运动矢量使得SAD(V)最小的预测补偿块来恢复MB；
[0089] (2-4).恢复视间编码块：
[0090] 视间编码块的主要特征为运动剧烈且复杂，此类型的编码单元一般较多利用视差矢量预测补偿进行编码。对于视间编码的丢失块，首先充分获取周围有效块的视差矢量来恢复，其次考虑到部分丢失块由于运动非常剧烈且复杂导致无法与周围块保持运动的一致性，对其中重建效果不佳的丢失块的恢复不再局限于周围有效块的视差矢量，改用恢复帧内编码丢失块的方法。
[0091] 判断丢失块的恢复效果是采用边界匹配准则，利用灰度共生矩阵(Gray-levelco-occurrence matrix，GLCM)提取块边界特征参数并融合到加权边界匹配准则(WBMA)中来检验丢失块的恢复效果。考虑到计算复杂度，选取熵(Entropy)、能量(Energy)、对比度(Contrast)三个统计特征值来分析纹理，且计算四个方向上的特征值后取平均值，以消除方向因素的影响，最终构成特征向量G：G＝(Fent,Fene,Fcon)；Fent、Fene、Fcon分别为熵值、能量值和对比度值，具体表示如下：
[0092]
[0093]
[0094]
[0095] 其中，K表示灰度共生矩阵的行数或列数，取值为8；(a,b)表示灰度共生矩阵的坐标；d表示方向上的距离，取值为1；θ表示方向0°,45°,90°,135°；g(a,b)表示对应(a,b)位置上的灰度共生矩阵值。当分别提取丢失块和候选块的边界的特征向量GR、GQ后，利用欧氏距离计算二者的相似度Ts＝|GR-GQ|，最终的灰度共生加权边界匹配准则(GLCM_WBMA)为：
[0096] 其中，N是丢失块边界的像素的行数或列数，α是常数0.7。GSAD表示融合灰度共生矩阵后，即丢失块与参考块匹配度。
[0097] 为了验证本发明对于立体视频传输丢包后的视频失真重建性能，实例中进行仿真实验得到图6的出错视频帧以及图7的重建效果图。
[0098] 本发明的保护内容不局限于以上实例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的
权利要求书为保护范围。
