技术领域
[0001] 本
发明涉及图像通信领域中的分布式多视点视频编码(DMVC)边信息预测问题，尤其是涉及一种基于小波域的分布式多视点视频编码的边信息预测结构。
背景技术
[0002] 随着
计算机视觉、
计算机图形学和视频编码技术的日益发展与融合，处理器能
力与网络传输能力的飞速提升，现代视频技术逐渐向数字化、立体化发展。3D视频由于能够提供更加真实和自然的视觉体验而逐渐成为当前视频编码领域的研究热点之一。
[0003] 多视点视频指的是多个摄像机从不同视
角拍摄同一场景得到的一组视频
信号，能够形象生动地再现场景，提供立体感与交互感。它是一种有效的3D视频表示方法，被广泛的应用于立体电视、交融式会议电视、
虚拟现实以及视频监控等多媒体领域。然而与单视点视频相比，多视点视频的数据量由于视点的增多而成倍增加，如何高效压缩数据量已成为多视点视频技术需要攻克的难关。ITU-T和MPEG的联合视频组(JVT)提出了多视点视频编(MVC)，MVC标准采用了基于H.264/AVC的结构，在原来的时域预测的
基础上增加了视点域的预测，需要在不同视点间进行交叉预测。因此要求各个摄像机进行信息的交互，同时由于编码
节点的运算复杂度高，所以它并不适合真正地布置在摄像机阵列中。
[0004] 基于Slepian-Wolf和Wyner-Ziv理论的分布式多视点视频编码(DMVC)与传统MVC相比，具有编码复杂度低，抗误码能力良好，使用灵活和延迟较低等特点。视频序列在编码端进行独立编码，无需
运动估计；在解码端进行联合解码，生成用于解码和重建的边信息。这样就可以将大部分的计算量从编码端转移到解码端，从而实现低复杂度编码，且DMVC理论上可达到MVC的压缩效率。边信息的生成技术是DMVC的重要组成部分，它的精确度直接影响系统的R-D性能。目前，对DMVC的
框架及边信息生成
算法的研究有很多。OguzBici M等人提出了一种分布式视频编码结合三维网络的DMVC结构，根据
三维网格理论得到
视频帧的几何参数，只对几何参数进行编解码。吕慧提出了一种基于特征提取和匹配的边信息生成方案，进一步提高了DMVC系统性能。上述方法研究的都是基于离散余弦变换(DCT)的DMVC系统，不仅存在“
方块效应”，且在DCT域中随着时间轴上GOP的增大，生成的边信息
质量逐渐下降。所以，国外学者提出了基于离散
小波变换(DWT)的分布式视频编码方案，不仅克服了“方块效应”，并且也具有
能量集中的特点。但是在传统基于DWT域的DMVC系统中，当前帧最低频带的边信息直接采用前一解码帧的最低频带图像，在运动剧烈的情况下存在很大的误差，并且随着
运动矢量的更新，误差会累积到下一频带，从而影响解码质量。本发明考虑了视频序列的运动特性，提出了基于分层WZ帧的小波域分布式多视点视频编码，采用当前帧相邻的两个已解码帧生成初始边信息，从而提高边信息的质量及系统的整体性能。
发明内容
[0005] 针对传统基于DWT域的DMVC系统中当前帧最低频带的边信息直接采用前一解码帧的最低频带图像而忽略物体运动特性的问题，提出了基于分层WZ帧的DWT域DMVC系统，本发明不仅提高了边信息的质量，还改善了DMVC系统的整体性能。
[0006] 本发明的基本思想是利用视频帧的运动特性及DWT的多尺度多
分辨率特性，在基于分层WZ帧的DWT域DMVC系统中，在时间轴上把视频帧分为不同的时间层，每一层视频帧最低频带的边信息由相邻最近的两个更高级别层次视频帧的重建帧进行预测，并且由低分辨率图像到高分辨率图像逐步进行
迭代解码，进而达到提高DMVC系统整体性能的目的。
[0007] 在本发明提出的基于分层WZ帧的DWT域DMVC系统中，在编码端将各视点的视频序列划分成K帧与WZ帧，K帧采用H.264编解码，对WZ帧首先进行N级的
离散小波变换，得到3N+1个不同频带的图像，分别记为HHn、LHn、HLn,(n＝1,2,...,N)和LLN。然后对每一个频带的数据分别进行均匀量化，比特面分解，信道编码。
[0008] 在解码端，边信息辅助信道解码和WZ帧重构，边信息的质量直接影响DMVC系统的整体性能。本发明提出的基于分层WZ帧的DWT域DMVC系统中，时间轴上视频序列GOP长度为8，K0、WZ1、WZ2、WZ3、WZ4、WZ5、WZ6、WZ7分别表示一个GOP内的视频帧，K8表示下一个GOP的K帧。
K0和K8为第0级时间层(TL0)的视频帧，WZ4为第1级时间层(TL1)的视频帧，WZ2和WZ6为第2级时间层(TL2)的视频帧，WZ1、WZ3、WZ5、WZ7为第3级时间层(TL3)的视频帧，TL0～TL3级别逐渐降低。K帧进行传统帧内编解码，WZ帧最低频带的时间边信息由相邻最近的两个更高级别层次视频帧的已解码帧进行
运动补偿时域内插(MCTI)得到，然后时间边信息与空间边信息进行融合得到初始边信息，其它频带则采用基于多分辨率细化(MRMR)的方法。与传统的基于DWT域的DMVC系统相比，本发明提出的基于分层WZ帧的边信息预测结构充分考虑了视频帧的运动特性，也使基于DWT的DMVC系统具有更好的RD性能。
[0009] 本发明采用的是基于MRMR的小波域DMVC框架，每一个WZ帧的解码，都是由低分辨率图像到高分辨率图像逐步进行迭代解码。利用本发明提出的分层WZ的边信息预测结构得到当前帧的边信息SI(t)，前向和后向参考帧分别为f(t-m)和f(t+m)，t表示当前时刻。首先采用SI(t)的最低频带作为当前WZ帧最低频带LLN(t)的边信息 ，解码得到LL'N(t)，然后利用LL'N(t)与LLN(t-m)、LLN(t+m)进行运动估计，得到当前分辨率下图像的运动矢量。利用该运动矢量对f(t-m)和f(t+m)的相同频带图像进行运动补偿，得到各高频带图像的边信息，从而可以解码出当前分辨率下所有频带的图像。最后，将当前分辨率下的图像作小波反变换得到高分辨率下的低频带图像，依次循环直到解码出原始分辨率下的图像。由于在解码过程中用当前帧先解码得到的低分辨率图像与两个参考帧进行运动估计，因此高频带的边信息质量将会逐步提升，从而提高解码的质量。
[0010] 本发明改进的是基于DWT域的DMVC系统中边信息的生成质量。在DMVC系统的解码端，边信息的精确度越高，与待解码WZ帧就越接近，信道传输的校验比特就越少，重建的质量也更好。本发明最关键的是根据视频帧的运动特性，利用WZ帧分层的思想，逐层生成WZ帧的边信息，逐渐提高边信息的质量，进而改善DMVC系统的性能。
附图说明
[0011] 图1为本发明的基于小波域的分布式多视点视频编码系统结构图。
[0012] 图2为本发明的基于分层WZ帧的小波域分布式多视点视频编码系统的边信息预测结构。
[0013] 图3～8为本发明提出的基于分层WZ帧的小波域DMVC系统与传统的小波域DMVC系统的率失真曲线对比结果。其中，图3为kendo的率失真曲线；图4为Newspaper的率失真曲线；图5为PoznanHall2的率失真曲线；图6为PoznanStreet的率失真曲线；图7为Dancer的率失真曲线；图8为race1的率失真曲线。
具体实施方式
[0014] 下面结合附图及
实施例对本发明作进一步的详细说明，有必要指出的是，以下的实施例只用于对本发明做进一步的说明，不能理解为对本发明保护范围的限制，所属领域技术熟悉人员根据上述发明内容，对本发明做出一些非本质的改进和调整进行具体实施，应仍属于本发明的保护范围。
[0015] 如图1所示，本发明提出的基于分层WZ帧的小波域DMVC系统结构图中，每个视点的视频序列分为K帧和WZ帧，对K帧进行帧内编解码。对WZ帧则先进行N层小波变换，再对各频带进行量化，比特面提取，信道编码。在解码端，利用如图2所示的边信息预测结构，逐步更新当前帧各频带的边信息并辅助解码与重构，直到小波反变换得到原始分辨率下的图像。假设某视点内，当前t时刻的待解码帧为WZ(t)，其编码端和解码端具体主要包括以下过程步骤：
[0016] 1、在编码端，将每个视点的视频序列按GOP长度为8分为多个图像组，其编码过程如下：
[0017] (1)先对每个GOP内的K帧进行传统的帧内编码，再进行传统的帧内解码。
[0018] (2)对WZ(t)进行N级离散小波变换，得到3N+1个不同频带的图像，分别记为HHn、LHn、HLn,(n＝1,2,...,N)和LLN。
[0019] (3)对每个频带按照设定的量化步长进行均匀量化，由低频带向高频带依次进行比特面分解，再将比特面依次送入
编码器进行编码。
[0020] 2、在解码端，如图2所示，本发明提出了基于分层WZ帧的边信息预测结构，当前层WZ帧最低频带LLN的时间边信息由相邻最近的两个更高级别视频帧的已解码帧进行MCTI得到，具体的边信息预测步骤如下：
[0021] (1)如图2所示，GOP长度为8。K0和K8为第0级时间层(TL0)的视频帧，WZ4为第1级时间层(TL1)的视频帧，WZ2和WZ6为第2级时间层(TL2)的视频帧，WZ1、WZ3、WZ5、WZ7为第3级时间层(TL3)的视频帧，TL0～TL3级别逐渐降低。
[0022] (2)TL0层，对关键帧K0、K8先进行帧内编解码，得到K0'、K8'。
[0023] (3)TL1层，根据已解码的更高级别视频帧预测WZ4的时间边信息
[0024]
[0025] 与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'4。
[0026] (4)TL2层，根据已解码的更高级别视频帧预测WZ2、WZ6的时间边信息
[0027]
[0028] 时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，最终解码得到WZ'2、WZ'6
[0029] (5)TL3层，根据已解码的更高级别视频帧预测WZ1、WZ3、WZ5、WZ7的时间边信息[0030]
[0031] 时间边信息与根据左右视点已解码帧生成的空间边信息进行融合得到初始边信息，辅助WZ帧的解码重建。
[0032] 本发明提出基于分层WZ帧的边信息预测结构，不仅具有更好的伸缩性，而且与传统DWT域中最低频带边信息直接采用前一解码帧最低频带图像的结构相比，生成的边信息质量更高，即与WZ帧的相似度更高。
[0033] 3、本发明采用的是基于多分辨率运动细化(MRMR)的小波域DMVC框架，解码时从低频带到高频带逐步更新运动矢量，从而得到不断更新的各频带边信息。当前t时刻待解码帧WZ(t)的初始边信息SI(t)由上述2中的基于分层WZ帧的边信息预测结构生成，前向和后向参考帧分别为f(t-m)和f(t+m)，WZ(t)的边信息更新及解码过程具体如下：
[0034] (1)对SI(t)进行N级离散小波变换，采用最低频带作为WZ(t)中最低频带LLN(t)的边信息 对LLN(t)进行WZ解码与重建得到LLN(t)'，并设n＝N。
[0035] (2)对LLN(t)'与LLn(t-m)和LLn(t+m)之间进行运动估计得到当前分辨率下高频频带HHn(t)、HLn(t)、LHn(t)的运动矢量MVnf、MVnb。
[0036] (3)利用更新的运动矢量，分别与f(t-m)和f(t+m)的相同频带进行运动补偿，得到前后向补偿图像HHnf(t)与HHnb(t)、HLnf(t)与HLnb(t)、LHnf(t)与LHnb(t)，进而求得当前分辨率下各高频频带的边信息
[0037]
[0038] (4)利用更新后的边信息对三个高频频带HHn(t)、HLn(t)、LHn(t)分别进行解码和重建得到HHn(t)'、HLn(t)'、LHn(t)'，即已得到当前分别率下所有频带的解码信息，然后利用小波反变换得到上一级分解中的最低频带信息LLn-1(t)。
[0039] (5)依次将n的值减1，进行步骤(2)到(4)直到n的值为0，最终解码出原始分辨率下的WZ帧。
[0040] 为了验证本发明的算法，我们对其进行了实验验证，其结果如图3～8所示。图3～8为本发明提出的基于分层WZ帧的小波域DMVC系统与传统小波域DMVC系统的率失真曲线对比结果，本发明采用提出的基于分层WZ的边信息预测结构，传统DWT域的边信息由前一解码帧进行预测(最低频带的边信息直接采用前一解码帧的最低频带图像)。具体过程如下：
[0041] 1、测试的多视点视频序列的名称、大小、帧率分别为：kendo(256×192，30帧/秒)、Newspaper(256×192，30帧/秒)、PoznanHall2(480×272，25帧/秒)、PoznanStreet(480×272，25帧/秒)、Dancer(480×272，25帧/秒)、race1(640×480，15帧/秒)。
[0042] 2、关键帧K帧采用H.264编解码，量化步长取22。
[0043] 3、WZ帧的量化步长分别取5、10、15、20、25。本发明与传统小波域DMVC系统进行比较，对其两种视频性能：峰值
信噪比(PSNR)和比特率进行比较分析，其中PSNR能体现视频的客观视频质量。系统的性能差距用以下两个指标进行评估：
[0044] ΔPSNR＝PSNRnew-PSNRref
[0045]
[0046] 其中，ΔPSNR表示本发明算法与传统小波域DMVC系统
峰值信噪比的差值，ΔRate表示本发明算法与传统小波域DMVC系统的比特率差值的百分比。
[0047] 4、输入2个相同的视频序列；
[0048] 5、分别对2个不同的视频序列在本发明提出的基于分层WZ帧的小波域DMVC系统和传统小波域DMVC系统中进行视频编解码；
[0049] 6、两个系统分别输出视频编解码后的视频序列以及各自的比特率和PSNR值，上述的2个指标的结果如表1-2所示。统计显示本发明的基于分层WZ帧的小波域DMVC系统与传统的小波域DMVC系统在比特率方面变化了-11.1338％～-1.0471％，在PSNR方面提高了0.0362dB～1.5527dB。从总体来看，本发明的基于分层WZ帧的小波域DMVC系统与传统的小波域DMVC系统相比，比特率平均下降6.0096％，峰值信噪比PSNR平均提高了0.6038dB，本发明的基于分层WZ帧的小波域DMVC系统具有更好的RD性能。
[0050] 表1 本发明算法与传统算法之间比特率的比较
[0051]
[0052]
[0053] 表2 本发明算法与传统算法之间PSNR的比较
[0054]
[0055]
