技术领域
[0001] 本
发明涉及
视频编码领域，特别涉及一种立体视频的联合预测编码方法及系统。
背景技术
[0002] 随着视频技术的不断发展，立体视频以其逼真的视觉效果获得了广泛的关注。在立体视频中，视频数据由视频序列和
深度图序列构成。其中，视频序列通常包含两路甚至多路视频序列。深度图序列则包含每一路视频所对应的深度图。因此，在立体视频的应用中，如何有效的压缩和传输海量的视频和深度图成为立体视频应用的关键技术
瓶颈之一。
[0003] 为了实现对立体视频数据的高效压缩，研究人员提出了多视点视频编码方案。在该方案中，多视点视频中的一路视频作为基本视点，采用传统的视频编码方案压缩时域上的冗余。对于其余视点的视频，该编码方案引入了视间预测模式，通过时域预测和视间预测来压缩多视点视频的时域以及视间冗余，从而有效的降低了编码多视点视频所需要的码率。由于深度图可以视为多视点灰度视频序列，因此，多视点视频编码方案同样用来对深度图进行编码。在当前的主流立体视频编码方案中，
编码器对多视点视频以及深度图分别采用多视点视频编码方案进行压缩，获得视频以及深度图两路码流，并将两路码流同时传输到解码端，重构多视点视频以及深度图序列。解码端根据用户需要进一步绘制虚拟视点，从而形成用户所需要的立体视频序列，并在相应的立体视频显示器上进行播放。
[0004] 尽管多视点视频编码能够有效的压缩多视点视频以及深度图的时域和视间冗余，然而多视点视频和深度图之间的冗余仍无法被有效地压缩。在立体视频中，深度图表征了视频序列中对应点的深度信息。在给定拍摄条件的前提下，每个编码宏
块的
视差信息可以通过深度值预测获得。在立体视频中，深度图可以视为多视点视频编码的边信息，从而通过深度计算视差可以代替通过视差搜索所获得视差，减少编码视差所需要的编码码率，压缩多视点视频以及深度图之间的冗余。
[0005] 目前基于多视点视频和深度图
联合编码的立体视频编码方式有两种。一种是编码器通过根据当前待编码
视频帧对应的深度图和及其参考视频帧
渲染出一幅虚拟参考帧，从而减少深度图和视差编码中存在的冗余信息。另一种是通过时域运动信息以及视间视差信息的几何约束关系得出时域运动信息和视差信息相互关系的预测方法。
[0007] （1）需要额外的编
解码器缓存，增加了编解码器的空间复杂度
[0008] （2）计算复杂度较高，增加了编解码器的时间复杂度
发明内容
[0009] 本发明的目的旨在至少解决上述的技术
缺陷之一。
[0010] 为此，本发明的一个目的在于提出一种立体视频的联合预测编码方法。
[0011] 本发明的另一目的在于提出一种立体视频的联合预测编码系统。
[0012] 为达到上述目的，本发明一方面的
实施例提出一种立体视频的联合预测编码方法，包括以下步骤：S1：输入立体视频并将所述立体视频分为多个编码宏块；S2：通过深度预测的方法预测当前编码宏块的深度预测视差，并根据所述深度预测视差对当前编码宏块进行深度辅助的视间预测编码；S3：通过视间匹配的方法获得视差向量，并根据所述视差向量对所述当前宏块进行传统视间预测编码；S4：通过时域
运动估计的方法获得运动向量，并根据所述运动向量对所述当前编码宏块进行时域预测编码；S5：分别计算所述当前编码宏块在所述深度辅助的视间预测编码、传统视间预测编码和时域预测编码模式下的率失真性能；以及S6：选择率失真性能最优的预测编码模式作为当前编码宏块的预测模式并进行编码。
[0013] 根据本发明实施例的方法，通过深度来估计编码宏块的视差来进行视间补偿预测，减少了立体视频编码中视差编码所需要的码率，同时提高了立体视频编码的效率。
[0014] 本发明的一个实施例中，所述方法还包括：S7：判断所述所有编码宏块是否编码完成；S8：如果未完成，则对未编码宏块重复所述步骤S1-S5直至所有编码宏块均完成编码。
[0015] 本发明的一个实施例中，所述时域预测编码的率失真性能通过如下公式获得，其中， 为运动向量，Bk为当前编码宏块，refm为 所指向的参考帧，X为Bk中的每一个
像素，I为X对应的
亮度或者
色度分量值，为 所指向的参考帧中对应像素点的亮度或者色度分量值，λmotion为时域预测的拉格朗日乘子，rm为编码
运动矢量所需要的编码码率，rh为编码除运动矢量外其他宏块头信息所需要的码率。
[0016] 本发明的一个实施例中，所述传统视间预测编码的率失真性能通过如下公式获得， 其中， 为视间匹配所得视差，Bk为当前编码宏块，refd为 所指向的参考帧， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，λmotion为传统视间预测的拉格朗日乘子，rd为编码搜索视差矢量所需要的编码码率。
[0017] 本发明的一个实施例中，所述深度辅助的视间预测编码的率失真性能通过如下公式获得， 其中， 为深度计算视差，Bk为当前编码宏块，refz为 所指向的参考帧， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，λmotion为深度辅助的视间预测的拉格朗日乘子，rh′为基于深度预测视差的视差补偿预测模式下，编码宏块头信息所需要的码率。
[0018] 为达到上述目的，本发明的实施例另一方面提出一种立体视频的联合预测编码系统，包括：划分模块，用于输入立体视频并将所述立体视频分为多个编码宏块；第一预测模块，用于通过深度预测的方法预测当前编码宏块的深度预测视差，并根据所述深度预测视差对当前编码宏块进行深度辅助的视间预测编码；第二预测模块，用于对所述当前宏块进行传统视间预测编码；第三预测模块，用于对所述当前编码宏块进行时域预测编码；计算模块，用于分别计算所述当前编码宏块在所述深度辅助的视间预测编码、传统视间预测编码和时域预测编码模式下的率失真性能；以及选择模块，用于选择率失真性能最优的预测编码模式作为当前编码宏块的预测模式并进行编码。
[0019] 根据本发明实施例的系统，通过深度来估计编码宏块的视差来进行视间补偿预测，减少了立体视频编码中视差编码所需要的码率，同时提高了立体视频编码的效率。
[0020] 本发明的一个实施例中，所述系统还包括：判断模块，用于判断所述所有编码宏块是否编码完成；处理模块，用于当编码未完成时，则重复使用划分模块、第一预测模块、第二预测模块、第三预测模块、计算模块和选择模块直至所有编码宏块均完成编码。
[0021] 本发明的一个实施例中，所述时域预测编码的率失真性能通过如下公式获得，其中， 为运动向量，Bk为当前编码宏块，refm为 所指向的参考帧，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，为 所指向的参考帧中对应像素点的亮度或者色度分量值，λmotion为时域预测的拉格朗日乘子，rm为编码运动矢量所需要的编码码率，rh为编码除运动矢量外其他宏块头信息所需要的码率。
[0022] 本发明的一个实施例中，所述传统视间预测编码的率失真性能通过如下公式获得， 其中， 为视间匹配所得视差，Bk为当前编码宏块，refd为 所指向的参考帧， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，λmotion为传统视间预测的拉格朗日乘子，rd为编码搜索视差矢量所需要的编码码率。
[0023] 本发明的一个实施例中，所述深度辅助的视间预测编码的率失真性能通过如下公式获得， 其中， 为深度计算视差，Bk为当前编码宏块，refz为 所指向的参考帧， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，λmotion为深度辅助的视间预测的拉格朗日乘子，rh′为基于深度预测视差的视差补偿预测模式下，编码宏块头信息所需要的码率。
[0024] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0025] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0026] 图1为根据本发明一个实施例的立体视频的联合预测编码方法的
流程图；
[0027] 图2为根据本发明一个实施例的虚拟视点绘制原理图；
[0028] 图3为根据本发明一个实施例的
编码预测结构示意图；以及
[0029] 图4为根据本发明一个实施例的立体视频的联合预测编码系统的结构
框图。
具体实施方式
[0030] 下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0031] 图1为根据本发明一个实施例的立体视频的联合预测编码方法的流程图。如图1所示，根据本发明实施例的立体视频的联合预测编码方法，包括以下步骤：
[0032] 步骤S101，输入立体视频并将立体视频分为多个编码宏块。
[0033] 具体地，输入立体视频并对其进行校正、对齐等前期处理，再将处理后的立体视频分为多个编码宏块。
[0034] 步骤S102，通过深度预测的方法预测当前编码宏块的深度预测视差，并根据深度预测视差对当前编码宏块进行深度辅助的视间预测编码。
[0035] 具体地，假设立体视频序列中仅包含左右视点的视频和深度图序列。左右视点的基线距离为c，左右视点的相机焦距均为f。当前编码宏块为Bk。Bk包含有nj个像素点，每个像素点对应的深度值为 通过每个像素点的深度值来预测当前编码宏块Bk的深度预测视差。设当前编码宏块Bk的深度值为Bk所包含的所有像素点对应的深度值的最大似然值，zk可以表示为 其中， 为每个像素点的深度值。
[0036] 图2为根据本发明一个实施例的虚拟视点绘制原理图。如图2所示，在获得Bk所对应的深度值之后，可以通过深度与视差之间的映射关系来计算当前编码宏块的视差。当前编码宏块的预测视差可以表示为， 其中，dk为计算视差，f为焦距，c为左右视点的基线距离。对于四分之一像素
精度的编码模式，将dk取整到最临近的四分之一像素点
位置作为当前编码宏块的深度预测视差。
[0037] 步骤S103，通过视间匹配的方法获得视差向量，并根据视差向量对当前宏块进行传统视间预测编码。
[0038] 步骤S104，通过时域运动估计的方法获得运动向量，并根据运动向量对当前编码宏块进行时域预测编码。
[0039] 步骤S105，分别计算当前编码宏块在深度辅助的视间预测编码、传统视间预测编码和时域预测编码模式下的率失真性能
[0040] 具体地，编码器将计算不同预测模式下的率失真性能。设当前编码宏块Bk的运动向量为 搜索视差为 深度预测视差为
[0041] 当前宏块搜索视差的时域预测编码的率失真性能通过如下公式获得，其中， 为运动向量，Bk为当前编码宏块，refm为 所指向的参考帧，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，为 所指向的参考帧中对应像素点的亮度或者色度分量值，λmotion为时域预测的拉格朗日乘子，rm为编码运动矢量所需要的编码码率，rh为编码除运动矢量外其他宏块头信息所需要的码率。
[0042] 当前宏块搜索视差的传统视间预测编码的率失真性能通过如下公式获得，其中， 为视间匹配所得视差，Bk为当前编码宏块，refd为 所指向的参考帧， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，λmotion为传统视间预测的拉格朗日乘子，rd为编码搜索视差矢量所需要的编码码率。
[0043] 在立体视频中，深度信息可以视为视频编码的边信息。因此，我们可以假设编码端和解码端能够同时获得相同的重构深度图。从而深度预测视差不需要编入码流当中。因此，当前宏块通过深度预测视差进行深度辅助的视间预测编码所对应的率失真性能可以表示为， 其中， 为深度计算视差，Bk为当前编码宏块，refz为 所指向的参考帧， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，λmotion为深度辅助的视间预测的拉格朗日乘子，rh′为基于深度预测视差的视差补偿预测模式下，编码宏块头信息所需要的码率。
[0044] 步骤S106，选择率失真性能最小的率失真性能对应的预测模式作为当前编码宏块的预测模式并进行编码。
[0045] 具体地，编码器将选择率失真最优的预测模式作为当前编码宏块的预测模式。其选择过程可以表示为， 其中，
和 分别表示时域预测的率失真性能、传统视
间预测的率失真性能和深度辅助的视间预测的率失真性能。
[0046] 在本发明的一个实施例中，对立体视频编码的视频序列采用标清格式的名字为“Book Arrival”的标准测试视频序列，且该标清格式视频序列的像素为1024×768。解码器采用H.264/AVC（Multi-view Video Coding，多视点视频扩展版本）标准的参考
软件JMVC（Joint Multi-view Video Coding，多视点视频编码），编码器GOP（Group of Pictures，图像组）的帧数为8，编码的时域预测编码采用Hierarchical B（层次化双向预测编码帧，简称层次化B帧）的预测结构，图3为根据本发明一个实施例的编码预测结构示意图。如图3所示，虚拟视点绘制采用与虚拟视点相邻的两路彩色视频和深度图来绘制。本实施样例采用“Book Arrival”序列的视点10和视点8这两路视频作为多视点视频输入序列，其中视点10称为左参考视点，视点8称为右参考视点。多视点视频和多视点深度图编码量化参数QP的取值范围为0到51之间的整数。左右视点的基线距离为10，相机的焦距为100。
[0047] 设当前编码宏块Bk为“Book Arrival”序列的视点8视频中一帧中的一个8×8的宏块。其对应的深度值如下述8×8矩阵所示。
[0048] 对 于 当 前 编 码 宏 块 Bk，其对应的深度值为Bk所包含的所有像素点对应的深度值的最大似然值zk为，
在获得当前编码宏块Bk的深度值后，当前编码
宏块的预测视差为， 对于四分之一像素精度的编码模式，将dk取
整到最临近的像素点后，其视差应为，dk′=[dk]=16.25。编码器再进行基于预测的视差信息进行传统视间预测。对于当前编码宏块，其预测视差为16.25。编码器在视点10的对应帧中找到相应的参考宏块，进行预测。设预测残差绝对值之和为50。此外，编码器还将对当前宏块进行补偿预测，即时域预测和传统视间预测。在时域预测中，不妨设当前宏块的运动向量为32，时域预测的残差的绝对值之和为80。在视间的传统视间预测中，设编码器通过
块匹配搜索得到的视差为16，传统视间预测的残差的绝对值之和为45。
[0049] 然后，编码器将比较不同的宏块间预测的率失真性能。设编码当前宏块Bk的运动向量所需要的比特数为rm=10，编码Bk的块匹配搜索所得视差所需要的比特数为rd=8，编码Bk的头信息所需要的比特数为rh=20。那么，在基于深度预测视差的传统视间预测中，编码Bk的头信息所需要的比特数为rh′=21。额外的一个比特用于标识当前宏块采用基于深度预测视差进行传统视间预测。在率失真优化过程中，设拉格朗日乘子λmotion的取值为1.5。
[0050] 因 此，对 于 宏 块 Bk，其 时 域 预 测 的 率 失 真 性 能 为，[0051] Bk 的 传 统 视 间 预 测 的 率 失 真 性 能 为 ，
[0052] 当采用深度预测视差进行预测编码时，Bk的深度辅助的视间预测编码的率失真性能为，
[0053] 之后，编码器通过比较不同预测模式下率失真性能来选择最优的帧间预测编码模式。对于当前宏块Bk， 因此，其最优的帧间预测编码模式为深度辅助的视间预测编码。在获得最优的帧间预测模式后，编码器将进行第二次率失真优化选择。编码器将进一步比较帧间预测模式与
帧内预测模式的率失真性能，最终选择率失真最优的模式对当前宏块进行编码。
[0054] 根据本发明实施例的方法，通过深度来估计编码宏块的视差来进行视间补偿预测，减少了立体视频编码中视差编码所需要的码率，同时提高了立体视频编码的效率。
[0055] 图4为根据本发明一个实施例的立体视频的联合预测编码系统的结构框图。如图4所示，立体视频的联合预测编码系统包括划分模块100、第一预测模块200、第二预测模块
300、第三预测模块400、计算模块500和选择模块600。
[0056] 划分模块100用于输入立体视频并将立体视频分为多个编码宏块。
[0057] 具体地，输入立体视频并对其进行校正、对齐等前期处理，再将处理后的立体视频分为多个编码宏块。
[0058] 第一预测模块200用于通过深度预测的方法预测当前编码宏块的深度预测视差，并根据深度预测视差对当前编码宏块进行深度辅助的视间预测编码。
[0059] 具体地，假设立体视频序列中仅包含左右视点的视频和深度图序列。左右视点的基线距离为c，左右视点的相机焦距均为f。当前编码宏块为Bk。Bk包含有nj个像素点，每个像素点对应的深度值为 通过每个像素点的深度值来预测当前编码宏块Bk的深度预测视差。设当前编码宏块Bk的深度值为Bk所包含的所有像素点对应的深度值的最大似然值，zk可以表示为 其中， 为每个像素点的深度值。
[0060] 图2为根据本发明一个实施例的虚拟视点绘制原理图。如图2所示，在获得Bk所对应的深度值之后，可以通过深度与视差之间的映射关系来计算当前编码宏块的视差。当前编码宏块的预测视差可以表示为， 其中，dk为计算视差，f为焦距，c为左右视点的基线距离。对于四分之一像素精度的编码模式，将dk取整到最临近的四分之一像素点位置作为当前编码宏块的深度预测视差。
[0061] 第二预测模块300用于通过视间匹配的方法获得视差向量，并根据视差向量对当前宏块进行传统视间预测编码。
[0062] 第三预测模块400用于通过时域运动估计的方法获得运动向量，并根据运动向量对当前编码宏块进行时域预测编码。
[0063] 计算模块500用于计算当前编码宏块在视间预测和补偿预测的多个率失真性能。
[0064] 具体地，编码器将计算不同预测模式下的率失真性能。设当前编码宏块Bk的运动向量为 搜索视差为 深度预测视差为
[0065] 当前宏块的
运动补偿预测率失真性能可以表示为，运动补偿预测的率失真性能通过如下公式获得， 其中， 为运动向量，Bk为当前编码宏块，refm为 所指向的参考帧，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，λmotion为时域预测的拉格朗日乘子，rm为编码运动矢量所需要的编码码率，rh为编码除运动矢量外其他宏块头信息所需要的码率。
[0066] 当前宏块的搜索视差补偿预测的率失真性能通过如下公式获得，其中， 为视间匹配所得视差，Bk为
当前编码宏块，refd为 所指向的参考帧， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，λmotion为传统视间预测的拉格朗日乘子，rd为编码搜索视差矢量所需要的编码码率。
[0067] 在立体视频中，深度信息可以视为视频编码的边信息。因此，我们可以假设编码端和解码端能够同时获得相同的重构深度图。从而深度预测视差不需要编入码流当中。因此，当前宏块通过深度预测视差进行视差补偿预测所对应的率失真性能可以表示为，其中， 为深度计算视差，Bk为当前编码
宏块，refz为 所指向的参考帧， 为 所指向的参考帧中对应像素点的亮度或者色度分量值，X为Bk中的每一个像素，I为X对应的亮度或者色度分量值，λmotion为深度辅助的视间预测的拉格朗日乘子，rh′为基于深度预测视差的视差补偿预测模式下，编码宏块头信息所需要的码率。
[0068] 选择模块600用于选择率失真性能最小的率失真性能对应的预测模式作为当前编码宏块的预测模式并进行编码。
[0069] 具体地，编码器将选择率失真最优的预测模式作为当前编码宏块的预测模式。其选择过程可以表示为， 其中，
和 分别表示时域预测的率失真性能、传统视
间预测的率失真性能和深度辅助的视间预测的率失真性能。
[0070] 在本发明的一个实施例中，设当前编码宏块Bk为“Book Arrival”序列的视点8视频中一帧中的一个8×8的宏块。其对应的深度值如下述8×8矩阵所示。
[0071] 对 于 当 前 编 码 宏 块 Bk，其对应的深度值为Bk所包含的所有像素点对应的深度值的最大似然值zk为，
在获得当前编码宏块Bk的深度值后，当前编码
宏块的预测视差为，
[0072] 对于四分之一像素精度的编码模式，将dk取整到最临近的像素点后，其视差应为，dk′=[dk]=16.25。编码器再进行基于预测的视差信息进行传统视间预测。对于当前编码宏块，其预测视差为16.25。编码器在视点10的对应帧中找到相应的参考宏块，进行预测。设预测残差绝对值之和为50。此外，编码器还将对当前宏块进行补偿预测，即时域预测和传统视间预测。在时域预测中，不妨设当前宏块的运动向量为32，时域预测的残差的绝对值之和为80。在视间的传统视间预测中，设编码器通过块匹配搜索得到的视差为16，传统视间预测的残差的绝对值之和为45。
[0073] 在 本 发 明 的 一 个 实 施 例 中，计 算 模 块500 计 算 不 同 预 测 编码模 式 下的 率失 真 性能。 对 于宏 块Bk，其时 域 预测 的 率失 真性 能 为，[0074] Bk 的 传 统 视 间 预 测 的 率 失 真 性 能 为 ，
[0075] 当采用深度预测视差进行预测编码时，Bk的深度辅助的视间预测编码的率失真性能为，
[0076] 选择模块600通过编码器比较不同预测模式下率失真性能，并选择最优的预测编码模式。对于当前宏块Bk， 因此，其最优的帧间预测编码模式为深度辅助的视间预测编码。在获得最优的帧间预测编码模式后，编码器将进行第二次率失真优化选择。编码器将进一步比较帧间预测模式与帧内预测模式的率失真性能，最终选择率失真最优的模式对当前宏块进行编码。
[0077] 根据本发明实施例的系统，通过深度来估计编码宏块的视差来进行视间补偿预测，减少了立体视频编码中视差编码所需要的码率，同时提高了立体视频编码的效率。
[0078] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、
修改、替换和变型。
