技术领域
[0001] 本
发明涉及计算机，视频压缩编码技术领域，特别涉及一种基于视间预测的双目立体视频的编码及解码方法方法。
背景技术
[0002] 随着
电子和计算技术的飞速发展，立体技术已经日趋成熟并且被广泛地应用到了不同的领域之中。立体电视，又称三维电视，因其能提供更为丰富的视觉信息和更具
沉浸感的观看效果，正引起越来越多的关注，其必将在我国未来的数字家庭娱乐、文化创意、教育培训等产业中发挥巨大的作用。因此，三维电视代替传统的二维平面显示也是大势所趋。
[0003] 立体视频是利用人眼睛的双目
视差原理，双目各自独立地接收来自同一场景的特定摄像点的左右图像，左眼看左视
角的图像，右眼看右视角的图像，形成双目视差，大脑能得到图像的深度信息，使欣赏到的图像有强烈深度感、逼真感，观众能欣赏到很强的
立体视觉效果。
[0004] 双目立体视频包含一对视频序列，分别对应左眼和右眼视点的场景。相比于传统的视频，双目立体视频需要存储和传输两倍的数据，能否有效的进行压缩成为能否实现3D技术的关键。由于左视图和右视图显示的是同一场景不同视点的图像，因此具有很强的相关性，可以利用这些相关性来进行有效的压缩。
发明内容
[0005] 本发明的目的旨在至少解决上述的技术
缺陷之一。
[0006] 为此，本发明的一个目的在于提出一种基于视间预测的双目立体视频的编码方法，和与上述编码方法对应的一种基于视间预测的双目立体视频的解码方法。其中，该编码方法能够有效提高双目立体视频的编码效率。
[0007] 为达到上述目的，本发明一方面提出了一种基于视间预测的双目立体视频的编码方法，包括以下步骤：根据单路
视频编码方法对双目立体视频的第一路视频进行编码，以得到所述第一路视频的码流；判断所述双目立体视频的第二路视频的当前
帧是否为双向帧；如果所述第二路视频的当前帧不是双向帧，则根据时间上相邻的重构帧对所述第二路视频的当前帧的预测
块进行
运动补偿，并根据视间重构帧对所述第二路视频的当前帧的预测块进行视差补偿；根据所述运动补偿和所述视差补偿确定所述当前帧的预测块的第一预测矢量和第一参考帧索引；对所述第二路视频的当前帧与相应参考帧索引指向的参考帧的残差进行编码，以得到残差码流；根据所述第一预测矢量得到差分预测矢量；和根据所述差分预测矢量和所述第一参考帧索引对所述第二路视频的当前帧进行编码，且与所述残差码流形成所述第二路视频当前帧的码流；如果所述第二路视频的当前帧为双向帧，则判断所述双向帧的预测块的第二预测矢量和第二参考帧索引是否根据直接模式得到；如果所述双向帧的预测块的第二预测矢量和第二参考帧索引根据直接模式得到，则根据所述第二预测矢量和第二参考帧索引对所述第二路视频的当前帧进行编码，以形成所述第二路视频相应帧的码流；和如果所述双向帧的预测块的第二预测矢量和第二参考帧索引不是根据直接模式得到，则根据单路视频编码方法对所述双向帧进行编码，以得到当前帧的码流。
[0008] 在本发明的一个
实施例中，所述根据运动补偿和所述视差补偿得到相应预测块的第一预测矢量和参考帧索引，进一步包括：根据运动补偿得到所述当前帧的预测块的
运动矢量；根据视差补偿得到所述当前帧的预测块的视差矢量；根据最优匹配准则在所述视差矢量和所述运动矢量中选择一个矢量作为所述第一预测矢量，且得到所述预测矢量对应的参考帧索引。
[0009] 在本发明的一个实施例中，所述根据第一预测矢量得到差分预测矢量，进一步包括：如果所述第一预测矢量为所述运动矢量，所述运动矢量为第一参考值；如果所述第一预测矢量为所述视差矢量，所述视差矢量为第二参考值；根据所述第一参考值和所述第二参考值对所述预测矢量进行预测编码，以得到所述差分预测矢量。
[0010] 在本发明的一个实施例中，根据所述第一参考值和所述第二参考值对所述预测矢量进行预测编码，以得到所述差分预测矢量，进一步包括：判断当前块的所述预测矢量的对应的参考帧属于所述第一路视频或者第二路视频；如果所述参考帧属于所述第一路视频，判断与所述当前块相邻的预测块的预测矢量是否属于第二路视频；如果所述当前块相邻的预测块的预测矢量不属于第二路视频，对所述当前块相邻的预测块的预测矢量进行编码，否则不对所述当前块相邻的预测块的预测矢量进行编码，且标记所述当前块相邻的预测块为不可用。
[0011] 在本发明的一个实施例中，根据所述第一参考值和所述第二参考值对所述预测矢量进行预测编码，以得到所述差分预测矢量，还包括：如果所述参考帧属于所述第二路视频，判断与所述当前块相邻的预测块的预测矢量是否属于第一路视频；如果所述当前块相邻的预测块的预测矢量不属于第一路视频，对所述当前块相邻的预测块的预测矢量进行编码，否则不对所述当前块相邻的预测块的预测矢量进行编码，且标记所述当前块相邻的预测块为不可用。
[0012] 在本发明的一个实施例中，所述如果双向帧的预测块根据直接模式得到所述双向帧的预测块的第二预测矢量，进一步包括：如果所述双向帧的后向参考帧对应块的预测块的第二预测矢量，与所述双向帧的预测块的第二预测矢量分别属于第一路和第二路视频，或者与所述双向帧的预测块的第二预测矢量分别属于第二和第一路视频，根据空间矢量预测方法获取第二预测矢量；否则根据时域矢量预测方法获取第二预测矢量。
[0013] 本发明的另一方面提出了一种基于视间预测的双目立体视频的解码方法，包括以下步骤：根据单路视频解码方法对双目立体视频编码的第一路视频码流进行解码，以恢复所述第一路视频；判断所述双目立体视频编码的第二路视频码流的当前帧编码是否为双向帧编码；如果所述第二路视频码流的当前帧编码不是双向帧编码，则对所述第二路视频码流的当前帧编码进行解码以得到所述当前帧的差分预测矢量和第一参考帧索引；对所述第二路视频码流的当前帧编码与所述第一参考帧索引指向的参考帧编码的残差编码进行解码，以得到相应的残差；根据所述差分预测矢量得到第一预测矢量；根据所述第一预测矢得到所述当前帧编码的运动矢量或视差矢量；根据所述运动矢量或视差矢量，和所述残差完成所述当前帧编码的解码；如果所述第二路视频码流的当前帧编码为双向帧编码，则判断所述双向帧编码的预测块的第二预测矢量和第二参考帧索引是否根据直接模式得到；如果所述双向帧编码的预测块的第二预测矢量和第二参考帧索引根据直接模式得到，则根据所述第二预测矢量和第二参考帧索引对所述所述第二路视频码流的当前帧编码进解码，以得到所述第二路视频相应的双向帧；如果所述双向帧的预测块的第二预测矢量和第二参考帧索引不是根据直接模式得到，则根据单路视频解码方法对所述双向帧编码进行解码，以恢复双向帧。
[0014] 在本发明的一个实施例中，所述根据差分预测矢量得到第一预测矢量，进一步包括：如果当前帧的预测块使用运动补偿进行预测，则所述预测块的第一预测矢量为所述差分预测矢量，及与所述预测块相邻的使用运动补偿的预测块的运动矢量之和；如果当前帧的预测块使用视差补偿进行预测，则所述预测块的第一预测矢量为所述差分预测矢量，及与所述预测块相邻的使用视差补偿的预测块的视差矢量之和。
[0015] 在本发明的一个实施例中，所述根据直接模式得到所述双向帧编码的预测块的第二预测矢量，进一步包括：如果所述双向帧编码的后向参考帧对应的预测块的参考块指向所述第一路视频码流的参考帧，通过空间矢量预测的方法获取所述直接模式块的第二预测矢量，如果所述双向帧编码的后向参考帧对应的预测块的参考块指向所述第二路视频码流的参考帧，通过时域矢量预测的方法获取所述直接模式块的第二预测矢量。
[0016] 本发明的基于视间预测的双目立体视频的编码和解码方法，充分利用了时域的相关性以及视点间的相关性，通过对预测块进行运动补偿或视差补偿，能够有效的提高双目立体视频的编码效率。另外，本发明对双向帧中采用直接模式编码的块的第二预测矢量求取
算法进行了改进，更加提高了双向帧中直接模式块的第二预测矢量求取的精确度。同时，本发明对预测矢量的预测编码算法进行了改进，提高了预测矢量的预测的精确度和预测矢量差分编码的效率。
[0017] 本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0018] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0019] 图1为本发明实施例的基于视间预测的双目立体视频编码方法的
流程图；
[0020] 图2为本发明编码方法中对预测矢量进行预测编码得到差分预测矢量的示意图；
[0021] 图3a-3b本发明编码方法和解码方法中B帧的直接模式运动矢量推导原理图；
[0022] 图4为本发明编码方法的一个实施例中IBBPBBP...预测结构示意图；和[0023] 图5为本发明实施例的基于视间预测的双目立体视频解码方法的流程图。
具体实施方式
[0024] 下面详细描述本发明的全部实施例，所述实施例的示例在附图中示出，其中自始 至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0025] 本发明实施例是针对现有对双目立体视频编码效率不高而提出的一种基于视间预测的双目立体视频的编码方法。通过本发明实施例提出的基于视间预测的双目立体视频的编码方法，能够有效地提高对双目立体视频的编码效率。以下参考附图对本发明实施例提出的编码方法和相应的解码方作做详细的介绍。
[0026] 如图1所示，示出了本发明实施例的基于视间预测的双目立体视频编码方法的流程图。由于本发明实施例针对双目立体视频而提出的编码方法，所以对双目立体视频的其中一路采用单路视频的编码方法进行编码，在本发明的具体实施例中，对采用单路视频的编码方法进行编码的其中一路视频定义为第一路视频，而对另一路视频定义为第二路视频，当然，所谓第一路视频和第二路视频是可以互换的。并且，根据双目立体视频两路视频的相关性，对本发明实施例的第二路视频进行编码，从而减少了对冗余视频的编码，提高编码效率。具体包括以下步骤：
[0027] 步骤S101，判断当前预测块是否属于第二路视频，如果不属于第二路视频，则执行步骤S102，否则执行步骤S103；
[0028] 步骤S102，利用单路视频编码的方法对第一路视频进行预测并编码；
[0029] 步骤S103，判断第二路视频的当前帧是否是双向帧(B帧)预测，如果当前帧是双向帧，则执行步骤S109，否则执行步骤S104；
[0030] 步骤S104，由于当前双向帧的预测块的参考帧可能来自当前视点的重构帧或第一路视点的重构帧，所以同时对该块进行运动补偿和视差补偿，并且根据最优匹配准则，(如平均均方误差、平均绝对值误差)从当前预测块的运动矢量和视差矢量中根据最优匹配准则选择，选择其中之一的矢量作为当前预测块的预测矢量，在本发明的具体实施例中，该预测矢量定义为第一预测矢量，以区分采用不同方法得的的预测矢量，以下对于该预测矢量的描述，都以第一预测矢量为例进行说明。但是本领域的技术人员知道，对于第一预测矢量的定义，也可以定义为其他名称，但是其表示的含义与预测矢量相同；
[0031] 步骤S105，判断当前预测块的第一预测矢量是否指向第二路视频的参考帧，如果指向第二路视频的参考帧，则执行步骤S106，否则执行步骤S107；
[0032] 步骤S106，当前帧的预测块的第一预测矢量的预测中指向第一路视频的相邻块将不可用。
[0033] 在本发明的具体实施例中，如图2所示，示出了本发明实施例的编码方法中对预测矢量进行预测编码，从而得到差分预测矢量的示意图，以下结合具体实施例对步骤S106做进一步的解释，如果当前块E指向第二路视频，而相邻块A指向第一路视频，所以当前块E与相邻块A的第一预测矢量属于不同的视频，因此无法利用相邻块A的第一预测矢量进行预测编码，所以标记块A为不可用，忽略对相邻块A的第一预测矢量的编码；
[0034] 步骤S107，当前帧的预测块的第一预测矢量的预测中指向第二路视频的相邻块将不可用。
[0035] 在本发明的具体实施例中，同样参考图2，如果当前块E指向第一路视点，而相邻块A指向第二路视点，所以当前块E与相邻块A的第一预测矢量属于不同的视频，因此无法利用相邻块A的第一预测矢量进行预测编码，所以标记块A为不可用，同样忽略对相邻块A的预测矢量的编码；
[0036] 步骤S108，根据步骤S106或S107对没有标记预测块不可用的第一预测矢量进行预测编码，得到差分预测矢量。
[0037] 具体地，如果所述第一预测矢量为所述运动矢量，所述运动矢量为第一参考值；如果所述第一预测矢量为所述视差矢量，所述视差矢量为第二参考值；根据所述第一参考值和所述第二参考值对所述第一预测矢量进行预测编码，以得到所述差分预测矢量，即如果当前预测块使用运动补偿进行预测，则将与当前预测块相邻的运动补偿块的运动矢量作为预测值，如果当前预测块使用视差补偿进行预测，则将与当前预测块相邻的视差补偿块的视差矢量作为预测值。从而，根据预测值对预测块的第一预测矢量进行预测编码，得到差分预测矢量。最后根据差分预测矢量和第一参考帧索引，对第二路视频的每一帧进行编码，最终得到第二路视频码流；
[0038] 步骤S109，由于所述当前帧为双向帧，所以判断当前块是否采用直接模式求取第二预测矢量，从图1中能够看出，在本发的具体实施例中，该第二预测矢量为采用直接模式求取的运动矢量，如果采用直接模式求取第二预测矢量，则执行步骤S110，否则执行步骤S113；
[0039] 步骤S110，如果所述双向帧的后向参考帧对应块的预测块的第二预测矢量，与所述双向帧的预测块的第二预测矢量分别属于第一路和第二路视频，或者与所述双向帧的预测块的第二预测矢量分别属于第二和第一路视频，根据空间矢量预测方法获取第二预测矢量；否则根据时域矢量预测方法获取第二预测矢量，即判断当前预测块的后向对应块的第二预测矢量是否指向第一路视频的参考帧，如果当前预测块的后向对应块的第二预测矢量指向第一路视频参考帧，则执行步骤S111，否则执行步骤S112；
[0040] 步骤S111，采用
空域预测模式对第二预测矢量进行预测。
[0041] 在本发明的具体实施例中，采用空域预测模式的预测示意图如图3a所示，为本发明编码方法和解码方法中双向帧的直接模式第二预测矢量推导原理图；
[0042] 步骤S112，采用时域预测模式对第二预测矢量进行预测。
[0043] 在本发明的具体实施例中，采用时域预测模式的预测示意图如图3b所示，为本发明编码方法和解码方法中双向帧的直接模式第二预测矢量推导原理图；
[0044] 步骤S113，利用单路视频编码的方法对剩余的双向帧进行预测并编码。
[0045] 在本发明的具体实施例中，编码端对双目立体视频中的第二路视频进行运动补偿和视差补偿，编码端根据最优匹配准则选择视差矢量和运动矢量之一作为第一预测矢量对待编码宏块进行视间预测。编码端将第一预测矢量第一和参考帧索引传输至解码端，使得解码端能够对第二路码流进行正确的解码。在本发明的优选实施例中，如图4所示，为IBBPBBP...预测结构示意图。示出采用本发明编码方法得到的一个双目视频编码的具体实例。但本领域的普通技术人员指导，IBBPBBP...编码结构只是为了说明本发明实施例的效果，其中，本发明提供的编码结构不局限于此。这些也应属于本发明的保护范围。
[0046] 在本发明实施例的另一方面，提出了一种基于视间预测的双目立体视频的解码方法。以下结合附图对本发明实施例的解码方法做详细介绍。
[0047] 如图5所示，示出了本发明实施例的基于视间预测的双目立体视频的解码方法的具体流程图。
[0048] 具体地，对双目立体视频的解码过程包括以下步骤：
[0049] 步骤S201，判断当前帧的预测块是否属于第二路视频。如果属于第二路视频，则执行步骤S203，否则执行步骤S202；
[0050] 步骤S202、根据单路视频解码的方法对当前帧编码进行预测并解码，得到当前帧编码的重构帧；
[0051] 步骤S203、判断当前帧是否是双向帧(B帧)预测，如果当前帧是双向帧预测，则执行步骤S209，否则执行步骤S204；
[0052] 步骤S204、从第二路视频码流中获取当前块的差分预测矢量，并根据差分预测矢量的相应参考帧索引判断该参考帧指向第二路视频的以前时刻的参考帧，或第一路视频当前时刻的视差参考帧；
[0053] 步骤S205、判断当前块的差分预测矢量是否指向第二路视频的参考帧。如果当前块的差分预测矢量指向第二路视频的参考帧，则执行步骤S206，否则执行步骤S207；
[0054] 步骤S206、在预测矢量的恢复中，指向第一路视频的相邻块将不可用。在本发明的具体实施例中，该预测矢量对应于本发明提出的编码方法的第一预测矢量。
[0055] 在本发明的一个具体实施例中，如图2所示，示出了本发明编码方法中对预测矢量进行预测编码得到差分预测矢量的示意图。通过具体实施例对步骤S206做详细解释，如果当前块E指向第二路视频，而相邻块A指向第一路视频，由于当前块E和相邻块A的第一预测矢量属于不同的视频，因此无法利用相邻块A的第一预测矢量进行预测编码，所以标记块A为不可用；
[0056] 步骤S207、在预测矢量的恢复中，指向第二路视点的相邻块将不可用。
[0057] 在本发明的一个具体实施例中，如图2所示，示出了本发明编码方法中对预测矢量进行预测编码得到差分预测矢量的示意图。通过具体实施例对步骤S207如果当前块E指向第一路视点，而相邻块A指向第二路视点，由于它们的第一预测矢量属于不同的视点，因此无法利用相邻块A的第一预测矢量进行预测编码，所以标记块A为不可用；
[0058] 步骤S208、根据步骤S206或S207得到的第一预测矢量的预测值以及第二路视频码流中得到的差分预测矢量恢复出原来的视差矢量或运动矢量。
[0059] 具体地，如果当前预测块使用运动补偿进行预测，则预测块的第一预测矢量为差分预测矢量及与当前预测块相邻的使用运动补偿的块的矢量预测值之和，如果当前预测块使用视差补偿进行预测，则预测块的第一预测矢量为差分预测矢量及与当前预测块相邻的使用视差补偿的块的矢量预测值之和，然后对当前预测块进行视差补偿或运动补偿。并根据对预测块的补偿结果，对第二路视频码流进行重构，完成对第二路视频码流的解码；
[0060] 步骤S209、判断当前块是否采用直接模式求取第二预测矢量，如果采用直接模式求取第二预测矢量，则执行步骤S210，否则执行步骤S210，在本发明的具体实施例中，从图5中能够看出，该第二预测矢量为采用直接模式求取中的运动矢量，在此，将运动矢量定义为第二预测矢量；
[0061] 步骤S210、判断当前块的后向对应块的第二预测矢量是否指向第一路视频的参考帧，如果是则执行步骤S211，否则执行步骤S212；
[0062] 步骤S211、采用空域预测模式对第二预测矢量进行预测。
[0063] 在本发明的具体实施例中，采用空域预测模式的预测示意图如图3a所示，为本发明编码方法和解码方法中双向帧的直接模式第二预测矢量推导原理图；
[0064] 步骤S212、采用时域预测模式对第二预测矢量进行预测。
[0065] 在本发明的具体实施例中，采用时域预测模式的预测示意图如图3b所示，为本发明编码方法和解码方法中双向帧的直接模式第二预测矢量推导原理图；
[0066] 步骤S213、利用单路视频解码方法对剩余双向帧编码进行双向预测和解码，得到剩余双向帧编码的重构帧，从而完成整个解码过程。
[0067] 需要说明的是，在本发明的实施例中，首先，双目立体视频的编码不仅可以按照本发明的具体实例的IBBPBBP...编码结构，也可按照IPPP...等结构编码，其次，本发明的视差补偿采用同一时刻另一视频的图像作为参考图像进行视差补偿，但是不限于此，视频间预测的参考帧也可以是多个，但是本领域的技术人员指导，这些均可以按照本发明提出方法的思想进行改动。但这些虽然对本发明进行多种不同
修改，同样都应属于本发明的保护范围。
[0068] 通过本发明实施例提出的基于视间预测的双目立体视频的编码方法，充分利用了时域的相关性以及视点间的相关性，通过对预测块进行运动补偿或视差补偿，能够有效的提高双目立体视频的编码效率。另外，本发明对双向帧中采用直接模式编码的块的第二预测矢量求取算法进行了改进，更加提高了双向帧中直接模式块的第二预测矢量求取的精确度。同时，本发明对预测矢量的预测编码算法进行了改进，提高了预测矢量的预测的精确度和预测矢量差分编码的效率。而本发明提出的一种基于视间预测的双目立体视频的解码方法，可以认为是本发明提出的基于视间预测的双目立体视频的编码方法的逆过程，所以该解码方法对视频的解码同样提高了解码效率。
[0069] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附
权利要求及其等同限定。
