技术领域
[0001] 本
发明属于视频处理技术领域，尤其涉及
视频编码序列中P帧的编码方法及装置。
背景技术
[0002] 在过去的几十年里，视频领域的两大国际组织ISO-MPEG与ITU已经相继推出了一系列视频压缩标准如MPEG-1、MPEG-2和MPEG-4以及H.261、H.263、H.263+、H.264/AVC等，中国也于2002年成立“数字视音频编解码技术标准化工作组”即AVS组织，2005年完成并已成为国家标准。这些标准不断地提高了视频编码效率，也推动了多媒体产业的发展。
[0003] H.264/AVC与之前的编码标准相比，具有更好的编码效率，但与之相对应的是其计算复杂度也是成倍增加，这对视频编解码终端尤其是嵌入式处理平台提出了更高的挑战。为了降低H.264/AVC的计算复杂度，人们对其中计算复杂度最高的
运动估计、
运动补偿以及在此
基础上的模式选择过程做了大量的优化和改进，提出了很多优化
算法。
[0004] P帧为前向预测编码帧，在I帧或P帧的参考帧中找出P帧“某点”的
运动矢量和预测残差，取预测残差和运动矢量一起传送。在接收端根据运动矢量从参考帧中找出该
块的预测块并与差值相加以得到该块的重建值，从而可得到完整的P帧。
[0005] 但是，在现有H.264编码技术中，这些研究主要是针对模块本身，在此基础上进一步降低模块计算复杂度的空间有限。并且，尤其在P帧编码中，并未充分考虑在编码端如何减少这些模块的调用次数，如减少需要进行运动估计及运动补偿等。因此，造成现有P帧编码方法计算复杂度高、编码耗时过大等问题。
发明内容
[0006] 本发明的目的旨在至少解决
现有技术中的上述问题之一。
[0007] 为此，本发明的
实施例提出一种能够大幅降低编码复杂度的P帧编码方法及装置。
[0008] 根据本发明的一个方面，本发明实施例提出了一种P帧编码方法，所述P帧编码方法包括以下步骤：a)将待编码P帧进行下
采样，以得到原始
分辨率降低为预定倍数的
下采样帧；b)将所述下采样帧在
帧内预测编码Intra和帧间预测编码Inter编码模式之间进行模式选择；c)对于所述下采样帧中被选择为Intra的宏块，进行帧内预测编码，并在重建时整体上采样，以获得原始分辨率大小的重建Intra宏块；d)对于所述下采样帧中被选择为Inter的宏块，利用原始分辨率大小的参考帧对所述Inter的宏块进行帧间预测编码，非对称分辨率的运动补偿和残差上采样，以获得原始分辨率的重建Inter宏块；以及e)利用所述重建Intra宏块与所述重建Inter宏块组成原始分辨率的重建P帧。
[0009] 根据本发明进一步的实施例，所述步骤c包括：c1)对所述宏块进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿，以得到具有所述降低分辨率大小的重建Intra宏块；以及c2)对所述重建Intra宏块进行整体上采样，以得到所述具有原始分辨率大小的重建Intra宏块。
[0010] 根据本发明进一步的实施例，所述步骤d包括：d1)利用所述参考帧对所述宏块进行运动估计和运动补偿，以得到对应的运动矢量和残差，以及确定所述宏块在所述参考帧中的
位置；d2)根据所述位置将所述运动矢量进行等值上采样，以等值扩充一个所述运动矢量为对应所述倍数的多个运动矢量；d3)对所述残差进行整体上采样，以得到对应原始分辨率大小的上采样残差；以及d4)将所述上采样残差与所述多个运动矢量对应提取的参考块相加，得到所述重建Inter宏块。
[0011] 根据本发明进一步的实施例，所述步骤a包括：将所述待编码P帧进行行、列各1/2的下采样，以得到为原始分辨率1/4倍数大小的所述下采样帧。
[0012] 根据本发明进一步的实施例，该方法还包括：将所述帧内预测得到的残差进行变换及量化之后进行
熵编码；以及输出对应的压缩码流。或者，将所述运动矢量以及进行变换及量化之后的残差进行熵编码；以及输出对应的压缩码流。
[0013] 根据本发明进一步的实施例，所述重建P帧不作为下一待编码帧的参考帧。
[0014] 根据本发明的另一方面，本发明的实施例提出一种P帧编码装置，所述P帧编码装置包括：下采样模块，所述下采样模块用于将待编码P帧进行下采样，以得到分辨率降低为原始分辨率预定倍数的下采样帧；模式选择模块，用于将所述下采样帧的宏块编码模式在Intra/Inter之间进行模式选择；Intra编码模块，所述Intra编码模块对所述下采样帧中被选择为Intra模式的宏块进行帧内预测，并在重建时整体上采样，以获得原始分辨率大小的重建Intra宏块；Inter编码模块，所述Inter编码模块利用原始分辨率大小的参考帧对被选择为Inter模式的宏块进行帧间预测编码，非对称分辨率的运动补偿和残差上采样，以获得原始分辨率的重建Inter宏块；以及合成模块，所述合成模块利用所述重建Intra宏块与所述重建Inter宏块组成原始分辨率的重建P帧。
[0015] 根据本发明进一步的实施例，所述Intra编码模块对所述宏块进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿，得到具有所述降低分辨率大小的重建Intra宏块；以及对所述重建Intra宏块进行整体上采样，以得到所述具有原始分辨率大小的重建Intra宏块。
[0016] 根据本发明进一步的实施例，所述Inter编码模块包括：Inter编码单元，所述Inter编码单元利用所述参考帧对所述宏块进行运动估计和运动补偿，以得到对应的运动矢量和残差，以及确定所述宏块在所述参考帧中的位置；运动矢量上采样单元，所述运动矢量上采样单元将所述运动矢量进行等值上采样，以等值扩充一个所述运动矢量为对应所述倍数的多个运动矢量；残差上采样单元，所述残差上采样单元将所述残差进行整体上采样，以得到对应原始分辨率大小的上采样残差；以及Inter宏块重建单元，所述Inter宏块重建单元将所述上采样残差与所述多个运动矢量对应提取的参考块相加，以得到所述重建Inter宏块。
[0017] 根据本发明进一步的实施例，所述下采样模块将所述待编码P帧进行行、列各1/2的下采样，以得到为原始分辨率1/4倍数大小的所述下采样帧。
[0018] 根据本发明进一步的实施例，还包括熵编码模块，所述熵编码模块用于将所述运动矢量和/或量化之后的所述残差进行熵编码，并输出对应的压缩码流。
[0019] 根据本发明进一步的实施例，所述重建P帧不作为下一待编码帧的参考帧。
[0020] 本发明通过P帧下采样编码获得一种新型的R帧。这样，对于最耗时的运动估计和运动补偿部分，其计算复杂度基本上为原始分辨率帧的1/4，而编码性能几无损失。因此，本发明编码能有效降低计算复杂度，同时，对一些运动不大、纹理简单的移动环境下的视频还可明显提高编码效率。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0021] 本发明的上述和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0022] 图1为现有编码技术对应的视频编码序列示意图；
[0023] 图2为本发明实施例的P帧编码装置结构方
框图；
[0024] 图3为本发明实施例的P帧下采样示意图；
[0025] 图4为本发明实施例的Inter宏块运动估计示意图；
[0026] 图5为本发明实施例的Inter宏块运动补偿原理示意图；
[0027] 图6为传统P帧Inter宏块运动补偿原理示意图；以及
[0028] 图7为本发明实施例的P帧编码方法的步骤
流程图。
具体实施方式
[0029] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0030] 本发明提出了一种P帧编码装置和方法，得到重建的P帧，这里可以称之为一种新型的R帧，以解决现有P帧编码技术中计算复杂度高、编码耗时过大等问题。
[0031] 在本发明一个实施例中，P帧编码装置可以包括下采样模块、模式选择模块、帧内预测编码(Intra)模块、帧间预测编码(Inter)模块以及合成模块。
[0032] 具体来说，下采样模块用于对待编码P帧进行下采样，以降低输入视频的原始分辨率，得到分辨率降低为原始分辨率预定倍数的下采样帧。
[0033] 模式选择模块用于将得到的下采样帧的宏块编码模式在Intra/Inter之间进行选择，其中由Intra编码模块对下采样帧中被选择为Intra模式的宏块进行帧内预测和上采样，以获得原始分辨率大小的重建Intra宏块。并且，由Inter编码模块利用原始分辨率大小的参考帧，对下采样帧中被选择为Inter模式的宏块进行帧间预测编码，采用非对称分辨率的运动补偿技术和残差块上采样，以获得原始分辨率的重建Inter宏块。
[0034] 最后，由合成模块则将重建Intra宏块与重建Inter宏块组成原始分辨率的重建P帧。
[0035] 现在参考图2和3，下面将结合该图对本发明实施例的P帧编码装置结构及工作原理进行详细描述。
[0036] 如图2所示，输入视频的待编码P帧首先输入到下采样模块30中，从而对待编码P帧进行下采样，进而降低该P帧的原始分辨率。
[0037] 在一个实施例中，下采样模块30执行的下采样可以如图3所示，这里，下采样模块30可以对待编码P帧执行行、列各1/2的下采样，从而得到为原始分辨率1/4倍数大小的下采样帧。
[0038] 如图3所示，按照隔行、隔列的原则将原始分辨率的待编码P帧中的每一个
像素划分到四个子帧中，形成
水平和垂直分辨率减半的左上、右上、左下、右下4个子帧(即下采样P帧)。这里，仅需要在其中一个下采样P帧的基础上进行后续的编码。当然，该子帧可以是划分的多个子帧中的任意一个。
[0039] 在得到下采样帧之后，由Intra编码模块和Inter编码模块对下采样帧划分的宏块进行Intra/Inter编码。通常将下采样帧划分为16x16大小的宏块，通过后续对每个宏块进行编码，从而完成对该下采样帧的编码。
[0040] 这种情况下，每个宏块仍然有4种16x16帧内预测模式，9种4x4帧内预测模式，以及skip、16x16、16x8，8x16，8x8，8x4，4x8，4x4等8种帧间预测分块模式。
[0041] 因此，在对宏块进行对应编码之前，首先针对对下采样帧的所有宏块，由P帧编码装置的帧内预测单元31和运动估计单元38分别进行帧内预测和帧间预测，并根据其分别对应的代价函数计算单元52及54得到的代价结果，由模式选择模块56确定适合帧内预测的宏块部分(Intra宏块)与适合帧间预测的宏块部分(Inter宏块)。这里，模式选择模块对应的宏块编码模式选择判断可以是现有的选择方法。
[0042] 之后，Intra编码模块与Inter编码模块分别根据每个宏块对应的预测模式，进行对应的帧内编码或帧间编码。
[0043] 对于采用Intra编码模式的部分宏块，Intra编码模块对宏块进行帧内预测、变换、量化、反量化、反变换以及帧内预测补偿，首先得到对应下采样分辨率，即降低分辨率大小的重建Intra宏块(也可称作为第一重建Intra宏块，对应16x16大小)，然后再对该重建Intra宏块进行整体上采样，以得到对应原始分辨率大小的重建Intra宏块(也可称作为第二重建Intra宏块，对应32x32大小)。
[0044] 在图2实施例中，上述操作可以由帧内预测单元31、变换单元32、量化单元34、反量化单元44、反变换单元46、帧内预测重建单元49及重建块整体上采样单元48等分别对应执行。
[0045] 另外，对于采用Inter编码模式的部分宏块，Inter编码模块利用参考帧对宏块进行运动估计和运动补偿。
[0046] 如图2所示，Inter编码模块包括运动估计单元38和运动补偿单元40，以分别得到对应的残差和运动矢量，并确定宏块在参考帧中的位置。估计单元38的参考帧为原始分辨率大小的前一帧已编码I帧或P帧。
[0047] 关于运动估计单元38对下采样帧的Inter宏块进行运动估计的示意图可以参考图4的本发明实施例。
[0048] 例如，对于分辨率降低为原始分辨率1/4倍数的下采样帧ft1/4(对应当前编码帧，时刻Time＝t)，运动估计单元38结合参考帧ft-1(对应前一编码帧，时刻Time＝t-1)可计算得到其对于的运动矢量MV。并且运动补偿单元40通过估计单元38计算得到的运动矢量MV，可以确定该宏块在参考帧ft-1中的位置。
[0049] 但是，由于下采样帧的分辨率已经降低，因此还需要将该宏块对应的运动矢量进行上采样。运动矢量(MV)上采样单元42用于将每个宏块对应的一个运动矢量计算值进行等值上采样，以等值扩充一个运动矢量为对应分辨率缩小倍数的多个运动矢量。
[0050] 关于运动矢量上采样单元42的非对称分辨率运动补偿(即，运动矢量上采样)原理，下面结合图5和图6的实施例作出说明。其中，图5为本发明实施例的Inter宏块运动补偿原理示意图，图6为传统P帧Inter宏块运动补偿原理示意图。
[0051] 例如，对于图5所示降低1/4倍数分辨率大小且选自待编码P帧左上方的下采样1/4
帧ft ，需要利用非对称分辨率的运动补偿，对宏块的运动矢量进行等值上采样，以等值扩充为4个运动矢量。即，以运动估计得到的一个运动矢量同时提取对应本宏块右上、左下、右下位置的3个位置的参考块，使本宏块的右上、左下、右下方的宏块具有相同的运动矢
1/4
量。这样，将下采样帧ft 对应的16x16大小的宏块扩充为32x32大小，即为具有本宏块
2×2倍大小的原始分辨率重建帧ft。
[0052] 如此，便可在参考帧中提取出该宏块2×2倍大小的参考块，从而使得参考块具有了原始分辨率大小。
[0053] 从图5和图6右侧所示的上、下两帧可知，传统P帧Inter宏块的运动补偿与运动估计对应帧为同等分辨率，而从图5可知，本发明的Inter宏块的运动补偿与运动估计对应帧为非对称分辨率帧。
[0054] 此外，在运动估计单元38得到残差之后，通过变换单元32、量化单元34将残差进行变换、量化。接着，由反量化单元44、反变换单元46再对量化后的残差进行反量化、反变换。然后输入到残差上采样单元47中，以对得到的残差进行残差整体上采样，从而得到对应原始分辨率大小的上采样残差。
[0055] 然后，如图2所示，将运动矢量上采样单元42对应上采样运动矢量提取的参考块与上采样单元47在Inter模式下输出的上采样残差相加，从而得到对应原始分辨率的Inter宏块重建值，即重建Inter宏块。
[0056] 最后，合成模块50将重建Inter宏块与重建块整体上采样单元48在Intra预测时输出的原始分辨率的重建Intra宏块进行组成，从而得到原始分辨率的重建P帧，即新型的R帧。
[0057] 在一个实施例中，为了避免视频信息丢失太多，更好地保证图像
质量，新型R帧可以不作为下一待编码帧的参考帧。
[0058] 在本发明实施例中，P帧编码装置还可以包括熵编码模块36，用于进行数据熵编码，并输出对应的压缩码流。在帧内预测时得到的残差经变化单元32和量化单元34进行变换及量化之后，输入到熵编码模块36中，以进行熵编码并输出压缩码流。并且，在帧间预测时，运动估计单元38获得的残差和运动矢量也输入到熵编码模块36中。
[0059] 另外，本发明还提出了一种P帧编码方法，该方法包括以下步骤：将待编码P帧进行下采样，以得到分辨率降低为原始分辨率预定倍数的下采样帧。然后，将下采样帧在Intra和Inter编码模式之间进行模式选择。其中，对于下采样帧中被选择为Intra的宏块，进行帧内预测编码和上采样，以获得原始分辨率大小的重建Intra宏块；对于采样帧中被选择为Inter的宏块，利用原始分辨率大小的参考帧对Inter的宏块进行帧间预测编码，非对称分辨率的运动补偿和残差块上采样，以获得原始分辨率的重建Inter宏块。最后，利用重建Intra宏块与重建Inter宏块组成原始分辨率的重建P帧。
[0060] 下面，结合图6对本发明实施例的P帧编码方法的具体步骤流程给出详细描述。
[0061] 首先获取输入视频对应的待编码P帧(步骤202)，并对待编码P帧进行下采样(步骤204)，从而得到降低分辨率的多个子帧，例如分辨率为原始分辨率1/4倍数大小的4个子帧。具体地，可以将待编码P帧进行行、列各1/2的下采样。这里，仅需要从划分的多个子帧中选择任意一个作为后续编码的下采样帧，例如选择左上的子帧。
[0062] 在得到下采样帧之后，对下采样帧划分的宏块进行Intra/Inter编码。通常将该下采样帧进行宏块划分(步骤205)，从而划分为16x16大小的宏块。通过后续对每个宏块进行编码，从而完成对该下采样帧的编码。
[0063] 其中每个宏块仍然有4中16x16帧内预测模式，9种4x4帧内预测模式，除skip模式外，有16x16、16x8，8x16，8x8，8x4，4x8，4x4等7种帧间预测分块模式。
[0064] 在对宏块进行对应编码之前，首先针对下采样帧的所有宏块，判断下采样帧对应的划分宏块中哪些采用帧内编码，哪些采用帧间编码(步骤206)。
[0065] 具体地，针对对下采样帧的所有宏块，分别进行帧内预测和帧间预测，并根据两种预测模式下分别对应的代价函数计算结果，确定适合帧内预测的Intra宏块与适合帧间预测的Inter宏块。
[0066] 对于采用帧内编码的Intra宏块，转至步骤208；否则转至步骤210。
[0067] 在执行帧内编码时，首先进行下采样帧的帧内预测(步骤208)，并且对帧内预测得到的残差进行变换(步骤214)、量化(步骤216)。然后分为两路并行处理(步骤218)，一路进行熵编码(步骤220)，输出压缩码流(步骤222)；另一路转到步骤224进行Intra宏块的重建。
[0068] 在Intra宏块的重建过程中，首先对步骤216量化后的残差进行反量化(步骤224)、反变换(步骤226)。然后，进行帧内预测重建，得到对应下采样分辨率，即降低分辨率大小的重建Intra宏块(步骤230)，并对该重建宏块进行整体上采样(步骤232)，得到原始分辨率大小的重建Intra宏块。
[0069] 对采用帧间预测的Inter宏块进行运动估计(步骤210)和运动补偿(步骤212)，其参考帧为待编码P帧前一帧且为原始分辨率大小的I帧或已编码P帧。
[0070] 首先通过步骤210，得到该宏块对应的残差和运动矢量。并且，通过步骤212，可以根据运动估计获得的运动矢量计算获得该宏块在参考帧中的位置。
[0071] 然后，将运动估计步骤中得到的残差进行变换(步骤214)、量化(步骤216)，之后分为两路并行处理，一路将运动矢量和量化后的残差进行熵编码(步骤220)，并输出压缩码流(步骤222)，另一路转到步骤224进行宏块的重建。
[0072] 在Inter宏块的重建时，首先对量化后的残差进行反变换(步骤224)、反量化(步骤226)，然后在判断为帧间预测对应残差(步骤228)时，对得到的残差进行残差上采样(步骤234)，得到对应原始分辨率大小的上采样残差。
[0073] 在运动补偿时，除利用运动矢量计算本宏块在参考帧中的位置外，还需根据下采样帧帧分辨率降低的倍数，进行运动矢量上采样(步骤236)，即将该运动矢量等值扩充为多个运动矢量。
[0074] 例如，对于降低1/4倍数分辨率大小且选自待编码P帧左上方的下采样帧，需要利用非对称分辨率的运动补偿，对宏块的运动矢量进行等值上采样，以等值扩充为4个运动矢量，即以运动估计得到的一个运动矢量同时提取对应本宏块右上、左下、右下位置的3个位置的参考块，使本宏块的右上、左下、右下方的宏块具有相同的运动矢量，这样便可在参考帧中提取出本宏块2×2大小的参考块，从而使得参考块具有了原始分辨率大小。
[0075] 这时，将运动矢量上采样后的多个运动矢量对应提取的参考块与步骤234得到的残差上采样后的残差进行相加，从而得到对应原始分辨率的Inter宏块重建值。
[0076] 最后，将重建的Intra宏块和重建的Inter宏块组成原始分辨率大小的重建P帧(可以定义为R帧)，该帧可以不再作为后续编码的参考帧。
[0077] 本发明通过如上方式实现P帧编码，也可以称作下采样P帧编码，可获得一种新型的R帧。本发明直接在编码前将原视频图像分辨率降低，这样，对于最耗时的运动估计和运动补偿部分，其计算复杂度基本上为原始分辨率帧的1/4，而编码性能几无损失，因此本发明编码能有效降低计算复杂度，从而提高P帧编码效率。
[0078] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、
修改、替换和变型，本发明的范围由所附
权利要求及其等同限定。
