一种基于视频图像复杂度的自适应残差帧操作方法
专利汇可以提供一种基于视频图像复杂度的自适应残差帧操作方法专利检索，专利查询，专利分析的服务。并且本 发明 为一种用于视频图像压缩的基于视频图像复杂度的自适应残差 帧 操作方法。本发明通过定义视频图像复杂度，预测残差帧操作是否会带来更好的压缩效果，并根据预测结果自适应地进行残差帧操作。本发明提出的自适应残差帧操作方法使得残差操作的模式根据视频图像的内容的变化而变化，以保证对任何内容的视频图像流都最大程度地利用帧间冗余，同时又避免了场景转移或背景突变给残差帧操作带来的负面影响。本发明的方法既可以应用于单帧视频图像的自适应残差帧操作，也可以应用于由一定数量的视频图像帧构成的视频图像帧组的自适应残差帧操作。实验证明，本发明提出的方法在相同的压缩倍数下极大地提高了恢复视频图像的 质量 。，下面是一种基于视频图像复杂度的自适应残差帧操作方法专利的具体信息内容。
1.一种基于视频图像复杂度的自适应残差帧操作方法，其特征在于编码端的具体步骤如下：(1)取得前一帧或前一帧组最后一帧的恢复帧，作为参考帧；(2)按(1)式计算待编码帧或待编码帧组典型帧的差分图像；(3)按(2)式计算待编码帧或的复杂度，记为Comp1；(4)将待编码帧或待编码帧组典型帧与参考帧作残差，得到残差帧；(5)按(1)式计算残差帧的差分图像；(6)按(2)式计算残差帧(组)的复杂度，记为Comp2；(7)比较Comp1与Comp2；若Comp1＞Comp2，则对待编码帧(组)的残差帧(组)进行下一步的压缩编码，并在输出码流中添加一个比特1，作为残差帧操作指示比特，表示当前帧(组)采用了残差帧操作；若Comp1＜Comp2，则对原始待编码帧(组)直接进行下一步的压缩编码，并在输出码流中添加一个比特0，作为残差帧操作指示比特，表示当前帧(组)没有采用残差帧操作；D(row，col)＝I(row，col)-I(row+1，col+1) (1)式中，D代表空间差分图像，I代表原图像。row与col分别为图像的行序号与列序号；Comp＝Cnt·ln(RMS)/100 (2)式中，Comp为原图像的复杂度，Cnt为空间差分图像中非零像素值，RMS为这些非零像素值的均方根值。
2.根据权利要求1所述的自适应残差帧操作方法，其特征在于解码端的具体步骤如下：(1)将恢复出来的前一帧或前一帧组最后一帧存入缓冲区，作为可能的参考帧；(2)进行通常的解码操作；(3)读取当前帧(组)的残差帧操作指示比特；若为比特1，则将目前已恢复出来的图像帧(组)加上缓冲区的参考帧，得到最后的恢复帧(组)；若残差帧操作指示比特为比特0，则表明压缩编码时没有进行残差帧操作，目前已恢复出来的图像帧(组)即为最后的恢复帧(组)。
一种基于视频图像复杂度的自适应残差帧操作方法
技术领域
背景技术
在上述的方法中，残差帧操作的模式都是固定的。例如，MPEG标准中的运动估计与运动补偿采用等间隔地插入I帧(原始帧)，以避免由于有损压缩造成的误差积累所引起的残差效果的下降。而在文献[2]中，图像帧组残差操作的模式也是固定的，即每两个帧组中包含一个原始帧组。
然而，固定模式的残差帧操作显然不是最优化的。当视频流的内容中包含场景转移或背景突变时，残差帧操作反而会对压缩效果产生十分不利的影响，在这种情况下就应该及时插入原始帧或原始帧组(简记为原始帧(组))；另一方面，当视频流的内容在时间方向十分平稳时，原始帧(组)的插入间隔就可以适当增大，以更好地通过残差帧操作去除视频图像的帧间冗余。所以，固定模式的残差帧操作由于没有根据视频流的内容变化而调整其操作模式，导致残差帧操作没有获得最优的去除帧间冗余的效果，甚至还常会造成严重的压缩效果的下降。
本发明提出了一种全新的基于视频图像复杂度的自适应残差帧操作方法，能根据视频流的内容动态地改变原始帧(组)的插入间隔，从根本上解决了防止误差积累与尽量去除视频图像的帧间冗余之间的矛盾，以及避免了视频流中的场景转移或背景突变所造成的极大的压缩质量的损失。
参考文献(References)[1]Didier J.LeGall.，“The MPEG video compression algorithm，”in Signal Processing：Image Communication，4(2)：129-140，Apr.1992。
[2]Jia Hu，Wen-Qi Ding，Li-Ming Zhang，and Bo Hu，“Research on a novel 3D-DWT-SPIHTcoding by alternate groups of original and residual error frame，”in J.Infrared Millim.Waves，vol.23，No.4，pp.265-270，Aug.2004。
发明内容
实际的视频流在时间上的平稳性是不断变化着的。当时间平稳性很差，即有频繁的场景转移或背景突变时，残差帧操作后的图像将变得比原始图像更为复杂，对接下来进一步的压缩编码十分不利，因此这时就不因该继续进行残差帧操作，而因该插入一个原始帧(组)；当时间平稳性很好，即图像是准静止的或规则移动的，则应该不断进行残差帧操作，直至误差积累到进行残差帧操作的压缩效果反而要低于不进行残差操作的效果为止。这样就能确保视频图像的帧间冗余得到最大程度的利用。
然而，要实现这个想法，就必须知道什么时候作残差帧操作的压缩效果会下降到低于不作残差帧操作时的效果。显然不可能将这两种图像帧(组)都经过压缩与解压缩恢复出来，并计算、比较两者的峰值信噪比(PSNR)后决定最终是否对该图像帧(组)进行残差帧操作。如果这样做的话运算量将会十分巨大。所以，要找到一种能够从待编码的图像帧(组)本身就能预测出其恢复图像帧(组)PSNR高低的方法。
本发明所提出的自适应残差帧操作方法引入了一个度量图像复杂度的经验公式(经验公式的值定义为图像复杂度)，并经过大量的实验验证了图像复杂度越高，相应的恢复图像帧(组)的PSNR越低这个事实，实现了不需要将图像帧(组)恢复出来就能预测其压缩效果。通过比较原始帧(组)与残差帧(组)的预测结果，就能立刻决定是对原始帧(组)还是对残差帧(组)进行接下来的压缩编码，实现根据视频流的内容自适应地调整原始帧(组)的插入位置，确保恢复视频帧(组)的PSNR在任何视频流内容下始终达到最大化。
1、图像复杂度的定义图像有三个复杂度，分别对应于三个颜色分量(三个颜色为红、蓝、黑)。由于视频图像压缩时，三个颜色分量是分别进行编码的，所以图像的三个复杂度之间互相没有影响。在这里，图像的三个颜色分量的值统称为图像的像素值。图像的复杂度取决于图像像素值的变化密度与变化强度，主要体现为图像中物体的边缘或纹理等。当两帧内容相近的图像作残差时，大量的物体边缘与纹理相互抵消，残差图像的复杂度大幅降低；而当两帧内容差别很大的图像作残差时(无论是否经过了运动补偿)，物体边缘与纹理不仅无法互相抵消，反而叠加在了一起，结果残差图像变得更为复杂。本发明中图像复杂度的定义与直观的图像的复杂程度相一致。
为了反映图像中物体的边缘与纹理信息，首先对图像进行一次空间差分操作：将原图像分别沿垂直方向与水平方向平移一个像素，然后将原图像与它相减。即，D(row，col)＝I(row，col)-I(row+1，col+1) (1)式中，D代表空间差分图像，I代表原图像。row与col分别为图像的行序号与列序号。
相减后的空间差分图像在原图像的像素值相同或相近的区域内取值为零或很小，在原图像的物体边缘或纹理处取值很大，且边缘或纹理对比越明显，空间差分图像在该处的取值就越大。之所以将原始图像分别沿垂直方向与水平方向平移一个像素，是为了能够将水平与垂直方向的边缘或纹理都反映到空间差分图像中去。接下来，统计空间差分图像中非零像素的数量，以了解原图像的像素值变化密度；同时，计算这些非零像素值的均方根值，以了解原图像的像素值变化强度。如果将空间差分图像中非零像素的数量记为Cnt，将这些非零像素值的均方根值记为RMS，将原图像的复杂度记为Comp，则图像复杂度的经验公式为Comp＝Cnt·ln(RMS)/100 (2)2、图像复杂度与恢复图像帧(组)PSNR值的关系对上百种视频图像在不同压缩率下的压缩实验显示，本发明所定义的图像复杂度与该图像(单帧残差情况)，或由类似复杂度的图像构成的图像帧组(帧组残差情况)的恢复图像帧(组)的PSNR值呈单调递减关系。部分实验数据见图1所示。
由图1可知，视频图像复杂度越高，恢复视频帧(组)的质量就越差。
3、残差帧操作准则根据本发明所提出的图像复杂度与恢复视频帧(组)的质量之间的关系，可以在正式进行压缩编码前就能预测是否作残差帧操作能够带来更好的压缩效果。如果经过残差帧操作的图像复杂度较低，则相应的恢复图像帧(组)的PSNR较高，此时应该对残差帧(组)进行下一步的压缩编码；反之，当经过残差帧操作的图像复杂度较高，则相应的恢复图像帧(组)的PSNR较低，此时就应该放弃残差帧操作，而对原始帧(组)直接进行下一步的压缩编码。
4、帧组复杂度当编码单元是单帧图像时，参与残差帧操作的原始帧和参考帧分别是待编码帧与前一帧的恢复帧。当编码单元是由若干帧图像构成的帧组时，参与残差帧操作的原始帧与参考帧分别是待编码帧组中的每一帧图像与前一帧组中的最后一帧图像的恢复帧。为了降低计算量与复杂度，取待编码帧组中的某一图像帧(称为典型帧)的复杂度作为整个待编码帧组的复杂度，并用该帧在残差帧操作后的复杂度作为整个待编码帧组在残差帧操作后的复杂度。为了使典型帧图像能够代表整个帧组，用处于待编码帧组正中的那一帧图像作为该帧组的典型帧。通常待编码帧组的帧数为偶数，则处于正中的图像帧有两帧，其中任何一帧都可以作为典型帧。
根据上述定义和准则，本发明提出了一种基于视频图像复杂度的自适应残差帧操作方法。
该方法在编码端的操作步骤如下：(1)取得前一帧或前一帧组最后一帧的恢复帧，作为参考帧；(2)按(1)式计算待编码帧或待编码帧组典型帧的差分图像；(3)按(2)式计算待编码帧或的复杂度，记为Comp1；(4)将待编码帧或待编码帧组典型帧与参考帧作残差(可以是简单的或是带运动补偿的)，得到残差帧；(5)按(1)式计算残差帧的差分图像；(6)按(2)式计算残差帧(组)的复杂度，记为Comp2；(7)比较Comp1与Comp2；若Comp1＞Comp2，则对待编码帧(组)的残差帧(组)进行下一步的压缩编码，并在输出码流中添加一个比特1，作为残差帧操作指示比特，表示当前帧(组)采用了残差帧操作；若Comp1＜Comp2，则对原始待编码帧(组)直接进行下一步的压缩编码，并在输出码流中添加一个比特0，作为残差帧操作指示比特，表示当前帧(组)没有采用残差帧操作。
注：如果待编码帧(组)是视频流中的第一帧(组)，则不进行残差帧操作。如果待编码帧(组)是视频流中的最后一帧(组)，则对其压缩编码完毕后不计算其恢复帧。
该方法在解码端的具体操作步骤如下：(1)将恢复出来的前一帧或前一帧组最后一帧存入缓冲区，作为可能的参考帧；(2)进行通常的解码操作；(3)读取当前帧(组)的残差帧操作指示比特。若为比特1，则将目前已恢复出来的图像帧(组)加上缓冲区的参考帧(可以是简单的或是带运动补偿的)，得到最后的恢复帧(组)；若残差帧操作指示比特为比特0，则表明压缩编码时没有进行残差帧操作，目前已恢复出来的图像帧(组)即为最后的恢复帧(组)。
本发明方法通过随视频流的内容变化动态地改变残差帧操作的模式而实现恢复视频图像的质量最优化。采用本发明提出的方法可以避免场景转移或背景突变所导致的压缩效果的极大下降，并可以自动探测误差积累情况，动态地(而非固定地)插入原始帧(组)，取得视频图像帧间冗余的利用最大化。本发明的方法既可以应用于单帧视频图像的自适应残差帧操作，也可以应用于由一定数量的视频图像帧构成的视频图像帧组的自适应残差帧操作。实验证明，本发明提出的方法在相同的压缩倍数下极大地提高了恢复视频图像的质量。
附图说明
图1为恢复图像帧峰值信噪比(PSNR)与图像复杂度的关系曲线。
图2为取自“salesman”的一帧图像。
图3：为从“Salesman”中取出的参考帧。
图4：为从“Children”中取出的参考帧。
图5：为图2与图3的残差图像。
图6：为图2与图4的残差图像。
具体实施方式
假设待编码的视频帧为图2。参考帧分为两种情况：一种是与待编码帧内容类似的图像，如图3，这对应于视频流较平稳的情况；另一种是与待编码帧的内容很不相的图像，如图4，这对应于发生了背景突变或场景转换的情况。
图5与图6分别示出了在这两种情况下的残差帧图像。由图5可见，当视频流较平稳时，待编码帧与参考帧之间的残差帧较为简单，大量复杂的静态背景被抵消，图像复杂度较低。在这个例子中，图5的图像复杂度为2145。由图6可见，当发生了背景突变或场景转换时，待编码帧与参考帧之间的残差帧将变得十分复杂，其中包含了参与残差的两帧图像的所有复杂结构，其图像复杂度较高。在这个例子中，图6的图像复杂度为2883。对于待编码帧(图2)，其图像复杂度为2414。
按照自适应残差帧操作方法，当图3作为参考帧时，由于残差帧(图5)的复杂度低于待编码帧(图2)的复杂度，所以对残差帧(图5)进行下一步的压缩编码，并在输出码流中添加一个比特1；当图4作为参考帧时，由于残差帧(图6)的复杂度高于待编码帧(图2)的复杂度，所以对待编码帧(图2)直接进行下一步的压缩编码，并在输出码流中添加一个比特0。
各种视频流的压缩效果的测试与比较。
具体的仿真条件如下：48帧图像组成视频流，变换域编码方法采用文献[2]的3D-DWT-SPIHT算法，以8帧图像作为一个帧组。采用本发明提出的方法进行残差帧操作。作为比较，对于采用文献[2]的原始残差帧处理方法以及不作残差帧操作的方案也进行了仿真。仿真时使用的标准视频图像的名称以及它们在整个视频流中的出现顺序都标注于表1中。
实验结果如下表：
表1采用不同的残差帧操作方法所得到的恢复视频图像的峰值信噪比(PSNR/dB)由仿真结果可见，当视频流中没有背景突变，即视频流在时间上相当平稳时，残差帧操作由于利用了视频图像的帧间冗余，压缩结果要好于不进行残差帧操作的方法。但是，由于文献[2]的原始方法未采用本发明所提出的自适应残差帧操作方法，所以视频图像的时间冗余没有充分利用，以至于恢复图像的PSNR最多可比采用自适应残差帧操作方法的结果低1dB左右。
当视频流中存在5处背景突变时，由于每个帧组作残差帧操作后的复杂度都高于不作残差帧操作的复杂度，所以整个视频流都不应该进行残差帧操作。因此，采用自适应残差帧操作方法的结果与不作残差帧操作的结果相同。而采用固定残差帧操作的文献[2]的方法，则由于没有规避背景突变造成的压缩效率的大幅下降，PSNR的降幅可达2dB多。
当视频流中存在1处背景突变时，本发明的方法既规避了背景突变带来的压缩效率的下降，又充分利用了视频流中的时间冗余，因此其压缩效果比文献[2]以及不作残差帧操作的都好很多。值得注意的是，尽管只发生了一次背景突变，但是它对压缩效率的影响是如此的显著以至于文献[2]的结果甚至低于了不作残差帧操作的结果。
综上，本发明提出的基于视频图像复杂度的自适应残差帧操作方法，在任何视频流内容下都能取得最优化的残差帧操作效果。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于视觉显著性的HEVC优化算法 | 2020-05-08 | 55 |
| 一种基于机器学习的内容自适应视频编码方法 | 2020-05-08 | 125 |
| 一种柜面助手履职监控装置和方法 | 2020-05-08 | 867 |
| 一种基于无锚点机制的火焰检测方法及装置 | 2020-05-11 | 848 |
| 采样方法、模型生成方法、视频行为识别方法及装置 | 2020-05-08 | 13 |
| 目标跟踪方法及存储介质 | 2020-05-08 | 545 |
| 基于多特征融合的景区游玩轨迹预测系统 | 2020-05-08 | 186 |
| 图像预测方法及装置 | 2020-05-08 | 216 |
| 视频解码器设备及视频编码器设备 | 2020-05-08 | 906 |
| 一种基于人体骨架检测的多相机人员定位跟踪显示方法 | 2020-05-08 | 336 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
