抑制P/B帧中帧内块呼吸效应的视频编码方法及装置
阅读：659发布：2020-05-08
专利汇可以提供抑制P/B帧中帧内块呼吸效应的视频编码方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 公开了抑制P/B 帧 中帧内 块 呼吸效应的 视频编码 方法及装置，涉及视频图像编码技术领域。所述视频编码方法,包括步骤:判断当前图像单元的编码模式是否为帧内编码模式，判定为帧内编码模式时，对图像单元进行呼吸效应预分析，对会产生呼吸效应的图像单元进行帧间预编码，并根据对应的呼吸效应强度调整帧间预编码量化参数；计算帧间预编码率失真代价，率失真代价小于设定 阈值 时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。本发明提供的视频编码方法，能够解决P帧或B帧中的帧内块刷新产生的呼吸效应，有效地抑制 帧内预测 和帧间预测模式不连续造成的呼吸效应。，下面是抑制P/B帧中帧内块呼吸效应的视频编码方法及装置专利的具体信息内容。
1.一种抑制P/B帧中帧内块呼吸效应的视频编码方法,其特征在于包括如下步骤:
判断当前图像单元的编码模式是否为帧内编码模式，判定为帧内编码模式时执行以下步骤，否则进行帧间编码；
对前述图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度；
对会产生呼吸效应的图像单元进行帧间预编码，并根据前述呼吸效应强度调整帧间预编码量化参数；
计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
2.根据权利要求1所述的视频编码方法，其特征在于：通过计算比较率失真代价判断当前图像单元的编码模式是否为帧内编码模式，包括如下步骤，
进行失真和码率估计，分别计算帧内编码和帧间编码两种模式下的失真和码率值；
将前述计算获得的失真和码率值代入代价函数计算公式，计算出两种模式的代价值；
选择代价值小的对应的编码模式为当前图像单元的编码模式。
3.根据权利要求1所述的视频编码方法，其特征在于：
对图像单元进行呼吸效应预分析时，将不会发生呼吸效应的图像单元直接发送至编码器进行编码，将会发生呼吸效应的图像单元发送编码器先进行预编码，并根据呼吸效应强度配置帧间预编码量化参数的调整值；以及，根据计算获得的帧间预编码率失真代价值，判断是否将预编码结果作为最终编码结果。
4.根据权利要求3所述的视频编码方法，其特征在于：根据呼吸效应强度配置图像单元的量化值时，相比于呼吸效应弱的图像单元，呼吸效应强的图像单元的量化值较大以平滑前后帧纹理变化，呼吸效应弱的图像单元的量化值较小以维持图像清晰度。
5.根据权利要求1所述的视频编码方法，其特征在于：获取产生的呼吸效应强度的步骤包括，
获取设置的多个呼吸效应强度影响因子信息，对前述影响因子进行数据归一化处理，获取呼吸效应强度影响因子的权重信息，所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度；
计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数；
根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度，所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
6.根据权利要求1所述的视频编码方法，其特征在于：帧间预编码时，通过无运动帧间补偿编码产生重建帧，不进行帧间运动估计和帧内编码代价计算；
所述预编码采用B帧模式或P帧模式编码，前向预测的参考图像单元为前一帧重建图像中与当前编码输入图像单元位置相同的图像单元，后向预测的参考图像单元为后一帧重建图像中与当前编码输入图像单元位置相同的图像单元。
7.根据权利要求1所述的视频编码方法，其特征在于：通过无运动帧间补偿编码产生重建帧时，包括相同位置帧间预测、量化变换和反变化反量化、滤波、熵编码和重建。
8.一种抑制P/B帧中帧内块呼吸效应的视频编码装置，其特征在于包括：
支持帧间预测编码的视频编码器；
编码模式判断模块，用于判断当前图像单元的编码模式是否为帧内编码模式；
呼吸效应预分析模块，用于对属于帧内编码模式的图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度；以及，将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码；
编码输入选择模块，用于响应呼吸效应预分析模块的分析结果，选择原始输入图像单元或预编码生成的重建图像单元，送入视频编码器进行编码；
其中，视频编码器在预编码图像单元时，根据该图像单元对应的呼吸效应强度调整帧间预编码量化参数，对于会产生呼吸效应的图像单元，计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
9.根据权利要求8所述的视频编码装置，其特征在于：所述呼吸效应预分析模块还被配置为，
判断图像单元是否会产生呼吸效应后，将不会发生呼吸效应的图像单元直接发送至视频编码器进行正常编码，将会发生呼吸效应的图像单元发送至视频编码器先进行预编码，并根据呼吸效应强度配置帧间预编码量化参数的调整值。
10.根据权利要求8所述的视频编码装置，其特征在于：所述呼吸效应预分析模块包括呼吸效应强度计算子模块，其被配置为，
获取设置的多个呼吸效应强度影响因子信息，对前述影响因子进行数据归一化处理，获取呼吸效应强度影响因子的权重信息，所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度；
计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数；
根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度，所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
抑制P/B帧中帧内块呼吸效应的视频编码方法及装置
技术领域
[0001] 本发明涉及视频图像编码技术领域。
[0002]
背景技术
[0003] 在监控视频编码中，为了减少帧间预测编码造成的失真和码流传输出错造成马赛克的扩散，以及支持解码端随机回放，需要在编码码流中插入I帧进行刷新。在视频编码工作在低码率时，一般插入的I帧编码图像质量相对较好以供后续P帧或B帧参考，而随着帧间预测误差的传递扩大，下一个I帧之前的P帧质量损失较大，人眼会感觉到监控视频出现图像周期性的忽好忽坏，即呼吸效应。这种呼吸效应，在图像的静止区域主观感觉会比较明显，在运动区域不容易感觉到。由于监控视频中大量场景和区域都是静止的，且一般监控应用工作在较低码率，所以呼吸效应对监控编码视频的主观质量有较大影响。
[0004] 呼吸效应产生的原因，主要有两方面：一方面是码率分配不完善造成的I帧和P帧的客观质量突变，这个通常可以通过调整量化参数限制I帧清晰度变化进行缓解；另一方面，也是更主要的原因，是由于帧内预测（I帧）和帧间预测（P帧或B帧）两种编码模式产生的图像失真形态不同，造成了主观上容易感觉到静止区域重建像素的形态突然变化，这个问题在监控低码率编码时无法通过限制清晰度变化来解决，是低码率视频编码中难以解决的问题。
[0005] 对于低码率视频的编码，由于压缩率较高，视频帧损失较大，前后帧图像清晰度突变和像素损失形态的突变，都会造成视频解码后主观上的呼吸效应。
[0006] 为了减小呼吸效应，现有技术中也提供了一些技术方案，比如在编码前会对输入的图像先进行时域滤波去噪，增加前后帧图像的相关性；再比如，通过减少I帧刷新频率，或者将单帧I帧刷新改为在多个连续P帧中每帧只刷新局部I条带来实现；又比如，在I帧前采用双向预测（B帧）编码，通过B帧来平滑P帧和I帧的纹理变化。然而，如果通过在编码前对输入的图像先进行时域滤波去噪来减小呼吸效应，需要增加专门的时域滤波模块，并且会增加大量的带宽；如果通过减少I帧刷新频率或者将单帧I帧刷新改为在多个连续P帧中每帧只刷新局部I条带来实现，这种方法并没有真正解决刷新区闪烁的问题，I帧的减少还弱化了解码时随机播放的能力；通过插入B帧来平滑P帧和I帧的纹理变化的方法有良好的效果，但是B帧在解码时需要额外的参考帧buffer（缓冲）并增加了显示延迟，这一方案在监控应用中受到限制。
[0007] 国际专利申请WO2016154888A1提出了将I条带刷新区先按P帧做第一次编码，然后将第一次编码的重建条带图像作为输入图像进行第二次I帧编码的图像编码方案。上述编码方案虽然能够缓解呼吸效应，但是强制执行的第一轮P条带编码会损失输入图像的清晰度，影响后续帧间预测编码帧的压缩效率。尤其的，监控视频中需要对运动的人和物保持较好的编码质量，采用上述技术方案会明显影响监控视频的压缩率和主观质量。此外，完整的二轮编码的运算复杂度很高，对编码器性能产生的影响较大。
[0008]
发明内容
[0009] 本发明的目的在于：克服现有技术的不足，提供了一种抑制P/B帧中帧内块呼吸效应的视频编码方法及装置。本发明提供的视频编码方法，能够解决P帧或B帧中的帧内块刷新产生的呼吸效应，有效地抑制帧内预测和帧间预测模式不连续造成的呼吸效应。
[0010] 为实现上述目标，本发明提供了如下技术方案：一种抑制P/B帧中帧内块呼吸效应的视频编码方法，包括如下步骤：
判断当前图像单元的编码模式是否为帧内编码模式，判定为帧内编码模式时执行以下步骤，否则进行帧间编码；
对前述图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度；
对会产生呼吸效应的图像单元进行帧间预编码，并根据前述呼吸效应强度调整帧间预编码量化参数；
计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
判断当前图像单元的编码模式是否为帧内编码模式，判定为帧内编码模式时执行以下步骤，否则进行帧间编码；
对前述图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度；
对会产生呼吸效应的图像单元进行帧间预编码，并根据前述呼吸效应强度调整帧间预编码量化参数；
计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
[0011] 进一步，通过计算比较率失真代价判断当前图像单元的编码模式是否为帧内编码模式，包括如下步骤，进行失真和码率估计，分别计算帧内编码和帧间编码两种模式下的失真和码率值；
将前述计算获得的失真和码率值代入代价函数计算公式，计算出两种模式的代价值；
选择代价值小的对应的编码模式为当前图像单元的编码模式。
将前述计算获得的失真和码率值代入代价函数计算公式，计算出两种模式的代价值；
选择代价值小的对应的编码模式为当前图像单元的编码模式。
[0012] 进一步，对图像单元进行呼吸效应预分析时，将不会发生呼吸效应的图像单元直接发送至编码器进行编码，将会发生呼吸效应的图像单元发送编码器先进行预编码，并根据呼吸效应强度配置帧间预编码量化参数的调整值；以及，根据计算获得的帧间预编码率失真代价值，判断是否将预编码结果作为最终编码结果。
[0013] 进一步，根据呼吸效应强度配置图像单元的量化值时，相比于呼吸效应弱的图像单元，呼吸效应强的图像单元的量化值较大以平滑前后帧纹理变化，呼吸效应弱的图像单元的量化值较小以维持图像清晰度。
[0014] 进一步，获取产生的呼吸效应强度的步骤包括，获取设置的多个呼吸效应强度影响因子信息，对前述影响因子进行数据归一化处理，获取呼吸效应强度影响因子的权重信息，所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度；
计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数；
根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度，所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数；
根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度，所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
[0015] 进一步，帧间预编码时，通过无运动帧间补偿编码产生重建帧，不进行帧间运动估计和帧内编码代价计算；所述预编码采用B帧模式或P帧模式编码，前向预测的参考图像单元为前一帧重建图像中与当前编码输入图像单元位置相同的图像单元，后向预测的参考图像单元为后一帧重建图像中与当前编码输入图像单元位置相同的图像单元。
[0016] 进一步，通过无运动帧间补偿编码产生重建帧时，包括相同位置帧间预测、量化变换和反变化反量化、滤波、熵编码和重建。
[0017] 本发明还提供了一种抑制P/B帧中帧内块呼吸效应的视频编码装置，包括如下结构：支持帧间预测编码的视频编码器；
编码模式判断模块，用于判断当前图像单元的编码模式是否为帧内编码模式；
呼吸效应预分析模块，用于对属于帧内编码模式的图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度；以及，将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码；
编码输入选择模块，用于响应呼吸效应预分析模块的分析结果，选择原始输入图像单元或预编码生成的重建图像单元，送入视频编码器进行编码；
其中，视频编码器在预编码图像单元时，根据该图像单元对应的呼吸效应强度调整帧间预编码量化参数，对于会产生呼吸效应的图像单元，计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
编码模式判断模块，用于判断当前图像单元的编码模式是否为帧内编码模式；
呼吸效应预分析模块，用于对属于帧内编码模式的图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度；以及，将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码；
编码输入选择模块，用于响应呼吸效应预分析模块的分析结果，选择原始输入图像单元或预编码生成的重建图像单元，送入视频编码器进行编码；
其中，视频编码器在预编码图像单元时，根据该图像单元对应的呼吸效应强度调整帧间预编码量化参数，对于会产生呼吸效应的图像单元，计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
[0018] 进一步，所述呼吸效应预分析模块还被配置为，判断图像单元是否会产生呼吸效应后，将不会发生呼吸效应的图像单元直接发送至视频编码器进行正常编码，将会发生呼吸效应的图像单元发送至视频编码器先进行预编码，并根据呼吸效应强度配置帧间预编码量化参数的调整值。
[0019] 进一步，所述呼吸效应预分析模块包括呼吸效应强度计算子模块，其被配置为，获取设置的多个呼吸效应强度影响因子信息，对前述影响因子进行数据归一化处理，获取呼吸效应强度影响因子的权重信息，所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度；计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数；
根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度，所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度，所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
[0020] 本发明由于采用以上技术方案，与现有技术相比，作为举例，具有以下的优点和积极效果：P/B帧编码过程包含帧间帧内编码模式判断操作和帧间或帧内编码操作，对于帧内编码模式，本发明能够在编码操作之前进行预分析和预编码操作，通过预先分析输入图像的呼吸效应强度，自适应选择需要进行帧间预编码的图像单元，对这些单元进行无运动估计的帧间编码，产生重建帧替代原始输入图像单元进行编码，抑制P帧和B帧中的帧内(intra)块刷新产生的呼吸效应。
[0021] 通过预分析和自适应选择，避免了强制的第一轮P条带编码对视频运动区域和呼吸效应较弱区域二次编码造成的清晰度损失，有利于提升后续帧间预测编码帧的压缩效率和主观质量。
[0022] 基于0运动矢量的帧间预编码不需要进行复杂的运动估计、帧内编码模式代价计算等过程，并且不需要对所有图像单元进行预编码处理，极大地减小了二次编码对编码器整体性能的影响。
[0026] 图2为本发明实施例提供的抑制P/B帧中帧内块呼吸效应的视频编码装置的信息传输示例图。
[0027] 图3为本发明实施例提供的呼吸效应强度的影响因子权重的实验数据图。
[0028]
具体实施方式
[0029] 以下结合附图和具体实施例对本发明公开的抑制P/B帧中帧内块呼吸效应的视频编码方法及装置作进一步详细说明。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
[0030] 需说明的是，本说明书所附图中所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响发明所能产生的功效及所能达成的目的下，均应落在发明所揭示的技术内容所能涵盖的范围内。本发明的优选实施方式的范围包括另外的实现，其中可以不按所述的或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0031] 对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
[0032] 实施例参见图1所示，公开了一种抑制P/B帧中帧内块呼吸效应的视频编码方法，包括如下步骤：
S100，判断当前图像单元的编码模式是否为帧内编码模式，判定为帧内编码模式时执行以下步骤，否则进行帧间编码。
S100，判断当前图像单元的编码模式是否为帧内编码模式，判定为帧内编码模式时执行以下步骤，否则进行帧间编码。
[0033] S200，对前述图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度。
[0034] S300，对会产生呼吸效应的图像单元进行帧间预编码，并根据前述呼吸效应强度调整帧间预编码量化参数。
[0035] S400，计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
[0036] 本实施例中，编码装置中包括有视频编码器，以及与视频编码器连接的编码模式判断模块、呼吸效应预分析模块和编码输入选择模块。
[0037] 所述视频编码器，可以为任意支持帧间预测编码的视频格式编码器，作为举例而非限制，比如H264、H265、AVS等。
[0038] 在视频编码器中设置有帧间预测预编码模块，所述帧间预测预编码模块优选为编码器中相关功能模块的组合。预编码操作无需完成编码器的全部流程，仅需通过无运动帧间补偿编码来产生重建帧。无运动帧间补偿编码时，运动矢量固定为0，产生重建帧的步骤包括相同位置帧间预测、量化变换和反变化反量化、滤波、熵编码和重建。上述操作无需进行帧间运动估计和帧内编码代价计算等复杂的操作过程，可以极大地减小对编码器整体性能的影响。
[0039] 预编码时，可以采用B帧（双向预测）模式，也可以采用P帧（前向预测）模式编码。前向预测的参考图像单元为前一帧（P帧或B帧）重建图像中与当前编码输入图像单元位置相同的图像单元；后向预测的参考图像单元为后一帧重建图像中与当前编码输入图像单元位置相同的图像单元。
[0040] 编码模式判断模块，用于判断当前图像单元的编码模式是否为帧内编码模式。判定是帧内编码模式时，将图像单元发送到呼吸效应预分析模块中进入呼吸效应预分析；判定是帧间编码模式时，将图像单元发送到视频编码器中进行正常的帧间编码。
[0041] 本实施例中，优选的，通过计算比较率失真代价判断当前图像单元的编码模式是否为帧内编码模式。具体可以包括如下步骤：进行失真和码率估计，分别计算帧内编码和帧间编码两种模式下的失真和码率值；
将前述计算获得的失真和码率值代入代价函数计算公式，计算出两种模式的代价值；
选择代价值小的对应的编码模式为当前图像单元的编码模式。
将前述计算获得的失真和码率值代入代价函数计算公式，计算出两种模式的代价值；
选择代价值小的对应的编码模式为当前图像单元的编码模式。
[0043] 参见图2所示，所述呼吸效应预分析模块，用于对图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度，以及将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码。
[0044] 本实施例中，所述呼吸效应预分析模块可以通过分析获取当前图像单元产生的呼吸效应强度，即当前图像单元发生呼吸效应的程度，并根据图像单元是否发生呼吸效应进行区别处理。具体的，将不会发生呼吸效应的图像单元直接送入视频编码器进行编码；将会发生呼吸效应的图像单元，通知视频编码器先进行预编码，并根据该图像单元对应的呼吸效应强度配置帧间预编码量化参数的调整值。所述量化参数（QP）可以反映空间细节压缩情况，0代表无损压缩，QP小，大部分的细节都会被保留，QP增大，细节丢失，码率降低，图像失真加强和质量下降。
[0045] 优选的，根据呼吸效应强度配置图像单元的量化值时，相比于呼吸效应弱的图像单元，呼吸效应强的图像单元的量化值应较大。通过对呼吸效应强的图像单元设置较大的量化值，可以平滑前后帧纹理变化，通过对呼吸效应弱的单元配置较小的量化值，可以维持图像清晰度。作为举例而非限制，比如对会产生呼吸效应的图像单元A和图像单元B，图像单元A的呼吸效应强度为G1，图像单元B的呼吸效应强度G2，G2小于G1，即图像单元A的呼吸效应强度强，图像单元B的呼吸效应强度弱；根据图像单元A和图像单元B对应的呼吸效应强度配置帧间预编码量化参数QP（QP越小画质越好）的值，作为举例，比如量化参数QP的取值范围为0-52，则可以配置图像单元A的量化值为30，图像单元B的量化值为20。
[0046] 本实施例中，是通过分析呼吸效应强度影响因子信息来计算呼吸效应强度的。具体的，获取图像单元产生的呼吸效应强度的步骤包括：步骤1，获取设置的多个呼吸效应强度影响因子信息，对前述影响因子进行数据归一化处理，获取呼吸效应强度影响因子的权重信息。
[0047] 呼吸效应在图像中并非均匀出现的，其出现与图像单元的一些参数有关。比如，呼吸效应一般在中间亮度的静止区域更容易被观察到，而且在具有适当的纹理复杂度（或噪声）的区域比纹理复杂或完全平滑的区域更容易感觉到。在监控应用中，图像往往包含一定的随机噪声，这些噪声叠加在静止的平滑区域，使得这些原有非常平滑的区域图像也含有一定的随机纹理。在诸如H264/H265帧间编码（P帧或B帧）时，随机纹理通过帧间预测和预测残差量化损失后，前后帧重建图像中的剩余纹理形态类似，具有相关性。而在帧内编码（I帧）时，帧内预测和帧间预测残差通过量化产生的剩余纹理（或噪声）形态完全不同，人眼容易感觉到平坦区域这种噪声形态的突变，从而感觉到呼吸效应。
[0048] 本实施例中，设置的呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度。呼吸效应强度的计算公式如下：呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
[0049] 各影响因子的权重计算可以基于现有的实验模型和数据分析理论。本实施例中，优选的，通过数据归一化处理方法对实验数据进行数据分析后，获得非静止程度权重、纹理复杂度权重、亮度权重等3个影响因子的关系表，参见图3所示。图3示例了呼吸效应强度影响因子的权重图表，图表中的横坐标表示归一化参数值，图表中的纵坐标表示归一化参数值对应的影响权重。所述归一化参数值等于参数值除以参数可能的最大值，通过归一化处理可以将参数值映射到0-1之间。作为举例而非限制，比如，亮度值表示图像像素平均亮度，像素亮度的取值范围设置为0-255，即可能的最大值255，平均亮度的归一化参数值=平均亮度参数值/255。再比如，纹理复杂度如果采用MAD（平均差绝对值和）方法，其取值范围为0-128，即可能的最大值为128，纹理复杂度的归一化参数值=纹理复杂度参数值/128。又比如，非静止程度如果按照帧差法计算就是前后帧像素亮度差值绝对值，其取值范围为0-255，即可能的最大值为255，非静止程度的归一化参数值=非静止程度参数值/255。
[0050] 通过归一化处理可以去除参数值单位的影响，把有量纲表达变为无量纲表达，保留了比例关系。同时，归一化处理使得处于不同维度的多个特征（比如非静止程度、纹理复杂度和平均亮度）在数值上有一定比较性，便于比对和综合分析。
[0051] 步骤2，计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数。
[0052] 图像的非静止程度的计算可以采用各种方法，本实施例中，优选的采用帧差绝对值和（SAD）方法，或者高斯背景建模等像素运动估计计算方法。当前的视频监控编码设备中，一般都含有背景运动检测模块，其用来检测运动区域和背景区域供感兴趣区域编码使用，因此本发明可以直接复用已有的运动检测模块的分析结果来计算图像单元的非静止程度，不会产生额外的片外访问带宽。
[0053] 图像的纹理复杂度可以采用各种方法，本实施例中，优选的采用平均差绝对值和（MAD）或方差和方法。
[0054] 步骤3，根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得上述参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据获得的权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度。
[0055] 根据计算得到的非静止程度、纹理复杂度、平均亮度等影响因子的参数值，查询图3所示的关系表，获得对应的非静止程度权重、纹理复杂度权重和亮度权重的值。具体的，先根据参数值获得对应的归一化参数值，然后以归一化参数值为横坐标值查询图3中对应的纵坐标值，获得该参数值对应的权重值。
[0056] 然后通过计算公式呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重，得到呼吸效应强度值。
[0057] 所述编码输入选择模块，用于响应预分析模块的分析结果，选择原始输入图像单元或预编码生成的重建图像单元，送入视频编码器进行编码。
[0058] 本实施例中，所述编码输入选择模块还能够根据计算获得的帧间预编码率失真代价值，判断是否将预编码结果作为最终编码结果。具体的，对于会产生呼吸效应的图像单元，所述编码输入选择模块根据计算的帧间预编码率失真代价，在该率失真代价小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
[0059] 呼吸效应预分析模块可以将分析结果传输至编码输入选择模块，编码输入选择模块根据呼吸效应预分析模块的通知消息，选择原始图像单元或预编码生成的重建图像单元，送入编码器进行编码刷新。
[0060] 上述技术方案可以用于解决P帧和B帧中的帧内块刷新产生的呼吸效应。通过呼吸效应预分析和自适应选择，避免了强制的第一轮P条带编码对视频运动区域和呼吸效应较弱区域二次编码造成的清晰度损失，有利于提升后续帧间预测编码帧的压缩效率和主观质量。同时，由于基于0运动矢量的帧间预编码无需进行复杂的运动估计、帧内编码模式代价计算等过程，并且不需要对所有图像单元进行预编码处理，极大地减小了二次编码对编码器整体性能的影响。进一步，呼吸效应预分析操作可以复用视频监控编码装置中常见的背景运动检测模块的计算数据，不需要产生额外的片外访问带宽。
[0061] 本发明还提供了一种抑制P/B帧中帧内块呼吸效应的视频编码装置，包括如下结构：支持帧间预测编码的视频编码器；
编码模式判断模块，用于判断当前图像单元的编码模式是否为帧内编码模式；
呼吸效应预分析模块，用于对属于帧内编码模式的图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度；以及，将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码；
编码输入选择模块，用于响应呼吸效应预分析模块的分析结果，选择原始输入图像单元或预编码生成的重建图像单元，送入视频编码器进行编码；
其中，视频编码器在预编码图像单元时，根据该图像单元对应的呼吸效应强度调整帧间预编码量化参数，对于会产生呼吸效应的图像单元，计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
编码模式判断模块，用于判断当前图像单元的编码模式是否为帧内编码模式；
呼吸效应预分析模块，用于对属于帧内编码模式的图像单元进行呼吸效应预分析，判断该图像单元是否会产生呼吸效应以及获取产生的呼吸效应强度；以及，将会产生呼吸效应的图像单元发送到视频编码器进行帧间预编码；
编码输入选择模块，用于响应呼吸效应预分析模块的分析结果，选择原始输入图像单元或预编码生成的重建图像单元，送入视频编码器进行编码；
其中，视频编码器在预编码图像单元时，根据该图像单元对应的呼吸效应强度调整帧间预编码量化参数，对于会产生呼吸效应的图像单元，计算帧间预编码率失真代价，并判断该率失真代价是否小于设定阈值，判定小于设定阈值时将帧间预编码结果作为最终编码结果，否则用前述帧间预编码生成的重建图像单元替换原始输入图像单元进行最终编码。
[0062] 结合图2详细描述本发明的视频编码装置的结构。
[0063] 编码装置中包括有视频编码器，以及与视频编码器连接的编码模式判断模块、呼吸效应预分析模块和编码输入选择模块。
[0064] 所述视频编码器，可以为任意支持帧间预测编码的视频格式编码器，作为举例而非限制，比如H264、H265、AVS等。
[0065] 在视频编码器中设置有帧间预测预编码模块，所述帧间预测预编码模块优选为编码器中相关功能模块的组合。预编码操作无需完成编码器的全部流程，仅需通过无运动帧间补偿编码来产生重建帧。无运动帧间补偿编码时，运动矢量固定为0，产生重建帧的步骤包括相同位置帧间预测、量化变换和反变化反量化、滤波、熵编码和重建。上述操作无需进行帧间运动估计和帧内编码代价计算等复杂的操作过程，可以极大地减小对编码器整体性能的影响。预编码时，可以采用B帧（双向预测）模式，也可以采用P帧（前向预测）模式编码。前向预测的参考图像单元为前一帧（P帧或B帧）重建图像中与当前编码输入图像单元位置相同的图像单元；后向预测的参考图像单元为后一帧重建图像中与当前编码输入图像单元位置相同的图像单元。
[0066] 所述编码模式判断模块，用于判断当前图像单元的编码模式是否为帧内编码模式。具体的，判定是帧内编码模式时，将图像单元发送到呼吸效应预分析模块中进入呼吸效应预分析；判定是帧间编码模式时，将图像单元发送到视频编码器中进行正常的帧间编码。
[0067] 本实施例中，可以通过计算比较率失真代价判断当前图像单元的编码模式是否为帧内编码模式。具体可以包括如下步骤：进行失真和码率估计，分别计算帧内编码和帧间编码两种模式下的失真和码率值；将前述计算获得的失真和码率值代入代价函数计算公式，计算出两种模式的代价值；选择代价值小的对应的编码模式为当前图像单元的编码模式。
[0068] 对于失真和码率估计、代价函数的算法，可以根据需要采用现有技术中的各种计算方法，属于本领域的常规手段，在此不再赘述。
[0069] 所述呼吸效应预分析模块，用于分析获取当前图像单元产生的呼吸效应强度，即当前图像单元发生呼吸效应的程度，并根据图像单元是否发生呼吸效应进行区别处理。具体的，将不会发生呼吸效应的单元图像直接送入视频编码器进行编码；将会发生呼吸效应的单元通知视频编码器先进行预编码，并根据呼吸效应的程度配置帧间预编码量化参数的调整值，对呼吸效应强的单元设置较大的量化值，平滑前后帧纹理变化，对呼吸效应弱的单元配置较小的量化值，维持图像清晰度。
[0070] 本实施例中，所述呼吸效应预分析模块还包括呼吸效应强度计算子模块，其被配置为：获取设置的多个呼吸效应强度影响因子信息，对前述影响因子进行数据归一化处理，获取呼吸效应强度影响因子的权重信息，所述呼吸效应强度影响因子包括图像的非静止程度、纹理复杂度和平均亮度；
以及计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数；
以及根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度，所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
以及计算当前图像单元的非静止程度、纹理复杂度和平均亮度参数；
以及根据计算得到的非静止程度、纹理复杂度和平均亮度参数，查询前述权重信息获得参数对应的非静止程度权重、纹理复杂度权重和亮度权重的值，并根据权重值判断当前图像单元采用帧内编码模式编码后产生的呼吸效应强度，所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
[0071] 作为优选方式的举例，所述呼吸效应强度可以按照以下方法计算：首先，计算当前图像单元的非静止程度、纹理复杂度和平均亮度。所述非静止程度的计算可以采用各种方法，优选的，采用帧差绝对值和（SAD）的方法或者采用高斯背景建模等像素运动估计计算方法。现有的视频监控编码设备中一般都含有背景运动检测模块，用来检测运动区域和背景区域供感兴趣区域编码使用，本专利的方案可以直接复用运动检测模块的分析结果来计算图像单元的非静止程度。所述纹理复杂度可以采用各种方法，优选的，采用平均差绝对值和（MAD）或方差和的方法。
[0072] 然后，根据计算得到的非静止程度、纹理复杂度、平均亮度等参数来判断当前图像单元采用帧内编码模式编码后发生的呼吸效应强度。所述呼吸效应强度=非静止程度权重×纹理复杂度权重×亮度权重。
[0073] 所述非静止程度权重、纹理复杂度权重、亮度权重是通过实验数据查表获得，参见图3所示。图3的表数据，是通过数据归一化处理方法对实验数据进行数据分析后，获得的非静止程度权重、纹理复杂度权重、亮度权重等3个影响因子的关系表。
[0074] 所述编码输入选择模块，可以根据呼吸效应预分析模块的通知，选择原始图像单元或预编码生成的重建图像单元，送入编码器进行编码刷新。
[0075] 上述视频编码装置，应用于P/B帧中帧内块刷新，在判定当前图像单元的编码模式为帧内编码模式时，先通过预先分析输入图像呼吸效应产生的强度，根据预分析的呼吸效应强度自适应调整帧间预编码采用的量化参数，以及自适应选择需要进行帧间预编码的图像单元，并对这些图像单元进行无运动估计的帧间编码，产生重建帧替代原始输入图像单元进行编码，从而到达减小监控编码视频的呼吸效应的目的。
[0076] 其它技术特征参见在前实施例的描述，在此不再赘述。
[0077] 在上面的描述中，本发明的公开内容并不旨在将其自身限于这些方面。而是，在本公开内容的目标保护范围内，各组件可以以任意数目选择性地且操作性地进行合并。另外，像“包括”、“囊括”以及“具有”的术语应当默认被解释为包括性的或开放性的，而不是排他性的或封闭性，除非其被明确限定为相反的含义。所有技术、科技或其他方面的术语都符合本领域技术人员所理解的含义，除非其被限定为相反的含义。在词典里找到的公共术语应当在相关技术文档的背景下不被太理想化或太不实际地解释，除非本公开内容明确将其限定成那样。本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于小波描述子的目标跟踪方法 | 2020-08-03 | 6 |
| Reducing and correcting motion estimation artifacts during video frame rate conversion | 2020-12-10 | 1 |
| Hierarchical motion estimating method, and ultrasonic imaging device for which the method is applied | 2021-11-06 | 1 |
| Moving image coder and control method thereof, and program | 2022-01-19 | 3 |
| Method and apparatus for monitoring movement and breathing of multiple subjects in a common bed | 2020-08-11 | 2 |
| Three-dimensional motion estimating method for object | 2023-02-01 | 4 |
| Unit for and method of estimating a motion vector | 2022-01-06 | 3 |
| IMAGE DISPLAYING APPARATUS HAVING FRAME RATE CONVERSION AND METHOD THEREOF | 2021-10-09 | 1 |
| 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치 | 2022-09-11 | 3 |
| GRADIENT BASED MOTION ESTIMATION | 2022-11-05 | 2 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
运动估计热门专利
QQ群二维码
意见反馈
意见反馈