基于主观质量失真预测的自适应帧内宏块刷新方法
专利汇可以提供基于主观质量失真预测的自适应帧内宏块刷新方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于主观 质量 失真预测的自适应 帧 内宏 块 刷新方法，包括以下步骤：1)输入视频图像并将其划分成宏块；2)从网络传输的物理层获取当前输入的视频图像码流传输信道的状态信息；3)从输入的视频图像中提取视觉 感知 权重图；4)根据视频图像的宏块编码比特长度和当前视频码流传输信道的状态信息构建以宏块为单位的视频图像的误码概率图；5)结合视频图像的视觉权重图和误码概率图，对视频图像进行主观质量失真预测；6)根据主观质量失真预测，强制执行宏块刷新判决。本发明通过对 视频编码 图像主观质量的预测，自适应判决帧内宏块刷新的 位置 和 频率 ，达到视频编码效率和码流容错性之间的平衡，提高所传输视频图像的整体主观质量。，下面是基于主观质量失真预测的自适应帧内宏块刷新方法专利的具体信息内容。
1.一种基于主观质量失真预测的自适应帧内宏块刷新方法，包括以下 步骤：
(1)输入视频图像，将输入的视频图像划分成宏块；
(2)从网络传输的物理层获取当前输入的视频图像码流传输信道的状 态信息，包括当前信道的误码率和丢包率；
(3)从输入的视频图像中提取视觉感知权重图；
(4)根据视频图像的宏块编码比特长度和当前视频码流传输信道的状 态信息构建以宏块为单位的视频图像的误码概率图；
(5)结合视频图像的视觉权重图和误码概率图，对视频图像进行主观质 量失真预测；
(6)根据视频图像主观质量失真预测，强制执行宏块刷新判决；
统计视频图像的同一坐标位置的宏块的累积主观质量失真预测值，当 视频图像的某一坐标位置的失真预测累积值达到或超过经验阈值Δn时， 该坐标位置的宏块刷新判决为帧内编码模式，强制执行宏块刷新判决，设 置编码器中该坐标位置的宏块的编码模式为帧内编码模式。
2.根据权利要求1所述的自适应帧内宏块刷新方法，其特征在于，所 述的视觉感知权重图由肤色权重、运动权重和空间位置权重三个因素构 成，视觉感知权重图的计算方法如下：
先分别计算输入视频图像每个宏块的肤色权重图、运动权重图和空间 位置权重图，然后再根据当前输入的视频图像的场景对应的影响因素，给 肤色权重、运动权重和空间位置权重每个因素分别赋以对应的权值，并将 加权后的肤色权重、运动权重和空间位置权重累加，得到总体的视频图像 的视觉感知权重图。
3.根据权利要求1所述的自适应帧内宏块刷新方法，其特征在于，所 述的失真预测累积值的经验阈值Δn取0.5。
技术领域
本发明涉及数字视频信号编码领域，具体来说是一种基于主观质量失 真预测的自适应帧内宏块刷新方法。
背景技术
而且，人眼是视频图像的最终接收端，所以视频图像主观质量为图像 编码的最终评价标准。在视频应用中，肤色区域，如人的脸部和手部等区 域，是人眼关注的区域。R.-L.Hsu和M.Abdel-Mottaleb于2002年在文献 [1]R.-L.Hsu，M.Abdel-Mottaleb，A.K.Jain.Face detection in color images. IEEE Transactions on Pattern Analysis and Machine Intelligence，2002， 24(5)：696-706.中提出的椭圆肤色区域检测模型基于视频编码常用的 YCbCr颜色空间，具有使用简单和高效的特点，是应用较广泛的肤色检测 模型。运动是另外一个人眼注意的因素。人眼对运动区域比静止区域要敏 感，而且全局运动时，运动速度快的区域比运动速度慢的区域敏感。Liu 在文献[2]Y.Liu，Z.G.Li，Y.C.Soh.A novel rate control scheme for low delay video communication of H.264/AVC standard.IEEE Transactions on Circuits and Systems for Video Technology，2007，17(1)：68-78.中使用空域和时域的 MAD(Mean Absolute Difference)值来预测图像的运动复杂度。
另外，人眼对同一图像中的不同位置区域的关注度也不一样。Lee等 在文献[3]S.Lee，M.S.Pattichis，A.C.Bovik.Foveated video quality assessment.IEEE Transactions on Multimedia，2002，4(1)：129-132.中提出视 网膜中央凹的光感受器随着离心度的增大，其密度会快速下降。观察图像 时，通常图像的中央区域先受到关注。
发明内容
一种基于主观质量失真预测的自适应帧内宏块刷新方法，包括以下步 骤：
1.输入视频图像，并将输入的视频图像划分成宏块。
2.从网络传输的物理层获取当前输入的视频图像码流传输信道的状态 信息，包括当前信道的误码率和丢包率。因为实时传输协议可以动态测量 当前传输信道的状态信息。
3.从输入的视频图像中提取视觉感知权重图。
视觉感知权重图由肤色权重、运动权重和空间位置权重三个因素构 成，先分别计算输入视频图像每个宏块的肤色权重图、运动权重图和空间 位置权重图，然后再根据当前输入的视频图像的场景对应的影响因素，给 肤色权重、运动权重和空间位置权重每个因素分别赋以对应的权值，并将 加权后的肤色权重、运动权重和空间位置权重累加，得到总体的视频图像 的视觉感知权重图。
4.据宏块编码比特长度和信道状态信息构建以宏块为单位的视频图像 的误码概率图。
5.结合视频图像的视觉权重图和误码概率图，对视频图像的宏块进行 主观质量失真预测。
当前帧视频图像数据在传输时出错后，解码端通常利用前一帧视频图 像的信息来重建当前帧视频图像，根据当前输入的视频图像和前一帧输入 的视频图像的差，结合宏块视觉权重图和误码概率图，预测当前宏块地主 观质量失真。
6.根据视频图像的宏块主观质量失真预测，强制执行宏块刷新判决。
统计视频图像的同一坐标位置的宏块的累积主观质量失真预测值，当 视频图像的某一坐标位置的宏块失真预测累积值达到或超过经验阈值Δ n，Δn取0.5时，判定该坐标位置的宏块刷新判决为帧内编码模式，强制 执行宏块刷新判决，设置编码器中该坐标位置的宏块的编码模式为帧内编 码模式，切断编码码流在时间上的依赖，提高码流的容错性。
本发明自适应帧内宏块刷新方法综合考虑了视频图像内容和信道状 态信息两个因素，通过对视频编码图像主观质量的预测，自适应判决帧内 宏块刷新的位置和频率，达到了视频编码效率和码流容错性之间的平衡， 从而提高所传输视频图像的整体主观质量。
附图说明
图1为本发明方法所在系统的结构示意图；
图2为本发明方法流程图；
图3为本发明所采用的肤色权重算法流程图；
图4为本发明所采用的运动权重算法流程图；
图5为本发明所采用的空间位置权重算法流程图；
图6为本发明所采用的误码概率算法流程图。
具体实施方式
如图1所示，本发明方法所在系统工作流程如下：
视频图像输入至视频编码器中；
视频编码器根据本发明方法一种基于主观质量失真预测的自适应帧 内宏块刷新方法得到判决结果选择视频图像的编码模式；
编码完成后编码码流送入至编码码流缓存区等待发送；
发送端将编码码流发送后通过传输信道传输；
接收端收到编码码流后将编码码流送入至解码码流缓存区等待解码；
解码器对收到的编码码流进行解码；解码后的视频图像输出。
如图2所示，所述基于主观质量失真预测的自适应帧内宏块刷新方法 包括以下步骤：
1.输入视频图像，将输入的视频图像按宏块进行划分。
2.从网络传输的物理层获取当前输入的视频图像码流传输信道的状态 信息，包括当前信道的误码率和丢包率等，因为实时传输协议可以动态测 量当前传输信道的状态信息。
3.从输入的视频图像中提取视觉感知权重图。
视觉感知权重图由肤色权重、运动权重和空间位置权重三个因素构 成，先分别计算输入视频图像的肤色权重图、运动权重图和空间位置权重 图，然后再根据当前输入的视频图像的场景对应的影响因素，给每个因素 赋以对应的权值，并将三者累加，得到总体的视觉感知权重图。
如图3所示，视频图像的肤色权重计算步骤如下：
1)输入视频图像，并将视频图像转换到YCbCr颜色空间；
采用基于YCbCr颜色空间的椭圆肤色检测模型从视频输入图像中检 测出肤色区域；
2)将输入的视频图像按宏块划分，以宏块为单位，统计每个宏块中 肤色区域，得到每个宏块的肤色权重；
3)设宏块肤色权重的经验阈值为64，将每个宏块的肤色权重与经验 阈值比较，令大于经验阈值的宏块肤色权重值为1，小于经验阈值的宏块 肤色权重值设为0，将视频图像的肤色权重二值化，对照相应宏块的坐标 生成以宏块为单位的视频图像的肤色权重图。
如图4所示，视频图像的运动权重计算步骤如下：
1)输入视频图像，将输入的视频图像按宏块进行划分；
计算输入的当前帧视频图像的每个宏块和输入的前一帧视频输入图 像的每个宏块中的象素的平均绝对偏差(MAD)，得到宏块MAD值；
2)计算输入的当前帧视频图像和输入的前一帧视频图像所有象素整 体的平均绝对偏差(MAD)，得到全局MAD值；
3)将每个宏块的宏块MAD值除以全局MAD值，得到的结果为每个 宏块的运动权值，对照相应宏块的坐标生成以宏块为单位的视频图像的运 动权重图。
如图5所示，视频图像的空间位置权重计算步骤如下：
1)输入视频图像，将输入的视频图像按宏块进行划分；
按照人眼视网膜中央凹原理生成对应的空间位置权重分布图；
2)根据输入视频图像的分辨率选择空间位置权重分布图，对照相应 宏块的坐标得到以宏块为单位的视频图像的空间位置权重图。
生成三个因素对应的感知权重图后，根据当前视频输入图像场景对应 的影响因素，每个因素赋以对应的权值，然后将三者累加，得到总体的视 觉感知权重图。计算式(1)所示：
Wpmb(i，j，n)＝wsps(i，j，n)+wmpm(i，j，n)+wfovpfov(i，j，n) (1)
式中(i，j，n)表示第n帧视频图像中的宏块坐标，左上角第一个宏块 为(0，0)起始坐标，横坐标向右，纵坐标向下，一直到右下角最后一个宏块， Wpmb表示宏块的视觉感知权重，ws，wm，wfov分别表示肤色、运动和空间 位置三个要素的权重，不同的场景取值不同。当视频图像处于运动场景时， 三个要素权重的取值为：ws＝2，wm＝2，wfov＝1；当视频图像处于静止场景 时，三个要素权重的取值为：ws＝2，wm＝1，wfov＝1。ps表示以宏块为单位 的肤色视觉权重值，pm表示以宏块为单位的运动视觉权重值，pfov以宏块 为单位的空间位置视觉权重值。
4.据宏块编码比特长度和信道状态信息构建以宏块为单位的视频图像 的误码概率图；
具体过程如图6所示：
1)统计视频图像各宏块的比特长度；
2)从网络层获取当前信道的预测误码率；
3)根据式(2)计算宏块的误码概率，得到误码概率图；
Pmb(i，j，n)＝S(i，j，n)pBER (2)
式中Pmb表示宏块的丢包和误码概率，S(i，j，n)表示宏块的编码比特长 度，pBER表示当前通信信道的误码率。
5.结合视频图像的视觉权重图和误码概率图，对视频图像的宏块进行 主观质量失真预测。
1)首先根据式(3)计算当前输入视频图像和前一帧重建视频图像象素 差的绝对值，如下式所示：
式中Dmb表示宏块的失真预测，表示一个宏块的原始图像象素值。
2)然后从视频图像的感知权重图和误码概率图中获取对应的感知权 重和误码概率，生成主观质量失真预测值，如下式所示：
Dep_mb(i，j，n)＝Wpmb(i，j，n)Dmb(i，j，n)Pmb(i，j，n)
式中：Dep_mb表示宏块的主观质量失真预测，Wpmb表示宏块的视觉感知 权重，Dmb表示宏块的失真预测，Pmb表示宏块的误比特率。
6.根据宏块主观质量失真预测，强制执行宏块刷新判决；
根据式(4)统计同一坐标位置的宏块的累积主观质量失真预测值；
式中，n0表示该位置宏块最后一次INTRA编码的帧序号，该位置宏 块每次INTRA编码后，累积主观质量失真预测值就清零，重新开始计算， n表示该位置宏块当前帧序号，m是公式表达所需的中间变量，表示从n0 到n中间的值。
当某一坐标位置的失真预测累积值达到或超过经验阈值Δn，Δn取0.5 时，该坐标位置的宏块刷新判决为帧内编码模式，强制执行宏块刷新判决， 设置编码器中该坐标位置的宏块的编码模式为帧内编码模式，切断编码码 流在时间上的依赖，提高码流的容错性。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 采样方法、模型生成方法、视频行为识别方法及装置 | 2020-05-08 | 13 |
| 目标跟踪方法及存储介质 | 2020-05-08 | 545 |
| 图像编码装置 | 2020-05-08 | 236 |
| 视频编码方法及装置 | 2020-05-08 | 832 |
| 视频编码装置 | 2020-05-08 | 647 |
| 一种使用纹理平滑信息的3D视频残差编码模式选择方法 | 2020-05-08 | 302 |
| 基于频谱地图的卫星通信系统用户链路干扰规避方法 | 2020-05-08 | 262 |
| 一种视频帧率预测方法、装置及设备 | 2020-05-08 | 117 |
| 一种基于目标特性的分层可重构车载视频目标检测方法 | 2020-05-08 | 651 |
| 双向光流中的梯度计算 | 2020-05-08 | 626 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
