技术领域
[0001] 本
发明属于
视频编码技术领域，尤其是一种基于恰可察感知质量判决准则的HEVC率失真
优化算法。
背景技术
[0002] 近年来，随着国民经济的快速发展、技术的进步和人们对视频质量要求的不断提高，高清/超高清视频编码技术作为未来家庭影院、数字广播电视、网络视频、高清电影等业务的
基础核心技术成为业界关注的焦点。针对高清/超高清视频通信，现有的视频编码标准在压缩比和实际的应用需求相比还有一定的距离。为此，国际标准化组织ISO/IEC(MPEG)和ITU-T启动了下一代数字视频压缩标准规划——高效的视频编码(High Efficiency Video Coding，HEVC)，目标是在H.264/AVC高档次的基础上，压缩效率提高一倍以上。
[0003] 高效的视频编码(HEVC)在环路滤波过程总共有两个环节：去
块效应滤波和自适应样点补偿SAO。其中，自适应样点补偿SAO可进一步被分为带状补偿(Band Offset，BO)和边缘补偿(Edge offset，EO)两大类。边缘补偿算法(EO)主要针对图像中每个对象的轮廓进行补偿，需要从
水平、竖直、左倾45度斜率与右倾45度斜率的四类相邻编码块中选择一种进行当前
像素点的值与相邻两个像素点的值的比较。带状补偿算法(BO)主要用于对图像中每个对象内部的色彩和纹路信息进行补偿，其补偿类型的划分完全基于像素点本身的幅值，也就是说HEVC将像素强度从0到最大值划分为32个等级，通过率失真优化的选择，其中4个连续等级的像素补偿将最终写入码流。
[0004] HEVC
编码器依据图像内容，采用率失真优化的方法，在
帧内和帧间众多的可选模式里选取最佳的编码模式。虽然在一定程度上，率失真模式判决会使编码过程变得复杂，但是，正是由于率失真优化技术的应用，编码器才能够尽可能获得最佳预测信息，从而保证了图像质量，提高了编码器的整体性能。
[0005] 传统视频编码的率失真
框架包括HEVC在内都是使用均方误差MSE作为失真值进行计算的。虽然大多数情况下MSE能够反映图像的真实质量，但是仍有一些情况是MSE反映不出来的，例如椒盐噪声会对画面产生巨大的干扰，而整帧图像的MSE可能不是很大。
发明内容
[0006] 本发明的目的在于克服
现有技术的不足，提供一种设计合理、主观视觉质量高且能够去除更多感知冗余的基于恰可察感知质量判决准则的HEVC率失真优化算法。
[0007] 本发明解决现有的技术问题是采取以下技术方案实现的：
[0008] 一种基于恰可察感知质量判决准则的HEVC率失真优化算法，包括以下步骤：
[0009] 步骤1、在高效视频编
解码器的编码端进行模式判决前，分析每一帧中每个宏块的运动模式及静态纹理特征，获得当前宏块的感知质量类型，并根据不同的运动状态得到图像显著区域；
[0010] 步骤2、根据显著图像区域计算基于视觉显著性区域的恰可察失真
阈值；
[0011] 步骤3、根据基于视觉显著性区域的恰可察失真阈值计算基于恰可察失真模型的感知质量；
[0012] 步骤4、根据基于恰可察失真模型的感知质量进行率失真优化；
[0013] 所述步骤1感知质量类型采用以下数学模型获得：
[0014]
[0015] 式中， 为当前宏块的感知质量类型，Normal Pattern为正常感知质量类型，Aliased Pattern为失真感知质量类型，Hysteresis Pattern为滞后感知质量类型，Background为静止感知质量类型， 和 分别为正常状态、失真状态、静止状态出现的概率， 为 和 的向量形式， 为状态属性描述符，SS表示静止状态。
[0016] 而且，所述的图像显著区域为Normal Pattern类型的宏块和Hysteresis Pattern类型的宏块组合在一起构成的区域。
[0017] 而且，所述步骤2基于视觉显著性区域的恰可察失真阈值按照下述公式计算得到：
[0018]
[0019] 上述公式中，FJND为基于视觉显著性区域的恰可察失真阈值，TBasic(k，n，i，j)、FLum、FContrast、FTemporal和FFovea分别是基本阈值、
亮度修正值、
对比度修正值、时间域修正值和显著区域修正值。
[0020] 而且，所述步骤3基于恰可察失真模型的感知质量由PSNR-HA和PSNR-HMA两种失真准则加权而得，其计算方法如下：
[0021] (1)对于给定的参考块A和失真块B，计算二者的差异 和 分别是参考块A和失真块B系数的平均值；
[0022] (2)得到修正矩阵C＝B+Delt；
[0023] (3)计算修正系数
[0024] (4)计算修正后的宏块D＝C×ρ；
[0025] (5)计算恰可察失真模型修正后的失真值MSEHVS，计算方法如下：
[0026]
[0027] 其中coeffo(i，j)和coeffd(i，j)分别代表参考块和重建块对应
位置的像素值，jnd(i，j)则表示第二部计算的对应位置的恰可察失真
门限；
[0028] (6)如果M1＞M2则
[0029] 最终得到
[0030] MSEHVS＝M1+Delt2×coef3
[0031] 上式中，coef1、coef2、coef3表示对感知误差的修正因子，按照实验经验分别取0.002、0.25和0.04；
[0032] (7)根据上述计算得到的感知质量失真得到PSNR-HA：
[0033]
[0034] 对于彩色图像，M是Y，Cr，Cb一个亮度分量，两个
颜色分量的感知失真加权得到的平均失真，如下式计算得到：
[0035] M＝(MY+MCb×coef4+MCr×coef4)/(1+2×coef4)
[0036] MY、MCb、MCr分别是一个亮度分量Y，两个颜色分量Cb、Cr的感知失真，加权系数coef4是0.5；
[0037] PSNR-HMA的修正是在计算MSEHVS时用恰可察失真模型做相应修正。
[0038] 而且，所述步骤4进行率失真优化的方法为：将基于图像显著区域恰可察感知质量融结合在R-λ模型上，得到如下模型：
[0039]
[0040] 上式中J是代价函数，则λ＝dQ/dR，针对每一个宏块，计算代价函数：
[0041] j1＝q1(QP1)-λ·r1(QP1)for coding block #1
[0042] j2＝q2(QP2)-λ·r2(QP2)for coding block #2
[0043] ……
[0044] jN＝qN(QPN)-λ·rN(QPN)for coding block #N
[0045]
[0046] 上式中，QP是量化步长，通过搜索比较得到使max{J}最小的编码模式。
[0047] 本发明的优点和积极效果是：
[0048] 本发明设计合理，其采用基于恰可察感知质量判决准则进行HEVC率失真优化，能够克服均方误差MSE作为衡量视频失真评价标准的不足，使得最终的编码效果更加符合人眼的主观感知质量，同时，编码后的视频在主观质量不降低的前提下可以容忍更多的噪声，去除不必要的感知冗余，从而提高了压缩效率，降低了编码后文件的码率。
附图说明
[0049] 图1是本发明的整体框架图；
[0051] 图3是对图2进行处理后得到的显著图。
具体实施方式
[0052] 以下结合附图对本发明实施例做进一步详述。
[0053] 一种基于恰可察感知质量判决准则的HEVC率失真优化算法，如图1所示，包括以下步骤：
[0054] 步骤1、在高效视频编解码器的编码端进行模式判决前，分析每一帧中每个宏块的运动模式及静态纹理特征，得出当前宏块的感知质量类型，并根据不同的运动状态得到图像显著区域。
[0055] 在本步骤中，针对每一帧的每个编码单元CU，以及其每一个划分块，首先建立一套完整的状态属性描述符 (表示t时刻的一帧中的第k个宏块的状态)，如下：
[0056] 其中
[0057]
[0058] 式中，NS、AS、SS分别代表正常状态、失真状态、静止状态， 表示
运动矢量， 是表示当前块残差
能量与纹理能量比的比率， 表示t时刻的一帧中的第k个宏块，q是相应的量化参数N×N是宏块的大小。
[0059] 用向量 的形式表示状态属性描述符 如下：
[0060]
[0061] 其中 的三个值分别对应三种状态不发生的情况，即0表示不发生，1表示发生。
[0062] 在某一时刻， 分别表示NS、AS和SS出现的概率的权重，三者使用向量形式 表示； 和 表示三中状态出现的概率，表示为向量形式 如下：
[0063] 其中
[0064] η是一个大于1的常数，表示
迭代速率；
[0065] 根据上述参数得出每个宏块概率向量，根据下述准则判断其所属的感知质量类型如下：
[0066]
[0067] 公式中的Background表示画面静止不动，是背景部分；
[0068] 本方法中认为只有属于Normal Pattern和Hysteresis Pattern两种情况既吸引人的注意
力，又能够分辨清画面的细节。属于该两种模式的宏块组合在一起的区域即显著性区域。图2给出了一张视频截图，图3为通过本步骤得到的显著图。
[0069] 步骤2、根据显著图像区域计算基于视觉显著性区域的恰可察失真阈值。
[0070] 本方法针对视频内容中运动区域可以吸引观看者的注意力，而人眼的视觉灵敏度是随着视觉中央凹向外逐渐下降的，所以将视频显著性区域与传统恰可察失真模型相结合，进一步挖掘视频感知冗余，在保证观看质量的前提下提高压缩效率。
[0071] 基于视觉显著性区域的恰可察失真阈值FJND按照下述公式进行计算：
[0072]
[0073] 上述公式中，TBasic(k，n，i，j)、FLum、FContrast、FTemporal和FFovea分别是基本阈值、亮度修正值、对比度修正值、时间域修正值和显著区域修正值，其中前三者针对静态图像的阈值即修正因子，后面两项针对视频的修正因子。各因子的计算分别为：
[0074] (1)基本阈值TBasic(k，n，i，j)：
[0075]
[0076] 式中，(n，i，j)表示第n个块的(i，j)个位置，s是说明空间累计效应的参数，按经验值取0.25；a、b、c、r是常数分别等于1.33、0.11、0.18和0.6。φi和φj是DCT变换的归一化因子 ωij是
频率[0077] (2)亮度修正值FLum为：
[0078]
[0079] 式中，表示该宏块的平均亮度。
[0080] (3)对比度修正值FContrast为：
[0081]
[0082] 针对plane、edge还有texture三种不同类型的宏块FContrast按照上述公式计算。首2
先，使用candy算子找出图像中所有的边缘点；然后，计算边缘点
密度函数ρedge＝∑edge/N；
然后按照下面两个公式计算ψ的值：
[0083]
[0084] 这样就可以得到对比度修正因子。
[0085] (4)时间域修正值FTemporal为：
[0086]
[0087] 上式中ft是时间频率，fs是空间频率。
[0088] (5)显著区域修正值FFovea为：
[0089]
[0090] 上式中κ(bg(k，i，j))是背景亮度函数，该背景亮度函数如下：
[0091]
[0092]
[0093] fm(v，e)＝min(fc(e)，fd(v))
[0094] fc是由对比敏感度函数决定的，此处设置为最大值1.0；fd是显示截止频率，设置为显示器
分辨率的一半。参数e表示该位置到第一部分得到的图像显著性区域中心的距离。
[0095] 步骤3、根据基于视觉显著性区域的恰可察失真阈值计算基于恰可察失真模型的感知质量。
[0096] 本发明使用基于恰可察失真模型的感知质量评价BMMF来代替原有的编码框架中失真的计算，该感知质量评价BMMF按下式计算得到：
[0097]
[0098] 其中x是判决矩阵的索引，即属于哪个宏块；y表示该宏块所属的类型，类型1表示平坦，类型2表示边缘，类型3表示纹理， 和 分别表示参考宏块和重建宏块；Qxy表示x宏块在y种类型评价标准下的值；
[0099]
[0100] 上述公式中的Q是基于恰可察失真模型的感知质量(感知质量判决准则)，该感知质量由PSNR-HA和PSNR-HMA两种失真准则加权而得； 则表示那种失真评价值得加权平均，wxy是权重。对于PSNR-HA和PSNR-HMA，本方法在现有恰可察失真模型的基础上做了如下修正，具体修正方法包括以下过程：
[0101] (1)对于给定的参考块A和失真块B，计算二者的差异 和 分别是参考块A和失真块B系数的平均值；
[0102] (2)得到修正矩阵C＝B+Delt；
[0103] (3)计算修正系数
[0104] (4)计算修正后的宏块D＝C×ρ；
[0105] (5)计算恰可察失真模型修正后的失真值MSEHVS，如下：
[0106]
[0107] 其中coeffo(i，j)和coeffd(i，j)分别代表参考块和重建块对应位置的像素值。jnd(i，j)则表示第二部计算的对应位置的恰可察失真门限，大于此门限的失真是人眼可察的，而小于此门限的失真是人眼察觉不到的，这样可以最大程度挖掘感知冗余；
[0108] (6)如果M1＞M2则
[0109] 最终得到
[0110] MSEHVS＝M1+Delt2×coef3
[0111] 上述两个公式中，coef1、coef2、coef3表示对感知误差的修正因子，按照实验经验分别取0.002、0.25和0.04；
[0112] (7)根据上述计算得到的感知质量失真可以得到PSNR-HA，如下：
[0113]
[0114] 对于彩色图像，M是Y，Cr，Cb一个亮度分量，两个颜色分量的感知失真加权得到的平均失真，如下式计算得到：
[0115] M＝(MY+MCb×coef4+MCr×coef4)/(1+2×coef4)
[0116] MY、MCb、MCr分别是一个亮度分量Y，两个颜色分量Cb、Cr的感知失真，加权系数coef4是0.5。
[0117] PSNR-HMA的修正和PSNR-HA类似，均是在计算MSEHVS时用恰可察失真模型做相应修正，在此不在赘述。
[0118] 步骤4、根据基于恰可察失真模型的感知质量进行率失真优化，找到最佳的编码模式。
[0119] 传统的率失真优化模型是基于R-D模型，而在HEVC中采用了R-λ模型，它比R-D模型更加精确。下面在R-λ模型的基础上将步骤3中得到的基于图像显著区域恰可察感知质量融入其中，得到更加符合主观质量的模型，如下：
[0120]
[0121] 上式中J是代价函数，则λ＝dQ/dR。针对每一个宏块，计算代价函数：
[0122] j1＝q1(QP1)-λ·r1(QP1)for coding block #1
[0123] j2＝q2(QP2)-λ·r2(QP2)forcoding block #2
[0124] ……
[0125] jN＝qN(QPN)-λ·rN(QPN)for coding block #N
[0126]
[0127] 上式中，QP是量化步长，优化的目标是通过仿佛搜索比较得到使max{J}最小的编码模式。
[0128] 下面按照本发明的方法做一测试，说明本发明的实验效果。
[0129] 测试环境：Visual Studio 2010；
[0130] 测试序列：从HEVC官方测试序列中选择三种尺寸的视频测试序列如下：
[0131] 832x480：BQMall，Basketball-Drill
[0132] 1280x720：Johnny，FourPeople
[0133] 1920x1080：Basketball-Drive，BQterrace
[0134] 测试结果如下：
[0136]
[0137] 表二 码率(kbps)
[0138]
[0139] 表三 主观测试标准
[0140]
[0141] 表四 主观测试结果
[0142]
[0143] 实验结论
[0144] 本实验结果选取六个HEVC标准测试序列。根据表一可以看出与HEVC参考
软件HM10.0相比同一序列相同量化参数(QP)值下
峰值信噪比(PSNR)要低1.13dB～4.12dB，这说明本技术在视频主观质量保持不变的前提下能够容忍更多的噪声。根据表二可得相同QP值下，相比原始HEVC使用本发明可以获得更小的比特率，提高压缩比。
[0145] 在主观试验中，将原始HM10.0压缩视频放在左侧，本发明的压缩视频放于右侧，请30位观察者按照表三的标准进行测试，统计平均后得到表四的结果。可以看出本发明的压缩视频在主管质量上普遍优于HEVC原始技术，尤其是在较大QP值的条件下；而在小QP值时由于原始技术压缩后的失真已经很小，所以二者主观上的差别基本可以忽略。
[0146] 经过客观和主观实验，测试结果均表明与原始HEVC编码技术相比，本发明能够克服均方误差MSE作为衡量视频失真评价标准的不足，在主观质量不降低的前提下容忍更多的噪声，去除不必要的感知冗余，从而提高压缩效率，降低编码后文件的码率。
[0147] 需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
