技术领域
[0001] 本
发明属于
图像处理及图像质量评价方法技术领域，涉及一种基于相似性特征融合的全参考型图像质量评价方法。
背景技术
[0002] 随着
信息时代的到来，数字图像作为一种信息载体，扮演着不可或缺的
角色。图像在获取、压缩、传输、处理、存储和显示过程中，会带来不同程度和不同类型的失真，直接影响图像信息的获取。因此，在
图像采集、编码压缩、网络传输等领域建立有效的图像质量评价机制具有非常重大的意义。
[0003] 近年来，全参考型图像质量评价成为研究的热点，很多的研究者都在研究这个技术。目前，基于相似性的方法比较经典的是结构相似度图像质量评价方法(Zhou,W.,et al.,Image quality assessment:from error visibility to structural similarity.IEEE Transactions on Image Processing,2004.13(4):p.600-612.)：首先，提取参考图像和失真图像的
亮度信息，
对比度信息和结构信息；其次，计算其相似性，得到亮度相似性、对比度相似性和结构相似性；最后，融合三种相似性特征，最终得到失真图像的质量分数。
[0004] 此外，也有一些方法，对结构相似性方法进行改进。在FSIM(Zhang,L.,et al.,FSIM:A Feature Similarity Index for Image Quality Assessment.IEEE Transactions on Image Processing,2011.20(8):p.2378-2386)中，计算参考图像和失真图像
相位特征和梯度特征的相似性，加入彩度相似性，再使用相位信息进行加权的方法，对彩色图像质量进行评价。
[0005] 目前，大部分的基于相似性的图像质量评价方法都是基于局部特征和
像素点信息的，但是这些方法只利用了单一的局部特征信息，忽略了人眼视觉特性，从而导致评价结果与人眼主观评价结果一致性不高。
发明内容
[0006] 本发明的目的在于提供一种基于相似性特征融合的全参考型图像质量评价方法，能够通过对失真图像和参考图像的相似性计算，实现对失真图像的质量进行评价。
[0007] 本发明所采用的技术方案是，基于相似性特征融合的全参考型图像质量评价方法，具体按照以下步骤实施：
[0008] 步骤1、对
数据库中的参考图像和失真图像提取纹理特征，计算其纹理特征相似性；
[0009] 步骤2、待步骤1完成后，先分别计算参考图像和失真图像的加权平均相位角，再计算加权平均相位角之间的相似性；
[0010] 步骤3、待步骤2完成后，先提取参考图像和失真图像的边缘特征，得到梯度图像，再计算失真图像与参考图像分别对应的梯度图像之间的相似性；
[0011] 步骤4、待步骤3完成后，将参考图像和失真图像由RGB
颜色空间转换到YIQ空间中，使得颜色信息与亮度信息分离；分别计算参考图像和失真图像之间的I通道和Q通道的相似性，经融合得到彩度相似性；
[0012] 步骤5、先将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征作为
支持向量机回归模型的输入值，将MOS值作为输出值，使用
粒子群优化算法寻找支持向量机回归模型的最优参数；再进行训练，得到支持向量回归模型，最终完成对图像质量进行评价。
[0013] 本发明的特点还在于：
[0014] 步骤1具体按照以下步骤实施：
[0015] 步骤1.1、对数据库中的参考图像和失真图像提取图像的纹理特征，纹理特征提取采用的是灰度共生矩阵；
[0016] 灰度共生矩阵提取的方法是使用
位置算子对像素点相对空间位置进行统计，具体方法如下：
[0017] 先将参考图像和失真图像的灰度等级压缩为8个灰度等级，再分别对其像素点进行统计，分别对中心像素点距离为1，角度为0°，45°，90°，135°四个方向上的像素点进行统计，分别得到参考图像和失真图像对应的灰度共生矩阵；
[0018] 步骤1.2、经步骤1.1后，对参考图像和失真图像相同角度的灰度共生矩阵计算其相似性，得到四个相似性矩阵；
[0019] 步骤1.3、先对经步骤1.2得到的四个相似性矩阵进行加权求和，得到一个相似性矩阵，再计算平均值，用来表示图像纹理特征相似性，相似性特征按照如下算法经计算获得：
[0020]
[0021] 式(1)中：Gr(·)表示灰度共生矩阵，T1(T1＝100)是一个常数，用来保证灰度共生矩阵相似度的
稳定性。
[0022] 步骤2具体按照以下步骤实施：
[0023] 步骤2.1，待步骤1完成后，将参考图像和失真图像分别经过2D-Log Gabor变换，将图像转换到局部
频率域中，得到
频域特征；
[0024] 对于一幅图像f(x,y)(参考图像或失真图像)，x,y为图像中像素的坐标，它的2D-Log Gabor变换表示为如下形式：
[0025]
[0026] 式(2)中：ω为频率，ψ为相位，σx和σy分别为
水平方向和竖直方向的窗口宽度，d是缩放因子，为了确保
[0027] 步骤2.2，经步骤2.1进行2D-Log Gabor变换后，使用形成
正交的Even(en)和Odd(on)对称
滤波器来计算响应
能量，在方向θj上的响应能量计算如下：
[0028]
[0029] 式(3)中： n是尺度大小；
[0030] 再计算加权平均滤波器响应向量，通过式(4)进行计算：
[0031]
[0032] 式(4)中：ε＝0.0001，用来防止分母为零；
[0033] 步骤2.3，待步骤2.2完成后，先从最小规模的能量平方响应估计噪声功率；再通过将均方能值除以均方滤波值得到噪声功率的估计值；接着通过找到图像点来更新取向矩阵，其中该取向中的能量大于任何先前方向，用方向矩阵替换当前定向数字中的这些元素，将得到的特征相位角旋转90度，使0相对应于阶跃边，获得加权平均相位角图；将得到的参考图像和失真图像的加权平均相位角图，通过式(5)计算其之间的相位角相似性：
[0034]
[0035] 式(5)中：x和y分别表示参考图像和失真图像，f(x)，f(y)分别为参考图像和失真图像的加权平均相位角图，T2＝0.01，用来保证加权相位角相似性的稳定性。
[0036] 步骤3具体按照以下步骤实施：
[0037] 步骤3.1，使用3*3窗口的Scharr算子分别对参考图像和失真图像进行卷积运算，进行边缘特征的提取；
[0038] 步骤3.2，经步骤3.1得到的边缘特征后，根据式(6)分别计算参考图像和失真图像的梯度幅度值，具体算法如下：
[0039]
[0040] 式(6)中：gx和gy分别表示水平方向和垂直方向的偏导数，g表示梯度幅度值；
[0041] 步骤3.3，待步骤3.2完成后通过式(7)计算梯度相似性：
[0042]
[0043] 式(7)中：g(x)和g(y)分别表示参考图像和失真图像的梯度幅度值，T3是个常数(T3＝160)。
[0044] 步骤4具体按照以下步骤实施：
[0045] 步骤4.1，通过式(8)分别将参考图像和失真图像由
RGB颜色空间转换到YIQ颜色空间，分别提取I通道和Q通道的颜色特征；
[0046]
[0047] 通过颜色空间转换后，得到和图像大小相同的矩阵I，Q通道的颜色信息，实现了颜色信息与亮度信息的分离；
[0048] 步骤4.2，待步骤4.1完成后，分别计算参考图像和失真图像之间I通道和Q通道的相似性，具体如式(9)和式(10)所示：
[0049]
[0050]
[0051] 式(9)和(10)中：I(x),I(y)和Q(x),Q(y)分别表示参考图像和失真图像的I通道和Q通道的信息；T4和T5(T4＝T5＝200)是两个常数，用来确保相似性的稳定性；
[0052] 步骤4.3，经步骤4.2后再通过式(11)，将I通道和Q通道的相似性进行融合，得到彩度相似性，具体算法如下：
[0053] SC(x,y)＝SI(x,y)·SQ(x,y)(11)。
[0054] 步骤5具体按照以下步骤实施：
[0055] 步骤5.1，将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征SGr,Sa,Sg和SC，结合数据库中失真图像的MOS值，使用粒子群
优化算法，得到最佳的支持向量机回归模型的参数：bestc为epsilon-SVR中的参数C的最佳值，默认值为1，bestg为
内核函数中的gamma值的最佳值；
[0056] 步骤5.2，将经步骤5.1得到的bestc设置为LIB-SVM的参数，在LIB-SVM中，SVM类型设置为epsilon-SVR，核函数类型设置为radial basis function，即径向基函数，其他参数采取LIB-SVM默认值；
[0057] 再结合失真图像的MOS值，建立支持向量机回归模型，将得到的每幅失真图像的四个特征相似性值作为支持向量机回归模型的输入值，将失真图像的MOS值作为输出值，进行训练，建立SVR模型；
[0058] 步骤5.3，经步骤5.2建立模型后，将一幅或多幅待检测失真图和与其对应的原图像先按照步骤1、步骤2、步骤3及步骤4提取其相似性特征，再将其相似性特征输入至建立的SVR模型中，对图像质量进行预测，得到预测的MOS值，从而完成对图像质量的评价。
[0059] 本发明的有益效果在于：
[0060] (1)本发明基于相似性特征融合的全参考型图像质量评价方法，在大型公开数据库上融合了四种不同的相似性特征，结合图像的主观MOS值，建立了一个支持向量机回归模型，对图像的质量进行评价；
[0061] (2)本发明基于相似性特征融合的全参考型图像质量评价方法，对FSIM方法进行了改进，增加了灰度共生矩阵特征来表示纹理特征；改进了频域特征，使用平均加权相位角代替相位特征，来表示图像频域特征，与人眼的一致性更高；加入了彩度特征，能对彩色图像进行质量评价；
[0062] (3)使用本发明基于相似性特征融合的全参考型图像质量评价方法建立模型后，在对图像质量评价时非常简单，大幅提高了图像质量评价的计算速度，与人眼也能保持很好的一致性，能广泛应用于图像质量评价领域。
附图说明
[0063] 图1是本发明基于相似性特征融合的全参考型图像质量评价方法的
框架图。
具体实施方式
[0064] 下面结合附图和具体实施方式对本发明进行详细说明。
[0065] 本发明基于相似性特征融合的全参考型图像质量评价方法，如图1所示，可将其分为两大部分，分别为：SVR模型的建立和图像质量的评价。
[0066] SVR模型的建立部分，处理对象是图像数据库中的参考图像和失真图像，提取本发明中的四种相似性特征，结合数据库中的主观MOS值，使用支持向量机的方法建立SVR模型。
[0067] 图像质量评价部分，计算失真图像和对应的参考图像的纹理、相位角、梯度和彩度相似性，将这四个相似性特征作为建立的SVR模型的输入值，从而对失真图像的MOS值进行预测，对图像质量进行评价。
[0068] 本发明基于相似性特征融合的全参考型图像质量评价方法，具体按照以下步骤实施：
[0069] 步骤1、对数据库中的参考图像和失真图像提取纹理特征，计算其纹理特征相似性，具体按照以下步骤实施：
[0070] 步骤1.1、对数据库中的参考图像和失真图像提取图像的纹理特征，纹理特征提取采用的是灰度共生矩阵；
[0071] 灰度共生矩阵提取的方法是使用位置算子对像素点相对空间位置进行统计，具体方法如下：
[0072] 先将参考图像和失真图像的灰度等级压缩为8个灰度等级，再对其图像像素点进行统计，分别对中心像素点距离为1，角度为0°，45°，90°，135°四个方向上的像素点进行统计，分别得到参考图像和失真图对应的灰度共生矩阵；
[0073] 步骤1.2、经步骤1.1后，对参考图像和失真图像相同角度的灰度共生矩阵计算其相似性，得到四个相似性矩阵；
[0074] 步骤1.3、先对经步骤1.2得到的四个相似性矩阵进行加权求和，得到一个相似性矩阵，再计算平均值，用来表示图像纹理特征相似性，相似性特征按照如下算法经计算获得：
[0075]
[0076] 式(1)中：Gr(·)表示灰度共生矩阵，T1(T1＝100)是一个常数，用来保证灰度共生矩阵相似度的稳定性。
[0077] 步骤2、待步骤1完成后，先分别计算参考图像和失真图像的加权平均相位角，再计算加权平均相位角之间的相似性，具体按照以下步骤实施：
[0078] 步骤2.1，待步骤1完成后，将参考图像和失真图像分别经过2D-Log Gabor变换，将图像转换到局部频率域中，得到参考图像和失真图像的频域特征；
[0079] 对于一幅图像f(x,y)(参考图像或失真图像)，x,y为图像中像素的坐标，它的2D-Log Gabor变换表示为如下形式：
[0080]
[0081] 式(2)中：ω为频率，ψ为相位，σx和σy分别为水平方向和竖直方向的窗口宽度，d是缩放因子，为了确保
[0082] 步骤2.2，经步骤2.1进行2D-Log Gabor变换后，使用形成正交的Even(en)和Odd(on)对称滤波器来计算响应能量，在方向θj上的响应能量计算如下：
[0083]
[0084] 式(3)中： n是尺度大小；
[0085] 再计算加权平均滤波器响应向量，通过式(4)进行计算：
[0086]
[0087] 式(4)中：ε＝0.0001，用来防止分母为零；
[0088] 步骤2.3，待步骤2.2完成后，先从最小规模的能量平方响应估计噪声功率；再通过将均方能值除以均方滤波值得到噪声功率的估计值；接着通过找到图像点来更新取向矩阵，其中该取向中的能量大于任何先前方向，用方向矩阵替换当前定向数字中的这些元素，将得到的特征相位角旋转90度，使0相对应于阶跃边，获得加权平均相位角图；将得到的参考图像和失真图像的加权平均相位角图，通过式(5)计算其之间的相位角相似性：
[0089]
[0090] 式(5)中：x和y分别表示参考图像和失真图像，f(x)，f(y)分别为x和y的加权平均相位角图，T2＝0.01，用来保证加权相位角相似性的稳定性。
[0091] 步骤3、待步骤2完成后，先提取参考图像和失真图像的边缘特征，得到对应的梯度图像，再计算其梯度图像之间的相似性，具体按照以下步骤实施：
[0092] 步骤3.1，使用3*3窗口的Scharr算子分别与参考图像和失真图像进行卷积运算，进行边缘特征的提取；
[0093] 步骤3.2，经步骤3.1得到的边缘特征后，根据式(6)对参考图像和失真图像进行计算，分别得到其对应的梯度幅度值，具体算法如下：
[0094]
[0095] 式(6)中：gx和gy分别表示水平方向和垂直方向的偏导数，g表示梯度幅度值；
[0096] 步骤3.3，待步骤3.2完成后通过式(7)计算梯度相似性：
[0097]
[0098] 式(7)中：g(x)和g(y)分别表示参考图像和失真图像的梯度幅度值，T3是个常数(T3＝160)，用来确保梯度相似性的稳定性。
[0099] 步骤4、待步骤3完成后，将参考图像和失真图像由RGB颜色空间转换到YIQ空间中，使得颜色信息与亮度信息分离；分别计算I通道和Q通道的相似性，经融合得到彩度相似性，具体按照以下步骤实施：
[0100] 步骤4.1，通过式(8)分别将参考图像和失真图像由RGB颜色空间转换到YIQ颜色空间，分别提取I通道和Q通道的颜色特征；
[0101]
[0102] 通过颜色空间转换后，得到和图像大小相同的矩阵I，Q通道的颜色信息，实现了颜色信息与亮度信息的分离；
[0103] 步骤4.2，待步骤4.1完成后，分别计算参考图像和失真图像之间I通道和Q通道的相似性，具体算法分别如式(9)和式(10)：
[0104]
[0105]
[0106] 式(9)和(10)中：I(x),I(y)和Q(x),Q(y)分别表示参考图像和失真图像的I通道和Q通道的信息；T4和T5(T4＝T5＝200)是两个常数，用来确保相似性的稳定性；
[0107] 步骤4.3，经步骤4.2后再通过式(11)，将I通道和Q通道的相似性进行融合，得到彩度相似性，具体算法如下：
[0108] SC(x,y)＝SI(x,y)·SQ(x,y) (11)。
[0109] 步骤5、先将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征(SGr,Sa,Sg和SC)作为支持向量机回归模型的输入值，将MOS值作为输出值，使用粒子群优化算法寻找支持向量机回归模型(LIB-SVM)的最优参数；再进行训练，得到支持向量回归模型，最终完成对图像质量进行评价，具体按照以下步骤实施：
[0110] 步骤5.1，将经步骤1、步骤2、步骤3及步骤4得到的四个相似性特征SGr,Sa,Sg和SC，结合数据库中失真图像的MOS值，使用粒子群优化算法，得到最佳的支持向量机回归模型的参数：bestc为epsilon-SVR中的参数C的最佳值，默认值为1，bestg为内核函数中的gamma值的最佳值；
[0111] 步骤5.2，将经步骤5.1得到的bestc设置为LIB-SVM的参数，在LIB-SVM中，SVM类型设置为epsilon-SVR，核函数类型设置为radial basis function(径向基函数)，其他参数采取LIB-SVM默认值；
[0112] 再结合失真图像的MOS值，建立支持向量机回归模型，将得到的每幅失真图像的四个特征相似性值作为支持向量机回归模型的输入值，将失真图像的MOS值作为输出值，进行训练，建立SVR模型；
[0113] 步骤5.3，经步骤5.2建立模型后，将一幅或多幅待检测失真图和与其对应的原图像先按照步骤1、步骤2、步骤3及步骤4提取其相似性特征，再将其相似性特征输入至建立的SVR模型中，对图像质量进行预测，得到预测的MOS值，从而完成对图像质量的评价。
[0114] 本发明基于相似性特征融合的全参考型图像质量评价方法，从功能执行上讲：首先执行对数据库中的参考图像和失真图像分别提取纹理特征、相位角特征、梯度特征和彩度特征；其次根据提取到的特征计算失真图像与参考图像之间的相似性特征；然后结合相似性特征和MOS值，使用粒子群优化算法，求得SVR模型的最佳参数bestc，bestg；接下来根据得到的参数，结合相似性特征和主观MOS值，通过训练建立SVR模型；最后计算待检测图像的四个相似性特征，将其作为SVR模型的输入值，进行MOS值的预测，从而对图像质量进行评价。
[0115] 本发明基于相似性特征融合的全参考型图像质量评价方法，充分利用了与人眼视觉特性相一致的四种相似性特征，能够根据数据库中的参考图像和失真图像，使用特征融合的方法，建立SVR质量评价模型，从而对图像质量进行评价，与人眼识别保持较高的一致性。
