一种用于雾天图像的质量评价方法
阅读：212发布：2023-03-07
专利汇可以提供一种用于雾天图像的质量评价方法专利检索，专利查询，专利分析的服务。并且本 发明 公开一种用于雾天图像的 质量 评价方法，该方法将雾作为一种失真类型加以研究，采用了基于码书的设计思想，构建了适合雾天图像特征的码书，实现了对雾天图像的质量评价。首先对训练图像分 块 提取特征，使用改进K-means 算法 对提取的特征进行聚类，完成码书的构建，利用已经构建好的码书对训练图像块进行编码，最后利用pooling策略对编码后的系数矩阵提取训练图像的 特征向量 ，将其与训练图像主观评分放入SVR中训练得到一个回归模型，从而获取测试图像的质量得分。，下面是一种用于雾天图像的质量评价方法专利的具体信息内容。
一种用于雾天图像的质量评价方法
技术领域
背景技术
[0002] 随着到处存在的数字图像的生成设备以及快速发展的网络服务，数字图像已经变成一个人们在日常生活中不可缺少的东西。例如：可以轻松在百度、谷歌上找到大量的图像。这些图像常会受到噪声、模糊、JPEG/J2K压缩等干扰，会造成质量的下降，如何衡量图像质量的下降程度是目前的一个热点研究方向。因此图像质量评价在图像处理中变的越来越重要。
[0003] 目前有很多的高校以及科研机构参与到图像质量评价的研究中，在国外具有代表性的学者是加拿大滑铁卢大学副教授Wang Zhou以及美国德克萨斯大学教授Bovik，2004年，他们首次将图像的一些结构信息(对比度、亮度、结构相似度)用于全参考图像质量评价，取得了非常好的效果，使得图像质量评价进入了一个快速发展的时代。
[0004] 近年来图像质量评价方法热点日益转向无参考图像质量评价领域，无参考图像质量评价是一类不需要任何图像的先验知识(即参考图像)去评价失真图像的算法。无参考图像质量评价可以划分为两类：基于特定失真和不基于特定失真。基于特定失真的方法，即这类无参考算法评价的失真类型是已知的。例如：Wang Zhou等提出了用来评价JPEG失真的算法。Sheikh等提出了基于NSS的算法用来评价J2K失真。但是在绝大部分情况下图像的失真类型是未知的，很难确定它适用于以上的哪一种无参考算法，这就限制了这些算法的应用范围。不基于特定失真的方法，即这类算法评价的失真类型是未知的，是通用的无参考图像质量评价算法。同样也可以将它分为两类：OA-DU(opinion aware distortion unaware)，OU-DU(opinion unaware distortion unaware)。OA-DU是指这类算法在训练过程中需要训练图像的主观评分，例如：BIQI，BRISQUE，CBIQ，CORNIA等。OU-DU是指这类算法不需要训练图像的主观评分。例如：QAC算法，NIQE算法。QAC算法虽然没有用到图像的主观评分，但是它利用全参考算法FSIM给出训练图像的客观评价结果，这相当于给训练图像构造出了“主观评分”，该算法的优点是不需要利用现有的图像质量评价数据库中的图像进行训练，可以将训练图像的范围进行拓展。NIQE算法所选取的训练图像都是无失真的参考图像，通过训练相当于构造了一个“参考图像”，它的训练图像也可以不从已有的图像质量评价数据库中选取。这类算法的优点是不依赖图像质量评价数据库，适应性强。
[0005] 在无参考图像质量评价领域中，统计学习理论占有极其重要的地位，2010年Bovik等提出了BIQI算法，首次通过运用统计学习理论获得了通用无参考图像质量评价算法，使得无参考图像质量评价得到了长足的发展。在文中，提出了“两步框架理论”即：首先对训练图像 提取特征，然后通过统计学习理论方法对训练图像特征与图像主观评分进行训练，正是这“两步框架理论”的提出标志着统计学习理论在通用无参考图像质量评价领域获得了成功。
[0006] 此类算法一般由以下几个过程组成：
[0007] (1)特征提取：通过对图像进行变换，提取能反映图像信息的特征向量。此步骤在此类图像质量评价算法中具有重要的意义，特征选取的质量直接影响算法的评价结果以及算法评价图像耗时。
[0008] (2)学习预测：对所得到的特征通过神经网络、SVR等学习得到一个模型。再利用学习的模型预测未知图像的质量。这是此类算法的核心部分，由于将这些统计学习理论的引入，使得无参考图像质量评价算法不再需要聚焦到某一种具体的失真上，这大大增加了无参考图像质量评价算法的鲁棒性，以及实际应用性。
[0009] (3)实验分析：对提出的算法进行数据库测试以及与其他算法进行对比。
[0010] 较早提出的基于统计学习理论的图像质量评价算法虽然取得了成功，但是也存在这一定的问题，如：算法复杂度较高，算法的精确性不够。为了解决这个问题，2011年，Ye Peng等提出了基于码书的无参考图像质量评价算法，2012年Ye Peng对此算法进行了改进，提出了CORNIA算法，该算法首次将半监督学习引入到图像质量评价中。并且在编码过程中使用了soft编码，此编码方式要优于前面算法所使用了hard编码。
[0011] 我国在图像质量评价领域起步较晚，但也取得了一定的成果。目前，在2D图像质量评价方面成果比较突出的是同济大学、西安电子科技大学以及香港理工大学。在3D图像质量评价方面起步较早的是天津大学和国防科技大学。
[0012] 目前国内对无参考图像质量评价研究主要分为两类：第一类是通用无参考图像质量评价，2012年国内学者高新波等首次将稀疏表示用于图像质量评价，提出了一种通用的图像质量评价算法，并且取得了比较好的效果。2013年香港理工大学学者Zhang Lei等提出了QAC算法首次将码书引入到OU-DU(训练图像主观评分未知，失真类型未知)中。第二类是对特定类型图像质量评价。其中具有代表性的是去雾后图像质量评价，郭璠和禹晶分别在自动化学报和中国图像图形学报上发表了用于综合评价雾天图像复原效果的算法。
[0013] 目前图像质量评价主要聚焦于无参考图像质量评价，并且取得了较大的进展。但是目前的研究存在很多地方的不足，主要表现在以下三个方面：
[0014] (1)针对的失真类型有限
[0015] 目前的无参考图像质量评价算法，都是基于现有的图像质量评价数据库，但是目前图像质量评价数据库只有几种类型失真。而雾是一种特殊的失真，现有的无参考算法对其的评价效果比较差。
[0016] (2)现有方法不能评价非自然场景图像
[0017] 非自然场景图像主要是指通过计算机生成或者对图像进行处理之后图像不具有自然场景统计特性的图像。现有的无参考图像质量评价方法都是用于评价自然图像，并且这些方法很多都是利用自然图像的一些特性提出的，对于非自然图像如：二维码、偏振图像中的P图等评价效果比较差。
[0018] (3)图像质量评价数据库的缺乏
[0019] 目前图像质量评价数据库只有几种失真类型，对一些特殊的图像如：雾天图像、二维码等缺少数据库，这样使得算法在训练以及测试时缺少准确的依据。
发明内容
[0020] 本发明涉及两个方面的主要内容：
[0021] (1)雾天图像特征提取及码书构建
[0022] 目前关于雾天图像特征选取的研究较少，如何选取一种或者多种特征，能够最大限度的反映雾浓度的变化以及构建用于雾天图像质量评价的码书将是发明的主要内容。
[0023] (2)雾天图像质量评价
[0025] 附图1是本发明的一种雾天图像质量得分预测过程示意图
[0026] 附图2是本发明的一种雾天图像质量评价SVR训练过程示意图
具体实施方式
[0027] 一种适合雾天图像的质量评价方法，包含以下几个步骤：特征提取、码书构建和编码、SVR模型训练、质量得分预测。
[0028] (1)特征提取
[0029] 所提取的特征为混合特征可以较好的反映雾天图像的特性。自然场景统计特征可以很好的刻画图像的失真，为了获得用于构建码书的特征向量，选用广义高斯分布(GGD)以及非对称广义高斯分布(AGGD)对雾天图像极其失真图像进行有效的刻画。如式(1)-(3)：
[0030]
[0031]
[0032] 其中Γ(.)为以下函数：
[0033]2
[0034] 其中形状参数α控制分布的形状，同时σ控制方差。由于MSCN(Mean Subtracted2
Contrast Normalized)系数分布是动态的，所以选择零均值分布。GGD的两个参数(α，σ)是能够被有效估计的。用这个参数模型来拟合无失真图像以及相应失真图像的MSCN系数统计图。上述两个变量是刻画图像失真的两个参数。
Contrast Normalized)系数分布是动态的，所以选择零均值分布。GGD的两个参数(α，σ)是能够被有效估计的。用这个参数模型来拟合无失真图像以及相应失真图像的MSCN系数统计图。上述两个变量是刻画图像失真的两个参数。
[0036]
[0037]
[0038]
[0039]
[0040] 其中i∈(1，2…M)，j∈(1，2…N)。在高斯系数模型下，假设MSCN系数为0均值单位方差分布，这个结果服从以下分布：
[0041]
[0042] 式(8)中的f是一个不对称的概率密度函数，ρ表示相邻系数的相关程度，K0是一个变形的贝塞尔函数。这个密度函数可以对相邻系数的一个分布进行很好的建模，式(8)中只有一个参数，所以不能对失真图像的相邻系数进行一个较好的建模。为了更好的进行建模，采用不对称的广义高斯分布(AGGD)模型：
[0043]
[0044]
[0045]
[0046] 形状参数σ控制AGGD分布的形状，当 时，此时AGGD分布与GGD分布是相同的。AGGD的参数 可以用瞬时匹配法进行有效的估计。
[0047] 分布的均值也是参数之一，用式(12)表示：
[0048]
[0049] 式(4)-(7)给出了图像像素的四个方向，在每一个方向上用式(9)和式(12)提取四个特征 加上GGD的两个参数总共18个参数。具体特征信息见表1。
[0050] 表1 18维特征具体构成
[0051]特征编号 特征描述 提取方法
f1-f2 形状和方差 GGD拟合公式1提取
f3-f6 均值、形状、左方差、右方差 H方向AGGD拟合公式(9)、(12)提取
f7-f10 均值、形状、左方差、右方差 V方向AGGD拟合公式(9)、(12)提取
f11-f14 均值、形状、左方差、右方差 D1方向AGGD拟合公式(9)、(12)提取
f15-f18 均值、形状、左方差、右方差 D2方向AGGD拟合公式(9)、(12)提取
f1-f2 形状和方差 GGD拟合公式1提取
f3-f6 均值、形状、左方差、右方差 H方向AGGD拟合公式(9)、(12)提取
f7-f10 均值、形状、左方差、右方差 V方向AGGD拟合公式(9)、(12)提取
f11-f14 均值、形状、左方差、右方差 D1方向AGGD拟合公式(9)、(12)提取
f15-f18 均值、形状、左方差、右方差 D2方向AGGD拟合公式(9)、(12)提取
[0052] 自然图像具有多尺度性，失真会在不同尺度上改变图像的结构信息，当自然图像在两个以上尺度提取信息时，提取的信息量将不会产生明显变化，所以选择在2个尺度(一个尺度是图像的原始尺度，另一个尺度是下采样之后图像尺度)上提取图像的特征。表1可以看出在每一个尺度上提取了18维特征，总共形成36维的特征向量。用这36维的特征刻画图像的自然场景统计特征。
[0053] 使用的特征为自然场景统计与对比度、梯度、亮度混合特征，特征的维数为39维。见表2。将此特征简称为混合特征。
[0054] 表2 混合特征
[0055]特征编号 特征描述 提取方法
f1-f36 自然场景统计特征 两个尺度上每个尺度
f37 亮度 公式12提取
f38 对比度 公式14提取
f39 梯度 公式17提取
f1-f36 自然场景统计特征 两个尺度上每个尺度
f37 亮度 公式12提取
f38 对比度 公式14提取
f39 梯度 公式17提取
[0056] 将图像分成B×B大小的块，在每一个块中提取分块图像的混合特征F＝[f1，f2，f3，…，f39]形成一个特征向量，整幅图像形成X＝[F1，F2，F3…，Fn].其中，F1…Fn表示每一个小块中提取的混合特征，且都为列向量。
[0057] (2)码书构建和编码
[0058] 码书构建所使用的聚类算法为改进K-means聚类算法，传统的K-means聚类算法对初始聚类中心的选取是随机的，上章中已经给出这种选取初始聚类中心的缺点，改进K-means聚类算法在选取初始聚类中心时是固定的。下面部分给出计算过程：
[0059] ①需要聚类的码字个数为K，用 表示聚类中心，则 数据集用表示，找到两个初始聚类中心 和 假设数据集中有N个维数为M的向
量，则所有数据集 计算向量 和 之间的欧式距离Tij，式(13)和(14)给出
了计算过程：
量，则所有数据集 计算向量 和 之间的欧式距离Tij，式(13)和(14)给出
了计算过程：
[0060]
[0061]
[0062] 遍历完所有的数据时，找到最大的Tij，表示成TU，此时将求取最大值的两个数据作为初始的两个类心。接下来计算剩余的聚类中心。
[0063] (②假设此时已经确定了k(2≤k≤K-1)个聚类中心，第k+1个聚类中心就是求取剩余的N-k个数据中与已经确定的k(2≤k≤K-1)个聚类中心之间欧式距离和最大的那个数据。计算公式如下：
[0064]
[0065]
[0066] ③计算Si的最大值，若此时数据为 则将其作为一个新的聚类中心。重复上述过程直到获得的聚类中心数目等于所要求取的码字数目。
[0067] 雾天图像质量评价中码书的具体构建过程如下：当训练图像都被分块提取特征以后，形成一个矩阵Z＝[Xl，X2，…，Xp]，其中X1…Xp，表示从p个训练图像中分块提取的特征。用改进的K-means算法对Z进行聚类。生成K个聚类中心，每一个聚类中心就是一个码字，生成一个含有K个码字的码书。码书用D[d×K]＝[D1，D2…DK]表示，码书中的码字Dt(i＝1，2..K)是通过聚类形成的聚类中心。用于码书构建的图像都是没有标签的图像，即这些图像没有图像质量主观评分。
[0068] (3)局部特征编码
[0069] 编码方式对最后算法的结果会产生较大的影响，目前主流的编码方式有四种：hard编码，soft编码，SC编码和LLC编码。其中前两种是较早提出的经典编码方式，后两种是最新提出的编码方式。而选择经典的soft编码，主要是因为最新的编码方式不一定有最好的效果，而且soft编码与其提出的一种最优编码策略相似，后面实验部分会给出选取此编码方式与其他编码方式的对比。编码的具体过程如下：
[0070] 计算局部特征与码字之间的距离使用点乘。用sij表示第i个局部特征向量xi与第j个码字Dj之间的相似度s(i，j)＝xi·Dj，这样图像局部特征xi可以表示为式(17)：
[0071] ci＝[max(sil，0)，…，max(sik，0)， (17)
[0072] max(-sil，0)]，…，max(-sik，0)
[0073] 式(17)中的相似度有正反两个相似分量，这样使得它们的识别度增加，提高了特征向量 识别性。
[0074] (4)特征pooling
[0075] 编码的部分采用了一个系数矩阵C2K×N＝[c1，c2…cn]，ci＝[ci，l，ci，2…ci，2k]T。为了方便支持向量进行回归，需要得到一个固定长度的特征向量。众所周知图像中最差的区域对图像的主观感知影响是最大的。在图像分类问题中，最大值pooling有最好的分类效果。
[0076] 最大值pooling：
[0077]
[0078] 式(18)中定义ψmax为求取系数矩阵C在每一行中的最大值的函数。
[0079]
[0080] 将 用于回归训练。
[0081] (5)SVR模型训练
[0082] 使用工具libsvm对训练图像的特征向量和训练图像的主观评分进行训练。给出了图像质量评价模型的构建过程：首先对训练图像进行分块提取特征(这里选用混合特征)，通过聚类算法(应用的是改进K-means聚类算法)得到码书，再利用码书对训练图像进行编码得到训练图像的特征向量，最后将特征向量与训练图像的mos值一起放入回归模型进行训练，就构建完成质量评价模型。
[0083] (6)质量得分预测
[0084] 构建训练模型以后，对测试图像提取特征向量，利用SVR模型预测雾天图像的质量。当给出一幅雾天测试图像时，对它进行特征提取，利用码书对其进行编码得到一个特征向量，将向量通过模型回归就得到了测试图像的质量得分。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种便携式质量稳定装置 | 2020-05-12 | 99 |
| 一种用于喷墨印刷质量检测的测试图 | 2020-05-12 | 540 |
| 一种量化评价乳制品质量的方法 | 2020-05-12 | 879 |
| 用于片状物的单位面积质量检测方法 | 2020-05-13 | 580 |
| 一种汽车减震器加工用质量检测装置 | 2020-05-13 | 923 |
| 一种用于隧道衬砌质量检测的装置 | 2020-05-12 | 959 |
| 一种蜂王质量检测器及其检测方法 | 2020-05-12 | 408 |
| 一种隧道质量检测用检测车 | 2020-05-11 | 93 |
| 一种智能食品质量检测机器人 | 2020-05-12 | 128 |
| 新型质量检验天平装置 | 2020-05-11 | 734 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
质量热门专利
QQ群二维码
意见反馈
意见反馈