首页 / 专利库 / 电脑零配件 / 微指令翻译器 / 分支预测器 / 分支预测表 / 一种基于孪生网络的对比学习图像质量评估方法

一种基于孪生网络的对比学习图像质量评估方法

阅读:1009发布:2020-07-08

专利汇可以提供一种基于孪生网络的对比学习图像质量评估方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于孪生网络的对比学习图像 质量 评估方法。首先,将待训练的图像做局部 对比度 归一化处理,然后划分为图像 块 ,并生成图像对;其次,设计孪生 卷积神经网络 的结构,使用所设计的网络训练图像质量评估模型;最后,将待测图像划分为图像块,并生成图像对。利用训练好的模型预测所生成的所有待预测图像对的质量优劣,得出所有图像的质量排名,根据排名得出每张图像的质量分数。本发明方法提出将图像质量评价问题转换为图像块之间的质量对比问题,利用图像块间的两两对比,通过统计每张图和其他图像对比的结果来获得每张图像的质量得分,能显著提高无参照图像质量评估性能。,下面是一种基于孪生网络的对比学习图像质量评估方法专利的具体信息内容。

1.一种基于孪生网络的对比学习图像质量评估方法,其特征在于,包括如下步骤:
步骤S1、将待训练的图像做局部对比度归一化处理,然后划分为图像,并生成图像对;
步骤S2、设计孪生卷积神经网络的结构,并采用所设计的网络训练图像质量评估模型;
步骤S3、将待测图像划分为图像块,并生成图像对;利用训练好的模型预测所生成的所有待预测图像对的质量优劣,得出所有图像的质量排名,根据排名得出每张图像的质量分数。
2.根据权利要求1所述的一种基于孪生网络的对比学习图像质量评估方法,其特征在于,所述步骤S1具体实现如下:
步骤S11、先将待训练的图像做局部对比度归一化处理,给定强度图像I(i,j),计算归一化值 的公式如下:
其中,C为常数,用于防止分母为零的情况出现;K和L为归一化窗口大小,ωk,l是2D循环对称高斯加权函数;
步骤S12:将所有局部对比度归一化处理后的图像划分成若干个h×w大小的图像块,利用每个图像块的标准差值对所有图像块进行排序,取中间的n个图像块作为训练数据
步骤S13、将从所有训练图像中选取出来的图像块进行两两组合,从而生成图像对;图像对组合的原则包含以下几点:1)同一张图像的图像块不进行组合;2)若图像块A和图像块B生成了图像对,则B不再和A组合,从而避免数据冗余;3)图像对间的质量分数差异超过一预定阈值时,才进行组合,否则不进行组合。
3.根据权利要求1所述的一种基于孪生网络的对比学习图像质量评估方法,其特征在于,所述步骤S2具体实现如下:
步骤S21、设计一孪生卷积神经网络的结构,网络由两个子网络组成:子网络I和子网络II;子网络I由两个完全相同分支结构组成,并且两个分支结构间共享权重,每个分支结构由N个层叠卷积结构构成,子网络I的任务是提取出两个输入图像块的特征;子网络II由M个全连接层组成;将由子网络I提取出来的特征进行融合,将融合后的特征作为子网络II的输入,子网络II根据融合特征来分辨两张输入图像质量好坏;
步骤S22、孪生卷积神经网络使用N个层叠卷积对图像信息进行抽象和学习,然后通过两个全连接层提取图像特征,同时输入到一个分类网络进行质量评估分数优化学习;分类网络的任务是区分出两张输入图像块的质量优劣,即该分类网络最后的输出是两张输入图像块质量优劣的概率,取其中概率大的所对应的图像块质量好于概率小的所对应图像块;
步骤S23、在训练阶段,使用交叉熵作为损失函数,其公式如下:
其中,N代表图像对的数量; 是一个二维的向量,用来表示两张图像质
量好坏; 也是一个二维向量,表示第一张图像比第二张图像质量好的概率,相反地,第二张图像比第一张图像好的概率为
4.根据权利要求1所述的一种基于孪生网络的对比学习图像质量评估方法,其特征在于,所述步骤S3具体实现如下:
步骤S31、先将待测图像做局部对比度归一化处理,然后划分成大小为h×w的图像块;
利用每个图像块的标准差值对所有图像块进行排序,取排名居于中间的n个图像块作为训练数据;
步骤S32、将图像块进行两两对比,对比的规则如下:1)不与出自同一待测图像的图像块对比;2)每个图像块要和测试集中除自身图像的图像块以外的其他所有图像块对比;
步骤S33、通过统计每张图像和其他图像对比的结果来获得每张图像的相对得分,图像A的最终图像质量评估分数的计算公式如下:
其中,PA,B表示图像A和图像B对比的结果,PA,B=1代表图像A的质量比B好,否则图像B的质量比A好;N代表每张图像和其它图像比较的张数,假设测试集由T张测试图像组成,每张图像选取n个图像块进行测试,则N=(T-1)×n;SA表示该张图像的得分。

说明书全文

一种基于孪生网络的对比学习图像质量评估方法

技术领域

[0001] 本发明涉及图像和视频处理以及计算机视觉领域,特别是一种基于孪生网络的对比学习图像质量评估方法。

背景技术

[0002] 数字图像在信息技术高度普及的今天显得尤为重要,但是图像在日常应用中,比如在图像的获取、压缩和传输等过程中往往会出现失真。为了更好地应用数字图像,图像质量评价变得尤为重要。随着卷积神经网络的发展,很多研究者开始利用卷积神经网络来进行无参考图像质量评价。目前已经有很多基于卷积神经网络的无参照图像质量评估算法被提出。例如,Kang等人将浅层的卷积神经网络应用到无参照图像评价中,其性能跟以前基于特征提取的无参照图像质量评价模型相比有一定提升。Hui等人提出用预训练的ResNet提取特征,他们没有直接学习图像质量评价分数,而是对网络进行微调,以学习失真图像的概率表示。Bosse等人提出基于深度卷积神经网络的无参考图像质量评估方法,使用更深的卷积神经网络进行训练,另外,他们还调整了网络使其能够处理全参考图像质量评价任务,这个模型是基于图像快的,他并没有考虑到图像质量分布不均匀所带来的影响。Kim等人利用全参考图像质量评估算法的局部得分作为标签对模型进行预训练,然后使用图像评价主观得分对模型进行微调,其性能依赖于所选择参考图像质量评估的性能。Ma等人提出使用大量的图像对来训练深度无参考图像质量评价模型,算法的前提是需要知道失真图像的失真类型和失真等级,然而在没有参考图像的实际应用中,失真类型和失真级别难以获取。
[0003] 利用卷积网络训练出来的无参考质量评估模型的性能要比手工提取特征的方法提高不少,但是目前仍然存在挑战。其中一个挑战是缺乏训练样本。先前基于卷积神经网络的无参照图像质量评估方法主要通过两种方法来解决该问题,第一种方法是对图像进行分,每个图像块使用完整图像的分数作为标签,然而图像的不同部分的质量是存在差异的,不同块使用完整图像的来进行标注并不准确。第二种方法是利用全参照质量评估方法来对图像进行标注,这种方法的缺陷是算法性能直接取决于全参照图像质量评价的性能。

发明内容

[0004] 本发明的目的在于提供一种基于孪生网络的对比学习图像质量评估方法,该方法有利于提高无参照图像质量评估性能。
[0005] 为实现上述目的,本发明的技术方案是:一种基于孪生网络的对比学习图像质量评估方法,包括如下步骤:
[0006] 步骤S1、将待训练的图像做局部对比度归一化处理,然后划分为图像块,并生成图像对;
[0007] 步骤S2、设计孪生卷积神经网络的结构,并采用所设计的网络训练图像质量评估模型;
[0008] 步骤S3、将待测图像划分为图像块,并生成图像对;利用训练好的模型预测所生成的所有待预测图像对的质量优劣,得出所有图像的质量排名,根据排名得出每张图像的质量分数。
[0009] 在本发明一实施例中,所述步骤S1具体实现如下:
[0010] 步骤S11、先将待训练的图像做局部对比度归一化处理,给定强度图像I(i,j),计算归一化值 的公式如下:
[0011]
[0012]
[0013]
[0014] 其中,C为常数,用于防止分母为零的情况出现;K和L为归一化窗口大小,ωk,l是2D循环对称高斯加权函数;
[0015] 步骤S12:将所有局部对比度归一化处理后的图像划分成若干个h×w大小的图像块,利用每个图像块的标准差值对所有图像块进行排序,取中间的n个图像块作为训练数据
[0016] 步骤S13、将从所有训练图像中选取出来的图像块进行两两组合,从而生成图像对;图像对组合的原则包含以下几点:1)同一张图像的图像块不进行组合;2)若图像块A和图像块B生成了图像对,则B不再和A组合,从而避免数据冗余;3)图像对间的质量分数差异超过一预定阈值时,才进行组合,否则不进行组合。
[0017] 在本发明一实施例中,所述步骤S2具体实现如下:
[0018] 步骤S21、设计一孪生卷积神经网络的结构,网络由两个子网络组成:子网络I和子网络II;子网络I由两个完全相同分支结构组成,并且两个分支结构间共享权重,每个分支结构由N个层叠卷积结构构成,子网络I的任务是提取出两个输入图像块的特征;子网络II由M个全连接层组成;将由子网络I提取出来的特征进行融合,将融合后的特征作为子网络II的输入,子网络II根据融合特征来分辨两张输入图像质量好坏;
[0019] 步骤S22、孪生卷积神经网络使用N个层叠卷积对图像信息进行抽象和学习,然后通过两个全连接层提取图像特征,同时输入到一个分类网络进行质量评估分数优化学习;分类网络的任务是区分出两张输入图像块的质量优劣,即该分类网络最后的输出是两张输入图像块质量优劣的概率,取其中概率大的所对应的图像块质量好于概率小的所对应图像块;
[0020] 步骤S23、在训练阶段,使用交叉熵作为损失函数,其公式如下:
[0021]
[0022] 其中,N代表图像对的数量; 是一个二维的向量,用来表示两张图像质量好坏; 也是一个二维向量,表示第一张图像比第二张图像质量好的概率,相反地,第二张图像比第一张图像好的概率为
[0023] 在本发明一实施例中,所述步骤S3具体实现如下:
[0024] 步骤S31、先将待测图像做局部对比度归一化处理,然后划分成大小为h×w的图像块;利用每个图像块的标准差值对所有图像块进行排序,取排名居于中间的n个图像块作为训练数据;
[0025] 步骤S32、将图像块进行两两对比,对比的规则如下:1)不与出自同一待测图像的图像块对比;2)每个图像块要和测试集中除自身图像的图像块以外的其他所有图像块对比;
[0026] 步骤S33、通过统计每张图像和其他图像对比的结果来获得每张图像的相对得分,图像A的最终图像质量评估分数的计算公式如下:
[0027]
[0028] 其中,PA,B表示图像A和图像B对比的结果,PA,B=1代表图像A的质量比B好,否则图像B的质量比A好;N代表每张图像和其它图像比较的张数,假设测试集由T张测试图像组成,每张图像选取n个图像块进行测试,则N=(T-1)×n;SA表示该张图像的得分。
[0029] 相较于现有技术,本发明具有以下有益效果:本发明适用于多种失真类型的、不同失真程度的图像质量评估,计算得到的质量评估分数接近人的主观评估分数。该方法将待训练的图像做局部对比度归一化处理,然后划分为图像块,并生成图像对;设计孪生卷积神经网络的结构,使用所设计的网络训练图像质量评估模型;将待测图像划分为图像块,并生成图像对。利用训练好的模型预测所生成的所有待预测图像对的质量优劣,得出所有图像的质量排名,根据排名得出每张图像的质量分数。本发明综合考虑图像的质量评估分数和失真类型之间的联系,对图像的失真信息有更强的表示能,能显著提高无参照图像质量评估性能。附图说明
[0030] 图1是本发明方法的实现流程图
[0031] 图2是本发明实施例中卷积神经网络模型的结构图。

具体实施方式

[0032] 下面结合附图,对本发明的技术方案进行具体说明。
[0033] 本发明提供一种基于孪生网络的对比学习图像质量评估方法,如图1所示,包括以下步骤:
[0034] 步骤S1:将待训练的图像做局部对比度归一化处理,然后划分为图像块,并生成图像对。
[0035] 步骤S11:先将所有失真图像做局部对比度归一化处理,给定强度图像I(i,j),计算归一化值 的公式如下:
[0036]
[0037]
[0038]
[0039] 其中,C为常数,用于防止分母为零的情况出现;K和L为归一化窗口大小,ωk,l是2D循环对称高斯加权函数;
[0040] 步骤S12:将所有局部对比度归一化处理后的图像划分成若干个h×w大小的图像块,利用每个图像块的标准差(σ)值对所有图像块进行排序,我们取中间的n个图像块作为训练数据。
[0041] 步骤S13:将从所有训练图像中选取出来的图像块进行两两组合,从而生成图像对。图像对组合的原则包含以下几点:1)图像块不和出自同一张图像的图像块进行组合;2)如果图像块A和图像块B生成了图像对,则B不再和A组合,从而避免数据冗余;3)由于质量接近的图像块对之间质量差异较小,会增加对比学习的难度,因此当图像对间的质量分数差异超过一定阈值时,才进行组合,否则不进行组合。
[0042] 步骤S2:设计孪生卷积神经网络的结构,使用所设计的网络训练图像质量评估模型。
[0043] 步骤S21:设计一个孪生网络结构,用于训练图像质量评价模型。网络由两个完全相同分支结构的孪生网络,每个分支结构由5个层叠卷积结构和三个全连接层组成,孪生网络用于图像质量评估。两个分支采用完全相同的结构,其中一个分支的结构,前两个层叠卷积结构都是由2个卷积核大小为3×3的卷积层接着一个步长为1的2×2的池化层组成,后三个层叠卷积结构都是由3个卷积核大小为3×3的卷积层接着一个步长为2的2×2的池化层组成。所有的卷积层都是使用了步长为1且不进行填充的方式实现以保证卷积层的输入和输出的图像大小保持一致。该多任务深层卷积网络的5个层叠卷积结构由13个卷积层和5个池化层组成,所有卷积层都由卷积、批标准化(Batch Normalization,BN)和ReLU非线性映射三部分组成。
[0044] 步骤S22:该孪生网络使用5个层叠卷积对图像失真信息进行抽象和学习,然后通过两个全连接层提取图像特征,同时输入到一个分类网络进行质量评估分数优化学习。分类网络包含一个含有两个节点的全连接层和softmax分类层,两个节点分别对应着图像对的质量优劣,即该分类网络最后的输出是两张输入图像块质量优劣的概率,取其中概率大的所对应的图像块质量好于概率小的所对应图像块。
[0045] 步骤S23:在训练阶段,使用交叉熵作为损失函数,其公式如下:
[0046]
[0047] 其中,N代表图像对的数量; 是一个二维的向量,用来表示两张图像质量好坏; 也是一个二维向量,表示第一张图像比第二张图像质量好的概率,相反地,第二张图像比第一张图像好的概率为
[0048] 步骤S3:将待测图像划分为图像块,并生成图像对。利用训练好的模型预测所生成的所有待预测图像对的质量优劣,得出所有图像的质量排名,根据排名得出每张图像的质量分数。
[0049] 步骤S31:先将所有失真图像做局部对比度归一化处理,然后划分成大小为64×64的图像块。利用每个图像块的标准差(σ)值对所有图像块进行排序,我们取排名居于中间的n个图像块作为训练数据。
[0050] 步骤S32:将图像块进行两两对比,对比的规则如下:1)图像块不和出自同一失真图像的图像块对比;2)每个图像块要和测试集中除自身图像的图像块以外的其他所有图像块对比;
[0051] 步骤S33:通过统计每张图像和其他图像对比的结果来获得每张图像的相对得分,图像A的最终图像质量评估分数的计算公式如下:
[0052]
[0053] 其中,PA,B表示图像A和图像B对比的结果,PA,B=1代表图像A的质量比B好,否则图像B的质量比A好;N代表每张图像和其它图像比较的张数,假设测试集由T张测试图像组成,每张图像选取n个图像块进行测试,则N=(T-1)×n;SA表示该张图像的得分。考虑到实际应用中可能出现测试图像很少的情况,我们将提供测试集图像,测试时,只需将待测图像和我们提供的测试图进行对比即可。这时,N的取值为N=T×n。
[0054] 以上是本发明的较佳实施例,凡依本发明技术方案所作的改变,所产生的功能作用未超出本发明技术方案的范围时,均属于本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈