技术领域
[0001] 本
发明设计了一种全参考合成图像质量评价方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。
背景技术
[0002] 近些年来，合成图像
算法得到了研究学者们的广泛关注，该算法可以应用于多种领域，包括3D电视、
虚拟现实、
自由视点电视等等。合成图像算法只需一个视点图像和相对应的
深度图便可以合成其他视点的虚拟视图，它不仅减少了数据的传输量、网络带宽使用率，而且还节省了时间、减少了人
力、物力的耗费。
[0003] 然而，现有的合成图像算法合成得到的图像可能会丢失一些重要的信息，这将导致图像质量降低。在根据某一视点图像和相对应的深度图合成其他视点图像时，较好的合成算法可以保存较好的结构信息、纹理信息、色彩信息。但是，到目前为止，还未有较好的合成图像算法能够合成高质量的图像。因此，如何评价通过合成算法得到的合成图像的视觉质量对于设计有效的合成算法是很重要的。
[0004] 一般来说，主观质量评估是最有效和最可靠的，它反应了人眼对图像质量好坏的直观判断。提出能够对合成图像进行自动评价的算法的目的在于：
[0005] (1)可以设计合成图像质量评价算法内嵌到合成图像的任何处理环节，来对合成得到的图像质量进行监督并及时进行反馈，有利于后续的优化处理。
[0006] (2)通过高效的合成图像质量评价方法，可以对合成图像算法进行指导，有利于提高算法性能，增强合成图像质量与人眼主观评判好坏的相关性。同时可指引合成算法关注与主观质量关系密切的组成部分，以精简算法，提高合成图像的转换速率。
[0007] 因此，有效且预测准确的合成图像质量评价算法对于合成图像的发展会有很大的促进作用。
发明内容
[0008] 为了改善评价结果受图像失真类型及内容的影响的不足，本发明就合成图像质量评价模型提出了一种新的方法，所用的视觉信息包含局部结构信息、局部纹理信息、拉伸区域信息。
[0009] 本发明涉及一种对于合成图像的质量评价方法，其特征在于：首先，根据合成算法破坏了图像的结构，设计基于中性域提取局部结构特征图，然后基于结构图计算结构分数；其次，考虑到在合成过程中和后续的
渲染过程中，合成图像的纹理被不同程度的破坏，设计基于频域提取图像的局部纹理图，之后基于纹理图计算纹理分数；再后，通过考虑合成图像中特有的拉伸失真，设计提取拉伸区域，之后基于拉伸区域计算拉伸分数；最后，将三个得到的质量分数
池化得到最终的合成图像质量分数。实验结果表明，与最先进的方法相比，该方法在预测合成图像的视觉质量方面表现了良好的有效性和优越性。
[0010] 一种对于合成图像的质量评价方法，其特征在于，包括以下步骤：
[0011] A、基于中性域提取合成图像中局部结构特征，以评估合成图像的结构变化；
[0012] B、基于频域提取合成图像中局部纹理特征，描述合成图像的质量退化情况；
[0013] C、提取合成图像中的拉伸区域，基于拉伸区域计算信息熵，描述合成图像中拉伸区域的
能量变化情况；
[0014] D、采用池化操作合理融合三个模
块的质量分数得到最终的合成图像质量分数。
[0015] 进一步地，其包含视觉特征、局部特征。
[0016] 进一步地，局部特征包含有：结构特征、纹理特征、拉伸特征。
[0017] 进一步地，其中，关于结构特征的具体步骤是：
[0018] A.中性域中的三个子集T、I、F可被定义为：
[0019]
[0020]
[0021] F(i,j)＝1-T(i,j) (3)
[0022]
[0023]
[0024] 其中，d(i,j)代表图像中的
像素点， 和 分别表示 的最大值和最小值，符号N代表均值滤波滑动窗口的大小， 和 分别代表 的最大值和最小值，符号|·|代表计算绝对值；
[0025] B.基于RGB三个通道的参考图像和合成图像，可计算得到6个I子集图，由于I子集图中包含有效的结构信息，采用中性域中的I子集提取结构信息，得到的6个结构命名为IR,IG,IB,IGs,IGs,IBs；
[0026]
[0027]
[0028]
[0029]
[0030]
[0031]
[0032] C.其中，IR,IG,IB,IGs,IGs,IBs 6个结构图被作为图像的一阶导数图，考虑到图像的二阶导数可以提取到图像中更加细节的信息，采用sobel算子滤波得到6个二阶导数图；
[0033] D.由于RGB三个通道在纹理、
相位和边缘方面具有较高相似性和一致性，采用min函数来降低特征
冗余度，最终的参考图像结构图Imin(i,j)和合成图像结构图Ismin(i,j)可通过下式计算得到：
[0034] Imin＝min(IR,IG,IB) (12)
[0035] Ismin＝min(IRs,IGs,IBs) (13)
[0036] E.最终局部结构质量分数计算过程如下：
[0037] Idiff(i,j)＝|Imin(i,j)-Ismin(i,j)| (14)
[0038]
[0039]
[0040] 其中M和N分别代表图像的长和宽。
[0041] 进一步地，其中，纹理特征的具体步骤是：
[0042] A.纹理特征图的提取采用了log-Gabor
滤波器，该滤波器可以同时分析到图像
空域和频域的信息，其中，2D log-Gabor滤波器定义如下：
[0043]
[0044] 其中l0代表中心
频率，θ0表示中心方向，σ和σθ分别是频率和方向的宽度参数，其中，采用了一个尺度和4个方向0°、45°、90°和135°；对于一副图像，通过log-Gabor滤波器滤波得到4个复杂矩阵，每个复杂矩阵可以通过下式计算得到：
[0045]
[0046] 其中Gr(i,j)和Gi(i,j)分别表示复数的
实部和
虚部；
[0047] B.参考图像和合成图像进行log-Gabor滤波后，分别得到四个纹理特征图，依次命名为T0、T45、T90、T135、 参考图像和合成图像相应的差异纹理图可以通过下式计算得到：
[0048]
[0049]
[0050]
[0051]
[0052] 最终利用公式(15)可以计算得到四个质量分数，将四个质量分数的均值作为最终纹理分数。
[0053] 进一步地，其中，拉伸分数的具体步骤是：
[0054] A.提取图像的拉伸区域，计算公式如下：
[0055] E0.2＝0.2×W (23)
[0056] E0.8＝(1-0.2)×W (24)
[0057] 其中W表示图像的宽，E0.2和E0.8分别代表图像的左部分(占20％)、右部分(占20％)；
[0058] B.基于提取到的拉伸区域，计算信息熵作为该模块的质量分数；
[0059]
[0060]
[0061] 其中p(x)表示灰度图像的一维信息熵；
[0062] 最终的拉伸质量分数可以通过下式计算得到：
[0063] Escore＝|E-Es| (27)
[0064] 其中，E和Es分别表示参考图像拉伸分数和合成图像拉伸分数。
[0065] 进一步地，最终的质量分数需要融合得到一个预测图像质量分数：
[0066]
[0067] 其中的参数α，γ和β用来平衡结构、纹理和拉伸分数的相对贡献，Iscore、Tscore和Escore分别表示结构分数、纹理分数和拉伸分数。
附图说明
具体实施方式
[0069] 下面将结合本发明
实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0070] 其中，本文所涉及的技术特征、简写/缩写、符号等，以本领域技术人员的公知认识/通常理解为
基础进行解释、定义/说明。
[0071] 本发明的过程如图1所示，具体过程如下：
[0072] 步骤1：基于彩色合成图像和参考图像提取一阶结构图和二阶结构图，然后进行结构图的融合得到最终的结构图，通过计算合成图像结构图与参考图像结构图的方差作为结构分数，差值作为本模块的结构分数；
[0073] 步骤2：基于灰度合成图像和参考图像提取到多个方向的纹理图，然后多个方向纹理图融合得到最终的纹理图，通过计算合成图像结构图与参考图像纹理图的方差作为质量分数，差值作为本模块的纹理分数；
[0074] 步骤3：基于灰度合成图像和参考图像提取图像的拉伸区域，然后基于拉伸区域计算信息熵，信息熵值作为合成图像和参考图像拉伸区域的质量分数，差值作为本模块的拉伸分数；
[0075] 步骤4：采用池化的方法计算得到的三个质量分数融合得到最终的预测质量分数。
[0076] 使用四种常用的标准来评估算法预测合成图像质量的准确性；第一个标准是皮尔逊线性相关系数(Pearson Linear Correlation Coefficient)，用于评估预测的准确性；第二种标准是斯皮尔曼的相关系数(Spearman Rank-order Correlation Coefficient)，用来评估预测的单调性；第三种标准是肯德尔相关系数(Kendall’s Rank Correlation Coefficient)，同样用来评估预测的单调性，最后一个标准是均方根误差(Root Mean Squared Error)，它是一种衡量客观分数和主观分数的相关性标准。一般来说，更高的PLCC、SRCC和KRCC，更低的RMSE值表示更好的算法预测精确度。为了验证本发明提出的算法的性能，将算法与现有的图像质量评价方法在
数据库IRCCyN/IVC DIBR上进行比较，包括全参考质量评价算法PSNR、SSIM、FSIM、GSM、Bosc、VSQA、MW-PSNR、RMW-PSNR、MP-PSNR、RMP-PSNR、3DSwIM、LOGS以及无参考质量评价算法NIQSV、APT、NIQSV+、Yue、MNSS。IRCCyN/IVC DIBR数据库包含了84个合成图像，
分辨率为1024×768，12个参考图像，7种合成算法，每种算法会产生不同的失真类型。
[0077] 本发明各个部分的具体实施方式如下：
[0078] 局部结构信息：
[0079] 首先基于中性域(NS)的I子集提取局部结构特征；假设Y是NS域中的一个通用集，集合X包含在Y中，X中的每个成员x可以用三个实子集表示，分别为T、I和F。T、I和F可以看作是NS集合中的成员集，对于灰度图像D也可以映射到这三个子集；因此，D中像素d(i,j)可映射到NS域中，即NS(i,j)＝(T(i,j),I(i,j),F(i,j))，T、I和F分别被视为白色、噪声和黑色像素集，这些子集的计算如下：
[0080]
[0081]
[0082] F(i,j)＝1-T(i,j) (31)
[0083]
[0084]
[0085] 其中，d(i,j)代表图像中的像素值， 是滑动窗口中像素值的均值， 和分别表示 的最大值和最小值，符号N代表均值滤波滑动窗口的大小；其中，设置了N为3， 和 分别代表 的最大值和最小值，符号|·|代表计算绝对值，由于I子集包含有图像的基本局部结构信息，因此，使用I子集图作为局部结构图。Gevers等人表示色彩传达的信息比
亮度更丰富，具有更健壮的结构特征，因而本发明中基于RGB三个通道分别计算I子集图，参考图像和合成图像的I子集图分别命名为IR,IG,IB,IGs,IGs,IBs。可以通过下式计算得到：
[0086]
[0087]
[0088]
[0089]
[0090]
[0091]
[0092] 这6个结构图可作为图像的一阶导数图，因为一阶导数提取到的信息不够全面，因而，在本发明中，基于一阶导数图得到图像的二阶导数，使用了简单有效的sobel算子；考虑到RGB三个通道中图像的纹理、相位和边缘方面具有较高相似性和一致性，为了降低冗余度，采用了min函数，具体计算步骤如下式所示：
[0093] Imin＝min(IR,IG,IB) (40)
[0094] Ismin＝min(IRs,IGs,IBs) (41)
[0095] 其中Imin(i,j)表示参考图像结构图，Ismin(i,j)表示合成图像结构图。
[0096] 基于Imin(i,j)和Ismin(i,j)计算对应像素差得到差异图Idiff(i,j)，然后可得到结构分数，公式如下：
[0097] Idiff(i,j)＝|Imin(i,j)-Ismin(i,j)| (42)
[0098]
[0099]
[0100] 其中M和N分别代表图像的长和宽。
[0101] 局部纹理信息：
[0102] 对于一个合成图像，首先将其转化为灰度图像，然后基于一个灰度图像，采用log-Gabor滤波器进行滤波得到纹理特征图，该滤波器可以同时分析到图像空域和频域的信息。
[0103] log-Gabor滤波器的定义如下：
[0104]
[0105] 符号l0代表中心频率，符号θ0表示中心方向。符号σ和σθ分别代表频率和方向的宽度参数；在本发明中，基于log-Gabor滤波器得到了4个复杂矩阵，分别代表不同的方向：0°、45°、90°和135°。每个复杂矩阵计算公式如下：
[0106]
[0107] 符号Gr(i,j)和Gi(i,j)分别表示复数的实部和虚部；参考图像和合成图像分别进行滤波后可以获得四个纹理特征图，分别命名为T0、T45、T90、T135、 因此，差异纹理图可以通过参考图像与合成图像对应像素相减获得。
[0108]
[0109]
[0110]
[0111]
[0112] 最终利用公式(15)可以计算得到四个质量分数；在本发明中，将四个质量分数的均值作为最终纹理分数。
[0113] 局部拉伸区域信息：
[0114] 拉伸是合成图像特有的一种失真类型；首先，需要提取图像中可能的拉伸区域，然后基于提取到的拉伸区域计算信息熵作为拉伸质量分数；图像的拉伸区域可以通过下面的公式计算得到：
[0115] E0.2＝0.2×W (51)
[0116] E0.8＝(1-0.2)×W (52)
[0117] 其中W表示图像的宽，E0.2和E0.8分别代表图像的左部分(占20％)、右部分(占20％)。
[0118] 基于提取到的拉伸区域计算信息熵，公式如下：
[0119]
[0120]
[0121] 其中p(x)表示灰度图像的一维信息熵。最终的拉伸质量分数可以通过下式计算得到：
[0122] Escore＝|E-Es| (55)
[0123] 其中，E和Es分别表示参考图像拉伸分数和合成图像拉伸分数。
[0124] 合成图像质量的计算：
[0125] 为了评估本发明提出的模型预测的质量和主观分数的契合程度，使用了如式(67)所示的逻辑回归函数来剔除非线性相关项。
[0126]
[0127] 其中，S(x)表示进行逻辑回归后的预测质量分数，{ω1,ω2,ω3,ω4,ω5}为设定参数。
[0128] 为了将三个模块的质量分数融合，得到最终的质量分数，采用下面的公式计算得到最终的预测质量分数；
[0129]
[0130] 其中的参数α，β和γ用来平衡结构、纹理和拉伸分数的相对贡献，在发明中，根据经验设置α＝0.1，β＝0.1和γ＝0.1。
[0131] 表1：本发明和其它不同的全参考质量评价方法模型在数据库IRCCyN/IVC DIBR中的性能比较。
[0132]
[0133]
[0134] 表2：本发明和其它不同的全参考质量评价方法模型在数据库IRCCyN/IVC DIBR中的性能比较。
[0135] Metric PLCC SRCC KRCC RMSE
NIQSV synthesized image 0.6473 0.5561 0.4062 0.5075
APT synthesized image 0.7307 0.7157 0.5766 0.4546
NIQSV+ synthesized image 0.6282 0.4538 0.3207 0.5181
Yue synthesized image 0.7184 0.6517 0.4590 0.4632
MNSS synthesized image 0.7854 0.7696 0.5635 0.4122
Proposed synthesized image 0.8642 0.8256 0.6496 0.3190
[0136] 表3：数据库IRCCyN/IVC DIBR中使用不同模块的性能比较。
[0137] Method PLCC SRCC KRCC RMSEStructure 0.7794 0.7385 0.5636 0.3972
Texture 0.7688 0.4054 0.5348 0.4054
Stretching 0.7444 0.6142 0.4562 0.4233
ALL 0.8642 0.8256 0.6496 0.3190
[0138] 表4：数据库IRCCyN/IVC DIBR中使用不同窗口大小的性能比较。
[0139] Method PLCC SRCC KRCC RMSE3×3 0.7794 0.7385 0.5636 0.3972
5×5 0.6589 0.6009 0.4442 0.4768
7×7 0.5857 0.5159 0.3807 0.5138
9×9 0.5461 0.5157 0.3807 0.5310
[0140] 表5：数据库IRCCyN/IVC DIBR中使用不同拉伸区域大小的性能比较。
[0141]Method PLCC SRCC KRCC RMSE
10％ 0.6567 0.6138 0.4528 0.4780
15％ 0.6985 0.5894 0.4229 0.4536
20％ 0.7444 0.6142 0.4562 0.4233
25％ 0.6993 0.6241 0.4725 0.4531
30％ 0.6754 0.5585 0.3966 0.4674
[0142] 上述实施方式是对本发明的说明，不是对本发明的限定，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、
修改、替换和变型，本发明的保护范围由所附
权利要求及其等同物限定。
