技术领域
[0001] 本
发明属于图像质量评价技术领域，尤其涉及一种基于统计特征视角合成质量预测方法、信息数据处理终端。
背景技术
[0002] 目前，最接近的
现有技术：随着视觉媒体的发展，多视角和自由视角合成技术已经成为可视媒体的重要前沿性研究领域，具有非常广阔的应用前景。通常，多视角和自由视角视频的实现需要大量的视角图像，然而由于传输带宽和拍摄成本的限制，往往利用虚拟视角合成技术借助较少的已知视角来合成新的视角图像。其中，基于
深度图的绘制方法(Depth Image Based Rendering,DIBR) 是目前视角合成的最常用的方法。该方法是通过利用已有视角的纹理图像和对应的
深度图像来合成新的视角图像。然而，由于获取到的纹理图像或者深度图像的质量有限，利用现有的DIBR技术合成的新视角图像通常会出现两个方面的失真。一方面，纹理图像的失真直接作用于视角合成图像。另一方面，深度图像在指导视角合成时，与纹理图像相互作用而产生的失真。然而，现有的图像质量评价方法往往仅针对纹理图像进行设计，因此不能很好地描述深度图像在视角合成过程中对合成视角质量的影响。此外，视角合成的过程往往代价较高，因此如果能在合成之前就预测出合成后图像的质量，对指导视角合成来说具有非常重要的意义。
[0003] 现有的针对视角合成图像的质量评价方法主要分为主观评价方法和客观评价方法。主观评价方法在评价结果上最为准确，但是费时费
力，很难在实际中采用。因此，设计一种准确的客观质量评价方法具有重要的意义。目前，针对视角合成图像的质量评价
算法有很多：Bosc等人在SSIM算法的
基础上提出了一种改进型质量评价方法；在质量评价时对原始视角的纹理图像和合成图像中对应的边缘区域利用SSIM评价，最后将SSIM均值最为最终的质量分数；Conze 等人首先利用SSIM算法计算合成后的图像与合成前的纹理图像之间的失真图，然后分别计算纹理复杂度、梯度方向和
对比度的加权图，并利用加权图对失真图进行加权，最终得到质量分数。Battisti等人首先对参考图像和合成图像进行分
块处理，运用
运动估计算法进行匹配。然后，对匹配后的图像块进行
小波变换并计算系数直方图。最后，利用Kolmogorov-Smirnov距离计算得到质量分数。 Gu等人首先计算出视角合成图像的自回归图像，然后根据合成图像和自回归图像的差异来提取几何失真区域。再根据
阈值将两幅图像的差值图像变换为二值图像。最后由二值图像和预测出来的自然图像之间的相似性数值作为合成图像的质量分数。这些方法虽然在评价视角合成图像质量取得了不错的效果，但是存在如下不足：(1)现有方法主要是针对视角合成后的图像设计的，而视角合成过程比较复杂，需要消耗较高的时间代价。(2)现有的方法忽略了深度图像在指导视角合成过程中的作用，不能全面的描述纹理图像和深度图像的相互作用对视角合成质量的影响。
[0004] 综上所述，现有技术存在的问题是：
[0005] (1)现有方法主要是针对视角合成后的图像设计的，而视角合成过程比较复杂，需要消耗较高的时间代价。
[0006] (2)现有的方法忽略了深度图像在指导视角合成过程中的作用，不能全面的描述纹理图像和深度图像的相互作用对视角合成质量的影响。
[0007] 解决上述技术问题的难度：上述技术问题的主要难点在于探究在视角合成过程中，纹理图像和深度图像之间的关系，以及如何量化由于纹理图像和深度图像的失真对合成后图像质量的影响，从而在不进行实际视角合成的前提下，预测出视角合成图像的质量。
[0008] 解决上述技术问题的意义：上述技术方法只能用来评价视角合成后图像的质量，这不利于现实生活中的应用，因为视角合成的过程需要消耗很高的时间成本。如果能够在视角合成之前，利用纹理图像和深度图像之间的关系准确预测出合成后图像的质量，对于整个视角合成过程具有很重要的现实意义。
发明内容
[0009] 针对现有技术存在的问题，本发明提供了一种基于统计特征视角合成质量预测方法、信息数据处理终端。
[0010] 本发明是这样实现的，一种基于统计特征视角合成质量预测方法，所述基于统计特征视角合成质量预测方法首先，基于高质量的深度图像的细节信息应该被纹理图像的细节信息所包含的事实，为了表征纹理图像和深度图像的相互作用对视角合成质量的影响，提出基于物体边缘区域的小波域高频系数的融合方法；然后，用纹理图像的低频系数和融合后的高频系数进行图像重构得到融合后的图像；最后，分别从融合图像的自然场景区域和相互作用区域分别提取统计特征来预测视角合成图像的质量。
[0011] 进一步，所述基于统计特征视角合成质量预测方法包括以下步骤：
[0012] 第一步，搜集针对视角合成的包含深度图像、纹理图像和合成后图像质量分数的数据集；
[0013] 第二步，把纹理图像和深度图像进行小波分解，并对纹理图像进行物体边缘区域检测；
[0014] 第三步，在物体边缘区域信息的指导下，利用纹理图像和深度图像小波分解后的高频子带进行系数融合并重构出融合图像；
[0015] 第四步，从自然场景区域和相互作用区域对重构图像分别统计去均值对比度归一化系数和切比
雪夫矩系数分布；
[0016] 第五步，用分布函数对第四步中的两个区域的统计分布进行拟合，用拟合的参数作为特征值送入
支持向量机回归模型进行训练，建立合成后图像质量的预测装置；
[0017] 第六步，对于待预测的纹理图像和深度图像，利用已建立的视角合成质量
预测模型，实现视角合成后质量的预测。
[0018] 进一步，所述第一步中搜集针对视角合成的包含深度图像、纹理图像和合成图像质量分数的数据集方法包括：
[0019] (1)获取用于视角合成图像质量评价的数据集，获取纹理图像和对应的深度图像以及相应的合成后图像的质量分数；
[0020] (2)将合成前的纹理图像和深度图像作为研究对象，把相应的合成后图像的质量分数作为研究对象的标签。
[0021] 进一步，所述第二步中把纹理图像和深度图像进行小波分解，并对纹理图像进行物体边缘区域检测方法包括：
[0022] (1)将纹理图像和深度图像分别进行两层小波分解，分别得到一个低频子带和六个高频子带；
[0023] (2)对纹理图像进行物体边缘区域检测，得到图像中所有物体边缘对应的区域，并将物体边缘区域和非边缘区域用不同的
颜色标记。
[0024] 进一步，所述第三步中在物体边缘区域信息的指导下，利用纹理图像和深度图像小波分解后的高频子带进行系数融合并重构出融合图像方法包括：
[0025] (1)纹理图像和深度图像的相互作用引起的视角绘制失真主要分布在物体边缘区域，将第二步中得到的物体边缘对应的区域作为融合区域；
[0026] (2)将第二步中的纹理图像和深度图像分别小波分解后的六个高频子带进行系数加权融合，得到六个融合后的高频子带；
[0027] (3)对融合后的高频子带和纹理图像的低频子带利用小波反变换函数重构出融合图像。
[0028] 进一步，基于高质量的深度图像的细节信息应该被纹理图像的细节所包含的事实，首先采取对纹理图像和深度图像的物体边缘区域融合的策略；选取了目前性能最好的HED预训练模型；然后对纹理图像和深度图像分别进行两层 Haar小波分解，用表示纹理图像的小波分解后的LH，HL和HH 子带系数； 表示深度图像的小波分解后的LH，HL和HH子带系数；另外， 表示纹理图像小波分解后的LL子带；其中，n∈[1,2]表示小波分解的层数，根据物体的边缘区域图IE，对高频子带的边缘区域进行系数融合：
[0029]
[0030] 其中， 表示融合后的高频系数；用纹理图像的低频系数 和融合后高频系数的 和 进行图像重构，得到融合图像。
[0031] 进一步，所述第四步从自然场景区域和相互作用区域对重构图像分别统计去均值对比度归一化系数和切比雪夫矩系数分布方法包括：
[0032] (1)根据纹理图像和深度图像对视角合成的影响机理，将融合图像分成自然场景区域和相互作用区域；
[0033] (2)自然场景区域的失真特性类似于一般自然场景图像的失真，利用去均值对比度归一化系数进行统计；
[0034] (3)相互作用区域表现为物体轮廓的局部几何失真，切比雪夫矩具有很强的轮廓表征能力，利用切比雪夫矩系数进行统计。
[0035] 进一步，MSCN系数计算，将图像I(i,j)
像素处的图像变换为图像的
亮度[0036]
[0037] 其中，i∈1,2,3…M,j∈1,2,3…N，M和N分别表示图像的高度和宽度，μ(i,j) 和σ(i,j)分别表示局部平均和局部方差；
[0038] 用广义高斯分布拟合MSCN系数分布，其中，广义高斯分布定义为：
[0039]
[0040] 其中，
[0041]
[0043]
[0044] 选取α和σ2两个拟合参数作为评价自然场景区域质量的特征值；
[0045] 采用离散
正交矩描述相互作用区域的局部几何失真，通过统计切比雪夫离散正交矩系数来提取特征；具体方法为：首先，把相互作用区域对应的融合图像进行8*8分块，然后计算14阶矩(7+7)，记为：
[0046]
[0047] 之后，将相互作用区域的所有图像块的切比雪夫矩系数进行统计，然后用使用了非对称广义高斯分布拟合切比雪夫矩系数直方图；其中，非对称广义高斯分布定义为：
[0048]
[0049] Γ(·)为伽马函数，定义如下：
[0050]
[0051] 其中；
[0052]
[0053]
[0054] v控制分布的形状， 和 控制左右两边的扩散程度；另外，计算了分布的均值：
[0055]
[0056] 用v, 和μ这四个参数作为相互作用区域的统计质量特征；
[0057] 对融合图像进行了五个不同尺度的变化重复特征提取过程，一共得到30个用于预测视角合成质量的特征值。
[0058] 进一步，所述第五步中用分布函数分别对第四步中两个区域的统计分布进行拟合，用拟合的参数作为特征值送入支持向量机回归模型进行训练，建立合成后图像质量的预测模型方法包括：
[0059] (1)把去均值对比度归一化系数分布拟合到广义高斯分布，用代表形状和方差的两个参数作为自然场景区域的特征值；
[0060] (2)把切比雪夫矩系数拟合到非对称广义高斯分布，用代表形状、均值、左方差和右方差的四个参数作为相互作用区域的特征值；
[0061] (3)将提取到的特征送入支持向量机回归模型用合成后图像的质量分数作为标签进行训练，最终建立合成后图像质量的预测模型。
[0062] 本发明的另一目的在于提供一种应用所述基于统计特征视角合成质量预测方法的信息数据处理终端。
[0063] 综上所述，本发明的优点及积极效果为：本发明利用融合的思想将视角合成前的纹理图像和深度图像在小波域进行融合，能够有效的表征纹理图像和深度图像对视角合成后图像质量的影响；根据影响视角合成后图像质量的两个方面，将融合图像分成自然场景区域和相互作用区域，能够有效地表征纹理图像和深度图像对合成图像质量的影响，从而达到预测视角合成后图像质量的目的。
附图说明
[0064] 图1是本发明
实施例提供的基于统计特征视角合成质量预测方法
流程图。
[0065] 图2是本发明实施例提供的基于统计特征视角合成质量预测方法的结构图。
[0066] 图3是本发明实施例提供的MCL_3D
数据库中的不同场景的9组图像以及利用本发明的预测结果示意图；
[0067] 图中：(a)主观分数11.91，预测分数12；(b)主观分数8.53，预测分数8.50； (c)主观分数4.33，预测分数4.25；(d)主观分数7.66，预测分数7.75；(e) 主观分数5.71，预测分数5.67；(f)主观分数5.54，预测分数5.55；(g)主观分数8.9，预测分数9；(h)主观分数7.19，预测分数7.25；(i)主观分数7.61，预测分数7.58。
具体实施方式
[0068] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0069] 针对现有技术存在的问题，本发明提供了一种基于统计特征视角合成质量预测方法、数据处理终端，下面结合附图对本发明作详细的描述。
[0070] 如图1所示，本发明实施例提供的基于统计特征视角合成质量预测方法包括以下步骤：
[0071] S101：搜集针对视角合成的包含深度图像、纹理图像和合成后图像质量分数的数据集；
[0072] S102：把纹理图像和深度图像进行小波分解，并对纹理图像进行物体边缘区域检测；
[0073] S103：在物体边缘区域信息的指导下，利用纹理图像和深度图像小波分解后的高频子带进行系数融合并重构出融合图像；
[0074] S104：从自然场景区域和相互作用区域对重构图像分别统计去均值对比度归一化系数和切比雪夫矩系数分布；
[0075] S105：用分布函数对第四步中的两个区域的统计分布进行拟合，用拟合的参数作为特征值送入支持向量机回归模型进行训练，建立合成后图像质量的预测装置。
[0076] S106：对于待预测的纹理图像和深度图像，利用已建立的视角合成质量预测模型，实现视角合成后质量的预测。
[0077] 下面结合附图对本发明的技术方案作进一步的描述。
[0078] 本发明针对视角合成前的纹理图像和深度图像，通过对物体边缘区域的融合设计了一种基于统计特征视角合成质量预测方法。本发明的目的是在不进行真实的视角合成过程的前提下，利用合成前的纹理图像和深度图像完成对视角合成图像质量的预测。基于高质量的深度图像的细节信息应该被纹理图像的细节所包含的事实，为了表征纹理图像和深度图像对视角合成的共同影响，本发明首先提出了一种基于物体边缘区域的小波域高频系数的融合方法。然后从引起视角合成图像失真的两个方面，将融合后的图像分成自然场景区域和相互作用区域分别提取统计特征；最后，通过训练支持向量机回归模型完成对视角合成图像的质量预测。具体实施方法如图2所示，本实施例主要包含了融合策略模块、特征提取模块和质量预测模块。融合策略模块包含了利用物体的边缘区域对纹理图像和深度图像的小波域高频子带进行系数融合，然后用融合后的高频子带和纹理图像的低频子带重构出融合图像；特征提取模块包含了将融合图像分成自然场景区域和相互作用区域，在自然场景区域直接利用自然场景统计模型提取质量特征；在相互作用区域，本发明提出了一种基于切比雪夫矩系数分布的统计特征提取方法；在质量预测模块，利用提取到的特征对支持向量机回归模型进行训练，建立合成后图像质量的预测模型。
[0079] (1)融合策略模块
[0080] 基于高质量的深度图像的细节信息应该被纹理图像的细节所包含的事实，为了表征纹理图像和深度图像对视角合成的共同影响，首先采取对纹理图像和深度图像的物体边缘区域融合的策略。本发明为了实现物体的边缘区域检测，选取了目前性能最好的HED预训练模型。然后对纹理图像和深度图像分别进行两层Haar小波分解。用 表示纹理图像的小波分解后的LH，HL和 HH子带系数。 表示深度图像的小波分解后的LH，HL和HH子带系数。另外， 表示纹理图像小波分解后的LL子带。其中，n∈[1,2]表示小波分解的层数。根据物体的边缘区域图IE，对高频子带的边缘区域进行系数融合：
[0081]
[0082] 其中， 表示融合后的高频系数。最后，本发明用纹理图像的低频系数 和融合后高频系数的 和 进行图像重构，得到融合图像。
[0083] (2)特征提取模块
[0084] 自然场景区域：由于视角合成过程中，纹理图像的失真直接传递到合成后的图像，而且这一类的失真特性类似于一般的自然场景图像质量失真。因此，将这部分直接来源于纹理图像的区域称为自然场景区域。由于去均值对比度归一化(MSCN)系数被广泛应用于自然场景统计中，且具有很好的效果。因此，首先统计自然场景区域的MSCN系数分布。
[0085] 为了计算MSCN系数，首先将图像I(i,j)像素处的图像变换为图像的亮度 即：
[0086]
[0087] 其中，i∈1,2,3…M,j∈1,2,3…N。M和N分别表示图像的高度和宽度。μ(i,j) 和σ(i,j)分别表示局部平均和局部方差。
[0088] 然后，用广义高斯分布拟合MSCN系数分布。其中，广义高斯分布定义为：
[0089]
[0090] 其中；
[0091]
[0092] 这里Γ(·)为伽马函数，定义如下：
[0093]
[0094] 最后，选取α和σ2两个拟合参数作为评价自然场景区域质量的特征值。
[0095] 相互作用区域：考虑到几何失真主要表现为形状的变化，而离散正交矩是有效的形状描述算子，所以本发明采用离散正交矩来描述相互作用区域的局部几何失真。本发明通过统计切比雪夫离散正交矩系数提取特征。具体方法为：首先，把相互作用区域对应的融合图像进行8*8分块，然后计算14阶矩(7+7)，记为：
[0096]
[0097] 之后，将相互作用区域的所有图像块的切比雪夫矩系数进行统计，然后用使用了非对称广义高斯分布(Asymmetric Generalized Gaussian Distribution)来拟合切比雪夫矩系数直方图。其中，非对称广义高斯分布定义为：
[0098]
[0099] 这里Γ(·)为伽马函数，定义如下：
[0100]
[0101] 其中，
[0102]
[0103]
[0104] 这里，v控制分布的形状， 和 控制左右两边的扩散程度。另外，进一步计算了分布的均值：
[0105]
[0106] 然后，用v, 和μ这四个参数作为相互作用区域的统计质量特征。
[0107] 最后，本发明
专利对融合图像进行了五个不同尺度的变化重复特征提取过程，一共得到30个用于预测视角合成质量的特征值。
[0108] (3)质量预测模块
[0109] 为了预测视角合成图像的质量，本模块通过训练支持向量机回归模型来实现合成图像质量分数的预测。本发明选择了基于径向基核函数的支持向量机回归模型，然后大量的特征值和对应的标签用于训练支持向量机回归模型。训练过程中采用了网格搜索法对径向基核函数的参数和惩罚因子进行优化处理，得到训练结果最优的支持向量机回归模型。
[0110] 最后，将待预测图像的特征值送入训练好的支持向量机回归模型中进行合成图像质量分数的预测。
[0111] 下面结合性能测试和实验分析对本发明的技术效果作详细的描述。
[0112] 为了证明本发明的性能，在MCL_3D数据可上进行了训练和测试。并将本发明的方法与现有的其他方法进行了对比。在实验中，本发明选用了在质量评价领域常用于评价性能好坏的四个指标。其中，皮尔逊线性相关系数(PLCC) 和均方根误差(RMSE)用来测量预测结果的准确性，Spearman秩相关系数(SRCC) 和Kendall秩相关系数(KRCC)用于测量预测结果的单调性。
[0113] 具体的实验方法是：首先，将MCL_3D数据库提供的648对用于视角合成的不同失真类型的纹理图像和深度图像，随机选取80％用于训练，剩下的20％用于测试。为了让性能指标更加可靠，重复了上述过程1000次。最后，取所有重复试验性能指标的中位数，作为最终的实验结果。结果如表1所示。其中， PLCC，SRCC和KRCC数值越高，说明相应的算法性能就越好，而RMSE的数值越低，说明相应算法的性能越好。
[0114] 表1质量评价算法性能对比
[0115] 序号 算法 PLCC SRCC KRCC RMSE1 MW-PSNR 0.7720 0.7739 0.5774 1.6453
2 RMW-PSNR 0.7817 0.7835 0.5897 1.6087
3 MP-PSNR 0.7897 0.7930 0.5936 1.5916
4 RMP-PSNR 0.7774 0.7813 0.5862 1.6253
5 3DSwIM 0.6529 0.5680 0.4101 1.9658
6 LOGS 0.7614 0.7579 0.5630 1.6873
7 Bosc 0.4536 0.4330 0.3236 2.2980
8 APT 0.6433 0.6200 0.4310 1.9870
9 NIQSV 0.6460 0.5792 0.4068 1.9820
10 NIQSV+ 0.6138 0.6213 0.4372 2.0375
11 本发明 0.9401 0.9301 0.7813 0.8812
[0116] 由上表可知，本发明在MCL_3D数据库上的性能明显高于所有的其他算法。另外，本发明并不是直接对视角合成图像进行评价，而是利用合成前的纹理图像和深度图像对视角合成图像质量进行预测的结果。这说明了本算法在不进行实际DIBR过程的前提下对视角合成质量的预测结果与主观上对视角合成图像质量的
感知结果具有较高的一致性。
[0117] 为了进一步验证本发明的正确性，从MCL_3D数据库的随机选出9种不同场景不同失真类型的纹理图像和深度图像进行验证。图3中展示了这些图像和他们对应主观分数以及用本发明算法的预测结果。从测试结果可以看出，本发明方法的预测分数与主观分数相比具有较小的误差值，能够准确地预测出视角合成图像的质量分数。
[0118] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
