技术领域
[0001] 本
发明涉及一种视频质量评价方法，更具体地说，涉及一种基于场景掩模的视频质量评价方法。
背景技术
[0002] 掩模是一种重要的视觉生理心理特性，在
图像处理过程中，特别是在描述视觉激励的相互作用时起着非常重要的作用。当一种激励的存在使得另一种激励不可见时，就产生了掩模效应。掩模效应可以分为空间掩模和时间掩模。本文基于纹理掩模、运动信息和场景分析的知识，对人眼的重要特性——掩模效应，进行了建模，并用来对结构相似性的评价方法进行位移校准，得到最终的评价结果。
[0003] 视觉
心理物理学(Visual Psychophysics)是运用数学方法和测量技术研究心理现象和视觉物理现象之间关系的一
门科学。由于人类视觉的复杂性，许多理论处于假说阶段，目前只有一些低层的视觉
心理学特性得到充分的理解，其中与图像及视频处理相关的有
亮度特性、对比敏感度特性和掩模效应。这些低层视觉现象在建立人类视觉系模型时起到非常重要的作用。
发明内容
[0004] 本发明的目的是提供一种基于场景掩模的视频质量评价方法，解决
现有技术中视觉心理物理学未有实际应用的问题。
[0005] 为实现上述目的，本发明采用如下技术方案：
[0006] 一种基于场景掩模的视频质量评价方法，包括以下步骤：计算掩模效应的纹理因子T；计算掩模效应的
视野因子F；计算掩模效应的运动因子M；根据纹理因子T、视野因子F和运动因子M计算掩模因子Maskf；根据掩模因子Maskf计算调节位移V；根据调节位移V和初始视频质量评价分数Q1计算经过校准的视频质量Q。
[0007] 进一步地，纹理因子T的计算方法为：用Sobel算子对视频图像的每一
帧进行滤波；将一幅图像按内容划分成三个部分：边缘RE、纹理RT和平坦区域RF；将图像按内容划分到边缘RE、纹理RT和平坦区域RF中；下一步是对视频图像进行Haar
小波变换，得到
水平、垂直和对
角方向的高频分量，取对角方向的滤波图像记为D(i,j)；令
纹理因子T为D(i,j)*P(i,j)所得图像的所有
像素的均值。
[0008] 进一步地，将图像按内容划分到边缘RE、纹理RT和平坦区域RF中的方法为：用Sobel算子提取原
视频帧图像Io和失真帧图像Ir的梯度场，并分别逐点计算原图像和失真图像的梯度场的幅度；确定分割规则中所涉及的
阈值为TH1＝0.12grmax，TH2＝0.06grmax，其中grmax是原图像中梯度幅度的最大值；在原图和失真图像中的对应
位置上的点(i,j)处，原图像的梯度幅度为po(i,j)，失真图像的梯度幅度为pr(i,j)，则这点属于RE、RT和RF三个区域中的哪一个根据以下规则确定：如果po(i,j)＞TH1或pr(i,j)＞TH1，则(i,j)∈RE；如果po(i,j)＜TH2或pr(i,j)＜TH2，则(i,j)∈RF；否则，(i,j)∈RT。
[0009] 进一步地，视野因子F的计算方法为： 其中，size表示纹理区域面积的函数。
[0010] 进一步地，运动因子M的计算方法为：M＝-logp(vr)＝αlogvr+β；其中，α、β为常数，vr为相对
运动矢量。
[0011] 进一步地，vr＝va-vg；其中，va为绝对运动的速度，vg为背景运动的速度。
[0012] 进一步地，掩模因子的计算方法为Maskf：Maskf＝T×(F∧2)+f(M)。
[0013] 进一步地，调节位移V的计算方法为：V＝β1×log2(β2×maskf+1)；其中，β1和β2是常数。
[0014] 进一步地，经过校准的视频质量Q的计算方法为：Q＝Q1-V。
[0015] 在上述技术方案中，本发明的基于场景掩模的视频质量评价方法能够有效地将视觉心理物理学应用到视频质量分析中。
附图说明
[0016] 图1是掩模效应曲线图；
[0017] 图2是时域掩模曲线图；
具体实施方式
[0020] 下面结合附图和
实施例进一步说明本发明的技术方案。
[0021] 掩模是视觉系统的一个重要特性，在图像处理过程中，特别是在描述视觉激励的相互作用时起着非常重要的作用。当一种激励的存在使得另一种激励不可见时，就产生了掩模效应。可以通过测量激励光的门限值随掩模背景
对比度的变化情况，量化空间掩模效应。在图1中，横轴表示掩模背景的对比度CM的对数值，纵轴表示激励光在可见门限值处的对比度(激励与背景之间的对比度)CT的对数值。 表示没有任何背景掩模时目标激励的可见门限值。当掩模背景的对比度大于 时，目标激励的可见门限值随掩模背景对比度的增大而增大。当掩模背景的对比度接近 时，从图1可以看到目标激励的可见门限变化有A何B两种情况。情况A通常对应掩模背景与目标激励有不同的特性；而在情况B中，当对比度接近 时，目标的可见门限反而降低，说明在这个对比度区间内，由于另一种激励的存在，目标变得更加明显，这种情况被称作助长(Facilitation)，主要在目标和掩模激励有非常接近的性质时才会发生。激励在时域内的不连续引起视觉门限值的升高称为时域掩模，如视频整幅场景黑白变化时，激励可见门限值的升高会持续万分之几秒。
[0022] 对于随时间变化的刺激物，时域掩模(Temporal Masking)在确定视频
信号的质量时是非常重要的。而且由于对运动物体的
感知主要决定于人眼是否一直
跟踪着物体的运动，时域掩模的影响变得十分复杂。由于本发明所要的测度是用来评价全部
图像序列的整体质量，因此假设最坏的情形，即场景中的所有物体都需要跟踪。此时，有两种形式的时域掩模：场景变换和时间对比敏感度函数。
[0023] 在视频中，场景变换出现在整幅图像的内容发生剧烈变化时，这种整幅视觉场景的剧烈变化，导致场景变化后长约100ms内掩模门限剧烈增长。时域对比敏感度函数可以看作是
空域对比敏感度函数的扩展。一般采用与测试空域敏感度函数类似的实验测量时域对比敏感度函数。这里，刺激物-均匀圆片的强度是时间的正弦函数。对于一个给定的时间
频率，测试者调整
正弦波的幅度使其恰好是可视门限。实验结果如图2所示。结果表明，周期为4-8Hz时的失真可视度最高。
[0024] 基于上述分析，本发明公开一种基于场景掩模的视频质量评价方法，可以概括为以下的主要步骤：
[0025] S1：计算掩模效应的纹理因子T；
[0026] S2：计算掩模效应的视野因子F；
[0027] S3：计算掩模效应的运动因子M；
[0028] S4：根据纹理因子T、视野因子F和运动因子M计算掩模因子Maskf；
[0029] S5：根据掩模因子Maskf计算调节位移V；
[0030] S6：根据调节位移V和初始视频质量评价分数Q1计算经过校准的视频质量Q。
[0031] 下面进一步来详细说明上述各个步骤。
[0032] 由于视频内容的不同所引起的掩模效应会对视频质量评价产生不同的影响，通过对比分析得知，对于图像的掩模效应主要与图像的纹理、视野、运动这三个特性密切相关，本发明抽象出了这三种因子对图像质量的影响，并分别对应建模。
[0033] 1)纹理因子
[0034] 研究指出在细节丰富的图像区域失真的可见性比较低，这是因为纹理引起的掩模效应。部分研究者利用空间边缘
能量估计区域的细节程度，从而确定主客观分数的斜率，另一些研究者利用方差来估计纹理丰富的程度，然后作为加权因子调节质量评价分数。
[0035] 本文提出采用Sobel滤波算子和小波变换结合的方法来进行纹理能量的估计。首先用Sobel算子对视频图像的每一帧进行滤波，然后将一幅图像按内容划分成三个部分：边缘、纹理和平坦区域，分别用RE、RT和RF表示。由于三种区域的梯度幅度值具有依次降低的规律，因此可以用梯度的幅度值的大小进行分类。这里将图像按内容划分成上述三个区域：
[0036] A)用Sobel算子提取原视频帧图像Io和失真帧图像Ir的梯度场，并分别逐点计算原图像和失真图像的梯度场的幅度；
[0037] B)确定分割规则中所涉及的阈值为TH1＝0.12grmax，TH2＝0.06grmax，其中grmax是原图像中梯度幅度的最大值；
[0038] C)在原图和失真图像中的对应位置上的点(i,j)处，原图像的梯度幅度为po(i,j)，失真图像的梯度幅度为pr(i,j)，则这点属于RE、RT和RF三个区域中的哪一个根据以下规则确定：
[0039] 如果po(i,j)＞TH1或pr(i,j)＞TH1，则(i,j)∈RE；
[0040] 如果po(i,j)＜TH2或pr(i,j)＜TH2，则(i,j)∈RF；
[0041] 否则，(i,j)∈RT。
[0042] 下一步是对视频图像Io进行Haar小波变换，得到水平、垂直和对角方向的高频分量，取对角方向的滤波图像记为D(i,j)。
[0043] 那么，一幅视频帧图像Io的纹理能量是位于纹理区域的所有像素对应的对角能量的均值，即令P具有和Io相同的维数。
[0044]
[0045] 纹理能量(纹理因子T)为D(i,j)*P(i,j)所得图像的所有像素的均值。
[0046] 2)视野因子
[0047] 如果在一幅图像中，物体内容丰富、信息量大，对于观测者而言就会产生模糊的感觉，而这种模糊的感觉就是一种典型的因视野而产生的掩模效应，这里本发明视之为视野因子。本发明采用纹理区域面积比例来建模视野因子，记为F。
[0048] 那么，一幅视频帧图像的视野因子：
[0049]
[0050] 其中，size表示纹理区域面积的函数。
[0051] 3)运动因子
[0052] 在视频序列中，运动信息可以用一个三维运动矢量场来表征，在空间位置(x,y)以及时间t处，对应于一个运动矢量v(x,y,t)＝[vx(x,y,t)vy(x,y,t)]T。为了便于标记，将它简记为v。对于一个给定的视频序列，本发明考虑三种类型的运动场，分别为绝对运动、背景运动以及相对运动。绝对运动va是由相邻帧间每个空间位置上的像素点的绝对移动估计得到。而背景运动vg是对全局运动的一种估计，也称为全局运动，它通常是由获取影像的系统移动而引起。每个空间位置上的相对运动vr由绝对运动和全局运动的差得到，如下vr＝va-vg
[0053] 运动速度可以通过计算运动矢量的长度得到，这样，vg、va、vr分别表征背景运动，绝对运动以及相对运动的速度。本发明采用的运动模型，包含信息内容的提取和感知不确定性两个阶段。
[0054] 实验表明，物体的运动是与视觉注意相关的。这是因为从统计上来讲，在视觉世界中绝大部分的物体相对于背景来说是静止的，或是接近于静止的。这样，当一个物体以相对于背景来说较大的运动呈现出来时，视觉系统会认为这是一个“惊奇”。如果人类视觉系统是一个有效的信息提取器，那么它必然会对这样一个令人惊奇的事给予更多关注。这种原始的观点可以转化为对运动信息内容的量化测量。对于一个观察到的运动vr，本发明可以通过计算其自信息来度量与之相关的信息内容：M＝-log p(vr)＝α log vr+β[0055] 其中α、β为常数。上式表示运动信息内容随着相对运动的增大而增大，这与本发明之前的讨论是一致的。
[0056] 如图4所示，首先解出T、F、M的值，然后由下式得到最终的掩模因子Maskf：
[0057] Maskf＝T×(F∧2)+f(M)
[0058] 而调节位移V的计算如下：
[0059] V＝β1×log2(β2×maskf+1)；
[0060] 其中，β1和β2是常数，根据训练视频估计其值。
[0061] 令Q1表示由结构相似计算得到的初始视频质量评价分数，经过校准的质量值为：Q＝Q1-V
[0062] 本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的
权利要求书范围内。
