技术领域
[0001] 本
发明属于视频图像质量评价技术领域，尤其是一种基于感兴趣区域的视频感知质量无参考客观评价方法。
背景技术
[0002] 图像(包括视频)质量评价从方法上可分为主观评价方法和客观评价方法，前者凭借图像观测人员的主观感受来评价图像的质量；后者根据
算法模型给出的图像质量的量化指标，以模拟人类视觉系统感知机制来表征图像质量。相比于主观质量评价，客观质量评价具有操作简单、成本低、快速和易于嵌入实现等优点，已经成为图像质量评价的研究重点。
[0003] 图像质量的客观评价方法又分为有参考和无参考的方法。有参考方法在评价时需要将待测图像与原始参考图像进行差异比较，差异越大则认为待测图像质量越差。此类方法要求测试时必须要有参考图像进行比较，且参考图像须是清晰质量较好的，而在一些使用场景中无法获得参考图像，这就限制了该类方法的使用。无参考的方法不需要原始参考图像，只有待测图像就可以进行评价，可以适应较多的使用场景。
[0004] 一些传统的图像质量客观评价方法，如MSE、PSNR、SSIM等，只对图像的一些统计信息进行分析，没有考虑人眼视觉系统(Human Visual System，HVS)，这些评价方法的评价结果会表现出与主观评价结果一致性较差的问题。现在一些较新的客观图像质量评价方法都加入了对HVS的考虑，其评价结果准确性及对主观评价结果的一致性都有一定的提升。
[0005] 观测者在观看图像时会首先观察图像中相对令人更感兴趣的区域，如果该部分区域的人眼感知质量较好，可能就会给人留下该图像整体质量也较好的
印象，这是一种人的心理效应，也是HVS的一部分。在进行图像质量的客观评价时，加入对图像感兴趣区域的提取，并对感兴趣/非感兴趣区域分别进行处理，可一定程度提高方法评价性能。吸引人眼注意的感兴趣区域有很多，只对一些常见的感兴趣特征进行提取，如：运动、
皮肤，可提高评价准确性且不增加过多算法复杂度。
[0006] 视觉节奏分析的视频中运动区域的方法具有很好的鲁棒性，提取到运动区域为一个矩形，且通常在图像的靠近中心区域，符合人眼视觉特性。该方法复杂度低，可快速地一次性找到视频中每一
帧的运动区域，适用于视频质量客观评价中的运动区域提取。
[0007]
亮度-
色度非线性变换的皮肤区域提取方法将图像中可能出现的
颜色映射到一个色差分量的二维
坐标系中，通过训练在该坐标系中找到表示人类皮肤的区域。该方法可只根据色差分量来判断一个
像素点是否为皮肤的颜色，具有快速、普适性好的特点。
[0008] 现有的一些图像质量算法已经考虑到了人眼的视觉特性，如亮度掩蔽、空间
频率掩蔽等，但很少有根据图像中的具体内容来确定图像中的感兴趣区域从而进行评价的算法。同时，图像质量的客观评价方法的评价结果受图像场景的影响，好的算法要求有更好的准确性和普适性，这就需要更多地将图像内容的分析加入图像质量评价方法的设计中。
发明内容
[0009] 本发明的目的在于克服
现有技术的不足，提供一种设计合理、准确性高且适应范围广泛的基于感兴趣区域的视频感知质量无参考客观评价方法。
[0010] 本发明解决现有的技术问题是采取以下技术方案实现的：
[0011] 一种基于感兴趣区域的视频感知质量无参考客观评价方法，包括以下步骤：
[0012] 步骤1：获取待测视频中每一帧的亮度分量Y及色差U和V，在待测视频中提取包括运动区域和人类皮肤区域的感兴趣区域，对两个感兴趣区域进行融合得到最终的感兴趣区域，并赋予感兴趣区域/非感兴趣区域不同的评价权重；
[0013] 步骤2：逐帧对图像失真程度进行评价，所述评价的指标包括
块效应程度和模糊程度，其中，块效应程度评价包括块间差异及块间平坦度的分析；
[0014] 步骤3：将上述每帧图像的评价权重及两种评价结果进行结合和转换，以匹配主观评价结果。
[0015] 而且，所述步骤1提取运动区域是使用视觉节奏分析方法实现的。
[0016] 而且，所述步骤1提取人类皮肤区域是使用亮度-色度非线性变换方法。
[0017] 而且，所述步骤1对两个感兴趣区域进行融合得到最终的感兴趣区域的方法为：
[0018] (1)当未提取到运动区域，且未提取到皮肤区域时，认为整帧为感兴趣区域；
[0019] (2)当提取到了运动区域，但未提取到人类皮肤区域时，将运动区域作为感兴趣区域进行后续处理；
[0020] (3)当未提取到运动区域，但提取到了人类皮肤区域时，对提取到的皮肤区域二值图进行一次开操作，以去掉一些小的、不准确的皮肤区域，再用一个最小的矩形包含所有人类皮肤区域，将矩形域作为感兴趣区域进行后续处理；
[0021] (4)当提取到了运动区域，且提取到了皮肤区域时：
[0022] 如果两区域没有重叠，那么将运动区域作为感兴趣区域进行后续处理；
[0023] 如果两区域有重叠，那么对提取到的人类皮肤区域二值图进行开操作，以去掉小的伪皮肤区域，再用一个最小的矩形包含运动区域及所有与运动区域有重叠的皮肤连通域，将矩形域作为感兴趣区域进行后续处理。
[0024] 而且，所述感兴趣区域的评价权重ωROI按下式计算：
[0025]
[0026] 其中，Sf、SROI为一帧中的总宏块数及该帧中感兴趣区域的总宏块数；
[0027] 所述非感兴趣区域的评价权重ωnROI为感兴趣区域权重的倒数。
[0028] 而且，所述步骤2中块间差异包括两宏块间的
水平差异和两宏块的垂直差异，所述块间差异Dh的计算方法为：
[0029]
[0030] 其中，γD为取值范围系数，若设为1，则Dh的取值范围是[0,1]，γD应根据应用场景不同而设置，Nh为水平相邻块间相邻像素间差异，Sh为水平相邻块间接近边缘的块内像素间差异，lm(pxy)为亮度最小可觉差(Just Noticed Difference,JND)模型中亮度掩蔽模型，为相邻的两宏块靠近边缘的半个宏块的亮度平均值。
[0031] 而且，所述步骤2块间平坦度包括两宏块间的水平平坦度和两宏块的垂直平坦度，块间平坦度Zh的计算方法为：
[0032]
[0033] 上式中，γZ为取值范围系数，若设为1，则Zh的取值范围是[0,1]，γZ应根据应用场景不同而设置，aij和bij为相邻两宏块各自内部在(i，j)
位置的像素点亮度值，z(p1，p2)为相邻两像素点亮度差异判决公式，p1，p2为两像素点的亮度值：
[0034]
[0035] 其中，bg(p)为JND模型中像素点背景亮度计算模型，p为一个像素点的亮度值。
[0036] 而且，所述模糊程度评价是使用二维离散余弦变换中低频分量所占比例的方法实现的。
[0037] 而且，所述步骤3的具体处理方法为：
[0038] 步骤3-1、将每帧中上述两评价指标的评价结果进行结合，得到单帧评价结果Qf，如下式：
[0039] Qf＝Bf·Vf
[0040] Ｑｆ的取值范围取决于Ｂｆ中γＤ和γＺ的取值，γＤ和γＺ均取1时，Ｑｆ的取值范围为[0,1]；
[0041] 然后，将该视频中每一帧评价结果的算数平均值作为视频的总体评价结果ＱＳ。
[0042] 步骤3-2、将客观评价结果和主观评价结果进行匹配：按下式对上述评价结果进行转换：
[0043]
[0044] 从而得到连续型、取值范围1-5的评价结果Ｑａｄ。
[0045] 本发明的优点和积极效果是：
[0046] 本发明综合考虑了视频中两种人眼感兴趣区域(运动区域和人类皮肤区域)并结合了两种图像中的块效应和模糊失真特征，实现了对视频质量进行无参考评价功能，得到无参考的图像质量评价结果，具有较好的场景适应性并表现出了较好的与主观评价结果的相关性，不仅可以用于视频质量评价，而且还可用于图片质量的评价。
附图说明
[0048] 图2为本发明的感兴趣区域融合流程图；
[0049] 图3为宏块及其周围宏块的关系示意图；
[0050] 图4为8×8宏块及其上相邻、左相邻宏块关系示意图。
具体实施方式
[0051] 以下结合附图对本发明
实施例做进一步详述。
[0052] 一种基于感兴趣区域的视频感知质量无参考客观评价方法，如图1所示，包括以下步骤：
[0053] 步骤1：获取待测视频中每一帧的亮度分量Y及色差U和V，在待测视频中提取感兴趣区域，包括运动区域和人类皮肤区域，对这两个区域进行融合，得到最终的感兴趣区域ROI，并赋予感兴趣区域/非感兴趣区域不同的权重，用于后续处理。
[0054] 在本步骤中，应先获取待测视频中每一帧的亮度分量Y及色差U和V(或Cb、Cr)，然后进行以下处理：
[0055] 步骤1-1、使用Chi的视觉节奏分析方法对运动区域进行提取。
[0056] Chi的视觉节奏分析方法(Chi,Ming-Chieh,Chia-Hung Yeh,and Mei-Juan Chen.“Robust region-of-interest determination based on user attention model through visual rhythm analysis.”Circuits and Systems for Video Technology,IEEE Transactions on19.7(2009):1025-1038.)需要对整个视频每帧亮度分量进行一次遍历，以一次性获得每一帧的运动区域。将运动区域加入图像质量进行评价进行考虑时，不需要特别高的
精度，且不用区分具体的运动物是什么。Chi的方法提取到的运动区域为一个在图像相对中心位置的一个矩形，符合人眼在观看时只能同时看一个区域，且在没有特别感兴趣的物体存在时会优先看图像中心区域的特点，并且该方法复杂度低，所以选取该方法进行运动区域提取。该方法提取到的运动区域是像素级的，为适用于后续的处理，要将运动区域的高和宽调整为图像分块的整倍数，例如宏块为8×8，就要将提取到的运动区域的高和宽调整为8的整倍数。该方法用于视频中运动区域的提取，若应用于图片，则得到的矩形为整幅图片。
[0057] 步骤1-2、使用Hsu的亮度-色度非线性变换方法对图像中的人类皮肤区域进行提取。
[0058] Hsu的亮度-色度非线性变换方法(Hsu,Rein-Lien,Mohamed Abdel-Mottaleb,and Anil K.Jain.“Face detection in color images.”Pattern Analysis and Machine Intelligence,IEEE Transactions on24.5(2002):696-706.)使用一种亮度-色度非线性变换，根据图像的亮度、色度信息分析得到图像的皮肤色度颜色范围，如果一个像素的色度在这个范围中，则认为该像素点具有皮肤区域的颜色。该方法可在不同亮度条件下判断一个像素点是否为皮肤的颜色，具有快速、普适性好的特点。
[0059] 步骤1-3，对提取的两类感兴趣区域进行融合确定最终感兴趣区域ROI。
[0060] 本步骤首先使用二值图像表示上述提取到的两类感兴趣区域，然后使得每帧融合后的区域也为一个矩形区域，具体融合方法如图2所示，包括：
[0061] (1)当未提取到运动区域，且未提取到皮肤区域时，认为整帧为ROI，即在之后的步骤中对整帧进行处理；
[0062] (2)当提取到了运动区域，但未提取到皮肤区域时，将运动区域作为ROI进行后续处理；
[0063] (3)当未提取到运动区域，但提取到了皮肤区域时，对提取到的皮肤区域二值图进行一次开操作，以去掉一些小的、不准确的皮肤区域，再用一个最小的矩形(边长为块边长的整倍数)包含所有皮肤区域，将矩形域作为ROI进行后续处理；
[0064] (4)当提取到了运动区域，且提取到了皮肤区域时：
[0065] 如果两区域没有重叠，那么将运动区域作为ROI进行后续处理；
[0066] 如果两区域有重叠，那么对提取到的皮肤区域二值图进行开操作，以去掉小的伪皮肤区域，用再一个最小的矩形(边长为宏块边长的整倍数)包含运动区域及所有与运动区域有重叠的皮肤连通域，将矩形域作为ROI进行后续处理。
[0067] 感兴趣区域融合不局限于上述方法，但应遵循每帧融合后的结果为一个连通域的原则，并且为适应接下来的处理，要将区域边长调整为宏块边长的整倍数。
[0068] 步骤1-4、赋予感兴趣区域/非感兴趣区域不同的权重。
[0069] 感兴趣及非感兴趣区域在后续处理中被赋予不同的权重，记Sｆ、SROI为一帧中的总宏块数及该帧中感兴趣区域的总宏块数，由公式1确定感兴趣区域的权重ωROI，非感兴趣区域的权重ωnROI为感兴趣区域权重的倒数。
[0070]
[0071] 图像中的感兴趣区域要在评价中被赋予更大的权重，该权重值随着感兴趣区域的减小而增大，且感兴趣区域大于整个图像面积的一半时，感兴趣区域的权重大于1，设置非感兴趣区域的权重是感兴趣区域权重的倒数是为了使最后的评价结果有一个相对稳定的动态范围，同时，非感兴趣区域的权重不应大于感兴趣区域的权重，所以当感兴趣区域过大时，设置感兴趣区域的权重为1。
[0072] 步骤2：逐帧对图像失真程度进行评价。进行评价的指标包括块效应程度和模糊程度，其中，块效应程度评价包括块间差异及块间平坦度的分析。
[0073] 步骤2-1、对一帧图像进行块效应程度评价，要逐宏块进行评价，包括对块间差异及平坦程度的分析。
[0074] 在对每一帧图像进行失真程度评价时，需要对每一帧中的每一宏块进行评价，再统计得到每一帧的评价结果。如图3所示，在计算单个宏块的块效应时，只选取该宏块的空间相邻上宏块和左宏块进行比较，即处理A时只比较A与B、A与C，如此处理可以减小计算量。块效应评价的本质是评估每两个块间的边缘间隔是否明显，越明显则块效应程度越严重，只比较每个块的左边缘和上边缘就可做到这一点，一个块的右边缘和下边缘在进行右宏块和下宏块的处理时就可得到评估，即处理D时评估A与D的边缘，处理E时评估A与E的边缘。同时，由于视频码流是按行传来，一个块的上宏块和左宏块时间上在该块之前传来，如此可以保证处理的正确性及可用于实时处理。在实际使用时，一帧中最上一行宏块只需进行与左宏块的比较，同理，最左一行宏块只需进行与上宏块的比较。
[0075] 步骤2-1-1，使用Dblk表示一个宏块与周围宏块间的亮度差异，值越大，两宏块间亮度差异越大，如公式2：
[0076] 公式2
[0077] Dh与Dv分别表示一个宏块与其左相邻块和上相邻块间的差异，这两个差异计算方法类似，在这里以8×8大小宏块、256亮度级的Dh计算为例，如公式3：
[0078]
[0079] γD用于调整Dh取值范围，若γD设为1，则Dh的取值范围是[0,1]，γD应根据应用场景不同而设置。
[0080] 公式3中的Nh为相邻块间相邻像素间差异，如公式4，aij和bij表示相邻块中对应图4中位置的像素亮度值，下同，
[0081] 公式4
[0082] 公式3中的Sh为相邻块间接近边缘的块内像素间差异，如公式5：
[0083] 公式5
[0084] 公式3中的lm(p)为亮度最小可觉差(Just Noticed Difference,JND)模型中亮度掩蔽模型，即在某一亮度背景下像素点p的可觉察的最小亮度差异值，如公式6：
[0085] 公式6
[0086] 为相邻的两宏块靠近边缘的半个宏块的亮度平均值，即左宏块右半边亮度均值和右宏块左半边亮度均值，如公式7、公式8：
[0087] 公式7
[0088] 公式8
[0089] 步骤2-1-2，分析相邻两块间的平坦程度，两块间越平坦，认为两块间的差异越容易被察觉，使用Zblk表示一个宏块与周围块间的平坦程度，值越大，表示两宏块间越平坦，如公式9：
[0090] 公式9
[0091] Zh与Zv分别表示一个宏块与其左相邻块和上相邻块间的平坦程度，这两个差异计算方法类似，在这里以8×8大小宏块、256亮度级的Zh计算为例，如公式10：
[0092] 公式10
[0093] γZ用于调整γh取值范围，若γZ设为1，则Zh的取值范围是[0,1]，γZ应根据应用场景不同而设置。
[0094] 公式10中的z(p1，p2)为两像素间亮度差异判断，如公式11，无差异时置1，即平坦，有差异置0，是否有差异的判决用到了lm(p)，即公式6。
[0095]
[0096] 公式11中的bg(p)为计算一个像素点p的5×5周围背景亮度值，如公式12：
[0097] 公式12
[0098] Bωij为5×5周围背景在(i，i)位置上的权重值，如公式13：
[0099] 公式13
[0100] 步骤2-1-3，块间差异及平坦程度的结合，如公式14，Bhlk为一个宏块的总的块效应评价值，值越大表示块效应程度越严重，
[0101]
[0102] 一帧的整体块效应值Bf为该帧所有宏块的块效应值的算数平均值。
[0103] 步骤2-2、使用二维离散余弦变换(2D-DCT)中低频分量所占比例对一帧图像进行模糊程度评价。
[0104] 二维DCT变换系数矩阵反映图像中不同频率分量的多少，矩阵中左上
角为
直流分量，越往右下的频率越高。高频分量对应的是图像中的细节部分，图像越清晰，人对细节的感知越好，高频分量应该越多，反之，图像越模糊，直流及低频部分就较多。本方法通过计算二维离散余弦变换(2D-DCT)变换系数矩阵左上角低频部分所占整个矩阵的比重来反映一帧的模糊程度，根据应用场景的不同，可调整公式17中分子所选的低频区域的范围，以及公式17中系数量化
阈值T。
[0105] 在这里以8×8宏块为例，首先对一帧中的感兴趣区域中的宏块进行二维离散余弦变换(2D-DCT)，再统计每个8×8二维DCT变换矩阵中较大值的出现次数，如公式15、公式16[0106]
[0107] 公式16
[0108] 其中， 为一帧图像的感兴趣区域中第k个宏块的二维DCT变换矩阵,(i，j)表示变换矩阵中的位置，SROI为一帧图像的感兴趣区域中的总宏块数，根据经验值，阈值T设为6。
[0109] 通过计算统计矩阵H左上角部分所占整个矩阵的比重来反映一帧的模糊程度Vf，Vf的取值范围为[0,1]，值越大，图像越模糊，如公式17，本发明中采用左上角4×4部分作为分子参与计算，根据实际应用场景的不同，可选取不同形状的区域参与计算，
[0110] 公式17
[0111] 其中，统计矩阵H中不同位置的权重系数ω如公式18：
[0112] 公式18
[0113] 步骤3：将每帧的评价权重及上述两种评价结果进行结合和转换，以匹配主观评价结果。
[0114] 步骤3-1、将每帧中上述两评价指标的评价结果进行结合，得到单帧评价结果Qf，如公式19：
[0115] Qf＝Bf·Vf 公式19
[0116] Qf的取值范围取决于Bf中γD和γZ的取值，γD和γZ均取1时，Qf的取值范围为[0,1]，Qf值越大，图像质量越差。
[0117] 一个视频的总体评价结果QS为该视频中每一帧评价结果的算数平均值。
[0118] 步骤3-2、将客观评价结果和主观评价结果进行匹配。
[0119] 根据不同的使用需求，可用不同的公式对上述评价结果进行转换，本发明根据公式20将客观评价结果QS进行转换，得到连续型、取值范围1-5的评价结果Qad，Qad值越大，图像质量越好，
[0120] 公式20
[0121] 若需离散型评价结果，可再后续进行量化处理。
[0122] 下面将本发明的客观评价结果与主观评价结果进行比较。
[0123] 主观评价实验设置：40名非专业观看者平分为两组，一组观看352×288尺寸视频，另一组观看1280×720尺寸视频，测试视频来自LIVE测试视频库，选取的视频中均包含运动区域，部分包含皮肤区域，每组测试包含10个不同原始视频的8个将码率视频，即每组观看80个视频，视频随机顺序播放，每个视频长度为10秒，测试者采用1-5离散型打分，1代表图像质量最差，5为最好。
[0124] 使用Pearson相关系数(PCC)和Spearman相关系数(SROC)来衡量客观评分与主观评分的相关程度，这两个系数取值范围为[-1,1],1表示完全正相关，-1表示完全负相关，0表示完全不相关。本发明评分结果Qad与上述主观实验评分结果的相关度见表1，同时列出另外三种传统图像质量客观评价方法与主观实验评分结果的相关度：块边缘损伤度量(GBIM)，局部自适应块效应度量(LABM)，无参考感知块效应度量(NPBM)。
[0125] 表1本发明评价结果与主观评价结果的相关度
[0126]
[0127] 从表1可以看出，本发明评价结果与主观评价结果的相关度较高，且好于一些传统的图像质量评价方法。
[0128] 需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
