首页 / 专利库 / 人工智能 / 特征向量 / 一种无参考高动态范围图像客观质量评价方法

一种无参考高动态范围图像客观质量评价方法

阅读:1发布:2021-01-14

专利汇可以提供一种无参考高动态范围图像客观质量评价方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种无参考高动态范围图像客观 质量 评价方法,其将图像表示成三阶张量,由于 色度 信息在高动态范围图像质量评价中具有重要作用,因此利用张量分解中的Tucker分解 算法 ,对失真高动态范围图像进行张量分解,得到融合了 亮度 失真和色度失真的第1个通道作为第一特征图像,在第一特征图像上提取失真信息,与仅在亮度通道上提取失真信息相比,第一特征图像还包含了色度通道的失真,同时数据量又与亮度通道相同,不会增加额外的数据量;将第一特征图像中提取的张量域 感知 特征向量 与支持向量回归训练模型结合,得到失真高动态范围图像的客观质量评价值,从而实现了无参考的高动态范围图像的客观质量评价,评价效果显著提高,且其不需要参考图像。,下面是一种无参考高动态范围图像客观质量评价方法专利的具体信息内容。

1.一种无参考高动态范围图像客观质量评价方法,其特征在于包括以下步骤:
①将待评价的失真高动态范围图像记为Idis;然后将Idis表示成三阶张量的形式,记为Vdis;接着利用张量的Tucker3分解算法对Vdis进行3模式积运算,得到Vdis的核张量,记为Gdis;再将Gdis的第1个通道作为Idis的第一特征图像,记为Gdis1;其中,Idis的宽度为W且高度为H,Gdis、Gdis1的宽度也均为W、高度也均为H;
②将Gdis1中的所有像素点的像素值线性映射到专用于显示高动态范围图像的显示器的设定亮度范围0.03cd/m2~4250cd/m2内,将得到的线性映射图像记为Gdis1#;然后计算Gdis1#
2 #
中亮度值超过2400cd/m的像素点的总个数占Gdis1中的所有像素点的总个数的比例,记为Rglobal;并计算Gdis1#的动态范围,记为DRglobal, 再将Rglobal和DRglobal联合,得到Idis的全局亮度感知特征向量,记为fglobal,fglobal=[Rglobal,DRglobal];其中,Lmax表示Gdis1#中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值,Lmin表示Gdis1#中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,5≤μ≤15;
③将Gdis1划分成m×n个互不重叠的尺寸大小为 的图像,将Gdis1中的第i个
图像块记为 其中,m表示Gdis1在横向上包含的图像块的数目,n表示Gdis1在纵向上包含的图像块的数目, 符号 为向下取整运算符号,1≤i≤N,N表
示Gdis1中包含的图像块的总数目,N=m×n;
④将Gdis1中的每个图像块中的所有像素点的像素值线性映射到专用于显示高动态范围
2 2
图像的显示器的设定亮度范围0.03cd/m ~4250cd/m内,得到Gdis1中的每个图像块对应的线性映射图像,将 对应的线性映射图像记为 然后计算Gdis1中的每个图像块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块对应的线性映射图像中的所有像素点的总个数的比例,将 中亮度值超过2400cd/m2的像素点的总个数占 中的所有像素点的总个数的比例记为 并计算Gdis1中的每个图像块对应的线性映射图像的动态范围,将 的动态范围记为 再将Gdis1中
的每个图像块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块对应的线性映射图像中的所有像素点的总个数的比例和Gdis1中的每个图像块对应的线性映射图像的动态范围联合,得到Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的第一局部亮度感知特征向量,将Idis中与 位置对应且尺寸大小相同的区域的第一局部亮度感知特征向量记为 由 和 联合得到,
其中, 表示 中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值, 表示 中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,
5≤μ≤15;
⑤对Gdis1中的每个图像块的四周向上、向下各填充h行0像素,向左、向右各填充h列0像素,得到Gdis1中的每个图像块对应的扩充图像,扩充图像的宽度为 且高度为
将 对应的扩充图像记为 然后以块步长为1,将每幅扩充图像划分成
个相互重叠的尺寸大小为(2h+1)×(2h+1)的方块,将 中的第j个方块记为 接
着将每幅扩充图像中的所有方块的中心像素点的像素值按序排列构成一个列向量,将中的所有方块的中心像素点的像素值按序排列构成的列向量记为
并将每幅扩充图像中的每个方块中除中心像素点外的其余所有像
素点的像素值按序排列构成一个行向量,将 中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量记为 再将每幅扩充图像中的所有方块对应的行向量排列构成一个矩阵,将 中的所有方块对应的行向量排列构成的矩阵记为
其中, min()为取最小值函数,
的维数为 表示 中的第1个方块
的中心像素点的像素值, 表示 的中心像素点的像素值, 表示
中的第 个方块 的中心像素点的像素值, 也为 中的所
有像素点的像素值按序排列构成的列向量, 的维数为1×(L-1),L表示每幅扩充图像中的每个方块中包含的像素点的总数目,L=(2h+1)×(2h+1), 的维数为
表示 中的第1个方块 中除中心像素点外的其余
所有像素点的像素值按序排列构成的行向量, 表示 中的第 个方
块 中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量;
⑥采用自回归模型模拟使用每幅扩充图像中的每个方块中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量对该方块的中心像素点的像素值进行预测的预测过程,得到每幅扩充图像中的每个方块的中心像素点的预测像素值,将 的中心像素点的预测像素值记为 为采用自回归模型模拟使用 对 进行预
测的预测过程得到的, 的值为 与 的乘积;然后将每幅扩充图像中的所
有方块的中心像素点的预测像素值按序排列构成一个列向量,将 中的所有方块的中心像素点的像素值按序排列构成的列向量记为 的值为 与 的
乘积;接着采用最小二乘法求解,使每幅扩充图像中的所有方块的中心像素点的预测像素值按序排列构成的列向量与每幅扩充图像中的所有方块的中心像素点的像素值按序排列构成的列向量的差异最小,得到每幅扩充图像对应的预测系数列向量的最优值,将的最优值记为 为通过采用最小二乘法求解,使 与 的差异最小获得
的;再获取每幅扩充图像中的所有方块的中心像素点的预测像素值按序排列构成的列向量的最优值,将 的最优值记为 为 与 的乘积;之后将每幅扩充图像
中的所有方块的中心像素点的预测像素值按序排列构成的列向量的最优值中的所有值排列成尺寸大小为 的图像,作为Gdis1中的每个图像块的预测块,将 的预测块记为 为 中的所有值排列成尺寸大小为 的图像;最后获取Idis中与
Gdis1中的每个图像块位置对应且尺寸大小相同的区域的局部感知预测特征向量,将Idis中与 位置对应且尺寸大小相同的区域的局部感知预测特征向量记为 其
中, 表示自回归模型中与 对应的预测系数列向量, 的维数为(L-1)×1,
为 的转置;
⑦将Gdis1中的每个图像块的预测块中的所有像素点的像素值线性映射到专用于显示高动态范围图像的显示器的设定亮度范围0.03cd/m2~4250cd/m2内,得到Gdis1中的每个图像块的预测块对应的线性映射图像,将 对应的线性映射图像记为 然后计算Gdis1中
2
的每个图像块的预测块对应的线性映射图像中亮度值超过2400cd/m的像素点的总个数占Gdis1中的每个图像块的预测块对应的线性映射图像中的所有像素点的总个数的比例,将中亮度值超过2400cd/m2的像素点的总个数占 中的所有像素点的总个数的比例
记为 并计算Gdis1中的每个图像块的预测块对应的线性映射图像的动态范围,将的动态范围记为 再将Gdis1中的每个图像块的预测
块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块的预测块对应的线性映射图像中的所有像素点的总个数的比例和Gdis1中的每个图像块的预测块对应的线性映射图像的动态范围联合,得到Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的第二局部亮度感知特征向量,将Idis中与 位置对应且尺寸大小相同的区域的第二局部亮度感知特征向量记为 由 和 联
合得到, 其中, 表示 中的所有像素点的亮度值按
从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值,表示 中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,5≤μ≤15;
⑧根据Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的局部感知预测特征向量、第一局部亮度感知特征向量、第二局部亮度感知特征向量以及Idis的全局亮度感知特征向量,获取Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的张量域感知特征向量,将Idis中与 位置对应且尺寸大小相同的区域的张量域感知特征向量记为Fi, 其中,Fi的维数为1×(L+5);
⑨选取K幅失真高动态范围图像构成训练库;然后按照步骤①至步骤⑧的过程,以相同的方式获取训练库中的每幅失真高动态范围图像中的m×n个互不重叠的尺寸大小为的区域各自的张量域感知特征向量;再将训练库中的每幅失真高动态范围图像
的主观评价分数作为标签,将训练库中的每幅失真高动态范围图像中的m×n个互不重叠的尺寸大小为 的区域各自的张量域感知特征向量作为输入样本,采用支持向量回归技术进行训练,训练得到支持向量回归训练模型;其中,K≥30,设定训练库中的每幅失真高动态范围图像的宽度也为W、高度也为H;
⑩将Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的张量域感知特征向量作为输入参数,输入到支持向量回归训练模型中,输出Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的客观质量评价值,将Idis中与 位置对应且尺寸大小相同的区域的客观质量评价值记为qualityi;再获取Idis的客观质量评价值,记为qualitydis,

说明书全文

一种无参考高动态范围图像客观质量评价方法

技术领域

[0001] 本发明涉及一种图像质量评价方法,尤其是涉及一种基于张量域感知特征的无参考高动态范围图像客观质量评价方法。

背景技术

[0002] 高动态范围(High Dynamic Range,HDR)成像技术的发展改变了传统的图像显示方式,其能够带给人们更真实的视觉体验。然而图像在采集、压缩、存储和传输过程中,不可避免地会引入降质。图像质量直接反映了用户的体验质量,降低甚至彻底杜绝降质是图像消费者的共同愿望,对高动态范围图像的质量评价进行研究能够有效帮助解决一些降质问题。
[0003] 图像质量评价从方法上可分为主观质量评价方法和客观质量评价方法,主观质量评价方法耗时多、费用高、难以操作,因此,需要建立合适的客观质量评价模型对图像质量进行预测。高动态范围图像的客观质量评价方法可分为基于低动态范围(Low Dynamic Range,LDR)图像质量评价的高动态范围图像质量评价方法和针对高动态范围图像设计的质量评价方法。传统的低动态范围图像质量评价方法,如MSE(PSNR)、SSIM、MSSIM、VIF、VSNR等,这些方法不能直接用于高动态范围图像的质量评价,因为这些方法都是在假定图像的像素值和人眼感知的像素值满足线性关系的条件下设计的,而这在高动态范围图像中并不成立。基于低动态范围图像质量评价的高动态范围图像质量评价方法需要先对图像进行log运算或PU编码预处理,使得图像的像素值和人眼感知的像素值大致满足线性关系,再使用低动态范围图像的质量评价方法,该方法经过log运算或PU编码预处理后,虽然评价效果有了大幅提升,但是有待进一步提高,因为它们不能体现高动态范围图像在动态范围、对比度提高之后,具有的与低动态范围图像不同的视觉注意机制。
[0004] 目前,针对高动态范围图像设计的质量评价方法只有几种,典型的有Mantiuk等提出的视觉差异预测方法HDR-VDP-2及其权重优化的HDR-VDP-2.2方法,以及针对高动态范围视频质量评价设计的HDR-VQM方法。这几种方法都很好的模拟了人眼对高动态范围图像的高亮度范围的感知,得到了广泛地应用。但是,这几种方法都是全参考的高动态范围图像质量评价方法,需要参考图像和失真图像,然而在实际应用中,参考图像往往是不可获取或不存在的。目前,对无参考高动态范围图像客观质量评价方法的研究还比较缺乏。因此,对无参考高动态范围图像的质量进行准确评价是一个迫切需要解决的问题。
[0005] 优秀的高动态范围图像客观质量评价方法应能够很好地反映人眼视觉感知特性,人眼对图像失真的感知是色度失真和亮度失真共同作用的结果,上述针对高动态范围图像设计的全参考客观质量评价方法都只考虑了亮度失真,忽略了色度失真,这与人眼视觉感知不符,尤其对色彩鲜明的高动态范围图像。张量可以完整地表示图像数据并且有效保持图像数据的内在结构,且使用自回归模型可以有效模拟人脑对图像的感知生成,因此研究一种基于张量域感知特征的无参考高动态范围图像客观质量评价方法很有必要。

发明内容

[0006] 本发明所要解决的技术问题是提供一种无参考高动态范围图像客观质量评价方法,其能够有效地提高客观评价结果与主观感知之间的一致性。
[0007] 本发明解决上述技术问题所采用的技术方案为:一种无参考高动态范围图像客观质量评价方法,其特征在于包括以下步骤:
[0008] ①将待评价的失真高动态范围图像记为Idis;然后将Idis表示成三阶张量的形式,记为Vdis;接着利用张量的Tucker3分解算法对Vdis进行3模式积运算,得到Vdis的核张量,记为Gdis;再将Gdis的第1个通道作为Idis的第一特征图像,记为Gdis1;其中,Idis的宽度为W且高度为H,Gdis、Gdis1的宽度也均为W、高度也均为H;
[0009] ②将Gdis1中的所有像素点的像素值线性映射到专用于显示高动态范围图像的显示器的设定亮度范围0.03cd/m2~4250cd/m2内,将得到的线性映射图像记为Gdis1#;然后计# 2 #算Gdis1中亮度值超过2400cd/m的像素点的总个数占Gdis1中的所有像素点的总个数的比#
例,记为Rglobal;并计算Gdis1 的动态范围,记为DRglobal, 再将Rglobal和
DRglobal联合,得到Idis的全局亮度感知特征向量,记为fglobal,fglobal=[Rglobal,DRglobal];其中,Lmax表示Gdis1#中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值,Lmin表示Gdis1#中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,5≤μ≤15;
[0010] ③将Gdis1划分成m×n个互不重叠的尺寸大小为 的图像,将Gdis1中的第i个图像块记为 其中,m表示Gdis1在横向上包含的图像块的数目,n表示Gdis1在纵向上包含的图像块的数目, 符号 为向下取整运算符号,1≤i≤N,
N表示Gdis1中包含的图像块的总数目,N=m×n;
[0011] ④将Gdis1中的每个图像块中的所有像素点的像素值线性映射到专用于显示高动态范围图像的显示器的设定亮度范围0.03cd/m2~4250cd/m2内,得到Gdis1中的每个图像块对应的线性映射图像,将 对应的线性映射图像记为 然后计算Gdis1中的每个图像块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块2
对应的线性映射图像中的所有像素点的总个数的比例,将 中亮度值超过2400cd/m的像素点的总个数占 中的所有像素点的总个数的比例记为 并计算Gdis1中的每个图像块对应的线性映射图像的动态范围,将 的动态范围记为 再
将Gdis1中的每个图像块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块对应的线性映射图像中的所有像素点的总个数的比例和Gdis1中的每个图像块对应的线性映射图像的动态范围联合,得到Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的第一局部亮度感知特征向量,将Idis中与 位置对应且尺寸大小相同的区域的第一局部亮度感知特征向量记为 由 和 联合得到,
其中, 表示 中的所有像素点的亮度值按从大到小的顺序排列
再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值, 表示 中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,5≤μ≤15;
[0012] ⑤对Gdis1中的每个图像块的四周向上、向下各填充h行0像素,向左、向右各填充h列0像素,得到Gdis1中的每个图像块对应的扩充图像,扩充图像的宽度为 且高度为将 对应的扩充图像记为 然后以块步长为1,将每幅扩充图像划分成个相互重叠的尺寸大小为(2h+1)×(2h+1)的方块,将 中的第j个方块记
为 接着将每幅扩充图像中的所有方块的中心像素点的像素值按序排列构成一个列向量,将 中的所有方块的中心像素点的像素值按序排列构成的列向量记为
并将每幅扩充图像中的每个方块中除中心像素点外的其余所有像
素点的像素值按序排列构成一个行向量,将 中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量记为 再将每幅扩充图像中的所有方块对应的行向量排列构成一个矩阵,将 中的所有方块对应的行向量排列构成的矩阵记为
其中, min()为取最小值函数,
的维数为 表示 中的第1个方块
的中心像素点的像素值, 表示 的中心像素点的像素值, 表示
中的第 个方块 的中心像素点的像素值, 也为 中的所
有像素点的像素值按序排列构成的列向量, 的维数为1×(L-1),L表示每幅扩充图像中的每个方块中包含的像素点的总数目,L=(2h+1)×(2h+1), 的维数为
表示 中的第1个方块 中除中心像素点外的其余
所有像素点的像素值按序排列构成的行向量, 表示 中的第 个方
块 中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量;
[0013] ⑥采用自回归模型模拟使用每幅扩充图像中的每个方块中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量对该方块的中心像素点的像素值进行预测的预测过程,得到每幅扩充图像中的每个方块的中心像素点的预测像素值,将 的中心像素点的预测像素值记为 为采用自回归模型模拟使用 对进行预测的预测过程得到的, 的值为 与 的乘积;然后将每幅扩充图像
中的所有方块的中心像素点的预测像素值按序排列构成一个列向量,将 中的所有方块的中心像素点的像素值按序排列构成的列向量记为 的值为 与
的乘积;接着采用最小二乘法求解,使每幅扩充图像中的所有方块的中心像素点的预测像素值按序排列构成的列向量与每幅扩充图像中的所有方块的中心像素点的像素值按序排列构成的列向量的差异最小,得到每幅扩充图像对应的预测系数列向量的最优值,将 的最优值记为 为通过采用最小二乘法求解,使 与 的差异
最小获得的;再获取每幅扩充图像中的所有方块的中心像素点的预测像素值按序排列构成的列向量的最优值,将 的最优值记为 为 与 的乘积;之后将每
幅扩充图像中的所有方块的中心像素点的预测像素值按序排列构成的列向量的最优值中的所有值排列成尺寸大小为 的图像,作为Gdis1中的每个图像块的预测块,将
的预测块记为 为 中的所有值排列成尺寸大小为 的图像;最后
获取Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的局部感知预测特征向量,将Idis中与 位置对应且尺寸大小相同的区域的局部感知预测特征向量记为
其中, 表示自回归模型中与 对应的预测系数列向量, 的
维数为(L-1)×1, 为 的转置;
[0014] ⑦将Gdis1中的每个图像块的预测块中的所有像素点的像素值线性映射到专用于显示高动态范围图像的显示器的设定亮度范围0.03cd/m2~4250cd/m2内,得到Gdis1中的每个图像块的预测块对应的线性映射图像,将 对应的线性映射图像记为 然后计算Gdis1中的每个图像块的预测块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块的预测块对应的线性映射图像中的所有像素点的总个数的比例,将 中亮度值超过2400cd/m2的像素点的总个数占 中的所有像素点的总个数
的比例记为 并计算Gdis1中的每个图像块的预测块对应的线性映射图像的动态范
围,将 的动态范围记为 再将Gdis1中的每个图像块的
预测块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块的预测块对应的线性映射图像中的所有像素点的总个数的比例和Gdis1中的每个图像块的预测块对应的线性映射图像的动态范围联合,得到Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的第二局部亮度感知特征向量,将Idis中与 位置对应且尺寸大小相同的区域的第二局部亮度感知特征向量记为 由 和
联合得到, 其中, 表示 中的所有像素点
的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值, 表示 中的所有像素点的亮度值按从大到小的顺序排列再去除前
μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,5≤μ≤15;
[0015] ⑧根据Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的局部感知预测特征向量、第一局部亮度感知特征向量、第二局部亮度感知特征向量以及Idis的全局亮度感知特征向量,获取Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的张量域感知特征向量,将Idis中与 位置对应且尺寸大小相同的区域的张量域感知特征向量记为Fi, 其中,Fi的维数为1×(L+5);
[0016] ⑨选取K幅失真高动态范围图像构成训练库;然后按照步骤①至步骤⑧的过程,以相同的方式获取训练库中的每幅失真高动态范围图像中的m×n个互不重叠的尺寸大小为的区域各自的张量域感知特征向量;再将训练库中的每幅失真高动态范围图像的主观评价分数作为标签,将训练库中的每幅失真高动态范围图像中的m×n个互不重叠的尺寸大小为 的区域各自的张量域感知特征向量作为输入样本,采用支持向量回
归技术进行训练,训练得到支持向量回归训练模型;其中,K≥30,设定训练库中的每幅失真高动态范围图像的宽度也为W、高度也为H;
[0017] ⑩将Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的张量域感知特征向量作为输入参数,输入到支持向量回归训练模型中,输出Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的客观质量评价值,将Idis中与 位置对应且尺寸大小相同的区域的客观质量评价值记为qualityi;再获取Idis的客观质量评价值,记为qualitydis,
[0018] 与现有技术相比,本发明的优点在于:
[0019] 1)本发明方法利用张量可以有效保持图像数据的内在结构特点,将图像表示成三阶张量,由于色度信息在高动态范围图像质量评价中具有重要作用,因此利用张量分解中的Tucker分解算法,对失真高动态范围图像进行张量分解,得到融合了亮度失真和色度失真的第1个通道作为第一特征图像,在第一特征图像上提取失真信息,与现有方法仅在亮度通道上提取失真信息相比,第一特征图像还包含了色度通道的失真,同时数据量又与亮度通道相同,不会增加额外的数据量;将第一特征图像中提取的张量域感知特征向量与支持向量回归训练模型结合,得到失真高动态范围图像的客观质量评价值,从而实现了无参考的高动态范围图像的客观质量评价,评价效果显著提高,且本发明方法不需要参考图像,是一种无参考的评价方法,较现有的全参考评价方法具有更大的实用性。
[0020] 2)本发明方法通过自回归模型模拟人脑对图像的主动预测,使用预测系数来表征失真的图像块的失真信息,作为失真的图像块的局部感知预测特征向量,降维后的局部感知预测特征向量与失真高动态范围图像质量存在较强的相关性,在表征失真高动态范围图像的客观质量时更简单、更准确。
[0021] 3)本发明方法充分考虑高动态范围图像在亮度感知上的高动态特征,即动态范围、较亮区域占比上的特征,在较少地增加特征维数的情况下,使得本发明方法的预测准确度得到了大幅提升。附图说明
[0022] 图1为本发明方法的总体实现框图

具体实施方式

[0023] 以下结合附图实施例对本发明作进一步详细描述。
[0024] 本发明提出的一种无参考高动态范围图像客观质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
[0025] ①将待评价的失真高动态范围彩色图像记为Idis;然后采用现有技术将Idis表示成三阶张量的形式,记为Vdis;接着利用现有的张量的Tucker3分解算法对Vdis进行3模式积运算,得到Vdis的核张量,记为Gdis;再将Gdis的第1个通道作为Idis的第一特征图像,记为Gdis1;并将Gdis的第2个通道作为Idis的第二特征图像,记为Gdis2;将Gdis的第3个通道作为Idis的第三特征图像,记为Gdis3;其中,Idis的宽度为W且高度为H,Gdis、Gdis1、Gdis2、Gdis3的宽度也均为W、高度也均为H。
[0026] ②将Gdis1中的所有像素点的像素值线性映射到专用于显示高动态范围图像的显示器(如选用型号SIM2HDR47ES4MB的显示器)的设定亮度范围0.03cd/m2~4250cd/m2内,将得到的线性映射图像记为Gdis1#;然后计算Gdis1#中亮度值超过2400cd/m2的像素点的总个数占Gdis1#中的所有像素点的总个数的比例,记为Rglobal;并计算Gdis1#的动态范围,记为DRglobal, 再将Rglobal和DRglobal联合,得到Idis的全局亮度感知特征向量,记为fglobal,fglobal=[Rglobal,DRglobal];其中,Lmax表示Gdis1#中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值,Lmin表示Gdis1#中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,5≤μ≤15,在本实施例中取μ的值为10。
[0027] ③将Gdis1划分成m×n个互不重叠的尺寸大小为 的图像块,将Gdis1中的第i个图像块记为 其中,m表示Gdis1在横向上包含的图像块的数目,n表示Gdis1在纵向上包含的图像块的数目, 在本实施例中取m的值为3、取n的值为3,符
号 为向下取整运算符号,1≤i≤N,N表示Gdis1中包含的图像块的总数目,N=m×n。
[0028] ④将Gdis1中的每个图像块中的所有像素点的像素值线性映射到专用于显示高动态范围图像的显示器(如选用型号SIM2HDR47ES4MB的显示器)的设定亮度范围0.03cd/m2~4250cd/m2内,得到Gdis1中的每个图像块对应的线性映射图像,将 对应的线性映射图像
2
记为 然后计算Gdis1中的每个图像块对应的线性映射图像中亮度值超过2400cd/m的像素点的总个数占Gdis1中的每个图像块对应的线性映射图像中的所有像素点的总个数的比例,将 中亮度值超过2400cd/m2的像素点的总个数占 中的所有像素点的总个数的比例记为 并计算Gdis1中的每个图像块对应的线性映射图像的动态范围,将 的动态范围记为 再将Gdis1中的每个图像块对应的线性映射图像中亮度
值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块对应的线性映射图像中的所有像素点的总个数的比例和Gdis1中的每个图像块对应的线性映射图像的动态范围联合,得到Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的第一局部亮度感知特征向量,将Idis中与 位置对应且尺寸大小相同的区域的第一局部亮度感知特征向量记为
由 和 联合得到, 其中, 表示 中的所有像素点的亮
度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值, 表示 中的所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,5≤μ≤15,在本实施例中取μ的值为10。
[0029] ⑤对Gdis1中的每个图像块的四周向上、向下各填充h行0像素,向左、向右各填充h列0像素,得到Gdis1中的每个图像块对应的扩充图像,扩充图像的宽度为 且高度为将 对应的扩充图像记为 然后以块步长为1,将每幅扩充图像划分成个相互重叠的尺寸大小为(2h+1)×(2h+1)的方块,将 中的第j个方块记
为 接着将每幅扩充图像中的所有方块的中心像素点的像素值按序排列构成一个列向量,将 中的所有方块的中心像素点的像素值按序排列构成的列向量记为
并将每幅扩充图像中的每个方块中除中心像素点外的其余所有像
素点的像素值按序排列构成一个行向量,将 中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量记为 再将每幅扩充图像中的所有方块对应的行向量排列构成一个矩阵,将 中的所有方块对应的行向量排列构成的矩阵记为
其中, min()为取最小值函数,在本实施例
中h的取值为2, 的维数为 表示 中
的第1个方块 的中心像素点的像素值, 表示 的中心像素点的像素值,
表示 中的第 个方块 的中心像素点的像素值,
也为 中的所有像素点的像素值按序排列构成的列向量, 的维数为1×(L-1),L表
示每幅扩充图像中的每个方块中包含的像素点的总数目,L=(2h+1)×(2h+1),在本实施例中L的值为25, 的维数为 表示 中的第1个方块
中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量, 表
示 中的第 个方块 中除中心像素点外的其余所有像素点的像素
值按序排列构成的行向量。
[0030] ⑥采用现有的自回归模型模拟使用每幅扩充图像中的每个方块中除中心像素点外的其余所有像素点的像素值按序排列构成的行向量对该方块的中心像素点的像素值进行预测的预测过程,得到每幅扩充图像中的每个方块的中心像素点的预测像素值,将的中心像素点的预测像素值记为 为采用现有的自回归模型模拟使用 对 进行预测的预测过程得到的, 的值为 与 的乘积;然
后将每幅扩充图像中的所有方块的中心像素点的预测像素值按序排列构成一个列向量,将中的所有方块的中心像素点的像素值按序排列构成的列向量记为
的值为 与 的乘积;接着采用现有的最小二乘法求解,使每幅扩充图像中的所
有方块的中心像素点的预测像素值按序排列构成的列向量与每幅扩充图像中的所有方块的中心像素点的像素值按序排列构成的列向量的差异最小,得到每幅扩充图像对应的预测系数列向量的最优值,将 的最优值记为 为通过采用现有的最小二乘法求
解,使 与 的差异最小获得的;再获取每幅扩充图像中的所有方块的中心像素
点的预测像素值按序排列构成的列向量的最优值,将 的最优值记为 为
与 的乘积;之后将每幅扩充图像中的所有方块的中心像素点的预测像素值按序
排列构成的列向量的最优值中的所有值排列成尺寸大小为 的图像,作为Gdis1中
的每个图像块的预测块,将 的预测块记为 为 中的所有值排列成尺寸
大小为 的图像;最后获取Idis中与Gdis1中的每个图像块位置对应且尺寸大小相
同的区域的局部感知预测特征向量,将Idis中与 位置对应且尺寸大小相同的区域的局部感知预测特征向量记为 其中, 表示自回归模型中与 对应
的预测系数列向量, 的维数为(L-1)×1, 为 的转置。
[0031] ⑦将Gdis1中的每个图像块的预测块中的所有像素点的像素值线性映射到专用于显示高动态范围图像的显示器(如选用型号SIM2HDR47ES4MB的显示器)的设定亮度范围0.03cd/m2~4250cd/m2内,得到Gdis1中的每个图像块的预测块对应的线性映射图像,将 对应的线性映射图像记为 然后计算Gdis1中的每个图像块的预测块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块的预测块对应的线性映射图像中的所有像素点的总个数的比例,将 中亮度值超过2400cd/m2的像素点的总个数占中的所有像素点的总个数的比例记为 并计算Gdis1中的每个图像块的预测块对
应的线性映射图像的动态范围,将 的动态范围记为
再将Gdis1中的每个图像块的预测块对应的线性映射图像中亮度值超过2400cd/m2的像素点的总个数占Gdis1中的每个图像块的预测块对应的线性映射图像中的所有像素点的总个数的比例和Gdis1中的每个图像块的预测块对应的线性映射图像的动态范围联合,得到Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的第二局部亮度感知特征向量,将Idis中与位置对应且尺寸大小相同的区域的第二局部亮度感知特征向量记为 由
和 联合得到, 其中, 表示 中的
所有像素点的亮度值按从大到小的顺序排列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最大亮度值, 表示 中的所有像素点的亮度值按从大到小的顺序排
列再去除前μ%和后μ%的亮度值后剩下的所有亮度值中的最小亮度值,5≤μ≤15,在本实施例中取μ的值为10。
[0032] ⑧根据Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的局部感知预测特征向量、第一局部亮度感知特征向量、第二局部亮度感知特征向量以及Idis的全局亮度感知特征向量,获取Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的张量域感知特征向量,将Idis中与 位置对应且尺寸大小相同的区域的张量域感知特征向量记为Fi, 其中,Fi的维数为1×(L+5)。
[0033] ⑨选取K幅失真高动态范围图像构成训练库;然后按照步骤①至步骤⑧的过程,以相同的方式获取训练库中的每幅失真高动态范围图像中的m×n个互不重叠的尺寸大小为的区域各自的张量域感知特征向量;再将训练库中的每幅失真高动态范围图像的主观评价分数(Mean Opinion Score,MOS)作为标签,将训练库中的每幅失真高动态范围图像中的m×n个互不重叠的尺寸大小为 的区域各自的张量域感知特征向量作
为输入样本,采用现有的支持向量回归(Support VectorRegression,SVR)技术进行训练,训练得到支持向量回归训练模型;其中,K≥30,在本实施例中直接从常用的高动态范围图像数据库中选取80%的失真高动态范围图像构成训练库,设定训练库中的每幅失真高动态范围图像的宽度也为W、高度也为H,在实际操作时训练库中的失真高动态范围图像的宽度和高度与Idis的宽度和高度可能一致或不一致。
[0034] ⑩将Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的张量域感知特征向量作为输入参数,输入到支持向量回归训练模型中,输出Idis中与Gdis1中的每个图像块位置对应且尺寸大小相同的区域的客观质量评价值,将Idis中与 位置对应且尺寸大小相同的区域的客观质量评价值记为qualityi;再获取Idis的客观质量评价值,记为qualitydis, 在本实施例中,将用于构建步骤⑨中的训练库的高动态范围图像数据库中除去训练库中的失真高动态范围图像后剩下的所有失真高动态范围图像构成测试库,Idis从测试库中选取。
[0035] 为了进一步说明本发明方法的可行性和有效性,进行实验。
[0036] 在本实施例中,选取两个公开的权威高动态范围图像数据库进行实验,分别为Nantes高动态范围图像数据库、EPFL高动态范围图像数据库。表1中详细说明了每个高动态范围图像数据库的各项指标,包括参考图像数量、失真图像数量、失真类型、主观评价分数范围。
[0037] 表1权威高动态范围图像数据库的各项指标
[0038]
[0039] 接下来,为了说明本发明方法的准确性和一致性,将从现有的VQEG建议的SROCC(Spearman Rank Order Correlation Coefficient)、PLCC(Pearson Linear Correlation Coefficient)、RMSE(Root Mean Square Error)三个指标进行评估比较。SROCC用于评价预测模型的单调性,取值范围在0~1之间,越接近1表示评价方法的单调性越好,反之单调性越差;PLCC用于评价预测模型的准确性,取值范围在0~1之间,越接近1表示评价方法预测越准确,反之预测误差越大;RMSE用于评价预测模型的一致性,值越小表示评价方法的误差越小,性能更优。
[0040] 分别选取上述Nantes高动态范围图像数据库和EPFL高动态范围图像数据库中的80%的失真高动态范围图像构成训练库,剩余20%的失真高动态范围图像构成测试库,分别按本发明方法的步骤①至步骤⑩的过程,采用相同的方式计算得到测试库中的每幅失真高动态范围图像的客观质量评价值。对实验得到的失真高动态范围图像的客观质量评价值与主观评价分数之间的相关性指标进行分析:首先获取失真高动态范围图像的客观质量评价值;然后将客观质量评价值使用现有的五参数Logistic函数进行非线性拟合,得到拟合后的客观评价结果;最后结合拟合后的客观评价结果与主观评价分数得到预测性能指标值。
[0041] 为了验证本发明方法的有效性和优越性,对本发明方法与现有的性能较为先进的四种高动态范围图像质量客观评价方法在表1列出的两个高动态范围图像数据库上的预测性能进行比较分析,预测性能指标如表2所列。表2中参与比较的四种方法分别为:基于传统的低动态范围图像质量评价的PSNR方法(简称:PU-PSNR),该方法对失真高动态范围图像先进行PU编码运算,再计算其PSNR;基于传统的低动态范围图像质量评价的SSIM方法(简称:PU-SSIM),该方法对失真高动态范围图像先进行PU编码运算,再计算其SSIM;Mantiuk等人提出的经典的HDR图像质量评价方法HDR-VDP-2;Narwaria等人提出的用于HDR视频质量评价的方法HDR-VQM。这些对比方法都是全参考的评价方法,目前,学术界对无参考的评价方法的研究还比较缺乏。其中只有HDR-VDP-2和HDR-VQM是针对高动态范围内容质量评价设计的,其余方法均为基于典型的低动态范围图像质量评价的方法。由表2中所列的数据可见:
本发明方法在Nantes高动态范围图像数据库上表现最优,SROCC和PLCC分别达到了0.9399和0.9502;在NFPL高动态范围图像数据库上也具有较好的预测性能,SROCC和PLCC分别达到了0.9356和0.9471,接近于全参考评价方法HDR-VDP-2的0.9564和0.9604。因此,在两个高动态范围图像数据库上按本发明方法计算得到的失真高动态范围图像的客观质量评价值与主观评价分数之间都有很好的一致性,表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,并且评价效果稳定,充分说明了本发明方法的有效性。
[0042] 表2本发明方法与现有的性能较为先进的四种高动态范围图像质量客观评价方法的性能比较
[0043]
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈