首页 / 专利库 / 显示技术 / 立体像对 / 一种基于机器学习的立体图像视觉舒适度评价方法

一种基于机器学习的立体图像视觉舒适度评价方法

阅读:253发布:2024-02-14

专利汇可以提供一种基于机器学习的立体图像视觉舒适度评价方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 机器学习 的立体图像视觉舒适度评价方法,其首先通过右视点图像的显著图和右 视差 图像提取出立体图像的视觉重要区域掩膜,然后利用视觉重要区域掩膜提取出用于反映视差幅度特征、视差梯度特征的特征矢量及用于反映空间 频率 特征的特征矢量,得到立体图像的特征矢量,再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练,最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试,得到每幅立体图像的视觉舒适度评价预测值,优点是获得的立体图像的特征矢量信息具有较强的 稳定性 且能够较好地反映立体图像的视觉舒适度变化情况,从而有效地提高了客观评价情况与主观 感知 的相关性。,下面是一种基于机器学习的立体图像视觉舒适度评价方法专利的具体信息内容。

1.一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于包括以下步骤:
①将待评价的立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},将待评价的立体图像的右视差图像记为{dR(x,y)},其中,此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度,H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值;
②提取出{IR(x,y)}的显著图;然后根据{IR(x,y)}的显著图和{dR(x,y)},获取{IR(x,y)}的视觉显著图;再将{IR(x,y)}的视觉显著图划分为视觉重要区域和非视觉重要区域;最后根据{IR(x,y)}的视觉显著图的视觉重要区域和非视觉重要区域,获取待评价的立体图像的视觉重要区域掩膜,记为{M(x,y)},其中,M(x,y)表示{M(x,y)}中坐标位置为(x,y)的像素点的像素值;
③根据{dR(x,y)}和{M(x,y)},获取{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差均值μ、视差方差δ、最大负视差 视差范围χ, 的值为{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值,χ=dmax-dmin,dmax表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最大的1%像素点的视差均值,dmin表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值,然后将μ、δ、 和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量,记为F1,
④通过计算{dR(x,y)}的视差梯度幅值图像和视差梯度方向图像,计算{dR(x,y)}的视差梯度边缘图像;然后根据{dR(x,y)}的视差梯度边缘图像和{M(x,y)},计算{dR(x,y)}的视差梯度边缘图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值ψ;最后将ψ作为用于反映{dR(x,y)}的视差梯度特征的特征矢量,记为F2;
⑤获取{IR(x,y)}的空间频率图像;然后根据{IR(x,y)}的空间频率图像和{M(x,y)},获取{IR(x,y)}的空间频率图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率均值ν、空间频率方差ρ、空间频率范围 空间频率敏感因子τ;再将ν、ρ、 和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量,记为F3,
所述的步骤⑤的具体过程为:
⑤ -1、 计 算 {IR(x,y)} 的 空 间 频 率 图 像, 记 为 {SF(x,y)}, 将{SF(x,y)}中 坐 标 位 置 为 (x,y)的 像 素 点 的 空 间 频 率 值 记 为 SF(x,y),其 中 , H F ( x , y ) 表
示 {IR(x,y)} 中 坐 标 位 置 为 (x,y) 的 像 素 点 的 平 方 向 频 率 值,V F ( x , y ) 表
示 {IR(x,y)} 中 坐 标 位 置 为 (x,y) 的 像 素 点 的 垂 直 方 向 频 率 值,DF(x,y)表示{IR(x,y)}中坐
标位置为(x,y)的像素点的对方向频率值,
IR(x+m,y+n)表示{IR(x,y)}中坐标位 置为(x+m,y+n)的像素点的像素 值,IR(x+m,y+n-1)表示{IR(x,y)}中坐标位置 为(x+m,y+n-1)的像素点的像素 值,IR(x+m-1,y+n)表示{IR(x,y)}中坐标位置 为(x+m-1,y+n)的像素点的像素 值,IR(x+m-1,y+n-1)表示{IR(x,y)}中坐标位置为(x+m-1,y+n-1)的像素点的像素值,IR(x+m+1,y+n-1)表示{IR(x,y)}中坐标位置为(x+m+1,y+n-1)的像素点的像素值,如果x+m<1,则IR(x+m,y+n)的值由IR(1,y+n)的值替代,IR(x+m,y+n-1)的值由IR(1,y+n-1)的值替代;如果x+m-1<1,则IR(x+m-1,y+n)的值由IR(1,y+n)的值替代,IR(x+m-1,y+n-1)的值由IR(1,y+n-1)的值替代;如果x+m>W,则IR(x+m,y+n)的值由IR(W,y+n)的值替代,IR(x+m,y+n-1)的值由IR(W,y+n-1)的值替代;如果x+m+1>W,则IR(x+m+1,y+n-1)的值由IR(W,y+n-1)的值替代;如果y+n<1,则IR(x+m,y+n)的值由IR(x+m,1)的值替代,IR(x+m-1,y+n)的值由IR(x+m-1,1)的值替代;如果y+n-1<1,则IR(x+m,y+n-1)的值由IR(x+m,1)的值替代,IR(x+m-1,y+n-1)的值由IR(x+m-1,1)的值替代,IR(x+m+1,y+n-1)的值由IR(x+m+1,1)的值替代;如果y+n>H,则IR(x+m,y+n)的值由IR(x+m,H)的值替代,IR(x+m-1,y+n)的值由IR(x+m-1,H)的值替代;
⑤-2、根 据 {SF(x,y)}和 {M(x,y)},计 算 {SF(x,y)}中 与 {IR(x,y)} 的 视 觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率均值,记为ν,其中,Ω表示图像域范围;
⑤-3、根据{SF(x,y)}和{M(x,y)}及ν,计 算{SF(x,y)}中与{IR(x,y)}的 视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率方差,记为ρ,⑤-4、计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率范围,记为 其中,SFmax表示{SF(x,y)}中与
{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最大的1%像素点的空间频率均值,SFmin表示{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最小的1%像素点的空间频率均值;
⑤-5、计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率敏感因子,记为τ,τ=ν/μ;
⑤-6、将ν、ρ、 和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量,记为F3, F3的维数为4;
⑥将F1、F2及F3构成一个新的特征矢量,记为X,X=[F1,F2,F3],然后将X作为待评价的立体图像的特征矢量,其中,符号“[]”为矢量表示符号,[F1,F2,F3]表示将F1、F2和F3连接起来形成一个新的特征矢量;
⑦采用n副不同的立体图像以及对应的右视差图像建立立体图像集合,利用主观质量评价方法分别计算立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值,记为MOS,其中,n≥1,MOS∈[1,5];然后按照步骤①至步骤⑥计算待评价的立体图像的特征矢量X的操作,以相同的方式分别计算立体图像集合中的每幅立体图像的特征矢量,将立体图像集合中的第i幅立体图像的特征矢量记为Xi,其中,1≤i≤n,n表示立体图像集合中包含的立体图像的幅数;
⑧将立体图像集合中的所有立体图像分成训练集和测试集,将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt,接着利用wopt和bopt构造得到支持向量回归训练模型,再根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'),其中,f()为函数表示形式,Xk'表示测试样本数据集合中的第
opt T opt
k'幅立体图像的特征矢量,(w ) 为w 的转置矩阵, 表示测试样本数据集合中的第k'幅立体图像的线性函数,1≤k'≤n-t,t表示训练集中包含的立体图像的幅数;之后通过重新分配训练集和测试集,重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,经过N次迭代后计算立体图像中的每幅立体图像的客观视觉舒适度评价预测值的平均值,并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度预测值,其中,N的值取大于100。
2.根据权利要求1所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤②的具体过程为:
②-1、采用基于图论的视觉显著性模型提取出{IR(x,y)}的显著图,记为{SMR(x,y)},其中,SMR(x,y)表示{SMR(x,y)}中坐标位置为(x,y)的像素点的像素值;
②-2、根 据 {SMR(x,y)}和 {dR(x,y)},获 取{IR(x,y)} 的 视 觉 显 著 图,记 为{DR(x,y)},将{DR(x,y)}中坐标位置为(x,y)的像素点的像素值记为DR(x,y),其中, 表示SMR(x,y)的权重, 表示dR(x,y)的
权重,
②-3、根据{DR(x,y)}中的每个像素点的像素值,将{DR(x,y)}划分为视觉重要区域和非视觉重要区域,{DR(x,y)}的视觉重要区域中的每个像素点的像素值大于自适应阈值T1,{DR(x,y)}的非视觉重要区域中的每个像素点的像素值小于或等于自适应阈值T1,其中,T1为利用大津法对{DR(x,y)}进行处理得到的阈值;
②-4、根据{DR(x,y)}的视觉重要区域和非视觉重要区域,获取待评价的立体图像的视觉重要区域掩膜,记为{M(x,y)},将{M(x,y)}中坐标位置为(x,y)的像素点的像素值记为M(x,y),
3.根据权利要求2所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤②-2中取
4.根据权利要求1至3中任一项所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤③的具体过程为:
③ -1、根 据 {dR(x,y)} 和 {M(x,y)},计 算 {dR(x,y)} 中 与 {IR(x,y)} 的 视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差均值,记为μ,其中,Ω表示图像域范围;
③ -2、根 据 {dR(x,y)}和 {M(x,y)} 及 μ,计 算{dR(x,y)} 中 与{IR(x,y)} 的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差方差,记为δ,③-3、计算{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的最大负视差,记为 其中, 的值为{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值;
③-4、计算{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差范围,记为χ,χ=dmax-dmin,其中,dmax表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最大的1%像素点的视差均值,dmin表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值;
③-5、将μ、δ、 和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量,记为F1, F1的维数为4。
5.根据权利要求4所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤④的具体过程为:
④-1、计算{dR(x,y)}的视差梯度幅值图像,记为{m(x,y)},将{m(x,y)}中坐标位置为(x,y)的像素点的梯度幅值记为m(x,y), 其中,Gx(x,y)
表示{m(x,y)}中坐标位置为(x,y)的像素点的水平梯度值,Gy(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值;
④-2、计算{dR(x,y)}的视差梯度方向图像,记为{θ(x,y)},将{θ(x,y)}中坐标位置为(x,y)的像素点的梯度方向值记为θ(x,y),θ(x,y)=arctan(Gy(x,y)/Gx(x,y)),其中,arctan()为取反正切函数;
④-3、根 据{m(x,y)}和{θ(x,y)},计 算{dR(x,y)}的 视差 梯度边 缘图 像,记为{E(x,y)},将{E(x,y)}中坐标位置为p的像素点的梯度边缘值记为E(p),其中,Gs(||p-q||)表示标准差为σs的高
斯函数, ||p-q||表示坐标位置p和坐标位置q之间的欧氏
距离,符号“||||”为求欧氏距离符号, 表示标准差为σo的高斯函数,表示 与 之间的欧氏距离,
θ(p)表示{θ(x,y)}中坐
标位置为p的像素点的梯度方向值,θ(q)表示{θ(x,y)}中坐标位置为q的像素点的梯度方向值, m(q)表示{m(x,y)}中坐标位置为q的像素点的梯
度幅值,m(q')表示{m(x,y)}中坐标位置为q'的像素点的梯度幅值,εg为控制参数,符号“[]”为矢量表示符号,exp()表示以e为底的指数函数,e=2.71828183, 表示以坐标位置为p的像素点为中心的邻域窗口, 表示以坐标位置为q的像素点为中心的邻域窗口;
④-4、根据{E(x,y)}和{M(x,y)},计算{E(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值,记为ψ,
其中,Ω表示图像域范围,E(x,y)表示{E(x,y)}中坐标位置为(x,y)的像素点的梯度边缘值;
④-5、将ψ作为用于反映{dR(x,y)}的视差梯度特征的特征矢量,记为F2,F2的维数为
1。
6.根据权利要求5所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤④-3中取σs=0.4,σo=0.4,εg=0.5。
7.根据权利要求6所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤④-3中 的大小为3×3, 的大小为3×3。
8.根据权利要求1所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤⑧的具体过程为:
⑧-1、随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像集合中剩余的n-t幅立体图像构成测试集,其中,符号 为向上取整符号;
⑧-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,记为Ωt,{Xk,MOSk}∈Ωt,其中,Xk表示训练样本数据集合Ωt中的第k幅立体图像的特征矢量,MOSk表示训练样本数据集合Ωt中的第k幅立体图像的平均主观评分均值,
1≤k≤t;
⑧-3、构造训练样本数据集合Ωt中的每幅立体图像的特征矢量的回归函数,将Xk的回归函数记为f(Xk), 其中,f()为函数表示形式,w为权重矢量,wT为
w的转置矩阵,b为偏置项, 表示Xk的线性函数, D(Xk,Xl)为支
持向量回归中的核函数, Xl为训练样本数据集合Ωt中的第
l幅立体图像的特征矢量,1≤l≤t,γ为核参数,exp()表示以e为底的指数函数,e=
2.71828183,符号“||||”为求欧式距离符号;
⑧-4、采用支持向量回归对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得到最opt opt opt opt
优的权重矢量w 和最优的偏置项b ,将最优的权重矢量w 和最优的偏置项b 的组合opt opt opt
记为(w ,b ), 利用得到的最优的权重矢量w
opt
和最优的偏置项b 构造支持向量回归训练模型,记为 其中,
Ψ表示对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合, 表示使得 最小的w
opt T opt
和b的值,Xinp表示支持向量回归训练模型的输入矢量,(w ) 为w 的转置矩阵,表示支持向量回归训练模型的输入矢量Xinp的线性函数;
⑧-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'), 其中,Xk'表示测试样本数据集合中的第k'幅
立体图像的特征矢量, 表示测试样本数据集合中的第k'幅立体图像的线性函数,
1≤k'≤n-t;
⑧-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像集合中剩余的n-t幅立体图像构成测试集,然后返回步骤⑧-2继续执行,在经过N次迭代后,计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值,再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值,其中,N的值取大于100。
9.根据权利要求8所述的一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于所述的步骤⑧-3中取γ=54。

说明书全文

一种基于机器学习的立体图像视觉舒适度评价方法

技术领域

[0001] 本发明涉及一种图像质量评价方法,尤其是涉及一种基于机器学习的立体图像视觉舒适度评价方法。

背景技术

[0002] 随着立体视频显示技术和高质量立体视频内容获取技术的快速发展,立体视频的视觉体验质量(QoE,quality of experience)是立体视频系统设计中的一个重要问题,而视觉舒适度(VC,visual comfort)是影响立体视频的QoE的重要因素。目前,对立体视频/图像的质量评价研究主要考虑内容失真对于图像质量的影响,而很少考虑视觉舒适度等因素的影响。因此,为了提高观看者的视觉体验质量,研究立体视频/图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。
[0003] 传统的立体图像视觉舒适度评价方法主要采用全局的视差统计特性来预测视觉舒适度。然而,根据人眼立体视觉注意特性,人眼只对部分视觉重要区域的视觉舒适/不舒适比较敏感,如果以此全局的视差统计特征来预测视觉重要区域的视觉舒适程度,会导致无法精确预测得到客观评价值。因此,如何在评价过程中有效地根据视觉重要区域来提取出视觉舒适度特征,使得客观评价结果更加感觉符合人类视觉系统,是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。

发明内容

[0004] 本发明所要解决的技术问题是提供一种基于机器学习的立体图像视觉舒适度评价方法,其能够有效地提高客观评价结果与主观感知的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种基于机器学习的立体图像视觉舒适度评价方法,其特征在于包括以下步骤:
[0006] ①将待评价的立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},将待评价的立体图像的右视差图像记为{dR(x,y)},其中,此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度,H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值;
[0007] ②提取出{IR(x,y)}的显著图;然后根据{IR(x,y)}的显著图和{dR(x,y)},获取{IR(x,y)}的视觉显著图;再将{IR(x,y)}的视觉显著图划分为视觉重要区域和非视觉重要区域;最后根据{IR(x,y)}的视觉显著图的视觉重要区域和非视觉重要区域,获取待评价的立体图像的视觉重要区域掩膜,记为{M(x,y)},其中,M(x,y)表示{M(x,y)}中坐标位置为(x,y)的像素点的像素值;
[0008] ③根据{dR(x,y)}和{M(x,y)},获取{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差均值μ、视差方差δ、最大负视差θ、视差范围χ,然后将μ、δ、θ和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量,记为F1,F1=(μ,δ,θ,χ);
[0009] ④通过计算{dR(x,y)}的视差梯度幅值图像和视差梯度方向图像,计算{dR(x,y)}的视差梯度边缘图像;然后根据{dR(x,y)}的视差梯度边缘图像和{M(x,y)},计算{dR(x,y)}的视差梯度边缘图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值ψ;最后将ψ作为用于反映{dR(x,y)}的视差梯度特征的特征矢量,记为F2;
[0010] ⑤获取{IR(x,y)}的空间频率图像;然后根据{IR(x,y)}的空间频率图像和{M(x,y)},获取{IR(x,y)}的空间频率图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率均值ν、空间频率方差ρ、空间频率范围ζ、空间频率敏感因子τ;再将ν、ρ、ζ和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量,记为F3,F3=(ν,ρ,ζ,τ);
[0011] ⑥将F1、F2及F3构成一个新的特征矢量,记为X,X=[F1,F2,F3],然后将X作为待评价的立体图像的特征矢量,其中,符号“[]”为矢量表示符号,[F1,F2,F3]表示将F1、F2和F3连接起来形成一个新的特征矢量;
[0012] ⑦采用n副不同的立体图像以及对应的右视差图像建立立体图像集合,利用主观质量评价方法分别计算立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值,记为MOS,其中,n≥1,MOS∈[1,5];然后按照步骤①至步骤⑥计算待评价的立体图像的特征矢量X的操作,以相同的方式分别计算立体图像集合中的每幅立体图像的特征矢量,将立体图像集合中的第i幅立体图像的特征矢量记为Xi,其中,1≤i≤n,n表示立体图像集合中包含的立体图像的幅数;
[0013] ⑧将立体图像集合中的所有立体图像分成训练集和测试集,将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得到最优的权重opt opt opt opt矢量w 和最优的偏置项b ,接着利用w 和b 构造得到支持向量回归训练模型,再根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'),其中,f()为函数表示形式,Xk'表示测试样本数据集合中的第
k'幅立体图像的特征矢量,(wopt)T为wopt的转置矩阵, 表示测试样本数据集合中的第k'幅立体图像的线性函数,1≤k'≤n-t,t表示训练集中包含的立体图像的幅数;之后通过重新分配训练集和测试集,重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,经过N次迭代后计算立体图像中的每幅立体图像的客观视觉舒适度评价预测值的平均值,并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度预测值,其中,N的值取大于100。
[0014] 所述的步骤②的具体过程为:
[0015] ②-1、采用基于图论的视觉显著性模型提取出{IR(x,y)}的显著图,记为{SMR(x,y)},其中,SMR(x,y)表示{SMR(x,y)}中坐标位置为(x,y)的像素点的像素值;
[0016] ②-2、根 据{SMR(x,y)}和{dR(x,y)},获取 {IR(x,y)}的 视觉 显著 图,记为{DR(x,y)},将{DR(x,y)}中坐标位置为(x,y)的像素点的像素值记为DR(x,y),其中, 表示SMR(x,y)的权重, 表示dR(x,y)的权重,
[0017] ②-3、根据{DR(x,y)}中的每个像素点的像素值,将{DR(x,y)}划分为视觉重要区域和非视觉重要区域,{DR(x,y)}的视觉重要区域中的每个像素点的像素值大于自适应阈值T1,{DR(x,y)}的非视觉重要区域中的每个像素点的像素值小于或等于自适应阈值T1,其中,T1为利用大津法对{DR(x,y)}进行处理得到的阈值;
[0018] ②-4、根据{DR(x,y)}的视觉重要区域和非视觉重要区域,获取待评价的立体图像的视觉重要区域掩膜,记为{M(x,y)},将{M(x,y)}中坐标位置为(x,y)的像素点的像素值记为M(x,y),
[0019] 所述的步骤②-2中取 。
[0020] 所述的步骤③的具体过程为:
[0021] ③ -1、根 据 {dR(x,y)} 和 {M(x,y)},计 算 {dR(x,y)} 中 与 {IR(x,y)} 的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差均值,记为μ,其中,Ω表示图像域范围;
[0022] ③-2、根 据 {dR(x,y)} 和{M(x,y)} 及μ,计 算 {dR(x,y)} 中 与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差方差,记为δ,[0023] ③-3、计算{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的最大负视差,记为θ,其中,θ的值为{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值;
[0024] ③-4、计算{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差范围,记为χ,χ=dmax-dmin,其中,dmax表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最大的1%像素点的视差均值,dmin表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值;
[0025] ③-5、将μ、δ、θ和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量,记为F1,F1=(μ,δ,θ,χ),F1的维数为4。
[0026] 所述的步骤④的具体过程为:
[0027] ④-1、计算{dR(x,y)}的视差梯度幅值图像,记为{m(x,y)},将{m(x,y)}中坐标位置为(x,y)的像素点的梯度幅值记为m(x,y), 其中,Gx(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的平梯度值,Gy(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值;
[0028] ④-2、计算{dR(x,y)}的视差梯度方向图像,记为{θ(x,y)},将{θ(x,y)}中坐标位置为(x,y)的像素点的梯度方向值记为θ(x,y),θ(x,y)=arctan(Gy(x,y)/Gx(x,y)),其中,arctan()为取反正切函数;
[0029] ④-3、根据{m(x,y)}和{θ(x,y)},计算{dR(x,y)}的视差梯度边缘图像,记为{E(x,y)},将{E(x,y)}中坐标位置为p的像素点的梯度边缘值记为E(p),
[0030] 其中,Gs(||p-q||)表示标准差为σs的高斯函数, p-q表示坐标位置p和坐标位置q之间的欧
氏距离,符号“|| ||”为求欧氏距离符号, 表示标准差为σo的高斯函数,表示 与 之间的欧氏距离,
θ(p)表示{θ(x,y)}中坐标
位置为p的像素点的梯度方向值,θ(q)表示{θ(x,y)}中坐标位置为q的像素点的梯度方向值, m(q)表示{m(x,y)}中坐标位置为q的像素点的梯度幅
值,m(q')表示{m(x,y)}中坐标位置为q'的像素点的梯度幅值,εg为控制参数,符号“[]”为矢量表示符号,exp()表示以e为底的指数函数,e=2.71828183, 表示以坐标位置为p的像素点为中心的邻域窗口, 表示以坐标位置为q的像素点为中心的邻域窗口;
[0031] ④ -4、根 据 {E(x,y)} 和 {M(x,y)},计 算 {E(x,y)} 中 与 {IR(x,y)} 的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值,记为ψ,其中,Ω表示图像域范围,E(x,y)表示{E(x,y)}中坐标位置为(x,y)的像素点的梯度边缘值;
[0032] ④-5、将ψ作为用于反映{dR(x,y)}的视差梯度特征的特征矢量,记为F2,F2的维数为1。
[0033] 所述的步骤④-3中取σs=0.4,σo=0.4,εg=0.5。
[0034] 所述的步骤④-3中 的大小为3×3, 的大小为3×3。
[0035] 所述的步骤⑤的具体过程为:
[0036] ⑤ -1、 计 算 {IR(x,y)} 的 空 间 频 率 图 像, 记 为 {SF(x,y)},将{SF(x,y)}中 坐 标 位 置 为 (x,y)的 像 素 点 的 空 间 频 率 值 记 为 SF(x,y),其 中 , H F ( x , y ) 表示 {IR(x,y)} 中 坐 标 位 置 为 (x,y) 的 像 素 点 的 水 平 方 向 频 率 值,V F ( x , y ) 表
示 {IR(x,y)} 中 坐 标 位 置 为 (x,y) 的 像 素 点 的 垂 直 方 向 频 率 值,DF(x,y)表示{IR(x,y)}中
坐标位置为(x,y)的像素点的对方向频率值,
IR(x+m,y+n)表示{IR(x,y)}中坐标位置为(x+m,y+n)的像素点的像素值,IR(x+m,y+n-1)表示{IR(x,y)}中坐标位置为(x+m,y+n-1)的像素点的像素值,IR(x+m-1,y+n)表示{IR(x,y)}中坐标位置为(x+m-1,y+n)的像素点的像素值,IR(x+m-1,y+n-1)表示{IR(x,y)}中坐标位置为(x+m-1,y+n-1)的像素点的像素值,IR(x+m+1,y+n-1)表示{IR(x,y)}中坐标位置为(x+m+1,y+n-1)的像素点的像素值,如果x+m<1,则IR(x+m,y+n)的值由IR(1,y+n)的值替代,IR(x+m,y+n-1)的值由IR(1,y+n-1)的值替代;如果x+m-1<1,则IR(x+m-1,y+n)的值由IR(1,y+n)的值替代,IR(x+m-1,y+n-1)的值由IR(1,y+n-1)的值替代;如果x+m>W,则IR(x+m,y+n)的值由IR(W,y+n)的值替代,IR(x+m,y+n-1)的值由IR(W,y+n-1)的值替代;如果x+m+1>W,则IR(x+m+1,y+n-1)的值由IR(W,y+n-1)的值替代;如果y+n<1,则IR(x+m,y+n)的值由IR(x+m,1)的值替代,IR(x+m-1,y+n)的值由IR(x+m-1,1)的值替代;如果y+n-1<1,则IR(x+m,y+n-1)的值由IR(x+m,1)的值替代,IR(x+m-1,y+n-1)的值由IR(x+m-1,1)的值替代,IR(x+m+1,y+n-1)的值由IR(x+m+1,1)的值替代;如果y+n>H,则IR(x+m,y+n)的值由IR(x+m,H)的值替代,IR(x+m-1,y+n)的值由IR(x+m-1,H)的值替代;
[0037] ⑤-2、根 据 {SF(x,y)}和{M(x,y)},计 算{SF(x,y)}中 与 {IR(x,y)}的 视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率均值,记为ν,其中,Ω表示图像域范围;
[0038] ⑤-3、根据{SF(x,y)}和{M(x,y)}及ν,计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率方差,记为ρ,[0039] ⑤-4、计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率范围,记为ζ,ζ=SFmax-SFmin,其中,SFmax表示{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最大的1%像素点的空间频率均值,SFmin表示{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最小的1%像素点的空间频率均值;
[0040] ⑤-5、计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率敏感因子,记为τ,τ=ν/μ;
[0041] ⑤-6、将ν、ρ、ζ和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量,记为F3,F3=(ν,ρ,ζ,τ),F3的维数为4。
[0042] 所述的步骤⑧的具体过程为:
[0043] ⑧-1、随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像集合中剩余的n-t幅立体图像构成测试集,其中,符号 为向上取整符号;
[0044] ⑧-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,记为Ωt,{Xk,MOSk}∈Ωt,其中,Xk表示训练样本数据集合Ωt中的第k幅立体图像的特征矢量,MOSk表示训练样本数据集合Ωt中的第k幅立体图像的平均主观评分均值,1≤k≤t;
[0045] ⑧-3、构造训练样本数据集合Ωt中的每幅立体图像的特征矢量的回归函数,将XkT的回归函数记为f(Xk), 其中,f()为函数表示形式,w为权重矢量,w
为w的转置矩阵,b为偏置项, 表示Xk的线性函数, D(Xk,Xl)为
支持向量回归中的核函数, Xl为训练样本数据集合Ωt中的
第l幅立体图像的特征矢量,1≤l≤t,γ为核参数,exp()表示以e为底的指数函数,e=2.71828183,符号“|| ||”为求欧式距离符号;
[0046] ⑧-4、采用支持向量回归对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得到最优的权重矢量wopt和最优的偏置项bopt,将最优的权重矢量wopt和最优的偏置项bopt的opt opt组合记为(w ,b ), 利用得到的最优的权重矢量
opt opt
w 和最优的偏置项b 构造支持向量回归训练模型,记为 其
中,Ψ表示对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合, 表示使得 最
opt T opt
小的w和b的值,Xinp表示支持向量回归训练模型的输入矢量,(w ) 为w 的转置矩阵,表示支持向量回归训练模型的输入矢量Xinp的线性函数;
[0047] ⑧-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'), 其中,Xk'表示测试样本数据集合中的第k'幅立体图像的特征矢量, 表示测试样本数据集合中的第k'幅立体图像的线性函数,
1≤k'≤n-t;
[0048] ⑧-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像集合中剩余的n-t幅立体图像构成测试集,然后返回步骤⑧-2继续执行,在经过N次迭代后,计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值,再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值,其中,N的值取大于100。
[0049] 所述的步骤⑧-3中取γ=54。
[0050] 与现有技术相比,本发明的优点在于:
[0051] 1)本发明方法考虑到视觉重要区域对视觉舒适度的影响,因此根据立体图像的右视点图像的显著图和立体图像的右视差图像提取出立体图像的视觉重要区域掩膜,然后根据视觉重要区域掩膜只对视觉重要区域进行评价,从而有效地提高了客观评价结果与主观感知的相关性。
[0052] 2)本发明方法根据用于反映立体图像的右视差图像的视差幅度特征的特征矢量、用于反映立体图像的右视差图像的视差梯度特征的特征矢量、用于反映立体图像的右视点图像的空间频率特征的特征矢量,得到立体图像的特征矢量,然后利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练,计算得到立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值,由于获得的立体图像的特征矢量信息具有较强的稳定性且能够较好地反映立体图像的视觉舒适度变化情况,因此有效地提高了客观评价情况与主观感知的相关性。附图说明
[0053] 图1为本发明方法的总体实现框图
[0054] 图2a为“camera”的右视点图像;
[0055] 图2b为“camera”的右视差图像;
[0056] 图2c为“camera”的右视点图像的显著图;
[0057] 图2d为“camera”的右视点图像的视觉显著图;
[0058] 图2e为“camera”的视觉重要区域掩模;
[0059] 图3a为“cup”的右视点图像;
[0060] 图3b为“cup”的右视差图像;
[0061] 图3c为“cup”的右视点图像的显著图;
[0062] 图3d为“cup”的右视点图像的视觉显著图;
[0063] 图3e为“cup”的视觉重要区域掩模;
[0064] 图4a为“infant”的右视点图像;
[0065] 图4b为“infant”的右视差图像;
[0066] 图4c为“infant”的右视点图像的显著图;
[0067] 图4d为“infant”的右视点图像的视觉显著图;
[0068] 图4e为“infant”的视觉重要区域掩模;
[0069] 图5为根据F1和F2两个特征矢量获得的客观视觉舒适度评价预测值与平均主观评分均值的散点图;
[0070] 图6为根据F1和F3两个特征矢量获得的客观视觉舒适度评价预测值与平均主观评分均值的散点图;
[0071] 图7为根据F2和F3两个特征矢量获得的客观视觉舒适度评价预测值与平均主观评分均值的散点图;
[0072] 图8为根据F1、F2和F3三个特征矢量获得的客观视觉舒适度评价预测值与平均主观评分均值的散点图。

具体实施方式

[0073] 以下结合附图实施例对本发明作进一步详细描述。
[0074] 本发明提出的一种基于机器学习的立体图像视觉舒适度评价方法,其总体实现框图如图1所示,其包括以下步骤:
[0075] ①将待评价的立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},将待评价的立体图像的右视差图像记为{dR(x,y)},其中,此处(x,y)表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的宽度,H表示{IL(x,y)}、{IR(x,y)}和{dR(x,y)}的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值,dR(x,y)表示{dR(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0076] ②提取出{IR(x,y)}的显著图;然后根据{IR(x,y)}的显著图和{dR(x,y)},获取{IR(x,y)}的视觉显著图;再将{IR(x,y)}的视觉显著图划分为视觉重要区域和非视觉重要区域;最后根据{IR(x,y)}的视觉显著图的视觉重要区域和非视觉重要区域,获取待评价的立体图像的视觉重要区域掩膜,记为{M(x,y)},其中,M(x,y)表示{M(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0077] 在此具体实施例中,步骤②的具体过程为:
[0078] ②-1、采用基于图论的视觉显著性(Graph-based Visual Saliency,GBVS)模型提取出{IR(x,y)}的显著图,记为{SMR(x,y)},其中,SMR(x,y)表示{SMR(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0079] ②-2、根 据{SMR(x,y)}和{dR(x,y)},获取 {IR(x,y)}的 视觉 显著 图,记为{DR(x,y)},将{DR(x,y)}中坐标位置为(x,y)的像素点的像素值记为DR(x,y),其中, 表示SMR(x,y)的权重, 表示dR(x,y)的权重, 在此取
[0080] ②-3、根据{DR(x,y)}中的每个像素点的像素值,将{DR(x,y)}划分为视觉重要区域和非视觉重要区域,{DR(x,y)}的视觉重要区域中的每个像素点的像素值大于自适应阈值T1,{DR(x,y)}的非视觉重要区域中的每个像素点的像素值小于或等于自适应阈值T1,其中,T1为利用大津法对{DR(x,y)}进行处理得到的阈值。
[0081] ②-4、根据{DR(x,y)}的视觉重要区域和非视觉重要区域,获取待评价的立体图像的视觉重要区域掩膜,记为{M(x,y)},将{M(x,y)}中坐标位置为(x,y)的像素点的像素值记为M(x,y),
[0082] 在此,截取三组典型的立体图像来说明本发明方法中获取的待评价的立体图像的视觉重要区域掩膜的性能。图2a和图2b分别给出了“camera”的右视点图像和右视差图像,图2c给出了“camera”的右视点图像的显著图,图2d给出了“camera”的右视点图像的视觉显著图,图2e给出了“camera”的视觉重要区域掩模;图3a和图3b分别给出了“cup”的右视点图像和右视差图像,图3c给出了“cup”的右视点图像的显著图,图3d给出了“cup”的右视点图像的视觉显著图,图3e给出了“cup”的视觉重要区域掩模;图4a和图4b分别给出了“infant”的右视点图像和右视差图像,图4c给出了“infant”的右视点图像的显著图,图4d给出了“infant”的右视点图像的视觉显著图,图4e给出了“infant”的视觉重要区域掩模。从图2e、图3e和图4e可以看出,采用本发明方法得到的视觉重要区域,能够很好地反映人眼视觉舒适程度。
[0083] ③根据{dR(x,y)}和{M(x,y)},获取{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差均值μ、视差方差δ、最大负视差θ、视差范围χ,然后将μ、δ、θ和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量,记为F1,F1=(μ,δ,θ,χ)。
[0084] 在此具体实施例中,步骤③的具体过程为:
[0085] ③ -1、根 据 {dR(x,y)} 和 {M(x,y)},计 算 {dR(x,y)} 中 与 {IR(x,y)} 的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差均值,记为μ,其中,Ω表示图像域范围。
[0086] ③-2、根 据 {dR(x,y)} 和{M(x,y)} 及μ,计 算 {dR(x,y)} 中 与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的视差方差,记为δ,[0087] ③-3、计算{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的最大负视差,记为θ,其中,θ的值为{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值。
[0088] ③-4、计算{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的视差范围,记为χ,χ=dmax-dmin,其中,dmax表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最大的1%像素点的视差均值,dmin表示{dR(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内视差值最小的1%像素点的视差均值。
[0089] ③-5、将μ、δ、θ和χ按顺序进行排列构成用于反映{dR(x,y)}的视差幅度特征的特征矢量,记为F1,F1=(μ,δ,θ,χ),F1的维数为4。
[0090] ④通过计算{dR(x,y)}的视差梯度幅值图像和视差梯度方向图像,计算{dR(x,y)}的视差梯度边缘图像;然后根据{dR(x,y)}的视差梯度边缘图像和{M(x,y)},计算{dR(x,y)}的视差梯度边缘图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值ψ;最后将ψ作为用于反映{dR(x,y)}的视差梯度特征的特征矢量,记为F2。
[0091] 在此具体实施例中,步骤④的具体过程为:
[0092] ④-1、计算{dR(x,y)}的视差梯度幅值图像,记为{m(x,y)},将{m(x,y)}中坐标位置为(x,y)的像素点的梯度幅值记为m(x,y), 其中,Gx(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的水平梯度值,Gy(x,y)表示{m(x,y)}中坐标位置为(x,y)的像素点的垂直梯度值。
[0093] ④-2、计算{dR(x,y)}的视差梯度方向图像,记为{θ(x,y)},将{θ(x,y)}中坐标位置为(x,y)的像素点的梯度方向值记为θ(x,y),θ(x,y)=arctan(Gy(x,y)/Gx(x,y)),其中,arctan()为取反正切函数。
[0094] ④-3、根据{m(x,y)}和 {θ(x,y)},计算{dR(x,y)}的视差梯 度边缘 图像,记为{E(x,y)},将{E(x,y)}中坐标位置为p的像素点的梯度边缘值记为E(p),其中,Gs(||p-q||)表示标准差为σs的高斯函数,在此取σs=0.4, ||p-q||表示坐标位置p和
坐标位置q之间的欧氏距离,符号“|| ||”为求欧氏距离符号, 表示标
准差为σo的高斯函数,在此取σo=0.4,
表示 与 之间的欧氏距离,
θ(p) 表 示{θ(x,y)} 中 坐 标 位 置 为p 的 像 素 点
的梯度方向值,θ(q)表示{θ(x,y)}中坐标位置为q的像素点的梯度方向值,m(q)表示{m(x,y)}中坐标位置为q的像素点的梯度幅值,
m(q')表示{m(x,y)}中坐标位置为q'的像素点的梯度幅值,εg为控制参数,在此取εg=
0.5,符号“[]”为矢量表示符号,exp()表示以e为底的指数函数,e=2.71828183, 表示以坐标位置为p的像素点为中心的邻域窗口, 表示以坐标位置为q的像素点为中心的邻域窗口,在此 的大小为3×3, 的大小为3×3。
[0095] ④ -4、根 据 {E(x,y)} 和 {M(x,y)},计 算 {E(x,y)} 中 与 {IR(x,y)} 的视觉显著图的视觉重要区域相对应的区域内的所有像素点的梯度均值,记为ψ,其中,Ω表示图像域范围,E(x,y)表示{E(x,y)}中坐标位置为(x,y)的像素点的梯度边缘值。
[0096] ④-5、将ψ作为用于反映{dR(x,y)}的视差梯度特征的特征矢量,记为F2,F2的维数为1。
[0097] ⑤获取{IR(x,y)}的空间频率图像;然后根据{IR(x,y)}的空间频率图像和{M(x,y)},获取{IR(x,y)}的空间频率图像中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率均值ν、空间频率方差ρ、空间频率范围ζ、空间频率敏感因子τ;再将ν、ρ、ζ和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量,记为F3,F3=(ν,ρ,ζ,τ)。
[0098] 在此具体实施例中,步骤⑤的具体过程为:
[0099] ⑤ -1、 计 算 {IR(x,y)} 的 空 间 频 率 图 像, 记 为 {SF(x,y)},将{SF(x,y)}中 坐 标 位 置 为 (x,y)的 像 素 点 的 空 间 频 率 值 记 为 SF(x,y),其 中 ,H F ( x , y ) 表示 {IR(x,y)} 中 坐 标 位 置 为 (x,y) 的 像 素 点 的 水 平 方 向 频 率 值,V F ( x , y ) 表
示 {IR(x,y)} 中 坐 标 位 置 为 (x,y) 的 像 素 点 的 垂 直 方 向 频 率 值,DF(x,y)表示{IR(x,y)}中坐
标位置为(x,y)的像素点的对角方向频率值,
IR(x+m,y+n)表示{IR(x,y)}中坐标位置为(x+m,y+n)的像素点的像素值,IR(x+m,y+n-1)表示{IR(x,y)}中坐标位置为(x+m,y+n-1)的像素点的像素值,IR(x+m-1,y+n)表示{IR(x,y)}中坐标位置为(x+m-1,y+n)的像素点的像素值,IR(x+m-1,y+n-1)表示{IR(x,y)}中坐标位置为(x+m-1,y+n-1)的像素点的像素值,IR(x+m+1,y+n-1)表示{IR(x,y)}中坐标位置为(x+m+1,y+n-1)的像素点的像素值,如果x+m<1,则IR(x+m,y+n)的值由IR(1,y+n)的值替代,IR(x+m,y+n-1)的值由IR(1,y+n-1)的值替代;如果x+m-1<1,则IR(x+m-1,y+n)的值由IR(1,y+n)的值替代,IR(x+m-1,y+n-1)的值由IR(1,y+n-1)的值替代;如果x+m>W,则IR(x+m,y+n)的值由IR(W,y+n)的值替代,IR(x+m,y+n-1)的值由IR(W,y+n-1)的值替代;如果x+m+1>W,则IR(x+m+1,y+n-1)的值由IR(W,y+n-1)的值替代;如果y+n<1,则IR(x+m,y+n)的值由IR(x+m,1)的值替代,IR(x+m-1,y+n)的值由IR(x+m-1,1)的值替代;如果y+n-1<1,则IR(x+m,y+n-1)的值由IR(x+m,1)的值替代,IR(x+m-1,y+n-1)的值由IR(x+m-1,1)的值替代,IR(x+m+1,y+n-1)的值由IR(x+m+1,1)的值替代;如果y+n>H,则IR(x+m,y+n)的值由IR(x+m,H)的值替代,IR(x+m-1,y+n)的值由IR(x+m-1,H)的值替代。
[0100] ⑤-2、根 据 {SF(x,y)}和{M(x,y)},计 算{SF(x,y)}中 与 {IR(x,y)}的 视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率均值,记为ν,其中,Ω表示图像域范围。
[0101] ⑤-3、根据{SF(x,y)}和{M(x,y)}及ν,计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的所有像素点的空间频率方差,记为ρ,[0102] ⑤-4、计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率范围,记为ζ,ζ=SFmax-SFmix,其中,SFmax表示{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最大的1%像素点的空间频率均值,SFmin表示{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内空间频率值最小的1%像素点的空间频率均值。
[0103] ⑤-5、计算{SF(x,y)}中与{IR(x,y)}的视觉显著图的视觉重要区域相对应的区域内的像素点的空间频率敏感因子,记为τ,τ=ν/μ。
[0104] ⑤-6、将ν、ρ、ζ和τ按顺序进行排列构成用于反映{IR(x,y)}的空间频率特征的特征矢量,记为F3,F3=(ν,ρ,ζ,τ),F3的维数为4。
[0105] ⑥将F1、F2及F3构成一个新的特征矢量,记为X,X=[F1,F2,F3],然后将X作为待评价的立体图像的特征矢量,其中,符号“[]”为矢量表示符号,[F1,F2,F3]表示将F1、F2和F3连接起来形成一个新的特征矢量。
[0106] ⑦采用n副不同的立体图像以及对应的右视差图像建立立体图像集合,利用现有的主观质量评价方法分别计算立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值,记为MOS,其中,n≥1,MOS∈[1,5];然后按照步骤①至步骤⑥计算待评价的立体图像的特征矢量X的操作,以相同的方式分别计算立体图像集合中的每幅立体图像的特征矢量,将立体图像集合中的第i幅立体图像的特征矢量记为Xi,其中,1≤i≤n,n表示立体图像集合中包含的立体图像的幅数。
[0107] 在本实施例中,采用韩国科学技术院图像和视频系统实验室提供的立体图像数据库作为立体图像集合,该立体图像数据库包含120幅立体图像以及对应的右视差图像,该立体图像数据库包含了各种场景深度的室内和室外图像,并给出了每副立体图像的视觉舒适度的平均主观评分均值。
[0108] ⑧将立体图像集合中的所有立体图像分成训练集和测试集,将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得到最优的权重opt opt opt opt矢量w 和最优的偏置项b ,接着利用w 和b 构造得到支持向量回归训练模型,再根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'),其中,f()为函数表示形式,Xk'表示测试样本数据集合中的第k'
opt T opt
幅立体图像的特征矢量,(w ) 为w 的转置矩阵, 表示测试样本数据集合中的第k'幅立体图像的线性函数,1≤k'≤n-t,t表示训练集中包含的立体图像的幅数;之后通过重新分配训练集和测试集,重新预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,经过N次迭代后计算立体图像中的每幅立体图像的客观视觉舒适度评价预测值的平均值,并将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度预测值,其中,N的值取大于100,以保证立体图像集合中的每幅立体图像都能得到客观视觉舒适度评价预测值,在本实施例中取N=200。
[0109] 在此具体实施例中,步骤⑧的具体过程为:
[0110] ⑧-1、随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像集合中剩余的n-t幅立体图像构成测试集,其中,符号 为向上取整符号。
[0111] ⑧-2、将训练集中的所有立体图像的特征矢量和平均主观评分均值构成训练样本数据集合,记为Ωt,{Xk,MOSk}∈Ωt,其中,Xk表示训练样本数据集合Ωt中的第k幅立体图像的特征矢量,MOSk表示训练样本数据集合Ωt中的第k幅立体图像的平均主观评分均值,1≤k≤t。
[0112] ⑧-3、构造训练样本数据集合Ωt中的每幅立体图像的特征矢量的回归函数,将Xk的回归函数记为f(Xk), 其中,f()为函数表示形式,w为T
权重矢量,w 为w的转置矩阵,b为偏置项,w和b的值需要通过训练来得到,表示Xk的线性函数, D(Xk,Xl)为支持向量回归中的核函数,
Xl为训练样本数据集合Ωt中的第l幅立体图像的特征矢
量,1≤l≤t,γ为核参数,其用于反映输入样本值的范围,样本值的范围越大,γ值也就越大,在本实施例中取γ=54,exp()表示以e为底的指数函数,e=2.71828183,符号“|| ||”为求欧式距离符号。
[0113] ⑧-4、采用支持向量回归对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小,拟合得opt opt opt opt到最优的权重矢量w 和最优的偏置项b ,将最优的权重矢量w 和最优的偏置项b 的opt opt
组合记为(w ,b ), 利用得到的最优的权重矢量
opt opt
w 和最优的偏置项b 构造支持向量回归训练模型,记为 其
中,Ψ表示对训练样本数据集合Ωt中的所有立体图像的特征矢量进行训练的所有的权重矢量和偏置项的组合的集合, 表示使得 最
opt T opt
小的w和b的值,Xinp表示支持向量回归训练模型的输入矢量,(w ) 为w 的转置矩阵,表示支持向量回归训练模型的输入矢量Xinp的线性函数。
[0114] ⑧-5、将测试集中的所有立体图像的特征矢量和平均主观评分均值构成测试样本数据集合,然后根据支持向量回归训练模型,对测试样本数据集合中的每幅立体图像的特征矢量进行测试,预测得到测试样本数据集合中的每幅立体图像的客观视觉舒适度评价预测值,将测试样本数据集合中的第k'幅立体图像的客观视觉舒适度评价预测值记为Qk',Qk'=f(Xk'), 其中,Xk'表示测试样本数据集合中的第k'幅立体图像的特征矢量, 表示测试样本数据集合中的第k'幅立体图像的线性函数,
1≤k'≤n-t。
[0115] ⑧-6、再重新随机选择立体图像集合中的 幅立体图像构成训练集,将立体图像集合中剩余的n-t幅立体图像构成测试集,然后返回步骤⑧-2继续执行,在经过N次迭代后,计算立体图像集合中的每幅立体图像的客观视觉舒适度评价预测值的平均值,再将计算得到的平均值作为对应那幅立体图像的最终的客观视觉舒适度评价预测值,其中,N的值取大于100。
[0116] 在本实施例中,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、Kendall相关系数(Kendall rank-order correlation coefficient,KROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映客观评价预测值的准确性,SROCC和KROCC反映其单调性。将计算得到的120幅立体图像的视觉舒适度客观评价预测值做五参数Logistic函数非线性拟合,PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明的视觉舒适度客观评价方法的评价结果与平均主观评分均值的相关性越好。表1给出了采用不同特征矢量得到的视觉舒适度评价预测值与平均主观评分均值之间的相关性,从表1中可以看出,只采用两个特征矢量得到的视觉舒适度评价预测值与平均主观评分均值之间的相关性均不是最优的,并且由视差幅度特征构成的特征矢量对评价性能的影响比其他两个特征矢量要大,这说明了本发明方法提取的三个特征矢量是有效的,并且结合视差幅度、视差梯度和空间频率特征的特征矢量,得到的视觉舒适度评价预测值与平均主观评分均值之间的相关性更强,这足以说明本发明方法是有效的。
[0117] 图5给出了采用F1和F2两个特征矢量得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图,图6给出了采用F1和F3两个特征矢量得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图,图7给出了采用F2和F3两个特征矢量得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图,图8给出了采用F1、F2和F3三个特征矢量得到的客观视觉舒适度评价预测值与平均主观评分均值的散点图,散点图中的散点越集中,说明客观评价结果与主观感知的一致性越好。从图5至图8中可以看出,采用本发明方法得到的散点图中的散点比较集中,与主观评价数据之间的吻合度较高。
[0118] 表1采用不同特征矢量得到的视觉舒适度评价预测值与平均主观评分均值之间的相关
[0119] 性
[0120]特征矢量 F1+F2 F1+F3 F2+F3 F1+F2+F3
PLCC 0.8348 0.8548 0.7543 0.8716
SROCC 0.7966 0.8045 0.7093 0.8329
KROCC 0.6084 0.6120 0.5231 0.6454
RMSE 0.4430 0.4176 0.5283 0.3944
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈