首页 / 专利库 / 物理 / 质量 / 一种立体图像质量客观评价方法

一种立体图像质量客观评价方法

阅读:800发布:2022-08-13

专利汇可以提供一种立体图像质量客观评价方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种立体图像 质量 客观评价方法,其通过计算无失真立体图像和失真立体图像各自的左和右视点图像中的每个 像素 点经外侧膝状体处理后的响应输出及经初级视皮层单目处理后的响应输出、无失真立体图像的左和右视点图像中同坐标 位置 的像素点及失真立体图像的左和右视点图像中同坐标位置的像素点经初级视皮层双目处理后的在不同 视差 平面上的响应输出、无失真立体图像的左和右视点图像中同坐标位置的像素点及失真立体图像的左和右视点图像中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,获得失真立体图像的质量矢量,其能较好地反映失真立体图像的质量变化情况,有效地提高了客观评价结果与主观 感知 之间的相关性。,下面是一种立体图像质量客观评价方法专利的具体信息内容。

1.一种立体图像质量客观评价方法,其特征在于包括以下步骤:
①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg失真后得到的失真立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,W表示Sorg和Sdis的宽度,H表示Sorg和Sdis的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
②计算{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为 并计算{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
同样,计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为 并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
③根据{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Lorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 并根据{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 然后计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为其中,d表示视差平面的坐标位置;
同样,根据{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 并根据{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 然后计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为④计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
同样,计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
⑤根据{Lorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Ldis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Rorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Rdis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Lorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Ldis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Rorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Rdis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,计算Sdis的质量矢量,记为F,其中,F的维数为1×6;
⑥对由P幅失真立体图像构成的立体图像库,将立体图像库中的第p幅失真立体图像的平均主观评分差值记为DMOSp;接着按照步骤①至步骤⑤获取Sdis的质量矢量F的操作,以相同的方式获取立体图像库中的每幅失真立体图像的质量矢量,将立体图像库中的第p幅失真立体图像的质量矢量记为Fp;其中,P的大小由立体图像库而定,1≤p≤P,DMOSp∈[0,
100],Fp的维数为1×6;
⑦随机选择立体图像库中的多幅失真立体图像构成训练集,将立体图像库中剩余的多幅失真立体图像构成测试集;并令m表示迭代的次数,其中,m的初始值为0;
⑧假设训练集中包含Q幅失真立体图像,则测试集中包含P-Q幅失真立体图像;然后将训练集中的所有失真立体图像各自的质量矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有质量矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的支持向量回归训练模型,记为f(Finp);之后根据最优的支持向量回归训练模型,对测试集中的每幅失真立体图像的质量矢量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第n幅失真立体图像的客观质量评价预测值记为Qn,Qn=f(Fn);再令m=m+1;其中,1⑨判断m100。
2.根据权利要求1所述的一种立体图像质量客观评价方法,其特征在于所述的步骤②中的
其中,tanh
()表示双曲正切函数,kLGN为控制参数,hσ表示标准差为σ的高斯拉普拉斯滤波器,符号为卷积操作符号。
3.根据权利要求1或2所述的一种立体图像质量客观评价方法,其特征在于所述的步骤③中的 的获取过程为:
③_Lorg1、根据 计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的
4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为
其中,gθ,ω表示中心频率为ω和方向因子为θ的Gabor滤波器,ω表示Gabor滤波器的中心频率,ω∈Ωω,Ωω为Gabor滤波器的中心频率的集合,θ表示Gabor滤波器的方向因子,θ∈Ωθ,Ωθ为Gabor滤波器的方向因子的集合,符号 为卷积操作符号,
max()为取最大值函数;
③_Lorg2、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在平方向的反映暗-亮对比度极性的膜电位,记为 并
计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Lorg3、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为
并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Lorg4、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为
其中,
并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
③_Lorg5、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的 的获取过程为:
③_Rorg1、根据 计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的
4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为
其中,
③_Rorg2、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为
并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Rorg3、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为
并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rorg4、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为
其中,
并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
③_Rorg5、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的 的获取过程为:
③_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为
其中,
s为体视敏度, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为
其中,
表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<
0,则以0替代x-s;
③_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出
其中,
所述的步骤③中的 的获取过程为:
③_Ldis1、根据 计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其中,
③_Ldis2、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为
并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Ldis3、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为
并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Ldis4、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为
其中,
并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
③_Ldis5、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的 的获取过程为:
③_Rdis1、根据 计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为 其
中,
③_Rdis2、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为
并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
③_Rdis3、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为
并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
③_Rdis4、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为
其中,
并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
③_Rdis5、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
所述的步骤③中的 的获取过程为:
③_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为
其中,
表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为其中,
表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<
0,则以0替代x-s;
③_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出
其中,
4.根据权利要求3所述的一种立体图像质量客观评价方法,其特征在于所述的步骤④中的 的获取过程为:
④_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为
并计算{Lorg(x,y)}和{Rorg(x,y)}
中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为
其中,
max()为取最大值函数,s为体视敏度, 为
补偿参数,β表示单目连接的强度, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
④_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出
其中,
所述的步骤④中的 的获取过程为:
④_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为
并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为
(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为其中,
表示{Ldis(x,y)}中坐标位置为
(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位, 表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
④_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出
其中,
5.根据权利要求1所述的一种立体图像质量客观评价方法,其特征在于所述的步骤⑤的具体过程为:
⑤_1、计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将 的客观评价度量值记为
并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 其
中,C为控制参数;
⑤_2、计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将 的客观评价度量值记为
并计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将 的客观评价度量值记为
⑤_3、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将 的客观评价度量值记为⑤_4、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将 的客观评价度量值记为⑤_5、计算Sdis的质量矢量F, 其中,F的维数为1×6,
符号“[]”为矢量表示符号,
Ωd表示视
差平面的坐标位置的集合,Nd表示视差平面的总个数。

说明书全文

一种立体图像质量客观评价方法

技术领域

[0001] 本发明涉及一种图像质量评价方法,尤其是涉及一种立体图像质量客观评价方法。

背景技术

[0002] 随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左视点图像和右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。由于受采集系统、存储压缩及传输设备的影响,立体图像会不可避免地引入一系列的失真,而与单通道图像相比,立体图像需要同时保证两个通道的图像质量,因此对立体图像进行质量评价具有非常重要的意义。然而,目前缺乏有效的客观评价方法对立体图像质量进行评价。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
[0003] 目前已有一些仿照人脑视觉系统的层级处理方式以及对脑皮层在生理学上的数学模型刻画,人脑的认知系统是一个逐层抽象、层层递进的过程,视觉信息处理会经历外侧膝状体(LGN,lateral geniculate nucleus)、初级视皮层V1层和第二视皮层V2层等阶段,各子层在处理视觉信息的过程中都扮演了不同的色,实现了不同的视觉功能,因此,如何获取各层及其中间子层模拟的大脑皮层细胞的激励响应,如何根据各层的响应输出构造质量预测模型,都是立体图像质量客观评价中需要解决的难点问题。

发明内容

[0004] 本发明所要解决的技术问题是提供一种立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种立体图像质量客观评价方法,其特征在于包括以下步骤:
[0006] ①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg失真后得到的失真立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,1≤x≤W,1≤y≤H,W表示Sorg和Sdis的宽度,H表示Sorg和Sdis的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值;
[0007] ②计算{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为 并计算{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
[0008] 同样,计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为 并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为
[0009] ③根据{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Lorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 并根据{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 然后计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为 其中,d表示视差平面的坐标位置;
[0010] 同样,根据{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 并根据{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 然后计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为
[0011] ④计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
[0012] 同样,计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
[0013] ⑤根据{Lorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Ldis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Rorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Rdis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Lorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Ldis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Rorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Rdis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,计算Sdis的质量矢量,记为F,其中,F的维数为1×6;
[0014] ⑥对由P幅失真立体图像构成的立体图像库,将立体图像库中的第p幅失真立体图像的平均主观评分差值记为DMOSp;接着按照步骤①至步骤⑤获取Sdis的质量矢量F的操作,以相同的方式获取立体图像库中的每幅失真立体图像的质量矢量,将立体图像库中的第p幅失真立体图像的质量矢量记为Fp;其中,P的大小由立体图像库而定,1≤p≤P,DMOSp∈[0,100],Fp的维数为1×6;
[0015] ⑦随机选择立体图像库中的多幅失真立体图像构成训练集,将立体图像库中剩余的多幅失真立体图像构成测试集;并令m表示迭代的次数,其中,m的初始值为0;
[0016] ⑧假设训练集中包含Q幅失真立体图像,则测试集中包含P-Q幅失真立体图像;然后将训练集中的所有失真立体图像各自的质量矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有质量矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的支持向量回归训练模型,记为f(Finp);之后根据最优的支持向量回归训练模型,对测试集中的每幅失真立体图像的质量矢量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第n幅失真立体图像的客观质量评价预测值记为Qn,Qn=f(Fn);再令m=m+1;其中,1
[0017] ⑨判断m100。
[0018] 所述的步骤②中的其中,tanh()表示双曲正切函数,kLGN为控制参数,hσ表示标准差为σ的高斯拉普拉斯滤波器,符号 为卷积操作符号。
[0019] 所述的步骤③中的 的获取过程为:
[0020] ③_Lorg1、根据 计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为其中,gθ,ω表示中心频率为ω和方向因子为θ的Gabor滤波器,ω表示Gabor滤波器的中心频率,ω∈Ωω,Ωω为Gabor滤波器的中心频率的集合,θ表示Gabor滤波器的方向因子,θ∈Ωθ,Ωθ为Gabor滤波器的方向因子的集合,符号 为卷积操作符号,
max()为取最大值函数;
[0021] ③_Lorg2、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在平方向的反映暗-亮对比度极性的膜电位,记为并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
[0022] ③_Lorg3、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
[0023] ③_Lorg4、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为其中,
并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
[0024] ③_Lorg5、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
[0025] 所述的步骤③中的 的获取过程为:
[0026] ③_Rorg1、根据 计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为其中,
[0027] ③_Rorg2、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
[0028] ③_Rorg3、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
[0029] ③_Rorg4、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为其中,
并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
[0030] ③_Rorg5、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
[0031] 所述的步骤③中的 的获取过程为:
[0032] ③_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为其中,
s为体视敏度, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为
其中,
表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视
皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;
[0033] ③_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出其中,
[0034] 所述的步骤③中的 的获取过程为:
[0035] ③_Ldis1、根据 计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为其中,
[0036] ③_Ldis2、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
[0037] ③_Ldis3、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
[0038] ③_Ldis4、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为其中,
并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
[0039] ③_Ldis5、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
[0040] 所述的步骤③中的 的获取过程为:
[0041] ③_Rdis1、根据 计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为其中,
[0042] ③_Rdis2、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位;
[0043] ③_Rdis3、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为 并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
[0044] ③_Rdis4、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为其中,
并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
[0045] ③_Rdis5、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
[0046] 所述的步骤③中的 的获取过程为:
[0047] ③_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为其中,
表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后
的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为其中,
表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视
皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;
[0048] ③_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出其中,
[0049] 所述的步骤④中的 的获取过程为:
[0050] ④_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为
(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为其中,
max()为取最大值函数,s为体视敏度,为
补偿参数,β表示单目连接的强度, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处
理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
[0051] ④_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出其中,
[0052] 所述的步骤④中的 的获取过程为:
[0053] ④_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为
(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为其中,
表示{Ldis(x,y)}中坐标位置
为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位, 表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s;
[0054] ④_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出其中,
[0055] 所述的步骤⑤的具体过程为:
[0056] ⑤_1、计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将 的客观评价度量值记为并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 其
中,C为控制参数;
[0057] ⑤_2、计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将 的客观评价度量值记为并计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将 的客观评价度量值记为
[0058] ⑤_3、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将 的客观评价度量值记为
[0059] ⑤_4、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将 的客观评价度量值记为
[0060] ⑤_5、计算Sdis的质量矢量F, 其中,F的维数为1×6,符号“[]”为矢量表示符号,
Ωd表示视差平面
的坐标位置的集合,Nd表示视差平面的总个数。
[0061] 与现有技术相比,本发明的优点在于:
[0062] 本发明方法充分考虑了人脑层状皮质系统中外侧膝状体、初级视皮层和第二视皮层处理对立体图像质量的影响,通过计算无失真立体图像和失真立体图像各自的左视点图像和右视点图像中的每个像素点经外侧膝状体处理后的响应输出、无失真立体图像和失真立体图像各自的左视点图像和右视点图像中的每个像素点经初级视皮层单目处理后的响应输出、无失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、无失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出、失真立体图像的左视点图像和右视点图像中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,获得失真立体图像的质量矢量,由于根据人脑层状皮质系统得到的不同阶段的响应输出能够很好地模拟人脑视觉神经处理视觉信息的各个过程,因此该质量矢量能够较好地反映失真立体图像的质量变化情况,从而有效地提高了客观评价结果与主观感知之间的相关性。附图说明
[0063] 图1为本发明方法的总体实现框图

具体实施方式

[0064] 以下结合附图实施例对本发明作进一步详细描述。
[0065] 本发明提出的一种立体图像质量客观评价方法,其总体实现框图如图1所示,其具体包括以下步骤:
[0066] ①令Sorg表示原始的无失真立体图像,令Sdis表示Sorg失真后得到的失真立体图像,将Sorg的左视点图像记为{Lorg(x,y)},将Sorg的右视点图像记为{Rorg(x,y)},将Sdis的左视点图像记为{Ldis(x,y)},将Sdis的右视点图像记为{Rdis(x,y)},其中,(x,y)表示Sorg和Sdis中的像素点的坐标位置,1≤x≤W,1≤y≤H,W表示Sorg和Sdis的宽度,H表示Sorg和Sdis的高度,Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0067] ②计算{Lorg(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculate nucleus)处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为 并计算{Rorg(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculate nucleus)处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为[0068] 同样,计算{Ldis(x,y)}中的每个像素点经外侧膝状体(LGN,lateral geniculate nucleus)处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为 并计算{Rdis(x,
y)}中的每个像素点经外侧膝状体(LGN,lateral geniculate nucleus)处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经外侧膝状体处理后的响应输出记为[0069] 其中,tanh()表示双曲正切函数,kLGN为控制参数,在本实施例中取kLGN=2π,hσ表示标准差为σ的高斯拉普拉斯(LoG)滤波器,在本实施例中取σ=2,符号 为卷积操作符号。
[0070] ③根据{Lorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Lorg(x,y)}中的每个像素点经初级视皮层(V1层)单目处理后的响应输出,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 并根据{Rorg(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rorg(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 然后计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为 其中,d表示视差平面的坐标位置,在本实施例中取d∈{-30,-15,0,15,30}。
[0071] 同样,根据{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 并根据{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出,计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出记为 然后计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出记为
[0072] 在此具体实施例中,步骤③中的 的获取过程为:
[0073] ③_Lorg1、根据 计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为其中,gθ,ω表示中心频率为ω和方向因子为θ的Gabor滤波器,ω表示Gabor滤波器的中心频率,ω∈Ωω,Ωω为Gabor滤波器的中心频率的集合,在本实施例中Ωω={1.74,2.47,3.49,4.93,
6.98,9.87},θ表示Gabor滤波器的方向因子,θ∈Ωθ,Ωθ为Gabor滤波器的方向因子的集合,在本实施例中Ωθ={0°,90°},符号 为卷积操作符号,
max()为取最大值函数。
[0074] ③_Lorg2、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
[0075] ③_Lorg3、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
[0076] ③_Lorg4、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为其中,
并计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
[0077] ③_Lorg5、计算{Lorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
[0078] 在此具体实施例中,步骤③中的 的获取过程为:
[0079] ③_Rorg1、根据 计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为其中,
[0080] ③_Rorg2、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
[0081] ③_Rorg3、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
[0082] ③_Rorg4、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为其中,
并计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
[0083] ③_Rorg5、计算{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
[0084] 在此具体实施例中,步骤③中的 的获取过程为:
[0085] ③_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为其中,
s为体视敏度,在本实施例中,当d=-30时取s=-30,当d=-15时取s=-15,当d=0时取s=
0,当d=15时取s=15,当d=30时取s=30, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后
的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为
其中,
表示{Lorg(x,y)}中
坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Lorg
(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位, 表示{Rorg(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s。
[0086] ③_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出其中,
[0087] 在此具体实施例中,步骤③中的 的获取过程为:
[0088] ③_Ldis1、根据 计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为其中,
[0089] ③_Ldis2、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
[0090] ③_Ldis3、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
[0091] ③_Ldis4、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为其中,
并计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
[0092] ③_Ldis5、计算{Ldis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
[0093] 在此具体实施例中,步骤③中的 的获取过程为:
[0094] ③_Rdis1、根据 计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在不同中心频率和不同方向因子下的反映暗-亮对比度极性的膜电位,将{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为θ下的反映暗-亮对比度极性的膜电位记为其中,
[0095] ③_Rdis2、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位,记为并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,记为 其中,
表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为0°下的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在中心频率为ω和方向因子为90°下的反映暗-亮对比度极性的膜电位。
[0096] ③_Rdis3、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,记为并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,记为
[0097] ③_Rdis4、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,记为其中,
并计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的单目3B层
处理后的在垂直方向的膜电位,记为
其中,
[0098] ③_Rdis5、计算{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层单目处理后的响应输出 其中,
[0099] 在此具体实施例中,步骤③中的 的获取过程为:
[0100] ③_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位,记为其中,
表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后
的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映暗-亮对比度极性的膜电位, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在水平方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<0,则以0替代x-s;并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在垂直方向的膜电位,记为其中,
表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映暗-亮对比度极性的膜电位,表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的4层处理后
的在垂直方向的反映亮-暗对比度极性的膜电位, 表示{Rdis(x,y)}中坐标位置为(x-s,y)的像素点经初级视皮层的4层处理后的在垂直方向的反映亮-暗对比度极性的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s,若x-s>W,则以W替代x-s,若x-s<
0,则以0替代x-s。
[0101] ③_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层双目处理后的在视差平面d上的响应输出其中,
[0102] ④计算{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层(V2层)双目处理后的在不同视差平面上的响应输出,将{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
[0103] 同样,计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层(V2层)双目处理后的在不同视差平面上的响应输出,将{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出记为
[0104] 在此具体实施例中,步骤④中的 的获取过程为:
[0105] ④_LRorg1、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为并计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为
(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为其中,
max()为取最大值函数,s为体视敏度,在本
实施例中,当d=-30时取s=-30,当d=-15时取s=-15,当d=0时取s=0,当d=15时取s=
15,当d=30时取s=30,为补偿参数,在本实施例中取 β表示单目连接的强度,在本实施例中取β=1.42, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位, 表示{Lorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,表示{Rorg(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处
理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s。
[0106] ④_LRorg2、计算{Lorg(x,y)}和{Rorg(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出其中,
[0107] 在此具体实施例中,步骤④中的 的获取过程为:
[0108] ④_LRdis1、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在水平方向的膜电位,记为并计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为
(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的在垂直方向的膜电位,记为其中,
表示{Ldis(x,y)}中坐标位置
为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位,表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在水平方向的膜电位, 表示{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经初级视皮层的双目3B层处理后的在视差平面d上的在水平方向的膜电位, 表示{Ldis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位, 表示{Rdis(x,y)}中坐标位置为(x+s,y)的像素点经初级视皮层的单目3B层处理后的在垂直方向的膜电位,若x+s>W,则以W替代x+s,若x+s<0,则以0替代x+s。
[0109] ④_LRdis2、计算{Ldis(x,y)}和{Rdis(x,y)}中坐标位置为(x,y)的像素点经第二视皮层双目处理后的在视差平面d上的响应输出其中,
[0110] ⑤根据{Lorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Ldis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Rorg(x,y)}中的所有像素点经外侧膝状体处理后的响应输出和{Rdis(x,y)}中对应的像素点经外侧膝状体处理后的响应输出、{Lorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Ldis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Rorg(x,y)}中的所有像素点经初级视皮层单目处理后的响应输出和{Rdis(x,y)}中对应的像素点经初级视皮层单目处理后的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出、{Lorg(x,y)}和{Rorg(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出及{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出,计算Sdis的质量矢量,记为F,其中,F的维数为1×6。
[0111] 在此具体实施例中,步骤⑤的具体过程为:
[0112] ⑤_1、计算{Ldis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将 的客观评价度量值记为并计算{Rdis(x,y)}中的每个像素点经外侧膝状体处理后的响应输出的客观评价度量值,将的客观评价度量值记为 其
中,C为控制参数,在本实施例中取C=0.85。
[0113] ⑤_2、计算{Ldis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将 的客观评价度量值记为 并计算{Rdis(x,y)}中的每个像素点经初级视皮层单目处理后的响应输出的客观评价度量值,将 的客观评价度量值记为
[0114] ⑤_3、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经初级视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将 的客观评价度量值记为
[0115] ⑤_4、计算{Ldis(x,y)}和{Rdis(x,y)}中同坐标位置的像素点经第二视皮层双目处理后的在不同视差平面上的响应输出的客观评价度量值,将 的客观评价度量值记为
[0116] ⑤_5、计算Sdis的质量矢量F, 其中,F的维数为1×6,符号“[]”为矢量表示符号,
Ωd表示视差
平面的坐标位置的集合,在本实施例中Ωd={-30,-15,0,15,30},Nd表示视差平面的总个数,在本实施例中Nd=5。
[0117] ⑥对由P幅失真立体图像构成的立体图像库,将立体图像库中的第p幅失真立体图像的平均主观评分差值记为DMOSp;接着按照步骤①至步骤⑤获取Sdis的质量矢量F的操作,以相同的方式获取立体图像库中的每幅失真立体图像的质量矢量,将立体图像库中的第p幅失真立体图像的质量矢量记为Fp;其中,P的大小由立体图像库而定,1≤p≤P,DMOSp∈[0,100],Fp的维数为1×6。
[0118] ⑦随机选择立体图像库中的多幅失真立体图像构成训练集,将立体图像库中剩余的多幅失真立体图像构成测试集;并令m表示迭代的次数,其中,m的初始值为0。
[0119] ⑧假设训练集中包含Q幅失真立体图像,则测试集中包含P-Q幅失真立体图像;然后将训练集中的所有失真立体图像各自的质量矢量和平均主观评分差值构成训练样本数据集合;接着采用支持向量回归作为机器学习的方法,对训练样本数据集合中的所有质量矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的支持向量回归训练模型,记为f(Finp);之后根据最优的支持向量回归训练模型,对测试集中的每幅失真立体图像的质量矢量进行测试,预测得到测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第n幅失真立体图像的客观质量评价预测值记为Qn,Qn=f(Fn);再令m=m+1;其中,1
[0120] ⑨判断m100。
[0121] 在此,采用宁波大学立体图像库和LIVE立体图像库来分析本实施例得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的相关性。宁波大学立体图像库由12幅无失真立体图像在不同失真程度的JPEG压缩情况下的60幅失真立体图像、JPEG2000压缩情况下的60幅失真立体图像、高斯模糊情况下的60幅失真立体图像、高斯白噪声情况下的60幅失真立体图像和H.264编码失真情况下的72幅失真立体图像构成。LIVE立体图像库由20幅无失真立体图像在不同失真程度的JPEG压缩情况下的80幅失真立体图像、JPEG2000压缩情况下的80幅失真立体图像、高斯模糊情况下的45幅失真立体图像、高斯白噪声情况下的80幅失真立体图像和Fast Fading失真情况下的80幅失真立体图像构成。
[0122] 这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC),PLCC反映失真立体图像客观评价结果的准确性,SROCC反映其单调性。
[0123] 利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的客观质量评价预测值和LIVE立体图像库中的每幅失真立体图像的客观质量评价预测值,再利用现有的主观质量评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做四参数Logistic函数非线性拟合,PLCC和SROCC值越高,说明客观评价结果与平均主观评分差值之间的相关性越好。表1给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数,表2给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数。从表1和表2中可以看出,采用本发明方法得到的失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,表明客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
[0124] 表1利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数比较
[0125]
[0126] 表2利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数比较
[0127]
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈