一种立体图像视觉舒适度评价方法专利检索-立体像对显示技术专利检索查询-专利查询网

一种立体图像视觉舒适度评价方法

阅读：495发布：2024-01-11

专利汇可以提供一种立体图像视觉舒适度评价方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种立体图像视觉舒适度评价方法，其在训练阶段，选取多对立体图像对构成偏好立体图像对组训练集，建立差分特征矢量与偏好值之间的支持向量回归训练模型；在测试阶段，计算测试立体图像与每对训练立体图像的差分特征矢量，并根据已训练得到的支持向量回归训练模型，预测得到每个差分特征矢量对应的偏好预测值，并最终得到测试立体图像的客观视觉舒适度评价预测值；优点是在训练阶段并不需要知道训练立体图像的主观评价值，得到的客观视觉舒适度评价预测值与主观评价值保持了较高的一致性。，下面是一种立体图像视觉舒适度评价方法专利的具体信息内容。

权利要求

1.一种立体图像视觉舒适度评价方法，包括训练阶段和测试阶段两个过程，其特征在于所述的训练阶段包括以下步骤：
①-1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5，Si表示{Si|1≤i≤M}中的第i对立体图像对；
①-2、计算{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量，将{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记为Fi，其中，此处符号“[]”为矢量表示符号，χi表示
{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围，和li对应表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度，和对应表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，fi、τi、υi和表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个特征，Fi的维数为10；
①-3、从{Si|1≤i≤M}中随机选取1对舒适度高的立体图像对和1对舒适度低的立体图像对，构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，重复随机选取N次，这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组，且每组正偏好立体图像对组与一组负偏好立体图像对组一一对应，将用于代表第j组正偏好立体图像对组的正偏好特征记为将用于代表第j组负偏好立体图像对组的负偏好特征
记为再将N个正偏好特征和N个负偏好特征构成初始的偏好立体图像
对组训练集，记为其中，从{Si|1≤i≤M}中随机选取的1
对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两级，N≥1，1≤j≤N，Dj表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于反映视觉舒适度的特征矢量与舒适度低的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量， Lj表示第j组正偏好立体图像对组的偏好值，Lj＝
+1，Dj'表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适度的特征矢量与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量， Lj'表示第j组负偏好立体图像对组的偏好值，Lj'＝-1；
①-4、从中随机选择T/2个正偏好特征，排除与已选择的正偏好特征相
对应的负偏好特征，从剩余的所有负偏好特征中随机选择T/2个负偏好特征，将选择的T/2个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集，记为其
中，T取区间[2,N]内的偶数，表示中的第t个特征，为正偏好特征或为负偏好特征，表示中的第t个特征代表的一组正偏好立体图
像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，表示中的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组的偏好值，
①-5、采用支持向量回归，对中的所有差分特征矢量进行训练，并使得经opt
过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w 和最优的偏opt opt opt
置项b ，然后利用得到的最优的权重矢量w 和最优的偏置项b 构造支持向量回归训练模型，记为f(Dinp)，其中，Dinp表示支持向量回归训练模型的输
opt T opt
入矢量，(w )为w 的转置矢量，表示支持向量回归训练模型的输入矢量Dinp的线性函数；
所述的测试阶段包括以下步骤：
②对于任意一对测试立体图像对Stest，按照步骤①-2的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Ftest；然后计算Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量；接着根据训练阶段构造的支持向量回归训练模型f(Dinp)，通过对Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，获取Stest的客观视觉舒适度评价预测值，记为Qtest。
2.根据权利要求1所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤①-2中{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量的获取过程为：
a1、采用视差估计算法计算{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像，记为{di(x,y)}，其中，1≤x≤W，1≤y≤H，此处W表示{Si|1≤i≤M}中的每对立体图像对的宽度，H表示{Si|1≤i≤M}中的每对立体图像对的高度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值；
a2、采用视差转换算法计算{Si|1≤i≤M}中的第i对立体图像对的角视差图像，记为{φi(x,y)}，其中，φi(x,y)表示{φi(x,y)}中坐标位置为(x,y)的像素点的像素值，如果φi(x,y)>0，则表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕前，如果φi(x,y)<0，则表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕后；
a3、计算{di(x,y)}中的所有像素点的视差范围，记为χi，χi＝dmax-dmin，其中，dmax表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，前1％的所有像素值的平均值；dmin表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，后1％的所有像素值的平均值；
a4、计算{di(x,y)}的交叉视差均值，记为其中，表示由
{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的坐标位置构成的集合，Nc表示{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的个数；
a5、计算{di(x,y)}的非交叉视差均值，记为其中，表示
由{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的坐标位置构成的集合，Nnc表示{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的个数；
a6、计算{di(x,y)}的相对深度，记为li，
a7、计算{di(x,y)}的焦点深度图像，记为{γi(x,y)}，将{γi(x,y)}中坐标位置为(x,y)的像素点的像素值记为γi(x,y)，其中，ρ为瞳孔
直径，s为眼球的节间长度，V表示观看距离，V＝3×H'，H'为显示器的高度，Pi(x,y)表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的观看深度，表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为
(x,y)的像素点的屏幕视差值， W'为显示器的宽度，e为两眼间
距，符号“||”为取绝对值符号；
a8、计算{γi(x,y)}的正焦点深度均值和负焦点深度均值，对应记为和
a9、采用Sobel算法提取{Si|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像，记为{SBi(x,y)}，然后计算{SBi(x,y)}的与空间频率相关的四个特征，分别记为fi、τi、υi和其中，SBi(x,y)表示{SBi(x,y)}
中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝对值符号；
a10、将χi、 li、 fi、τi、υi和按顺序进行排列，构成
{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量，记为Fi，其中，此处符号“[]”为矢量表示符号，Fi的维数为10。
3.根据权利要求1或2所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤①-5的具体过程为：
b1、将中的所有差分特征矢量和偏好值构成训练样本数据集合，记为ΩT，b2、构造ΩT中的每个差分特征矢量的回归函数，将的回归函数记为
其中，f()为函数表示形式，w为权重矢量，wT为w的转置矢量，b为偏
置项，表示的线性函数，为支持向量回归中的核函
数，为中的第t'个特征代表的一组正偏
好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，1≤t'≤T，γ为核参数，exp()表示以自然基数e为底的指数函数，符号“|| ||”为求欧式距离符号；
b3、采用支持向量回归作为机器学习的方法，对ΩT中的所有差分特征矢量进行训练，使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量opt opt opt opt opt
w 和最优的偏置项b ，将最优的权重矢量w 和最优的偏置项b 的组合记为(w ，opt opt
b ) 然后利用得到的最优的权重矢量w 和最优的
opt
偏置项b 构造支持向量回归训练模型，记为f(Dinp)，其中，
Ψ表示对ΩT中的所有差分特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，Dinp表示支持向
opt T opt
量回归训练模型的输入矢量，(w )为w 的转置矢量，表示支持向量回归训练模型的输入矢量Dinp的线性函数。
4.根据权利要求3所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤b2中取核参数γ＝54。
5.根据权利要求4所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤②的具体过程为：
②-1、按照步骤①-2的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Ftest，Ftest的维数为10；
②-2、计算Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，将Ftest与Fi的差分特征矢量记为Di,test，Di,test＝Ftest-Fi；
②-3、根据训练阶段构造的支持向量回归训练模型f(Dinp)，对Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，预测得到每个差分特征矢量对应的偏好预测值，将Di,test对应的偏好预测值记为Li,test，Li,test＝f(Di,test)，其中，表示支持向量回归训练模型的输入
矢量Di,test的线性函数；
②-4、计算Stest的偏好预测值，记为Ltest，
②-5、计算Stest的客观视觉舒适度评价预测值，记为Qtest，

说明书全文

一种立体图像视觉舒适度评价方法

技术领域

[0001] 本发明涉及一种图像质量评价方法，尤其是涉及一种立体图像视觉舒适度评价方法。

背景技术

[0002] 随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE，quality of experience)是立体视频系统设计中的一个重要问题，而视觉舒适度(VC，visual comfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。

[0003] 传统的立体图像视觉舒适度评价方法主要是基于机器学习的方法，其在立体图像视觉舒适度特征和主观评价值之间建立回归模型，由于主观评价值的获取需要通过复杂的主观实验，因此非常耗时；并且由于主观评价值是通过观看者打分判断来统计获得，因此人的因素会对主观评价值产生极大的影响，这会导致建立的回归模型无法精确预测得到客观评价值。故，如何在评价过程中有效地避免主观评价值的影响，使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。

发明内容

[0004] 本发明所要解决的技术问题是提供一种立体图像视觉舒适度评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。

[0005] 本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度评价方法，包括训练阶段和测试阶段两个过程，其特征在于所述的训练阶段包括以下步骤：

[0006] ①-1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5，Si表示{Si|1≤i≤M}中的第i对立体图像对；

[0007] ①-2、计算{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量，将{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记为Fi，其中，此处符号“[]”为矢量表示符号，χi表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围，和对应表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度，和对应表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，fi、τi、υi和ζi表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个特征，Fi的维数为10；

[0008] ①-3、从{Si|1≤i≤M}中随机选取1对舒适度高的立体图像对和1对舒适度低的立体图像对，构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，重复随机选取N次，这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组，且每组正偏好立体图像对组与一组负偏好立体图像对组一一对应，将用于代表第j组正偏好立体图像对组的正偏好特征记为将用于代表第j组负偏好立体图像对组的负偏好特征记为再将N个正偏好特征和N个负偏好特征构成初始的偏好立体
图像对组训练集，记为其中，从{Si|1≤i≤M}中随机选取
的1对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两级，N≥1，1≤j≤N，Dj表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于反映视觉舒适度的特征矢量与舒适度低的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量， Lj表示第j组正偏好立体图像对组的偏好值，Lj
＝+1，Dj'表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适度的特征矢量与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量， Lj'表示第j组负偏好立体图像对组的偏好值，Lj'＝-1；

[0009] ①-4、从中随机选择T/2个正偏好特征，排除与已选择的正偏好特征相对应的负偏好特征，从剩余的所有负偏好特征中随机选择T/2个负偏好特征，将选择的T/2个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集，记为其中，T取区间[2,N]内的偶数，表示中的第t个特征，为
正偏好特征或为负偏好特征，表示中的第t个特征代表的
一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，表示中的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立
体图像对组的偏好值，

[0010] ①-5、采用支持向量回归，对中的所有差分特征矢量进行训练，并使opt得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w 和最优opt opt opt
的偏置项b ，然后利用得到的最优的权重矢量w 和最优的偏置项b 构造支持向量回归训练模型，记为f(Dinp)，其中，Dinp表示支持向量回归训练模型
opt T opt
的输入矢量，(w )为w 的转置矢量，表示支持向量回归训练模型的输入矢量Dinp的线性函数；

[0011] 所述的测试阶段包括以下步骤：

[0012] ②对于任意一对测试立体图像对Stest，按照步骤①-2的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Ftest；然后计算Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量；接着根据训练阶段构造的支持向量回归训练模型f(Dinp)，通过对Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，获取Stest的客观视觉舒适度评价预测值，记为Qtest。

[0013] 所述的步骤①-2中{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量的获取过程为：

[0014] a1、采用视差估计算法计算{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像，记为{di(x,y)}，其中，1≤x≤W，1≤y≤H，此处W表示{Si|1≤i≤M}中的每对立体图像对的宽度，H表示{Si|1≤i≤M}中的每对立体图像对的高度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值；

[0015] a2、采用视差转换算法计算{Si|1≤i≤M}中的第i对立体图像对的角视差图像，记为{φi(x,y)}，其中，φi(x,y)表示{φi(x,y)}中坐标位置为(x,y)的像素点的像素值，如果φi(x,y)>0，则表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕前，如果φi(x,y)<0，则表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕后；

[0016] a3、计算{di(x,y)}中的所有像素点的视差范围，记为χi，χi＝dmax-dmin，其中，dmax表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，前1％的所有像素值的平均值；dmin表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，后1％的所有像素值的平均值；

[0017] a4、计算{di(x,y)}的交叉视差均值，记为其中，表示由{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的坐标位置构成的集合，Nc表示{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的个数；

[0018] a5、计算{di(x,y)}的非交叉视差均值，记为其中，表示由{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的坐标位置构成的集合，Nnc表示{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的个数；

[0019] a6、计算{di(x,y)}的相对深度，记为

[0020] a7、计算{di(x,y)}的焦点深度图像，记为{γi(x,y)}，将{γi(x,y)}中坐标位置为(x,y)的像素点的像素值记为γi(x,y)，其中，ρ为瞳孔直径，s为眼球的节间长度，V表示观看距离，V＝3×H'，H'为显示器的高度，Pi(x,y)表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的观看深度，表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为
(x,y)的像素点的屏幕视差值， W'为显示器的宽度，e为两眼间
距，符号“||”为取绝对值符号；

[0021] a8、计算{γi(x,y)}的正焦点深度均值和负焦点深度均值，对应记为和[0022] a9、采用Sobel算法提取{Si|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像，记为{SBi(x,y)}，然后计算{SBi(x,y)}的与空间频率相关的四个特征，分别记为fi、τi、υi和ζi，其中，SBi(x,y)表示{SBi(x,y)}中坐标位置为(x,y)的像素点的像素值，符号“||”为取绝
对值符号；

[0023] a10、将χi、 fi、τi、υi和ζi按顺序进行排列，构成{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量，记为Fi，其中，此处符号“[]”为矢量表示符号，Fi的维数为10。

[0024] 所述的步骤①-5的具体过程为：

[0025] b1、将中的所有差分特征矢量和偏好值构成训练样本数据集合，记为ΩT，

[0026] b2、构造ΩT中的每个差分特征矢量的回归函数，将的回归函数记为T其中，f()为函数表示形式，w为权重矢量，w为w的转置矢量，b为偏
置项，表示的线性函数，为支持向量回归中的核
函数，为中的第t'个特征代表的一组正
偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，1≤t'≤T，γ为核参数，exp()表示以自然基数e为底的指数函数，符号“||||”为求欧式距离符号；

[0027] b3、采用支持向量回归作为机器学习的方法，对ΩT中的所有差分特征矢量进行训练，使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量woptopt opt opt opt opt和最优的偏置项b ，将最优的权重矢量w 和最优的偏置项b 的组合记为(w ，b )，opt
然后利用得到的最优的权重矢量w 和最优的偏置
opt
项b 构造支持向量回归训练模型，记为f(Dinp)，其中，Ψ
表示对ΩT中的所有差分特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，Dinp表示支持
opt T opt
向量回归训练模型的输入矢量，(w )为w 的转置矢量，表示支持向量回归训练模型的输入矢量Dinp的线性函数。

[0028] 所述的步骤b2中取核参数γ＝54。

[0029] 所述的步骤②的具体过程为：

[0030] ②-1、按照步骤①-2的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Ftest，Ftest的维数为10；

[0031] ②-2、计算Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，将Ftest与Fi的差分特征矢量记为Di,test，Di,test＝Ftest-Fi；

[0032] ②-3、根据训练阶段构造的支持向量回归训练模型f(Dinp)，对Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，预测得到每个差分特征矢量对应的偏好预测值，将Di,test对应的偏好预测值记为Li,test，Li,test＝f(Di,test)，其中，表示支持向量回归训练模型的输入矢量Di,test的线性函数；

[0033] ②-4、计算Stest的偏好预测值，记为Ltest，

[0034] ②-5、计算Stest的客观视觉舒适度评价预测值，记为Qtest，

[0035] 与现有技术相比，本发明的优点在于：

[0036] 1)本发明方法在训练阶段，通过选取多对立体图像对构成偏好立体图像对组训练集，建立差分特征矢量与偏好值之间的支持向量回归训练模型，在训练阶段并不需要知道训练图像的主观评分值，这样提高了训练方法的有效性。

[0037] 2)本发明方法在测试阶段，计算测试立体图像与每对训练图像的差分特征矢量，并根据已训练得到的支持向量回归训练模型，预测得到每个差分特征矢量对应的偏好值，并最终得到测试立体图像的客观视觉舒适度评价预测值，得到的客观视觉舒适度评价预测值与主观评价值保持了较好的一致性，即客观视觉舒适度评价预测值与主观感知之间的相关性高。附图说明

[0038] 图1为本发明方法的总体实现框图。

具体实施方式

[0039] 以下结合附图实施例对本发明作进一步详细描述。

[0040] 本发明提出的一种立体图像视觉舒适度评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程，训练阶段包括以下步骤：

[0041] ①-1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5，Si表示{Si|1≤i≤M}中的第i对立体图像对，符号“{}”为集合表示符号，初始训练图像集由属于五个不同舒适度等级的M对立体图像对构成，即初始训练图像集由M/5对极端不舒适(extremely uncomfortable)的立体图像对、M/5对不舒适(uncomfortable)的立体图像对、M/5对略微舒适(mildly comfortable)的立体图像对、M/5对舒适(comfortable)的立体图像对和M/5对非常舒适(very comfortable)的立体图像对构成。在本实施中，取M＝50。

[0042] ①-2、计算{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量，将{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记为Fi，其中，此处符号“[]”为矢量表示符号，χi表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围，和对应表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度，和对应表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，fi、τi、υi和ζi表示{Si|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个特征，Fi的维数为10。

[0043] 在此具体实施例中，步骤①-2中{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量的获取过程为：

[0044] a1、采用现有的基于光流的视差估计算法计算{Si|1≤i≤M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像，记为{di(x,y)}，其中，1≤x≤W，1≤y≤H，此处W表示{Si|1≤i≤M}中的每对立体图像对的宽度，H表示{Si|1≤i≤M}中的每对立体图像对的高度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值。

[0045] a2、采用现有的视差转换算法计算{Si|1≤i≤M}中的第i对立体图像对的角视差图像，记为{φi(x,y)}，其中，φi(x,y)表示{φi(x,y)}中坐标位置为(x,y)的像素点的像素值，如果φi(x,y)>0，则表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕前，如果φi(x,y)<0，则表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点在显示时落在屏幕后。

[0046] a3、计算{di(x,y)}中的所有像素点的视差范围，记为χi，χi＝dmax-dmin，其中，dmax表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，前1％的所有像素值的平均值；dmin表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后，后1％的所有像素值的平均值。

[0047] a4、计算{di(x,y)}的交叉视差均值，记为其中，表示由{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的坐标位置构成的集合，Nc表示{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的个数。

[0048] a5、计算{di(x,y)}的非交叉视差均值，记为其中，表示由{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的坐标位置构成的集合，Nnc表示{Si|1≤i≤M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的个数。

[0049] a6、计算{di(x,y)}的相对深度，记为

[0050] a7、计算{di(x,y)}的焦点深度图像，记为{γi(x,y)}，将{γi(x,y)}中坐标位置为(x,y)的像素点的像素值记为γi(x,y)，其中，ρ为瞳孔直径，s为眼球的节间长度，V表示观看距离，V＝3×H'，H'为显示器的高度，Pi(x,y)表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为(x,y)的像素点的观看深度，表示{Si|1≤i≤M}中的第i对立体图像对中坐标位置为
(x,y)的像素点的屏幕视差值， W'为显示器的宽度，e为两眼间
距，符号“||”为取绝对值符号。在本实施例中取ρ＝0.3厘米、s＝0.16厘米、e＝6.6厘米。

[0051] a8、计算{γi(x,y)}的正焦点深度均值和负焦点深度均值，对应记为和[0052] a9、采用现有的Sobel算法提取{Si|1≤i≤M}中的第i对立体图像对的左视点图像的边缘图像，记为{SBi(x,y)}，然后计算{SBi(x,y)}的与空间频率相关的四个特征，分别记为fi、τi、υi和ζi，其中，SBi(x,y)表示{SBi(x,y)}中坐标位置为(x,y)的像素点的像素值，符号“||”为取
绝对值符号。

[0053] a10、将χi、 fi、τi、υi和ζi按顺序进行排列，构成{Si|1≤i≤M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量，记为Fi，其中，此处符号“[]”为矢量表示符号，Fi的维数为10。

[0054] ①-3、从{Si|1≤i≤M}中随机选取1对舒适度高的立体图像对和1对舒适度低的立体图像对，构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，重复随机选取N次，这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组，且每组正偏好立体图像对组与一组负偏好立体图像对组一一对应，将用于代表第j组正偏好立体图像对组的正偏好特征记为将用于代表第j组负偏好立体图像对组的负偏好特征记为再将N个正偏好特征和N个负偏好特征构成初始的偏好立
体图像对组训练集，记为其中，从{Si|1≤i≤M}中随机选
取的1对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两级，N≥1，在本实施例中取N＝600，1≤j≤N，Dj表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于反映视觉舒适度的特征矢量与舒适度低的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量， Lj表示第j组正偏
好立体图像对组的偏好值，Lj＝+1，Dj'表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适度的特征矢量与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量， Lj'表示第j组负偏好立体图像
对组的偏好值，Lj'＝-1。

[0055] 这里，舒适度高的立体图像对和舒适度低的立体图像对的选择，需要满足它们之间的舒适度等级至少相差两级，即一对极端不舒适的立体图像对可以与一对略微舒适的立体图像对或舒适的立体图像对或非常舒适的立体图像对构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，一对不舒适的立体图像对可以与一对舒适的立体图像对或非常舒适的立体图像对构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，一对略微舒适的立体图像对可以与一对非常舒适的立体图像对构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组。

[0056] ①-4、从中随机选择T/2个正偏好特征，排除与已选择的正偏好特征相对应的负偏好特征，从剩余的所有负偏好特征中即从剩余的N-T/2个负偏好特征中随机选择T/2个负偏好特征，将选择的T/2个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集，记为其中，T取区间[2,N]内的偶数，在本实施例中T取N
的一半即T＝600，表示中的第t个特征，为正偏好特征或为负偏好特
征，表示中的第t个特征代表的一组正偏好立体图像对组
或代表的一组负偏好立体图像对组所对应的差分特征矢量，表示中的第t
个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组的偏好值，由于可能为中的正偏好特征，也可能为中的负
偏好特征，因此可能是代表的一组正偏好立体图像对组所对应的差分特征矢量，也可能是代表的一组负偏好立体图像对组所对应的差分特征矢量，同样，可能是代表的一组正偏好立体图像对组的偏好值，也可能是代表的一组负偏好立体图像对组的偏好值。

[0057] ①-5、采用支持向量回归，对中的所有差分特征矢量进行训练，并使opt得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w 和最优opt opt opt
的偏置项b ，然后利用得到的最优的权重矢量w 和最优的偏置项b 构造支持向量回归训练模型，记为f(Dinp)，其中，Dinp表示支持向量回归训练模型
的输入矢量，(wopt)T为wopt的转置矢量，表示支持向量回归训练模型的输入矢量Dinp的线性函数。

[0058] 在此具体实施例中，步骤①-5的具体过程为：

[0059] b1、将中的所有差分特征矢量和偏好值构成训练样本数据集合，记为ΩT，

[0060] b2、构造ΩT中的每个差分特征矢量的回归函数，将的回归函数记为其中，f()为函数表示形式，w为权重矢量，wT为w的转置矢量，b为偏置项，表示的线性函数，为支持向量回归中的核函
数，为中的第t'个特征代表的一组正偏
好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，1≤t'≤T，γ为核参数，在本实施例中取γ＝54，exp()表示以自然基数e为底的指数函数，符号“||||”为求欧式距离符号。

[0061] b3、采用支持向量回归作为机器学习的方法，对ΩT中的所有差分特征矢量进行opt训练，使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量wopt opt opt opt opt
和最优的偏置项b ，将最优的权重矢量w 和最优的偏置项b 的组合记为(w ,b )，opt
然后利用得到的最优的权重矢量w 和最优的偏置
项bopt构造支持向量回归训练模型，记为f(Dinp)，其中，Ψ
表示对ΩT中的所有差分特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，表示取使得的值最小的w和b的值，Dinp表示支持向
opt T opt
量回归训练模型的输入矢量，(w )为w 的转置矢量，表示支持向量回归训练模型的输入矢量Dinp的线性函数。

[0062] 测试阶段包括以下步骤：

[0063] ②对于任意一对测试立体图像对Stest，按照步骤①-2的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Ftest；然后计算Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量；接着根据训练阶段构造的支持向量回归训练模型f(Dinp)，通过对Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，获取Stest的客观视觉舒适度评价预测值，记为Qtest。

[0064] 在本实施例中，采用宁波大学建立的立体图像数据库作为测试立体图像集，该立体图像数据库包含200对立体图像对以及对应的视差图像，该立体图像数据库包含了各种场景深度的室内和室外图像，并给出了每对立体图像对的视觉舒适度的平均主观评分均值。

[0065] 在此具体实施例中，步骤②的具体过程为：

[0066] ②-1、按照步骤①-2的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Ftest，其中，此处符号“[]”为矢量表示符号，χtest表示Stest的左视点图像与右视点图像之间的视差图像中的所有像素点的视差范围，和对应表示Stest的左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度，和对应表示Stest的左视点图像与右视点图像之间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，ftest、τtest、υtest和ζtest表示Stest的左视点图像的边缘图像的与空间频率相关的四个特征，Ftest的维数为10。

[0067] ②-2、计算Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量，将Ftest与Fi的差分特征矢量记为Di,test，Di,test＝Ftest-Fi。

[0068] ②-3、根据训练阶段构造的支持向量回归训练模型f(Dinp)，对Ftest与{Si|1≤i≤M}中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，预测得到每个差分特征矢量对应的偏好预测值，将Di,test对应的偏好预测值记为Li,test，Li,test＝f(Di,test)，其中，表示支持向量回归训练模型的输入矢量Di,test的线性函数。

[0069] ②-4、计算Stest的偏好预测值，记为Ltest，

[0070] ②-5、计算Stest的客观视觉舒适度评价预测值，记为Qtest，

[0071] 在本实施例中，利用评估图像质量评价方法的4个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rank order correlation coefficient，SROCC)、Kendall相关系数(Kendall rank-order correlation coefficient，KROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映客观评价预测值的准确性，SROCC和KROCC反映其单调性。将计算得到的200对立体图像对的客观视觉舒适度评价预测值做五参数Logistic函数非线性拟合，PLCC、SROCC和KROCC值越高、RMSE值越小说明本发明方法的评价结果与平均主观评分均值的相关性越好。表1给出了采用不同特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性，从表1中可以看出，只采用部分特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性均不是最优的，这说明了本发明方法提取的特征信息是有效的，使得得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性更强，这足以说明本发明方法是有效的。

[0072] 表1采用不同特征组合得到的客观视觉舒适度评价预测值与平均主观评分均值之间的相关性

[0073]

标题	发布/更新时间	阅读量
一种头戴式助视装置	2020-05-11	636
一种双目内窥镜软组织图像的在线三维重建方法	2020-05-08	904
用于修改立体声信号的立体声像的音频信号处理装置和方法	2020-05-11	12
基于双视点的立体渲染方法	2020-05-08	559
相机标定系统以及方法	2020-05-08	186
一种自动调节空调制冷量、制热量的方法及空调	2020-05-08	633
基于深度学习的无监督端到端的驾驶环境感知方法	2020-05-08	272
一种红外和可见光的融合方法	2020-05-08	409
一种基于AKAZA的卫星遥感像对的特征匹配方法	2020-05-08	649
成像光学膜及装饰膜	2020-05-08	1019

一种立体图像视觉舒适度评价方法

一种立体图像视觉舒适度评价方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：