1.一种立体图像视觉显著提取方法，其特征在于包括以下步骤：
①令SRGB表示待提取视觉显著的立体图像，将SRGB的左视点图像记为{LRGB(x,y)}，将SRGB的深度图像记为{D(x,y)}，其中，1≤x≤W,1≤y≤H，W表示SRGB的宽度，H表示SRGB的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值；
②采用颜色空间变换方法，将{LRGB(x,y)}从RGB颜色空间变换到Lab颜色空间，得到{LRGB(x,y)}对应的L通道图、a通道图和b通道图，对应记为{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}，其中，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值；
③将{D(x,y)}的像素值范围变换到区间[0,255]，将变换得到的图像记为{D0,255(x,y)}，其中，D0,255(x,y)表示{D0,255(x,y)}中坐标位置为(x,y)的像素点的像素值；
④分别对{LLab,L(x,y)}、{LLab,a(x,y)}、{LLab,b(x,y)}和{D0,255(x,y)}实施log-Gabor低通滤波，对应得到{LLab,L(x,y)}的低通滤波特征图、{LLab,a(x,y)}的低通滤波特征图、{LLab,b(x,y)}的低通滤波特征图和{D0,255(x,y)}的低通滤波特征图，对应记为{LLab,L,log(x,y)}、{LLab,a,log(x,y)}、{LLab,b,log(x,y)}和{D0,255,log(x,y)}，其中，LLab,L,log(x,y)表示{LLab,L,log(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a,log(x,y)表示{LLab,a,log(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b,log(x,y)表示{LLab,b,log(x,y)}中坐标位置为(x,y)的像素点的像素值，D0,255,log(x,y)表示{D0,255,log(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑤根据{LLab,L,log(x,y)}、{LLab,a,log(x,y)}、{LLab,b,log(x,y)}和{D0,255,log(x,y)}，获取左视点视觉显著图，记为{Lsaliency(x,y)}，将{Lsaliency(x,y)}中坐标位置为(x,y)的像素点的像素值记为Lsaliency(x,y)，
⑥获取SRGB的中心偏好图，记为{Csaliency(x,y)}，将{Csaliency(x,y)}中坐标位置为(x,y)的像素点的像素值记为Csaliency(x,y)， 其中，e为自然基数，x0和
y0对应表示SRGB中的中心像素点的横坐标和纵坐标，δx表示SRGB中的像素点的横坐标的标准差，δy表示SRGB中的像素点的纵坐标的标准差；
⑦融合{Lsaliency(x,y)}和{Csaliency(x,y)}得到SRGB的视觉显著图，记为{S3D,saliency(x,y)}，其中，S3D,saliency(x,y)表示{S3D,saliency(x,y)}中坐标位置为(x,y)的像素点的像素值；
所述的步骤⑦中S3D,saliency(x,y)＝Lsaliency(x,y)×Csaliency(x,y)。
2.根据权利要求1所述的一种立体图像视觉显著提取方法，其特征在于所述的步骤③中
，
其中，min()为取最小值函数，max()为取最大值函数。
技术领域
[0001] 本
发明涉及一种图像
信号的处理方法，尤其是涉及一种立体图像视觉显著提取方法。
背景技术
[0002] 在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区别，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频
片段时注意
力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是
计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。而随着立体视频显示技术和高
质量立体视频内容获取技术的快速发展，针对立体图像/视频的显著区域检测及建模也是一个非常重要的研究内容。
[0003] 然而，立体图像并不是平面图像的简单空间拓展，因此人眼
感知立体图像产生
立体视觉的过程也不是简单的左视点图像和右视点图像
叠加的过程，因此，立体视觉特征(例如：三维视觉注意力)并不是平面视觉特性的简单拓展。然而，现有的立体图像显著图提取方法还停留在平面图像显著提取方法的简单拓展上。因此，如何从立体图像中有效地提取出立体视觉特征、如何使得提取出的立体视觉特征符合人眼三维观看行为都是在对立体图像进行视觉显著图提取过程中需要研究解决的问题。
发明内容
[0004] 本发明所要解决的技术问题是提供一种立体图像视觉显著提取方法，其符合显著语义特征，且具有较强的提取
稳定性和较高的提取准确性。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉显著提取方法，其特征在于包括以下步骤：
[0006] ①令SRGB表示待提取视觉显著的立体图像，将SRGB的左视点图像记为{LRGB(x,y)}，将SRGB的
深度图像记为{D(x,y)}，其中，1≤x≤W,1≤y≤H，W表示SRGB的宽度，H表示SRGB的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标
位置为(x,y)的
像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值；
[0007] ②采用
颜色空间变换方法，将{LRGB(x,y)}从
RGB颜色空间变换到Lab颜色空间，得到{LRGB(x,y)}对应的L通道图、a通道图和b通道图，对应记为{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}，其中，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值；
[0008] ③将{D(x,y)}的像素值范围变换到区间[0,255]，将变换得到的图像记为{D0,255(x,y)}，其中，D0,255(x,y)表示{D0,255(x,y)}中坐标位置为(x,y)的像素点的像素值；
[0009] ④分别对{LLab,L(x,y)}、{LLab,a(x,y)}、{LLab,b(x,y)}和{D0,255(x,y)}实施log-Gabor低通滤波，对应得到{LLab,L(x,y)}的低通滤波特征图、{LLab,a(x,y)}的低通滤波特征图、{LLab,b(x,y)}的低通滤波特征图和{D0,255(x,y)}的低通滤波特征图，对应记为{LLab,L,log(x,y)}、{LLab,a,log(x,y)}、{LLab,b,log(x,y)}和{D0,255,log(x,y)}，其中，LLab,L,log(x,y)表示{LLab,L,log(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a,log(x,y)表示{LLab,a,log(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b,log(x,y)表示{LLab,b,log(x,y)}中坐标位置为(x,y)的像素点的像素值，D0,255,log(x,y)表示{D0,255,log(x,y)}中坐标位置为(x,y)的像素点的像素值；
[0010] ⑤根据{LLab,L,log(x,y)}、{LLab,a,log(x,y)}、{LLab,b,log(x,y)}和{D0,255,log(x,y)}，获取左视点视觉显著图，记为{Lsaliency(x,y)}，将{Lsaliency(x,y)}中坐标位置为(x,y)的像素点的像素值记为Lsaliency(x,y)，
[0011] ⑥获取SRGB的中心偏好图，记为{Csaliency(x,y)}，将{Csaliency(x,y)}中坐标位置为(x,y)的像素点的像素值记为Csaliency(x,y)， 其中，e为自然基数，x0和y0对应表示SRGB中的中心像素点的横坐标和纵坐标，δx表示SRGB中的像素点的横坐标的标准差，δy表示SRGB中的像素点的纵坐标的标准差；
[0012] ⑦融合{Lsaliency(x,y)}和{Csaliency(x,y)}得到SRGB的视觉显著图，记为{S3D,saliency(x,y)}，其中，S3D,saliency(x,y)表示{S3D,saliency(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0013] 所述的步骤③中，
其中，min()为取最小值函数，max()为取最大值函数。
[0014] 所述的步骤⑦中S3D,saliency(x,y)＝Lsaliency(x,y)×Csaliency(x,y)。
[0016] 1)本发明方法采用log-Gabor低通
滤波器，符合人眼视觉系统对关注物体的检测，使得本发明方法具有较高的提取准确性和较强的稳定性，并能够较好地反映各种因素的显著变化情况，符合显著语义特征。
[0017] 2)本发明方法将深度信息的特征融合到左视点视觉显著图提取之中，提高了立体视觉显著值预测的准确性和稳定性。
[0018] 3)本发明方法同时考虑立体图像的中心偏好图和左视点视觉显著图，并最终融合得到立体图像的视觉显著图，通过这个过程进一步提高了三维视觉显著值的预测准确性和稳定性，从而进一步提高了立体图像的视觉显著图的提取稳定性和提取准确性。
附图说明
具体实施方式
[0020] 以下结合附图
实施例对本发明作进一步详细描述。
[0021] 本发明提出的一种立体图像视觉显著提取方法，其总体实现框图如图1所示，其包括以下步骤：
[0022] ①令SRGB表示待提取视觉显著的立体图像，将SRGB的左视点图像记为{LRGB(x,y)}，将SRGB的右视点图像记为{RRGB(x,y)}，将SRGB的深度图像记为{D(x,y)}，其中，1≤x≤W,1≤y≤H，W表示SRGB的宽度，H表示SRGB的高度，LRGB(x,y)表示{LRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，RRGB(x,y)表示{RRGB(x,y)}中坐标位置为(x,y)的像素点的像素值，D(x,y)表示{D(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0023] ②采用现有的颜色空间变换方法，将{LRGB(x,y)}从RGB颜色空间变换到Lab颜色空间，得到{LRGB(x,y)}对应的L通道图、a通道图和b通道图，对应记为{LLab,L(x,y)}、{LLab,a(x,y)}和{LLab,b(x,y)}，其中，LLab,L(x,y)表示{LLab,L(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a(x,y)表示{LLab,a(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b(x,y)表示{LLab,b(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0024] ③将{D(x,y)}的像素值范围变换到区间[0,255]，将变换得到的图像记为{D0,255(x,y)}，其中，D0,255(x,y)表示{D0,255(x,y)}中坐标位置为(x,y)的像素点的像素值，，min()为取最小值函数，max()为取最大值函数。
[0025] ④分别对{LLab,L(x,y)}、{LLab,a(x,y)}、{LLab,b(x,y)}和{D0,255(x,y)}实施现有的log-Gabor低通滤波，对应得到{LLab,L(x,y)}的低通滤波特征图、{LLab,a(x,y)}的低通滤波特征图、{LLab,b(x,y)}的低通滤波特征图和{D0,255(x,y)}的低通滤波特征图，对应记为{LLab,L,log(x,y)}、{LLab,a,log(x,y)}、{LLab,b,log(x,y)}和{D0,255,log(x,y)}，其中，LLab,L,log(x,y)表示{LLab,L,log(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,a,log(x,y)表示{LLab,a,log(x,y)}中坐标位置为(x,y)的像素点的像素值，LLab,b,log(x,y)表示{LLab,b,log(x,y)}中坐标位置为(x,y)的像素点的像素值，D0,255,log(x,y)表示{D0,255,log(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0026] ⑤根据{LLab,L,log(x,y)}、{LLab,a,log(x,y)}、{LLab,b,log(x,y)}和{D0,255,log(x,y)}，获取左视点视觉显著图，记为{Lsaliency(x,y)}，将{Lsaliency(x,y)}中坐标位置为(x,y)的像素点的像素值记为Lsaliency(x,y)，
[0027] ⑥获取SRGB的中心偏好图，记为{Csaliency(x,y)}，将{Csaliency(x,y)}中坐标位置为(x,y)的像素点的像素值记为Csaliency(x,y)， 其中，e为自然基数，e＝2.7182818284…，x0和y0对应表示SRGB中的中心像素点的横坐标和纵坐标，δx表示SRGB中的像素点的横坐标的标准差，δy表示SRGB中的像素点的纵坐标的标准差。
[0028] 在本实施例中， δx＝94和δy＝94，其中，符号 为向上取整符号。
[0029] ⑦融合{Lsaliency(x,y)}和{Csaliency(x,y)}得到SRGB的视觉显著图，记为{S3D,saliency(x,y)}，其中，S3D,saliency(x,y)表示{S3D,saliency(x,y)}中坐标位置为(x,y)的像素点的像素值，S3D,saliency(x,y)＝Lsaliency(x,y)×Csaliency(x,y)。
[0030] 为验证本发明方法的可行性和有效性，进行实验。
[0031] 在此，采用法国南特大学提供的三维人眼
跟踪数据库(3D eye-tracking database)来分析本发明方法的准确性和稳定性。这里，利用评估视觉显著提取方法的3个常用客观参量作为评价指标，即Pearson相关系数(Pearson linear correlation
coefficient，PLCC)、Kullback-Leibler散度系数(Kullback-Leibler divergence，KLD)、AUC参数(the Area Under the receiver operating characteristics Curve，AUC)。
[0032] 利用本发明方法获取法国南特大学提供的三维人眼跟踪数据库中的每幅立体图像的视觉显著图，并与三维人眼跟踪数据库中的每幅立体图像的主观视觉显著图(三维人眼跟踪数据库中存在)进行比较，PLCC和AUC值越高、KLD值越低说明本发明方法提取的视觉显著图与主观视觉显著图的一致性越好。反映本发明方法的显著提取性能的PLCC、KLD和AUC相关指标如表1所列。从表1所列的数据可知，按本发明方法提取得到的视觉显著图与主观视觉显著图的准确性和稳定性是很好的，表明客观提取结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。
[0033] 表1利用本发明方法提取得到的视觉显著图与主观视觉显著图的准确性和稳定性[0034]性能指标 性能指标值
PLCC 0.5077
KLD 0.3449
AUC 0.7134
。
