首页 / 专利库 / 数学与统计 / 超平面 / 一种基于多特征最优融合的图像显著性检测方法

一种基于多特征最优融合的图像显著性检测方法

阅读:340发布:2020-05-12

专利汇可以提供一种基于多特征最优融合的图像显著性检测方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于多特征最优融合的图像显著性检测方法,针对现有的显著性检测 算法 只是在空间域选择图像的 颜色 、纹理、方向等底层特征,或者只是从 频率 域 角 度来分析问题的单一性,选择空间域和频率域比较能够展示物体显著性的特征来计算物体的显著性;本发明方法通过 支持向量机 对 训练数据 的学习,能够根据图像的各种特征对于显著性检测的重要程度大小为各种特征设置不同的权重;本发明提供了一种能够得到更加准确和清晰的显著图的显著性检测算法,以便在各种 计算机视觉 领域任务中给提取的显著性区域分配更多计算机资源以便高效的处理各种视觉领域任务。,下面是一种基于多特征最优融合的图像显著性检测方法专利的具体信息内容。

1.一种基于多特征最优融合的图像显著性检测方法,其特征在于,包括以下步骤:
S1、获取待检测的图像;
S2、通过线性迭代聚类分割算法对待检测的图像进行预处理,获得若干由邻近像素构成的超像素;
S3、对超像素进行颜色特征和纹理特征提取,同时对待检测图像进行频域特征的提取;
S4、将提取的颜色特征、纹理特征和频域特征输入到训练好的支持向量机中,获得对应的显著值,并形成最终的显著图,实现图像显著性检测。
2.根据权利要求1所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述步骤S3中,对超像素进行颜色特征提取的方法具体为:
给每个超像素建立颜色直方图,依次将每个超像素作为目标超像素,将目标超像素与其它所有超像素进行超像素颜色对比,得到该目标超像素的颜色对比显著值作为该超像素的颜色特征。
3.根据权利要求2所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述目标超像素的颜色对比显著值S(rk)的计算公式为:
式中,Ds(rk,ri)为目标超像素ri和超像素rk之间的空间距离;
w(ri)为目标超像素ri的空间权值;
δs为空间权值对于颜色对比显著值计算的影响变量,所述δs越小空间权值对颜色显著对比度计算作用越大;
Dr(rk,ri)为目标超像素ri和超像素rk之间的颜色空间距离,其计算公式具体为:
式中,f(c1,i)为第i种颜色在超像素c1中出现的概率;
f(c2,j)为第j种颜色在超像素c2中出现的概率;
D(c1,i,c2,j)为超像素c1的第i种颜色和超像素c2中的第j种颜色的空间距离;
n1,n2分别为超像素c1和超像素c1中的颜色总数。
4.根据权利要求1所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述步骤S3中,对超像素进行纹理特征提取的方法具体为:
A1、通过二维Gabor滤波器计算超像素Rj中每个像素Ii的特征向量G(Rj,Ii);
A2、基于特征向量G(Rj,Ii),计算超像素Rj上的每一个像素Ii的纹理特征向量G(Rj);
A3、计算所有像素Ii的纹理特征向量G(Rj)平均值,得到超像素Rj的纹理显著值St(j)作为超像素Rj的纹理特征。
5.根据权利要求4所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述步骤A1中的二维Gabor滤波器的表达式为:
其中,二维Gabor滤波器的实数部分为:
二维Gabor滤波器的虚数部分为:
式中,x′=xcosθ+ysinθ,y′=-xsinθ+ycosθ;
x为像素在二维空间中x轴上的值;
y为像素在二维空间中y轴上的值;
λ是正弦函数的波长
θ表示Gabor核函数的方向;
ψ表示对应的相位偏移量;
σ表示高斯函数的标准差;
γ表示空间的宽度和高度比;
所述步骤A1中的超像素Rj中每个像素Ii的特征向量G(Rj,Ii)为:
式中,Gi(s,o)为确定尺度和方向下的像素Ii经过二维Gabor滤波器滤波后的特征向量,s为第一维特征向量,o为第二维特征向量;
所述步骤A2中,超像素Rj上的每一个像素Ii的纹理特征向量G(Rj)为:
式中,Ni为超像素Rj中的像素总数;
所述步骤A3中,超像素Rj的纹理显著值St(j)为:
式中,Nt为待检测图像中超像素的个数;
D(G(Ri),G(Rj))为超像素Rj和超像素Ri之间的欧氏距离。
6.根据权利要求1所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述步骤S3中,对待检测图像I(x)进行频域特征提取的方法具体为:
B1、通过傅里叶变换将原始空间域的待检测图像I(x)转换到频率域,并计算频率域中图像的相位谱和幅度谱;
B2、计算幅度谱的对数谱,并对其进行滤波处理;
B3、计算滤波处理后的对数谱对应的频谱残差信息;
B4、对频谱残差信息和幅度谱进行反傅里叶变换,并将反傅里叶变换结果进行高斯平滑处理得到显著图Sf(x),将其作为待检测图像的频域特征。
7.根据权利要求6所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述步骤B1中的幅度谱P(f)的计算公式为:
P(f)=S(F[I(x)])
式中,S(·)为幅值随频率变化的函数;
F[·]为傅里叶变换;
相位谱A(f)为:
A(f)=R(F[I(x)])
式中,R(·)为相位随角频率变化的函数;
所述步骤B2中,幅度谱P(f)的对数谱L(f)为:
L(f)=log(A(f))
式中,log(·)为对数运算符;
所述步骤B3中,频谱残差信息R(f)为:
R(f)=L(f)-hn(f)*L(f)
式中,hn(f)为均值滤波器,hn(f)*L(f)为通过均值滤波器对对数谱L(f)进行滤波操作;
所述步骤B4中,显著图Sf(x)为:
Sf(x)=g(x)*F-1[exp(R(f)+P(f))]2
式中,g(x)为高斯平滑滤波器;
-1
F [·]为傅里叶变换的逆变换;
exp(·)为指数函数。
8.根据权利要求1所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述步骤S4中,用于训练支持向量机的训练数据集为超像素集T={(x1,y1),(x2,y2),.....(xN,yN)},其中,xi为每个超像素的特征向量(ci,ti,fi),ci为对应超像素的平均颜色特征,ti为对应超像素的平均纹理特征,fi为对应图像的平均频域特征,yi为对应超像素的类别的控制变量,yi=1时,yi表示对应超像素为显著性目标区域,yi=0时,yi表示对应超像素为背景区域;
所述步骤S4中,训练支持向量机的方法具体为:
C1、通过线性超平面对训练数据集中的数据进行分割,获得对应的超平面;
C2、在所有超平面中,确定具有最大间隔的超平面,获得训练好的支持向量机。
9.根据权利要求8所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述步骤C1中,通过线性超平面对训练数据集进行分割时的表达式为:
h(x)=ωTx+b
式中,h(x)为分割后的超平面;
ω为法向量,用于决定超平面的方向;
b为位移项,用于绝地超平面和原点的距离;
其中,(ω,b)来表示超平面,且该超平面满足的条件为:
h(xi)yi≥1。
10.根据权利要求1所述的基于多特征最优融合的图像显著性检测方法,其特征在于,所述步骤S4具体为:
通过训练好的支持向量机学习输入的数据,分别得到颜色特征、纹理特征和频域特征的最优融合系数,并基于融合系数计算每个超像素的显著值,进而得到显著图,实现图像显著性检测。

说明书全文

一种基于多特征最优融合的图像显著性检测方法

技术领域

[0001] 本发明属于显著性检测技术领域,具体涉及一种基于多特征最优融合的图像显著性检测方法。

背景技术

[0002] 最近几十年,显著性检测领域得到了蓬勃的发展,学者们提出了很多的显著性检测模型。这些模型的主要思路是基于特征融合理论、视觉注意理论,通过中心-周围(Center-Surround)机制,计算出图像的颜色亮度、方向特征来模拟了人类视觉系统自底向上的视觉注意机制,通过计算颜色特征的对比来建立显著性检测模型。
[0003] 通过模仿人类视觉系统能够快速定位到感兴趣的物体的机制来进行显著性计算,这些算法总体来说效果性能良好,但是仍然存在一些改进的空间。
[0004] 但是由于目前对视觉系统的注意机制的认识还不够完善,以及图像的多样性以及噪声的干扰,导致很多方法只能从初级的特征入手而没有注意图像语义信息等高级特征的重要性,而且很多方法计算效率低,计算结果的精度有待提高。并且由于很多方法是针对某些特定任务提出的,导致方法的通用性不强,并且有的方法在标准数据集上效果很好,但是在图像前景背景比较接近等情况时候,获得的显著图位置与真实值偏差较大,难以准确的提取显著性区域。
[0005] 因此,提供一种能够得到更加准确和清新的显著图的显著性检测算法,这对于充分利用计算机资源和高效处理各种视觉领域任务具有重大意义。

发明内容

[0006] 针对现有技术中的上述不足,本发明提供的基于多特征最优融合的图像显著性检测方法解决了现有的显著性检测方法中特征分析度单一,难以准确体现图像显著性的问题。
[0007] 为了达到上述发明目的,本发明采用的技术方案为:一种基于多特征最优融合的图像显著性检测方法,包括以下步骤:
[0008] S1、获取待检测的图像;
[0009] S2、通过线性迭代聚类分割算法对待检测的图像进行预处理,获得若干由邻近像素构成的超像素;
[0010] S3、对超像素进行颜色特征和纹理特征提取,同时对待检测图像进行频域特征的提取;
[0011] S4、将提取的颜色特征、纹理特征和频域特征输入到训练好的支持向量机中,获得对应的显著值,并形成最终的显著图,实现图像显著性检测。
[0012] 进一步地,所述步骤S3中,对超像素进行颜色特征提取的方法具体为:
[0013] 给每个超像素建立颜色直方图,依次将每个超像素作为目标超像素,将目标超像素与其它所有超像素进行超像素颜色对比,得到该目标超像素的颜色对比显著值作为该超像素的颜色特征。
[0014] 进一步地,所述目标超像素的颜色对比显著值S(rk)的计算公式为:
[0015]
[0016] 式中,Ds(rk,ri)为目标超像素ri和超像素rk之间的空间距离;
[0017] w(ri)为目标超像素ri的空间权值;
[0018] δs为空间权值对于颜色对比显著值计算的影响变量,所述δs越小空间权值对颜色显著对比度计算作用越大;
[0019] Dr(rk,ri)为目标超像素ri和超像素rk之间的颜色空间距离,其计算公式具体为:
[0020]
[0021] 式中,f(c1,i)为第i种颜色在超像素c1中出现的概率;
[0022] f(c2,j)为第j种颜色在超像素c2中出现的概率;
[0023] D(c1,i,c2,j)为超像素c1的第i种颜色和超像素c2中的第j种颜色的空间距离;
[0024] n1,n2分别为超像素c1和超像素c1中的颜色总数。
[0025] 进一步地,所述步骤S3中,对超像素进行纹理特征提取的方法具体为:
[0026] A1、通过二维Gabor滤波器计算超像素Rj中每个像素Ii的特征向量G(Rj,Ii);
[0027] A2、基于特征向量G(Rj,Ii),计算超像素Rj上的每一个像素Ii的纹理特征向量G(Rj);
[0028] A3、计算所有像素Ii的纹理特征向量G(Rj)平均值,得到超像素Rj的纹理显著值St(j)作为超像素Rj的纹理特征。
[0029] 进一步地,所述步骤A1中的二维Gabor滤波器的表达式为:
[0030]
[0031] 其中,二维Gabor滤波器的实数部分为:
[0032]
[0033] 二维Gabor滤波器的虚数部分为:
[0034]
[0035] 式中,x′=x cosθ+y sinθ,y′=-x sinθ+y cosθ;
[0036] x为像素在二维空间中x轴上的值;
[0037] y为像素在二维空间中y轴上的值;
[0038] λ是正弦函数的波长
[0039] θ表示Gabor核函数的方向;
[0040] ψ表示对应的相位偏移量;
[0041] σ表示高斯函数的标准差;
[0042] γ表示空间的宽度和高度比;
[0043] 所述步骤A1中的超像素Rj中每个像素Ii的特征向量G(Rj,Ii)为:
[0044]
[0045] 式中,Gi(s,o)为确定尺度和方向下的像素Ii经过二维Gabor滤波器滤波后的特征向量,s为第一维特征向量,o为第二维特征向量;
[0046] 所述步骤A2中,超像素Rj上的每一个像素Ii的纹理特征向量G(Rj)为:
[0047]
[0048] 式中,Ni为超像素Rj中的像素总数;
[0049] 所述步骤A3中,超像素Rj的纹理显著值St(j)为:
[0050]
[0051] 式中,Nt为待检测图像中超像素的个数;
[0052] D(G(Ri),G(Rj))为超像素Rj和超像素Ri之间的欧氏距离。
[0053] 进一步地,所述步骤S3中,对待检测图像I(x)进行频域特征提取的方法具体为:
[0054] B1、通过傅里叶变换将原始空间域的待检测图像I(x)转换到频率域,并计算频率域中图像的相位谱和幅度谱;
[0055] B2、计算幅度谱的对数谱,并对其进行滤波处理;
[0056] B3、计算滤波处理后的对数谱对应的频谱残差信息;
[0057] B4、对频谱残差信息和幅度谱进行反傅里叶变换,并将反傅里叶变换结果进行高斯平滑处理得到显著图Sf(x),将其作为待检测图像的频域特征。
[0058] 进一步地,所述步骤B1中的幅度谱P(f)的计算公式为:
[0059] P(f)=S(F[I(x)])
[0060] 式中,S(·)为幅值随角频率变化的函数;
[0061] F[·]为傅里叶变换;
[0062] 相位谱A(f)为:
[0063] A(f)=R(F[I(x)])
[0064] 式中,R(·)为相位随角频率变化的函数;
[0065] 所述步骤B2中,幅度谱P(f)的对数谱L(f)为:
[0066] L(f)=log(A(f))
[0067] 式中,log(·)为对数运算符;
[0068] 所述步骤B3中,频谱残差信息R(f)为:
[0069] R(f)=L(f)-hn(f)*L(f)
[0070] 式中,hn(f)为均值滤波器,hn(f)*L(f)为通过均值滤波器对对数谱L(f)进行滤波操作;
[0071] 所述步骤B4中,显著图Sf(x)为:
[0072] Sf(x)=g(x)*F-1[exp(R(f)+P(f))]2
[0073] 式中,g(x)为高斯平滑滤波器;
[0074] F-1[·]为傅里叶变换的逆变换;
[0075] exp(·)为指数函数。
[0076] 进一步地,所述步骤S4中,用于训练支持向量机的训练数据集为超像素集 T={(x1,y1),(x2,y2),.....(xN,yN)},其中,xi为每个超像素的特征向量(ci,ti,fi),ci为对应超像素的平均颜色特征,ti为对应超像素的平均纹理特征,fi为对应图像的平均频域特征,yi为对应超像素的类别的控制变量,yi=1时,yi表示对应超像素为显著性目标区域,yi=0时,yi表示对应超像素为背景区域;
[0077] 所述步骤S4中,训练支持向量机的方法具体为:
[0078] C1、通过线性超平面对训练数据集中的数据进行分割,获得对应的超平面;
[0079] C2、在所有超平面中,确定具有最大间隔的超平面,获得训练好的支持向量机。
[0080] 进一步地,所述步骤C1中,通过线性超平面对训练数据集进行分割时的表达式为:
[0081] h(x)=ωTx+b
[0082] 式中,h(x)为分割后的超平面;
[0083] ω为法向量,用于决定超平面的方向;
[0084] b为位移项,用于绝地超平面和原点的距离;
[0085] 其中,(ω,b)来表示超平面,且该超平面满足的条件为:
[0086] h(xi)yi≥1。
[0087] 进一步地,所述步骤S4具体为:
[0088] 通过训练好的支持向量机学习输入的数据,分别得到颜色特征、纹理特征和频域特征的最优融合系数,并基于融合系数计算每个超像素的显著值,进而得到显著图,实现图像显著性检测。
[0089] 本发明的有益效果为:本发明公开了一种基于多特征最优融合的图像显著性检测方法,针对现有的显著性检测算法只是在空间域选择图像的颜色、纹理、方向等底层特征,或者只是从频率域角度来分析问题的单一性,选择空间域和频率域比较能够展示物体显著性的特征来计算物体的显著性;本发明方法通过支持向量机对训练数据的学习,能够根据图像的各种特征对于显著性检测的重要程度大小为各种特征设置不同的权重;本发明提供了一种能够得到更加准确和清晰的显著图的显著性检测算法,以便在各种计算机视觉领域任务中给提取的显著性区域分配更多计算机资源以便高效的处理各种视觉领域任务。附图说明
[0090] 图1为本发明提供的基于多特征融合的图像显著性检测方法流程图
[0091] 图2为本发明提供的实施例中MSRA-1000数据集各算法显著图对比示意图。
[0092] 图3为本发明提供的实施例中SED2数据集各算法显著图对比示意图。
[0093] 图4为本发明提供的实施例中SOD数据集上各算法PR曲线比较示意图。
[0094] 图5为本发明提供的实施例中MSRA-1000上各算法PR曲线比较示意图。
[0095] 图6为本发明提供的实施例中SED2上各算法PR曲线比较示意图。
[0096] 图7为本发明提供的实施例中SOD上各算法PR曲线比较示意图。

具体实施方式

[0097] 下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
[0098] 如图1所示,一种基于多特征最优融合的图像显著性检测方法,包括以下步骤:
[0099] S1、获取待检测的图像;
[0100] S2、通过线性迭代聚类分割算法对待检测的图像进行预处理,获得若干由邻近像素构成的超像素;
[0101] S3、对超像素进行颜色特征和纹理特征提取,同时对待检测图像进行频域特征的提取;
[0102] S4、将提取的颜色特征、纹理特征和频域特征输入到训练好的支持向量机中,获得对应的显著值,并形成最终的显著图,实现图像显著性检测。
[0103] 上述步骤S2中,为了便于后续图像特征的提取,首先需要使用图像的超像素分割技术对图像进行处理得到超像素以便后续的处理,像素是图像的最小表示单元,之前的图像显著性检测技术大都是把像素作为基本的处理单元进行处理的,但是由于后来图像尺寸越来越大会导致计算复杂度较高,而且以像素为基本单位进行图像处理不能够很好的利用图像的局部结构特征,在这种背景下,提出的超像素概念获得了研究者们的青睐,超像素指的是相邻的像素点根据其特征如颜色、纹理、亮度等的相似度把这些像素聚类形成具有一定的视觉意义但是形状不规则的像素块,超像素分割的目的就是把像素根据其特征的相似度聚类成超像素块的过程,由于超像素分割可以很好的得到图像的局部结构信息,很大程度上提高后续计算的效率,所以成为了很多处理的预处理步骤。
[0104] 目前已经出现了多种超像素分割算法,每种算法都有对应的特点,根据对图像进行分割生成超像素的原理不同,可以把超像素分割算法分为两类:基于图论的算法和基于梯度的算法。第一类算法通常把要处理图像转换为一个带权无向图结构,任何相邻的像素的关系映射成无向图的边,边上的权重表示对应的像素特征的相似度,然后对无向图进行划分操作,并且构造目标代价函数,计算该函数最优值来获得超像素。基于梯度下降分割算法,通常是选择部分像素点作为种子点,然后以这些像素点为中心进行聚类,后面在不断的迭代过程中同时修改对应的聚类结果,直到达到对应收敛条件才停止运算。本发明使用具有高准确率的SLIC超像素分割算法对图像进行处理。
[0105] 在上述步骤S3中,在对颜色特征进行提取时,颜色的对比度通常是指图像中某一区域颜色和周边区域的颜色差异程度,通常这种颜色差异越大,越能引起人们的视觉注意。由于全局对比度可以更好的展示整个显著性区域,所以本算法使用全局对比度计算目标区域的显著值。
[0106] 因此,对超像素进行颜色特征提取的方法具体为:
[0107] 给每个超像素建立颜色直方图,依次将每个超像素作为目标超像素,将目标超像素与其它所有超像素进行超像素颜色对比,得到该目标超像素的颜色对比显著值作为该超像素的颜色特征。
[0108] 其中,目标超像素的颜色对比显著值S(rk)的计算公式为:
[0109]
[0110] 式中,Ds(rk,ri)为目标超像素ri和超像素rk之间的空间距离;
[0111] w(ri)为目标超像素ri的空间权值;
[0112] δs为空间权值对于颜色对比显著值计算的影响变量,所述δs越小空间权值对颜色显著对比度计算作用越大;
[0113] Dr(rk,ri)为目标超像素ri和超像素rk之间的颜色空间距离,其计算公式具体为:
[0114]
[0115] 式中,f(c1,i)为第i种颜色在超像素c1中出现的概率;
[0116] f(c2,j)为第j种颜色在超像素c2中出现的概率;
[0117] D(c1,i,c2,j)为超像素c1的第i种颜色和超像素c2中的第j种颜色的空间距离;
[0118] n1,n2分别为超像素c1和超像素c1中的颜色总数。
[0119] 在目标超像素的颜色对比显著值S(rk)的计算公式中考虑到超像素块之间空间距离对于超像素块的对比度的影响来加强较近距离对于对比度计算的增强效果和抑制较远距离对于对比度计算的抑制效果。
[0120] 在上述步骤S3中,纹理特征能够很好的反应某图像区域的某种结构的均匀的或非均匀的变化程度,可以直观的反应物体的特性,提取图像的纹理特征的方法有模型法、统计法、频谱法和结构分析法,本发明主要使用Gabor滤波器来提取图像的纹理特征。Gabor滤波器能够同时在频率域和空间域分析图像信息,并且其对图像信息频率和方向的表达非常类似于人类的视觉系统,可以很好的提取图像的纹理信息。因此,上述步骤S3中对超像素进行纹理特征提取的方法具体为:
[0121] A1、通过二维Gabor滤波器计算超像素Rj中每个像素Ii的特征向量G(Rj,Ii);
[0122] 具体地,使用Gabor滤波器对已经分割后的超像素块进行滤波处理,滤波器的设置是使用4个方向和4个尺度参数,获得4组不同尺度的4个不同方向的共16个不同的Gabor特征向量,设某一尺度和方向下的像素Ii的Gabor滤波后的特征向量为Gi(s,o),进而得到超像素Rj中每个像素Ii的特征向量G(Rj,Ii);
[0123] A2、基于特征向量G(Rj,Ii),计算超像素Rj上的每一个像素Ii的纹理特征向量G(Rj);
[0124] A3、计算所有像素Ii的纹理特征向量G(Rj)平均值,得到超像素Rj的纹理显著值St(j)作为超像素Rj的纹理特征。
[0125] 其中,步骤A1中的二维Gabor滤波器的表达式为:
[0126]
[0127] 其中,二维Gabor滤波器的实数部分为:
[0128]
[0129] 二维Gabor滤波器的虚数部分为:
[0130]
[0131] 式中,x′=x cosθ+y sinθ,y′=-x sinθ+y cosθ;
[0132] x为像素在二维空间中x轴上的值;
[0133] y为像素在二维空间中y轴上的值;
[0134] λ是正弦函数的波长;
[0135] θ表示Gabor核函数的方向;
[0136] ψ表示对应的相位偏移量;
[0137] σ表示高斯函数的标准差;
[0138] γ表示空间的宽度和高度比;
[0139] 上述步骤A1中的超像素Rj中每个像素Ii的特征向量G(Rj,Ii)为:
[0140]
[0141] 式中,Gi(s,o)为确定尺度和方向下的像素Ii经过二维Gabor滤波器滤波后的特征向量,s为第一维特征向量,o为第二维特征向量;
[0142] 上述步骤A2中,超像素Rj上的每一个像素Ii的纹理特征向量G(Rj)为:
[0143]
[0144] 式中,Ni为超像素Rj中的像素总数;
[0145] 上述步骤A3中,超像素Rj的纹理显著值St(j)为:
[0146]
[0147] 式中,Nt为待检测图像中超像素的个数;
[0148] D(G(Ri),G(Rj))为超像素Rj和超像素Ri之间的欧氏距离。
[0149] 上述步骤S3中,对待检测图像I(x)进行频域特征提取时,通过把图像信息转换到频率域并且计算图像的对数频率可以高效分析出图像的显著性目标。从频率域角度进行图像的显著性分析的主要原理是人类视觉系统对于比较特殊信息比较敏感,而会抑制频繁出现的信息,从而从信息论的角度可以把图像信息分为冗余信息和特殊信息,通过去除图像的冗余信息而得到剩下的图像的显著性信息,本发明主要按照SR算法的原理把图像信息通过傅里叶变换到频率域,然后在频率域计算图像的频谱残差信息,然后通过傅里叶逆变换将信息变换到空间域得到所要提取的信息。因此,上述步骤S3中待检测图像I(x)进行频域特征提取的方法具体为:
[0150] B1、通过傅里叶变换将原始空间域的待检测图像I(x)转换到频率域,并计算频率域中图像的相位谱和幅度谱;
[0151] B2、计算幅度谱的对数谱,并对其进行滤波处理;
[0152] B3、计算滤波处理后的对数谱对应的频谱残差信息;
[0153] B4、对频谱残差信息和幅度谱进行反傅里叶变换,并反傅里叶变换结果进行高斯平滑处理得到显著图Sf(x),将其作为待检测图像的频域特征。
[0154] 上述步骤B1中的幅度谱P(f)的计算公式为:
[0155] P(f)=S(F[I(x)])
[0156] 式中,S(·)为幅值随角频率变化的函数;
[0157] F[·]为傅里叶变换;
[0158] 相位谱A(f)为:
[0159] A(f)=R(F[I(x)])
[0160] 式中,R(·)为相位随角频率变化的函数;
[0161] 所述步骤B2中,幅度谱P(f)的对数谱L(f)为:
[0162] L(f)=log(A(f))
[0163] 式中,log(·)为对数运算符;
[0164] 所述步骤B3中,频谱残差信息R(f)为:
[0165] R(f)=L(f)-hn(f)*L(f)
[0166] 式中,hn(f)为均值滤波器,hn(f)*L(f)为通过均值滤波器对对数谱L(f)进行滤波操作;
[0167] 所述步骤B4中,显著图Sf(x)为:
[0168] Sf(x)=g(x)*F-1[exp(R(f)+P(f))]2
[0169] 式中,g(x)为高斯平滑滤波器;
[0170] F-1[·]为傅里叶变换的逆变换;
[0171] exp(·)为指数函数。
[0172] 传统的图像显著性检测方法大多通过对所提取的特征图进行简单的线性相加或者相乘,这样的话往往没有考虑到所提取的各个特征图对于最终形成的显著图的不同的重要程度,而通过使用支持向量机学习目标区域和背景区域超像素的特征,能够更好的区分所提取的不同的特征对于显著图生成的不同的贡献程度,同时在图像的分类模型中,也可以把显著性检测问题看作是把图像区域分为目标和背景的问题。支持向量机是一种按照监督下学习的方式用来处理分类和回归问题的模型,在模式识别文本分类等领域有广泛的应用,并且在进行小样本、高维数据分类时具有准确率高。鲁棒性高等优势,可以恨到的处理显著性检测任务,使用支持向量机进行显著性检测主要分为两个阶段;第一个阶段是使用初始支持向量机来学习显著性目标或者背景的超像素的特征,并且通过不断地迭代优化过程得到一个分类器;第二个阶段是使用该分类器对输入图像的超像素的特征来计算其显著值,形成最终的显著性图像。支持向量机的基本思想是对于给定的数据,如果这些数据是线性可分的,需要需找一个超平面把这些数据区分开来,但是这种超平面往往有很多,这就需要选择一个使两类支持向量最大的分离超平面,如果数据是线性不可分的,需要把当前数据映射到一个高维空间进行处理。基于此,上述步骤S4中,通过支持向量机进行图像的显著性检测时,
[0173] 用于训练支持向量机的训练数据集为超像素集T={(x1,y1),(x2,y2),.....(xN,yN)},其中,x1为每个超像素的特征向量(ci,ti,fi),ci为对应超像素的平均颜色特征,ti为对应超像素的平均纹理特征,fi为对应图像的平均频域特征,yi为对应超像素的类别的控制变量,yi=1时,yi表示对应超像素为显著性目标区域,yi=0时,yi表示对应超像素为背景区域;
[0174] 训练支持向量机的方法具体为:
[0175] C1、通过线性超平面对训练数据集中的数据进行分割,获得对应的超平面;
[0176] C2、在所有超平面中,确定具有最大间隔的超平面,获得训练好的支持向量机。
[0177] 其中,步骤C1中,通过线性超平面对训练数据集进行分割时的表达式为:
[0178] h(x)=ωTx+b
[0179] 式中,h(x)为分割后的超平面;
[0180] ω为法向量,用于决定超平面的方向;
[0181] b为位移项,用于绝地超平面和原点的距离;
[0182] (ω,b)来表示超平面,该超平面可以将训练数据正确分类,那么超平面满足的条件为:
[0183] h(xi)yi≥1;
[0184] 同时为了寻找具有最大间隔的超平面,需要求解使上式等号成立的支持向量距离超平面的距离之和最大的(ω,b),假设支持向量到超平面距离之和用γ表示,其计算公式如下:
[0185]
[0186] 此时求最大间隔问题转化为求得(ω,b)使得 最大,具体的要求如下式:
[0187]
[0188] 同时上式可以转化为下面问题,求合适的(ω,b)让||ω|最小化,具体的要求如下式:
[0189]
[0190] 通过求得上式的最小化得到对应的(ω*,b*)其对应的分离超平面为:
[0191] (ω*)T x+b*=0
[0192] 得到训练好的支持向量机(分类器)分之后,就可以通过输入每个超像素的特征向量xi,得到该超像素的显著值,最终得到对应的显著图。
[0193] 因此,上述步骤S4具体为:
[0194] 通过训练好的支持向量机学习输入的数据,分别得到颜色特征、纹理特征和频域特征的最优融合系数,并基于融合系数计算每个超像素的显著值,进而得到显著图,实现图像显著性检测。
[0195] 实施例2:
[0196] 在本发明的一个实施例中,将本发明方法与现有的8种经典算法进行对比,这些算法分别是IT、LC、HC、SR、FT、AC、CA和GB,这些经典算法产生的显著图是通过对应算法的代码产生的,结合真值图和评价的指标来验证本算法有效性;
[0197] (1)实验环境
[0198] 通过实验来验证基于多特征融合算法的有效性,所使用的编程环境是 Matlab 2014a。计算机的配置为Windows7(64位)、Intel i5-3470@3.2GHz、8G 内存。本节在MSRA-
1000数据集、SED2数据集和SOD数据集上进行实验。
[0199] (2)主观效果比较
[0200] 在MSRA-1000,SED2和SOD的数据集随机抽取的图片,使用发明提出的基于多特征最优融合的显著性检测算法生成的显著图,和上小节提到的另外几种经典算法产生的显著图进行定性的比较,将经典算法得到的显著图和本算法得到的显著图在下图中展示。图2到图4中从左到右依次是原图、IT、LC、HC、 SR、FT、AC、CA、GB算法得到的显著图以及本算法得到的显著图和真值图。
[0201] 通过比较在不同数据集上各个算法的显著性检测效果,发现大多数算法在 MSRA-1000数据集上的效果最好,在SED2数据集上效果比较好,在SOD数据集上效果比较差,这主要是由于MSRA-1000数据集中的图片通常只有一个目标区域,前景和背景特征差异比较大,目标比较清晰,并且大部分目标区域都位于图像中心位置,检测目标区域的难度较低。SED2数据集中的图像通常有两个目标区域,而且目标区域通常偏离中心位置比较远,检测起来比较困难。而SOD 数据集中的图片的目标区域通常不够清晰,而且背景比较复杂,对前景检测干扰比较大,不容易检测到显著性区域。通过在单一数据集上和其他算法的效果比较发现IT算法得到的目标区域不够完整,效果比较差;HC算法能够较好的抗背景噪声的干扰,但是不能高亮突出显著性物体;SR算法和GB算法只能检测到物体的边界,显著目标内部比较空洞;CA算法只能检测到物体的边缘而不能高亮显著性物体的内部区域;LC算法、AC算法和FT算法在前景和目标比较接近的时候通常容易把背景误检为目标区域。总体来说经典的显著性检测算法都能够检测到显著性物体,但存有生成的目标区域不完整或者容易把背景噪声检测为显著性物体等问题,而本章提出的算法能够完整的检测出显著性目标区域,得到较清晰的物体边缘和高亮的目标区域,并且可以抑制背景噪声的干扰,在对自然场景图片的检测时能够表现出较好的效果。
[0202] (3)客观效果比较
[0203] 在公开数据集MSRA-1000、SED2和SOD上把本章算法和8种经典算法进行算法性能的比较,主要使用以下几个性能指标:PR曲线、F-measure值、MAE 值和AUC值。PR曲线主要是用来刻画查准率和查全率之间的关系;F-measure 值综合反映了精确率和召回率之间的关系;MAE表示算法得到的显著图和人工标注的真实图之间的误差程度;AUC表示对于随机的一个正例和一个负例,通过算法预测为正例的概率值比预测为负例的概率值大的可能性。主要在三组数据集MSRA-1000、SED2和SOD分别比较本发明算法和另外8种经典算法的在固定阈值下的PR曲线图像、F-measure图像、MAE值图像和AUC图像。
[0204] 图5-图7分别为固定阈值下本发明算法和其他8种算法在不同的数据集上的PR曲线比较。
[0205] 通过图5-图7可以看出,大部分算法的PR曲线都比早期提出的IT算法高,并且各种算法在MSRA-1000数据集上的PR曲线最高,在SED2数据集上的PR 曲线要低一些,在SOD数据集上对应的PR曲线最低。这是由于MSRA-1000 中的图片通常只有一个目标区域,前景和背景特征差异比较大,目标比较清晰,并且大部分目标区域都位于图像中心位置,检测目标区域的难度较低。SED2数据集中的图像通常有两个目标区域,而且目标通常偏离中心位置比较远,检测目标区域比较困难,正是由于这种原因,导致算法在SED2数据集上的精确率要比其在MSRA-1000上的要低。SOD数据集中的图片的目标区域通常不够清晰,而且前景和背景图像特征比较接近,受到背景噪声的干扰比较大,不容易检测到显著性区域,所以某算法在该数据集上PR曲线要比其在其他数据集上的PR 曲线要低的多。在MSRA-1000数据集上本算法的PR曲线位于其他PR曲线上方,同一召回率下本算法的准确率几乎比其他所有算法的准确率高一些,说明该算法可以很好的检测到显著性目标;在同一准确率的情况下,本章算法的召回率几乎和所有其他算法接近或者高一些。通过这些比较可以证明本算法具有较好的显著性检测性能,得到显著图和真实图比较接近。即使在显著目标检测难度较大的SED2数据集和SOD数据集,本算法的PR曲线也略高于其他经典算法,这是由于这些算法大都只是对图像的特征图进行了简单的融合,本算法使用支持向量机对图像特征使用最优的权重进行融合,所以可以得到更加准确的目标区域。
[0206] 本发明的有益效果为:本发明公开了一种基于多特征最优融合的图像显著性检测方法,针对现有的显著性检测算法只是在空间域选择图像的颜色、纹理、方向等底层特征,或者只是从频率域角度来分析问题的单一性,选择空间域和频率域比较能够展示物体显著性的特征来计算物体的显著性;本发明方法通过支持向量机对训练数据的学习,能够根据图像的各种特征对于显著性检测的重要程度大小为各种特征设置不同的权重;本发明提供了一种能够得到更加准确和清晰的显著图的显著性检测算法,以便在各种计算机视觉领域任务中给提取的显著性区域分配更多计算机资源以便高效的处理各种视觉领域任务。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈