首页 / 专利库 / 人工智能 / 多样性密度 / 一种基于主动学习的显著性检测方法

一种基于主动学习的显著性检测方法

阅读:25发布:2020-05-15

专利汇可以提供一种基于主动学习的显著性检测方法专利检索,专利查询,专利分析的服务。并且本 发明 属于 人工智能 技术领域,提供了一种基于主动学习的显著性检测方法,主动学习的思路运用到了显著性检测领域,通过考虑样本的不确定性与多样性从未标记样本集中选择出最利于模型训练的样本加入训练集,训练得到最终的KSR模型,由该模型输出测试样本的初始显著图。之后,为了优化显著图的目标边界,又设计了一种超 像素 级的后处理方法进一步提升性能。本发明降低了标注成本,同时减少了训练集的冗余,使得实验效果相较于原始KSR模型有了很大提升。同时通过对比实验表明本发明方法的性能优于许多经典 算法 。,下面是一种基于主动学习的显著性检测方法专利的具体信息内容。

1.一种基于主动学习的显著性检测方法,其特征在于,步骤如下:
(1)首先,从MSRA数据库中随机选取500张图像加入训练集L中作为初始训练集,分别生成所有图像的区域候选分割,并提取所有区域候选分割的区域CNN特征;
(2)定义区域候选分割的正负样本,设计一个自信值去衡量样本相对于真值图前景和背景的打分,自信值为: 该分数提前计算两个分值A和C,A是准确度
分数,C是覆盖度分数,其中 而 其中Oi代表第i个样本的目标候选
分割,G代表该图像的真值图;其中,ξ是用来平衡准确度分数和覆盖度分数的权重;在本方法中,设定自信值高于0.9的样本被认为是正样本,自信值小于0.6的样本被确定为负样本;
因为在计算自信值时发现正样本的个数远远小于负样本的个数,所以使用所有的正样本,随机选择与正样本数量相同的负样本;为进行排序支持向量机训练,将所有正负样本组成正负样本对,定义正样本减负样本为正样本对,反之为负样本对;
利用公式: 进行排序支持向量机和子
空间学习联合训练,训练得到一个排序器KSR,该排序器对样本的区域候选分割进行显著性排序,排名靠前的与前景相似度大;其中w是排序支持向量机的排序系数;式中是逻辑损失函数,a是损失函数参数,e为指数函数;φ(xi)代表样本的
特征xi通过核映射后的特征;p是样本对xin和xjn的约束数目;(in,jn)表明样本对是第n对约束的下标;yn∈{+1,-1}表示样本是属于同一类还是不同类,或者说是否同时属于前景或背景;L∈Rl×d(l<d)是学习到的映射矩阵,l是初始特征维数,d是映射后的特征维度,μ和λ则代表正则化参数;
利用主动学习挑选训练样本;首先利用上述初始化生成的模型对未标记样本池中所有样本的目标候选分割进行显著性排序,由si=wTPki得到排序分数,为简化联合训练的计算引入L=PφT(X),其中P∈Rl×N,N是样本个数,φT(X)是核运算,在化简过程中,引入核函数;
利用公式 将所有排序分数si归一化, 代表排序分数归一化
后分数,smin代表该图像排序分数集中最小的排序分数,smax代表该图像排序分数集中最大的排序分数;找出所有图像的目标候选分割的归一化排序分数在0.4至0.9之间的图像Xp代表选择出的目标候选分割组成的集合,X代表
该图像所有的目标候选分割组成的集合;通过公式 计算该图像目标候选分
割的排序分数在0.4至0.9之间的个数占所有目标候选分割的比例β,其中card(X)代表该图像所有的目标候选分割数目,card(XP)代表集合Xp中的目标候选分割数目;将此分数作为每张图像的不确定值;这样,得到一个关于所有样本池中未标记样本的不确定值集合,选择其Β={β1,β2,…,βn}中高不确定度的样本人工标记后加入训练集,通过公式
进行每一次选择,其中μ0为不确定值集合B的均值,
δ是集合的标准差,λ0是权重参数,选取λ0=1.145;设计每一次选择不确定度β大于μ0+λ0δ的样本组成集合Quc;对图像Quc应用密度聚类算法,获得参数ε=0.05,MinPts的大小设定为2,当圆心邻域内样本为2或以上归为一类;聚类后,获得高密度的样本簇C={c1,c2,…cn},和只有1个孤立样本的簇O={o1,o2,…om},最终图像集Quc被分成:Quc={ci,i=1,2,...n}∪{oi,i=1,2,...m};通过公式 从每一个高密度的簇ct中选择其中不确
定度最大的样本Ut,除此之外,还选择所有孤立样本加入候选集Q中,此类样本点可增加训练模型的泛化能;最终候选集为Q={Ut,t=1,...n}∪{Oi,i=1,...m};样本集Q代表了每次通过同时考虑不确定性和多样性设计的选择模型选择出的样本,通过人工标记后加入训练集L中;
(3)将上述工作选择的样本集Q进行人工标记,之后加入到训练集L中,利用更新后的训练集L再次训练一个排序器KSR,之后在验证集上验证此次训练的模型的性能,之后不断重复步骤(2),直到模型性能变化较小或性能下降,选择上一次迭代选择的训练集作为最终训练集,训练的模型作为最终的训练模型,由模型对每张测试图像的区域候选分割进行显著性排序,选取排名前16位的区域候选分割进行加权融合,得到该图像的显著图Mp;
(4)提出一种在超像素级别上的处理方法,实现优化边界的目的;首先利用SLIC的超像素分割算法,设定分割的超像素数量分别为100、150和200,用来构成图像i的超像素集SPi,分别提取每一个超像素块的CNN特征xj;将由步骤(3)得到的显著图Mp进行二值化作为先验显著图Ei;确定超像素的正负样本,为了使置信度最高,将超像素中完全位于先验显著图Ei前景区域的超像素构成正样本集POi,将超像素中完全位于先验显著图Ei的背景区域的超像素构成负样本集Ni;将正负样本集中的样本构成正负样本对,利用公式
去自训练一个关于图像i的模型KSRi;对于该
T
模型KSRi,利用公式si=w Pki对图像所有的超像素进行打分,将所有的超像素进行排序S={s1,s2,…sn},分数越高越接近前景,反之分数越低越接近背景;利用公式
求得超像素中每个像素的得分,并将所有分数归一化到0-1之间,
最后加权融合得到超像素级别合成的显著图Ms;最终显著图通过公式M=w1×Mp+w2×MS得到,其中M为最终显著图,Mp为原显著图,Ms为超像素级显著图。

说明书全文

一种基于主动学习的显著性检测方法

技术领域

[0001] 本发明属于人工智能技术领域,涉及到计算机视觉,特别涉及到一种图像显著性检测方法。

背景技术

[0002] 当今社会的经济和科技平迅速发展,各种各样不同的碎片化信息时时刻刻的被人类所接收,而图像和视频信息又是这些信息中最多、最重要的。如何快速有效的处理图像数据成为人们需要解决的一个难题。通常,人们只关注图像中最吸引人眼注意区域,即前景区域或显著目标,同时忽略背景区域。因此,人们利用计算机模拟人类视觉系统进行显著性检测。目前,显著性的研究可以广泛应用到计算机视觉的各个领域,包括图像检索、图像分类、目标识别以及图像分割等。
[0003] 显著性检测的目标是精准的从图像中将显著目标检测出来。基于监督学习的显著性检测算法普遍存在一个问题,即模型训练过程通常需要大量的人工标记数据,标记显著区域需要花费大量的资源,而且许多训练样本中存在冗余信息,这些冗余信息反而会对模型精度造成负面影响。

发明内容

[0004] 本发明要解决的技术问题是:弥补上述现有方法的不足,提出一种基于主动学习的图像显著性检测方法,实现使用较少的训练样本获得更高模型精度的目的。
[0005] 本发明的技术方案:
[0006] 一种基于主动学习的显著性检测方法,步骤如下:
[0007] (1)首先,从MSRA数据库中随机选取500张图像加入训练集L中作为初始训练集,分别生成所有图像的区域候选分割(Proposals),并提取所有区域候选分割的区域CNN特征;
[0008] (2)定义区域候选分割的正负样本,设计一个自信值(confidence score)去衡量样本相对于真值图前景和背景的打分,自信值为: 该分数提前计算两个分值A和C,A是准确度分数,C是覆盖度分数,其中 而 其中Oi
代表第i个样本的目标候选分割,G代表该图像的真值图;其中,ξ是用来平衡准确度分数和覆盖度分数的权重;在本方法中,设定自信值高于0.9的样本被认为是正样本,自信值小于
0.6的样本被确定为负样本;因为在计算自信值时发现正样本的个数远远小于负样本的个数,所以使用所有的正样本,随机选择与正样本数量相同的负样本;为进行排序支持向量机训练,将所有正负样本组成正负样本对,定义正样本减负样本为正样本对,反之为负样本对;
[0009] 利用公式: 进行排序支持向量机和子空间学习联合训练,训练得到一个排序器KSR,该排序器对样本的区域候选分割进行显著性排序,排名靠前的与前景相似度大;其中w是排序支持向量机的排序系数;式中是逻辑损失函数,a是损失函数参数,e为指数函数;φ(xi)代表样本的
特征xi通过核映射后的特征;p是样本对xin和xjn的约束数目;(in,jn)表明样本对是第n对约束的下标;yn∈{+1,-1}表示样本是属于同一类还是不同类,或者说是否同时属于前景或背景;L∈Rl×d(l<d)是学习到的映射矩阵,l是初始特征维数,d是映射后的特征维度,μ和λ则代表正则化参数;
[0010] 利用主动学习挑选训练样本;首先利用上述初始化生成的模型对未标记样本池中所有样本的目标候选分割进行显著性排序,由si=wTPki得到排序分数,为简化联合训练的计算引入L=PφT(X),其中P∈Rl×N,N是样本个数,φT(X)是核运算,在化简过程中,引入核函数;利用公式 将所有排序分数si归一化, 代表排序分数归一化后分数,smin代表该图像排序分数集中最小的排序分数,smax代表该图像排序分数集中最大的排序分数;找出所有图像的目标候选分割的归一化排序分数在0.4至0.9之间的图像Xp代表选择出的目标候选分割组成的集合,X代表
该图像所有的目标候选分割组成的集合;通过公式 计算该图像目标候选分
割的排序分数在0.4至0.9之间的个数占所有目标候选分割的比例β,其中card(X)代表该图像所有的目标候选分割数目,card(XP)代表集合Xp中的目标候选分割数目;将此分数作为每张图像的不确定值;这样,得到一个关于所有样本池中未标记样本的不确定值集合,选择其Β={β1,β2,…,βn}中高不确定度的样本人工标记后加入训练集,通过公式
进行每一次选择,其中μ0为不确定值集合B的均值,δ
是集合的标准差,λ0是权重参数,选取λ0=1.145;设计每一次选择不确定度β大于μ0+λ0δ的样本组成集合Quc;对图像Quc应用密度聚类算法,获得最佳参数ε=0.05,MinPts的大小设定为2,当圆心邻域内样本为2或以上可归为一类;聚类后,获得高密度的样本簇C={c1,c2,…cn},和只有1个孤立样本的簇O={o1,o2,…om},最终图像集Quc被分成:Quc={ci,i=1,2,...n}∪{oi,i=1,2,...m};通过公式 从每一个高密度的簇ct中选择其
中不确定度最大的样本Ut,除此之外,还选择所有孤立样本加入候选集Q中,此类样本点可增加训练模型的泛化能;最终候选集为Q={Ut,t=1,...n}∪{Oi,i=1,...m};样本集Q代表了每次通过同时考虑不确定性和多样性设计的选择模型选择出的样本,通过人工标记后加入训练集L中;
[0011] (3)将上述工作选择的样本集Q进行人工标记,之后加入到训练集L中,利用更新后的训练集L再次训练一个排序器KSR,之后在验证集上验证此次训练的模型的性能,之后不断重复步骤(2),直到模型性能变化较小或性能下降,选择上一次迭代选择的训练集作为最终训练集,训练的模型作为最终的训练模型,由模型对每张测试图像的区域候选分割进行显著性排序,选取排名前16位的区域候选分割进行加权融合,得到该图像的显著图Mp;
[0012] (4)由步骤(3)得到的显著图Mp对于目标的边缘细节处理的仍然不够,因此本发明提出一种在超像素级别上的处理方法,实现优化边界的目的。首先利用SLIC的超像素分割算法,设定分割的超像素数量分别为100,150和200,用来构成图像i的超像素集SPi,分别提取每一个超像素块的CNN特征xj;将由步骤(3)得到的显著图Mp进行二值化作为先验显著图Ei;确定超像素的正负样本,为了使置信度最高,将超像素中完全位于先验显著图Ei前景区域的超像素构成正样本集POi,将超像素中完全位于先验显著图Ei的背景区域的超像素构成负 样本 集N i ;将正 负样 本集 中的 样本 构成 正 负样 本对 ,利 用公式去自训练一个关于图像i的模型KSRi;对于该模型KSRi,利用公式si=wTPki对图像所有的超像素进行打分,将所有的超像素进行排序S={s1,s2,…sn},分数越高越接近前景,反之分数越低越接近背景。利用公式
求得超像素中每个像素的得分,并将所有分数归一化到0-1之间,
最后加权融合得到超像素级别合成的显著图Ms。最终显著图通过公式M=w1×Mp+w2×MS得到,其中M为最终显著图,Mp为原显著图,Ms为超像素级显著图。
[0013] 本发明的有益效果:本发明提出的基于主动学习的显著性检测算法,将主动学习的思路运用到了显著性检测领域,通过考虑样本的不确定性与多样性从未标记样本集中选择出最利于模型训练的样本加入训练集,训练得到最终的KSR模型,由该模型输出测试样本的初始显著图。之后,为了优化显著图的目标边界,又设计了一种超像素级的后处理方法进一步提升性能。本发明降低了标注成本,同时减少了训练集的冗余,使得实验效果相较于原始KSR模型有了很大提升。同时通过对比实验表明本发明方法的性能优于许多经典算法。附图说明
[0014] 图1是本发明的基本流程图
[0015] 图2是将主动学习应用到KSR模型上得到的初始显著图。
[0016] 图3是对初始显著图应用超像素级后处理融合得到的最终显著图。

具体实施方式

[0017] 以下结合附图和技术方案,进一步说明本发明的具体实施方式。
[0018] 本发明的构思是:由于监督学习训练过程通常需要大量的人工标记数据,标记显著区域需要花费大量的资源,而且许多训练样本中存在冗余信息,这些冗余信息反而会对模型精度造成负面影响。主动学习利用选择机制选择信息量较大的样本进行训练,实现使用较少的训练样本获得更高模型精度的目的。基于此,本发明在核子空间排序算法(Kernelized Subspace Ranking,KSR)的基础上,将主动学习(Active Learning,AL)的思路与之结合。本发明设计了一种基于池的主动学习策略,即考虑未标记样本的不确定性和多样性来挑选信息量较大的样本参与训练,实现减少训练样本数量,降低标记成本的目的。
[0019] 本发明提取目标级区域候选分割(Proposals)的卷积神经网络CNN特征,利用子空间映射和排序支持向量机联合学习一个排序器,该排序器对测试图像的区域候选分割进行显著性排序,将排序靠前的区域候选分割加权融合得到显著图。最后,为了优化显著图的目标边界,本发明设计了一种超像素级的后处理方法进一步提升性能。
[0020] 本发明具体实施如下:
[0021] (1)首先从MSRA数据库中随机选取500张图像加入训练集L中作为初始训练集,分别生成所有图像的区域候选分割(Proposals),并提取所有区域候选分割的区域CNN特征。
[0022] (2)定义区域候选分割的正负样本,本算法设计一个自信值(confidencescore)去衡量样本相对于真值图前景和背景的打分,自信值为: 该分数提前计算两个分值A和C,A是准确度分数,C是覆盖度分数,其中 而 其
中Oi代表第i个样本的目标候选分割,G代表该图像的真值图;其中,ξ是用来平衡准确度分数和覆盖度分数的权重;在本算法中,设定自信值高于0.9的样本被认为是正样本,自信值小于0.6的样本被确定为负样本;因为在计算自信值时发现正样本的个数远远小于负样本的个数,所以使用所有的正样本,随机选择与正样本数量相同的负样本;为进行排序支持向量机训练,将所有正负样本组成正负样本对,定义正样本减负样本为正样本对,反之为负样本对;
[0023] 利用公式: 进行排序支持向量机和子空间学习联合训练,可训练得到一个排序器KSR,该排序器对样本的区域候选分割进行显著性排序,排名靠前的与前景相似度大;其中w是排序支持向量机的排序系数;式中是逻辑损失函数,a是损失函数参数,e为指数函数;φ(xi)代表样本的
特征xi通过核映射后的特征;p是样本对xin和xjn的约束数目;(in,jn)表明样本对是第n对约束的下标;yn∈{+1,-1}表示样本是属于同一类还是不同类,或者说是否同时属于前景或背景;L∈Rl×d(l<d)是学习到的映射矩阵,l是初始特征维数,d是映射后的特征维度,μ和λ则代表正则化参数。
[0024] 利用主动学习挑选训练样本;首先利用上述初始化生成的模型对未标记样本池中所有样本的目标候选分割进行显著性排序,由si=wTPki得到排序分数,为简化联合训练的计算引入,其中,N是样本个数,是核运算,在化简过程中,本专利引入了核函数。利用公式将所有排序分数si归一化, 代表排序分数归一化后分数,smin代表该图像排序分数集中最小的排序分数,smax代表该图像排序分数集中最大的排序分数;找出所有图像的目标候选分割的归一化排序分数在0.4至0.9之间的图像
Xp代表选择出的目标候选分割组成的集合,X代表
该图像所有的目标候选分割组成的集合。通过公式 计算该图像目标候选分
割的排序分数在0.4至0.9之间的个数占所有目标候选分割的比例β,其中card(X)代表该图像所有的目标候选分割数目,card(XP)代表集合Xp中的目标候选分割数目。将此分数作为每张图像的不确定值;这样,就能得到一个关于所有样本池中未标记样本的不确定值集合,Β={β1,β2,…,βn},选择其中高不确定度的样本人工标记后加入训练集,通过公式进行每一次选择,其中μ0为不确定值集合B的均值,
δ是集合的标准差,λ0是权重参数,选取λ0=1.145;设计每一次选择不确定度β大于μ0+λ0δ的样本组成集合Quc。对图像Quc应用密度聚类算法,通过实验获得最佳参数ε=0.05,MinPts的大小设定为2,当圆心邻域内样本为2或以上可归为一类。聚类后,可获得高密度的样本簇C={c1,c2,…cn},和一些只有1个孤立样本的簇O={o1,o2,…om},最终图像集Quc可被分成:
Quc={ci,i=1,2,...n}∪{oi,i=1,2,...m}。通过公式 从每一个高密
度的簇ct中选择其中不确定度最大的样本Ut,除此之外,还选择所有孤立样本加入候选集Q中,此类样本点可以增加训练模型的泛化能力。最终和候选集为Q={Ut,t=1,...n}∪{Oi,i=1,...m}。样本集Q代表了每次通过同时考虑不确定性和多样性设计的选择模型选择出的样本,通过人工标记后加入训练集L中。
[0025] (3)将上述工作选择的样本集Q进行人工标记,之后加入到训练集L中,利用更新后的训练集L再次训练一个排序器KSR,之后在验证集上验证此次训练的模型的性能,之后不断重复上文的步骤(2),直到模型性能变化较小或者性能下降,选择上一次迭代选择的训练集作为最终训练集,训练的模型作为最终的训练模型,由模型对每张测试图像的区域候选分割进行显著性排序,选取排名前16位的区域候选分割进行加权融合,得到该图像的显著图Mp。
[0026] (4)由步骤(3)得到的显著图Mp对于目标的边缘细节处理的仍然不够,因此本发明提出一种在超像素级别上的处理方法,实现优化边界的目的。首先利用SLIC的超像素分割算法,设定分割的超像素块数量分别为100,150和200,用来构成图像i的超像素集SPi,分别提取每一个超像素块的CNN特征xj;将由步骤(3)得到的显著图Mp进行二值化作为先验显著图Ei;确定超像素的正负样本,为了使置信度最高,将超像素中完全位于先验显著图Ei前景区域的超像素构成正样本集POi,将超像素中完全位于先验显著图Ei的背景区域的超像素构成负 样本 集N i ;将正 负样 本集 中的 样本 构成 正 负样 本对 ,利 用公式去自训练一个关于图像i的模型KSRi;对于该模型KSRi,利用公式si=wTPki对图像所有的超像素进行打分,将所有的超像素进行排序S={s1,s2,…sn},分数越高越接近前景,反之分数越低越接近背景。利用公式
求得超像素中每个像素的得分,并将所有分数归一化到0-1之间,
最后加权融合得到超像素级别合成的显著图Ms。最终显著图通过公式M=w1×Mp+w2×MS得到,其中M为最终显著图,Mp为原显著图,Ms为超像素级显著图,w1为1,w2取0.3。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈