技术领域
[0001] 本
发明涉及图像
数据处理领域,具体地说是基于能量优化的图像协同显著性检测方法。
背景技术
[0002] 图像协同显著性检测作为
计算机视觉新兴的研究领域,其目的在于从两幅及以上图像中检测相同物体或相同类别物体,已被广泛应用于图像检索、图像协同分割和弱监督
定位等。
[0003] 与传统的单张图像显著性检测相比,图像协同显著性检测是视觉显著性分析在多张图像上的扩展,旨在检测多张图像中的相同物体或相同类别物体,因此,图像协同显著性检测方法不仅受单张图像中
对比度影响,而且还受多个相关图像中关联性影响。
[0004]
现有技术中,图像协同显著性检测方法主要由三部分组成:提取有效的表征图像区域的特征、探索重要的显著性线索以及设计高效的计算
框架。基于此,图像协同显著性检测模型大体上可以分为两类:自底向上的方法和基于显著性图融合的方法。
[0005] 典型的自底向上的方法为Fu等人于2013年在“Cluster-based Co-saliency Detection”一文中提出基于聚类的协同显著性检测方法,其主要思路是将多张图像中的重复性区域作为附加约束来检测多张图像中的相同物体或相同类别的显著物体,既考虑了单张图像内的显著性线索,又考虑到图间重复性线索。该方法最大优点在于利用图像间全局聚类实现图间重复性线索。但是该模型的问题也同样源于聚类,即对聚类结果过于依赖。基于显著性图融合的方法旨在从现有的多种显著性图中获取更多的显著性信息。2014年Cao等人在“self-adaptively Weighted Co-saliency Detection via Rank Constraint”论文中提出利用低秩能量为每一个参与融合的显著性图计算自适应权重,然后通过加权相加获得最终的显著性图。其存在的问题是:单张显著性图中所有的超
像素区域公用一个权重系数,当显著目标和背景区域相似或者背景区域较复杂时,导致显著性检测结果中引入过多的背景噪声。CN107103326A公开基于超像素区域聚类的协同显著性检测方法,融合部分包括多尺度融合和弱显著性图与弱协同显著性图融合,两种融合方式均采用加权融合的方法,导致显著目标不能一致突出。CN106780450A公开基于低秩多尺度融合的图像显著性检测方法,该方法运用基于GMM的协同显著性先验为单一显著性图二值化之后的
前景像素构建
颜色模型,当图像背景颜色和前景目标颜色比较相似时,利用GMM模型评估得到的协同显著性图中前景区域会引入部分背景噪声。CN107133955A公开一种多层次结合地协同显著性检测方法,该方法中显著性图采用简单地线性加权相加融合方式,导致协同显著性检测结果不能均匀地突出显著目标。CN108009549A公开一种
迭代协同显著性检测方法,该方法提出共有概率,利用某个超像素区域在其他图像中的最大匹配概率之和计算该区域属于共有区域的概率,当背景区域中存在与前景较为相似的区域时,协同显著性图中容易引入过多背景噪声。CN107909079A公开一种协同显著性检测方法,该方法将优化后的图内图间显著性图进行加权融合得到最终的协同显著性图,导致显著目标不能一致突出。CN107169417A公开基于多核增强和显著性融合的RGBD图像协同显著性检测方法,该方法根据显著对象和背景的直方图分布评估显著对象和背景的分离度,当前景目标和背景颜色较为相似时,用直方图评估两者的分离度往往会出现一定误差。CN106780582A公开基于纹理特征和颜色特征融合的图像显著性检测方法,该方法利用超像素区域的广度面积和边界连接函数计算背景概率,当显著目标较大且位于图像边界
位置时,显著目标往往会被误检测为背景区域。
[0006] 图像协同显著性检测作为新兴的研究方向,目前已存在较多的协同显著性相关的工作,然而,目前该领域仍然存在如下很多技术难题:复杂的人工标记过程、图内和图间显著性线索利用不够充分,导致协同显著性检测结果中包含过多的背景噪声和目标缺失等现象。
发明内容
[0007] 本发明所要解决的技术问题是:提供基于能量优化的图像协同显著性检测方法,将三个重要的显著性线索进行融合,对融合后能量方程进行优化,克服了现有技术中人工标记复杂、背景噪声过多以及目标缺失的
缺陷。
[0008] 本发明解决该技术问题所采用的技术方案是:基于能量优化的图像协同显著性检测方法,是将三个重要的显著性线索进行融合,对融合后能量方程进行优化,具体步骤如下:
[0009] 第一步,输入图像组{I1,I2,...,In},进行预处理:
[0010] 输入一组包含相同类别目标的图像组{I1,I2,...,In},利用SLIC超像素区域分割
算法对该图像组中的所有图像分别进行超像素区域分割,其中,图像Ii预分割为区域对图像Ii中的每个超像素区域提取平均CIE-Lab颜色空间颜色特征 和空间位置特征 用公知方法计算图像Ii中的第s个超像素区域 和图像Ii中的第s′个超像素区域 之间的颜色距离和空间位置距离,对上述输入图像组中所有图像 利用RBD算法获得初始显著性图 上述式子中,Ii为输入图像组中的第i张图像,超像素区域 为图像Ii的第s个超像素区域,下标s为超像素区域的标号, 为图像Ii的第s个超像素区域的颜色特征, 为图像Ii的第s个超像素区域的空间位置特征, 为图像Ii的初始显著性图,N(ri)为图像Ii预分割超像素区域的总个数,n为输入图像组中图像的个数,至此完成输入图像组{I1,I2,...,In}的预处理,以下步骤中的n均为输入图像组中图像的个数；
[0011] 第二步,确定初始候选简单显著性图
[0012] 对上述第一步中的图像 的初始显著性图 进行
质量评估,目标是找到前景和背景分离较好的显著性图,将获得质量评估分数较高的前一半初始显著性图,作为初始候选简单显著性图 具体操作方法如下:
[0013] 对初始显著性图 利用分离度测度 计算前景区域和背景区域的分离程度,具体步骤如下:
[0014] 首先利用OTSU算法对初始显著性图 进行二值化,获得前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线,二者的显著性值均服从二维高斯分布,[0015] 前景区域 的二维高斯分布曲线表示为公式(1):
[0016]
[0017] 公式(1)中,z表示从0:1变化的显著性值, 为二维高斯分布的均值,定义为前景区域 的平均显著性值, 为前景区域 显著性值的标准差,
[0018] 背景区域 的二维高斯分布曲线表示为公式(2):
[0019]
[0020] 公式(2)中,z表示从0:1变化的显著性值, 为二维高斯分布的均值,定义为背景区域 的平均显著性值, 为背景区域 显著性值的标准差,
[0021] 然后,计算初始显著性图 中的前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的重叠面积,具体步骤如下:
[0022] 假设z*表示前景区域和背景区域二维高斯分布曲线交点对应的显著性值,该显著性值可以通过求解以下公式(3)和公式(4)所示的二次方程获得:
[0023]
[0024] 将公式(3)展开得公式(4):
[0025]
[0026] 求解上述二次方程获得前景区域 和背景区域 的分布曲线交点对应的显著性值z*如公式(5)所示
[0027]
[0028] 公式(5)中,μf表示初始显著性图 前景区域 二维高斯分布曲线的均值,μb表示初始显著性图 背景区域 二维高斯分布曲线的均值,σf表示初始显著性图前景区域 显著性值的标准差,σb表示初始显著性图 背景区域 显著性值的标准差,log(·)为对数运算,
[0029] 初始显著性图 中的前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的重叠面积 如公式(6)所示:
[0030]
[0031] 公式(6)中, 表示初始显著性图 前景区域 的二维高斯分布曲线, 表示初始显著性图 背景区域 的二维高斯分布曲线,z*表示初始显著性图 前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的交点所对应的显著性值, 表示初始显著性图 前景区域 的二维高斯分
布曲线在0≤z≤z*时,与横轴正半轴所组成区域的面积, 表示初始显著性图背景区域 的二维高斯分布曲线在z*≤z≤1时,与横轴正半轴所组成区域的面积,[0032] 最后,计算初始显著性图 的分离度测度 如公式(7)所示:
[0033]
[0034] 公式(7)中, 表示初始显著性图 中的前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的重叠面积,
[0035] 初始显著性图 最终的质量评估得分由分离度测度 决定,分离度测度的数值越大说明初始显著性图 的前景区域和背景区域分离越明显,其质量评估分数越高,将初始显著性图 中质量评估分数较高的前一半作为初始候选简单显著性图 由此完成确定初始候选简单显著性图
[0036] 第三步,计算初始协同显著性图
[0037] 对上述第二步得到的初始候选简单显著性图 引入全局一致性项Yi进行优化计算初始协同显著性图 具体操作如下:
[0038] 首先,将上述第一步的输入图像组{I1,I2,...,In}里的所有的图像 进行k-means聚类获得 其中K表示所有图像聚类总个数,
[0039] 然后,利用一个具有n个bin的直方图 按公式(8)来描述聚类 在n张图像中的重复性,
[0040]
[0041] 公式(8)中,mk表示聚类 中类k的超像素总个数, 表示超像素 的类索引,
[0042] 最后,引入全局一致性项Yi为公式(9)所示:
[0043]
[0044] 公式(9)中,var(qk)表示聚类 中直方图qk的方差,
[0045] 将初始候选简单显著性图 和全局一致性项Yi进行融合计算初始协同显著性图 如公式(10)所示:
[0046]
[0047] 公式(10)中,“*”表示点乘,即将初始候选简单显著性图 和全局一致性项Yi中对应像素点的显著性值逐个相乘,完成计算初始协同显著性图 得到初始协同显著性图中对应像素的协同显著性值,由此完成计算初始协同显著性图
[0048] 第四步,设置简单图像Isim:
[0049] 利用上述第二步中的初始候选简单显著性图 和上述第三步中的初始协同显著性图 选取包含相同类别目标简单图像Isim,具体操作步骤如下:
[0050] 首先,利用OTSU算法对上述第二步中的初始候选简单显著性图 进行
阈值分割获得前景区域 如公式(11)所示:
[0051]
[0052] 然后,利用OTSU算法对上述第三步中的初始协同显著性图 进行阈值分割获得前景区域 如公式(12)所示:
[0053]
[0054] 最后,选择Nsim个简单图像,比较上述前景区域 和上述前景区域 比较结果表示为公式(13):
[0055]
[0056] 公式(13)中,θ＝0.8,当IOU≥θ,说明初始候选简单显著性图 经过阈值分割获得的前景区域 和初始协同显著性图 经过阈值分割获得的前景区域 包含相同的目标,因此,选取IOU≥0.8的图像设置为简单图像Isim,由此完成设置简单图像Isim；
[0057] 第五步,分别提取简单图像的前景区域和背景区域的颜色特征:
[0058] 利用上述第四步得到的简单图像Isim,获得简单图像的前景区域 的颜色特征和简单图像的背景区域 的颜色特征 具体操作步骤如下:
[0059] 首先,假设上述第四步得到的简单图像Isim的初始协同显著性图表示为 利用OTSU算法对 进行阈值分割,获得简单图像的前景区域 和简单图像的背景区域其中sim＝1,2,...,Nsim,表示简单图像个数,
[0060] 然后,用公知方法提取,对简单图像的前景区域 对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的前景区域 的平均颜色值 对简单图像的背景区域 对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的背景区域 的平均颜色值 其中 表示简单图像的前景区域 包含的超像素区域的个数, 表示简单图像的背景区域 包含的超像素区域个数,由此完成提取简单图像的前景区域和简单图像的背景区域的颜色特征；
[0061] 第六步,完成图像协同显著性检测:
[0062] 将图内显著性线索和图间显著性线索进行融合构造二次能量方程求解最终的协同显著性图,以完成图像协同显著性检测,具体操作步骤如下:
[0063] 第(6.1)步,获取图内显著性线索:
[0064] 图内显著性线索包括:对比度线索和位置线索,
[0065] 第(6.1.1)步,获取对比度线索:
[0066] 进一步利用OTSU算法对上述第五步所述的简单图像Isim的初始协同显著性图进行阈值分割,得到前景超像素区域集 和背景超像素区域集 对于上述第一步的输入图像组{I1,I2,...,In},其中图像Ii任一区域 的对比度线索表示为如下的公式(14):
[0067]
[0068] 公式(14)中, 表示背景超像素区域 的平均颜色特征, 表示前景超像素区域 的平均颜色特征,
[0069] 第(6.1.2)步,获取位置线索:
[0070] (1)当图像的边界位置为背景区域时,定义上述第一步中所述的图像Ii的超像素区域 的边界连通性为如下公式(15)所示:
[0071]
[0072] 公式(15)表明,超像素区域 的边界连通性为分子所示的区域
接触图像边界部分的周长占其分母所示的整体面积的平方根的比例,
[0073] (2)当前景显著性物体目标接触图像边界时,该目标会被误判为背景区域,导致显著性图目标缺失现象,为此引入差异性,超像素区域 的差异性如下公式(16)所示:
[0074]
[0075] 公式(16)中, 表示超像素区域 的平均CIE-Lab颜色特征, 表示超像素区域的平均CIE-Lab颜色特征,
[0076] (3)超像素区域 的差异性越大说明该超像素区域 为背景区域的概率越小,将背景先验用如下公式(17)表示:
[0077]
[0078] 公式(17)中, 表示公式(15)中超像素区域 的边界连通性, 表示公式(16)中超像素区域 的差异性,
[0079] 当上述背景先验越大时,超像素区域 属于背景区域的概率越高,当上述背景先验越小时,超像素区域 属于背景区域的概率越低,因此,超像素区域 的背景概率定义为如下公式(18)所示:
[0080]
[0081] 公式(18)中, 表示公式(17)中超像素区域 的背景先验,σbndCon为常数,设置为1,
[0082] 由此获取位置线索定义为公式(19)所示:
[0083]
[0084] 由此完成获取图内显著性线索；
[0085] 第(6.2)步,获取图间显著性线索:
[0086] 图间显著性线索 用来测量上述第一步的输入图像组{I1,I2,...,In}中所有图像前景区域的相似度,首先对图像组{I1,I2,...,In}中的任意一个图像Ii利用直方图Hi建立前景模型,然后计算图像组{I1,I2,...,In}中所有上述第四步中所设置的简单图像Isim的前景区域的平均直方图 如下公式(20)所示:
[0087]
[0088] 公式(20)中, sim＝1,2,...,Nsim表示简单图像Isim的前景区域直方图,最后计算图像Ii和所有简单图像Isim前景区域的平均直方图 的相似性,如下公式(21)所示:
[0089]
[0090] 公式(21)中, 表示超像素区域 的颜色直方图,由此获得图间显著性线索[0091] 第(6.3)步,图内显著性线索和图间显著性线索的融合:
[0092] 采用能量方程融合不同图内显著性线索和图间显著性线索,最终的图像协同显著性图通过公式(22)所示的最小化能量方程即二次能量方程获得:
[0093]
[0094] 公式(22)中,数据项ECtr(·)表示对比度线索SCtr(·)的花费,由公式(23)定义如下:
[0095]
[0096] 公式(22)中,数据项EPos(·)表示位置线索SPos(·)的花费,由公式(24)定义如下:
[0097]
[0098] 公式(22)中,数据项EInter(·)表示图间显著性线索SInter(·)的花费,由公式(25)定义如下:
[0099]
[0100] 公式(22)中,数据项 表示平滑能量项,图像上具有相似颜色特征的超像素区域 分配得到相似的显著性值,平滑能量项由如下公式(26)定义:
[0101]
[0102] 公式(26)中,权重系数 定义为超像素区域 和超像素区域 的CIE-Lab颜色空间相似性,如公式(27)所示:
[0103]
[0104] 公式(27)中, 表示超像素区域 的CIE-Lab颜色空间的颜色值, 表示超像素区域 的CIE-Lab颜色空间的颜色值,
[0105] 将上述公式(22)写为矩阵形式:
[0106]
[0107] 公式(28)中, Di的对
角线元素表示超像素区域 和超像素区域 的颜色空间相似性 ,
[0108] 上述公式(22)通过凸优化求解,如下面公式(29)所示:
[0109]
[0110] 公式(29)中,Si表示图像Ii待求解的协同显著性图, 表示图像Ii的对比度线索,表示图像Ii的位置线索, 表示图像Ii的图间显著性线索,
[0111] 求解公式(29),得到最终的协同显著性图Si,如下面公式(30)所示:
[0112]
[0113] 公式(30)中,最终的协同显著性图Si由对比度线索 位置线索 和图间显著性线索 共同决定,公式(28)、公式(29)和公式(30)体现了对融合后能量方程进行优化,[0114] 至此,完成对一组包含相同类别目标图像组的协同显著性检测,即完成图像协同显著性检测。
[0115] 上述基于能量优化的图像协同显著性检测方法中,所述第一步中,n为输入图像组中图像的个数,该n＝1,2,...,22。
[0116] 上述基于能量优化的图像协同显著性检测方法中,所述RBD算法的全称为Saliency Optimization from Robust Background Detection,中文意义为基于测地距的显著性检测方法,本技术领域公知的算法；SLIC超像素区域分割算法的全称为Simple linear iterative clustering,中文意义为简单的线性迭代聚类,本技术领域公知的算法；OTSU算法的全称为A threshold selection method from gray-level histograms,中文意义为最大类间方差,本技术领域公知的算法；k-means聚类方法全称为k均值聚类方法,本技术领域公知的算法；以上几种方法均是本技术领域的公知方法。
[0117] 本发明的有益效果是:与现有技术相比,本发明的突出的实质性特点和显著性进步如下:
[0118] (1)本发明方法与CN107103326A相比,本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项可以使获得的协同显著性图中显著目标一致高亮。
[0119] (2)本发明方法与CN106780450A相比,本发明方法利用显著性图的分离度测度挑选一组图像中背景和前景分离度较高的显著性图作为简单图像,对简单图像进行二值化之后前景区域颜色模型中背景噪
声明显减少。
[0120] (3)本发明方法与CN107133955A相比,本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项可以使获得的协同显著性图中显著目标一致高亮。
[0121] (4)本发明方法与CN108009549A相比,本发明方法利用候选简单图像的显著性图和其协同显著性图的交并比,大于某一阈值的选为简单图像,对简单图像的显著性图中前景区域构建颜色直方图,利用其余区域和简单图像直方图之间的差异作为图像间协同显著性线索,减少背景噪声干扰。
[0122] (5)本发明方法与CN107909079A相比,本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项可以使获得的协同显著性图中显著目标一致高亮。
[0123] (6)本发明方法与CN107169417A相比,本发明方法根据前景区域和背景区域的显著性值均服从二维高斯分布,计算两者高斯分布曲线的重叠面积,用重叠面积作为分离度评估的重要依据,从而避免当前景目标和背景颜色较为相似时的情况。
[0124] (7)本发明方法与CN106780582A相比,本发明方法对边界连通性进行优化,引入差异性,即超像素区域之间的CIE-Lab颜色距离,超像素区域的差异性越大说明其为背景的概率越小,引入差异性明显改善显著目标位于边界的情况。
[0125] (8)本发明方法与本
发明人团队早先的CN106373126A基于融合类测地线和边界对比的图像显著性检测方法相比,其实质性区别在于背景选取和融合方式的不同。首先,CN106373126A只是简单地将图像边界区域作为背景,当显著目标位于边界时,往往会被检测为背景,本发明方法对边界先验进行改进,在边界连通性
基础上进一步优化,引入差异性,即超像素区域之间的颜色距离,超像素区域的差异性越大说明其为背景的概率越小,引入差异性可以明显改善目标位于边界的情况；其次,CN106373126A采用直接相乘的方式融合边界对比图、有颜色对比度地测地线图和无颜色对比地测地线图,最终的显著性检测效果往往不能一致高亮显著目标,而本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项使获得的最终的协同显著性图中显著目标一致高亮。
[0126] 总之,在CN106373126A的基础上结合本领域的公知常识要得出本发明的技术方案,对本领域技术人员来说绝非显而易见的。
[0127] (9)本发明方法将三个重要的显著性线索进行融合,对融合后能量方程进行优化,克服了现有技术中存在的人工标记过程复杂、图内和图间显著性线索利用不够充分,导致协同显著性检测结果中包含过多的背景噪声和目标缺失的缺陷。
[0128] (10)本发明方法利用简单图片的前景和背景颜色构建对比度线索,省去了交互式协同显著性检测算法中复杂地人工标记环节。
[0129] (11)本发明方法利用能量方程思想融合显著性线索,实现了对显著目标的一致均匀突出。
附图说明
[0130] 下面结合附图和
实施例对本发明进一步说明。
[0131] 图1是本发明基于能量优化的图像协同显著性检测方法的流程示意
框图。
[0132] 图2是图像Ii的最终的协同显著性图Si。
具体实施方式
[0133] 图1所示实施例表明,本发明基于能量优化的图像协同分割方法的流程如下:
[0134] 输入图像组{I1,I2,...,In},
[0135] 图2显示图像Ii的最终的协同显著性图Si，可见本发明方法采用能量方程融合不同的图内显著性线索和图间显著性线索,能量方程中包含二次项和平滑数据项,平滑数据项是每两个相邻超像素区域产生不同显著性值的花费,引入平滑数据项使获得的最终的协同显著性图中显著目标一致高亮。
[0136] 实施例1
[0137] 本实施例中显著性目标为一架飞机,输入的图像组共包含22张图像,每张图像中均包含显著目标飞机,本实施例所述的基于能量优化的图像协同显著性检测方法,具体步骤如下:
[0138] 第一步,输入图像组{I1,I2,...,In},进行预处理:
[0139] 输入一组包含相同类别目标的图像组{I1,I2,...,In},利用SLIC超像素区域分割i算法对该图像组中的所有图像分别进行超像素区域分割,其中,图像I 预分割为区域对图像Ii中的每个超像素区域提取平均CIE-Lab颜色空间颜色特征 和空间位置特征 用公知方法计算图像Ii中的第s个超像素区域 和图像Ii中的第s′个超像素区域 之间的颜色距离和空间位置距离,对上述输入图像组中所有图像 利用RBDi
算法获得初始显著性图 上述式子中,I 为输入图像组中的第i张图像,超像素区域为图像Ii的第s个超像素区域,下标s为超像素区域的标号, 为图像Ii的第s个超像素区域的颜色特征, 为图像Ii的第s个超像素区域的空间位置特征, 为图像Ii的初始显著性图,N(ri)为图像Ii预分割超像素区域的总个数,n为输入图像组中图像的个数,至此完成输
1 2 n
入图像组{I ,I ,...,I}的预处理,以下步骤中的n均为输入图像组中图像的个数；
[0140] 第二步,确定初始候选简单显著性图
[0141] 对上述第一步中的图像 的初始显著性图 进行质量评估,目标是找到前景和背景分离较好的显著性图,将获得质量评估分数较高的前一半初始显著性图,作为初始候选简单显著性图 具体操作方法如下:
[0142] 对初始显著性图 利用分离度测度 计算前景区域和背景区域的分离程度,具体步骤如下:
[0143] 首先利用OTSU算法对初始显著性图 进行二值化,获得前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线,二者的显著性值均服从二维高斯分布,[0144] 前景区域 的二维高斯分布曲线表示为公式(1):
[0145]
[0146] 公式(1)中,z表示从0:1变化的显著性值, 为二维高斯分布的均值,定义为前景区域 的平均显著性值, 为前景区域 显著性值的标准差,
[0147] 背景区域 的二维高斯分布曲线表示为公式(2):
[0148]
[0149] 公式(2)中,z表示从0:1变化的显著性值, 为二维高斯分布的均值,定义为背景区域 的平均显著性值, 为背景区域 显著性值的标准差,
[0150] 然后,计算初始显著性图 中的前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的重叠面积,具体步骤如下:
[0151] 前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的重叠面积 越小,说明初始显著性图 中的前景区域 和背景区域 的分离度越高,假设z*表示前景区域和背景区域二维高斯分布曲线交点对应的显著性值,该显著性值可以通过求解以下公式(3)和公式(4)所示的二次方程获得:
[0152]
[0153] 将公式(3)展开得公式(4):
[0154]
[0155] 求解上述二次方程获得前景区域 和背景区域 的分布曲线交点对应的显著性值z*如公式(5)所示:
[0156]
[0157] 公式(5)中,μf表示初始显著性图 前景区域 二维高斯分布曲线的均值,μb表示初始显著性图 背景区域 二维高斯分布曲线的均值,σf表示初始显著性图前景区域 显著性值的标准差,σb表示初始显著性图 背景区域 显著性值的标准差,log(·)为对数运算,
[0158] 初始显著性图 中的前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的重叠面积 如公式(6)所示:
[0159]
[0160] 公式(6)中, 表示初始显著性图 前景区域 的二维高斯分布曲线, 表示初始显著性图 背景区域 的二维高斯分布曲线,z*表示初始显
著性图 前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的交点所对应的显著性值, 表示初始显著性图 前景区域 的二维高斯
分布曲线在0≤z≤z*时,与横轴正半轴所组成区域的面积, 表示初始显著性图 背景区域 的二维高斯分布曲线在z*≤z≤1时,与横轴正半轴所组成区域的面积,
[0161] 最后,计算初始显著性图 的分离度测度 如公式(7)所示:
[0162]
[0163] 公式(7)中, 表示初始显著性图 中的前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的重叠面积,前景区域 的二维高斯分布曲线和背景区域 的二维高斯分布曲线的重叠面积 越小,说明初始显著性图 的前景区域和背景区域 的分离度越高,从而初始显著性图 的质量评估分数越高,
[0164] 初始显著性图 最终的质量评估得分由分离度测度 决定,分离度测度的数值越大说明初始显著性图 的前景区域和背景区域分离越明显,其质量评估分数越高,将初始显著性图 中质量评估分数较高的前一半作为初始候选简单显著性图 但是这部分图像中可能会含有过多的背景噪声,因此并不直接选为简单图像,由此完成确定初始候选简单显著性图
[0165] 第三步,计算初始协同显著性图
[0166] 经过质量评估分数排序之后的初始候选简单显著性图 并不直接选为简单图像,因为这部分显著性图中可能含有过多的背景噪声,因此引入全局一致性项Yi对初始候选简单显著性图进行优化计算初始协同显著性图
[0167] 对上述第二步得到的初始候选简单显著性图 引入全局一致性项Yi进行优化计算初始协同显著性图 具体操作如下:
[0168] 首先,将上述第一步的输入图像组{I1,I2,...,In}里的所有的图像 进行k-means聚类获得 其中K表示所有图像聚类总个数,
[0169] 然后,利用一个具有n个bin的直方图 按公式(8)来描述聚类 在n张图像中的重复性,
[0170]
[0171] 公式(8)中,mk表示聚类 中类k的超像素总个数, 表示超像素 的类索引,
[0172] 最后,引入全局一致性项Yi为公式(9)所示:
[0173]
[0174] 公式(9)中,var(qk)表示聚类 中直方图qk的方差,方差越大说明聚类cluk代表的颜色特征并不是在所有图像中一致性存在,一致性项也越小,
[0175] 将初始候选简单显著性图 和全局一致性项Yi进行融合计算初始协同显著性图 如公式(10)所示:
[0176]
[0177] 公式(10)中“, *”表示点乘,即将初始候选简单显著性图 和全局一致性项Yi中对应像素点的显著性值逐个相乘,完成计算初始协同显著性图 得到初始协同显著性图中对应像素的协同显著性值,由此完成计算初始协同显著性图
[0178] 第四步,设置简单图像Isim:
[0179] 利用初始候选简单显著性图 和初始协同显著性图 选取简单图像的目的是获得包含一致性目标和背景噪声较少的部分图像,利用简单图像可以获得前景区域和背景区域颜色特征,
[0180] 利用上述第二步中的初始候选简单显著性图 和上述第三步中的初始协同显著性图 选取包含相同类别目标简单图像Isim,具体操作步骤如下:
[0181] 首先,利用OTSU算法对上述第二步中的初始候选简单显著性图 进行阈值分割获得前景区域 如公式(11)所示:
[0182]
[0183] 然后,利用OTSU算法对上述第三步中的初始协同显著性图 进行阈值分割获得前景区域 如公式(12)所示:
[0184]
[0185] 最后,选择Nsim个简单图像,比较上述前景区域 和上述前景区域 比较结果表示为公式(13):
[0186]
[0187] 公式(13)中,θ＝0.8,当IOU≥θ,说明初始候选简单显著性图 经过阈值分割获得的前景区域 和初始协同显著性图 经过阈值分割获得的前景区域 包含相同的目标,因此,选取IOU≥0.8的图像设置为简单图像Isim,由此完成设置简单图像Isim；
[0188] 第五步,分别提取简单图像的前景区域和背景区域的颜色特征:
[0189] 利用上述第四步得到的简单图像Isim,获得简单图像的前景区域 的颜色特征和简单图像的背景区域 的颜色特征 具体操作步骤如下:
[0190] 首先,假设上述第四步得到的简单图像Isim的初始协同显著性图表示为 利用OTSU算法对 进行阈值分割,获得简单图像的前景区域 和简单图像的背景区域其中sim＝1,2,...,Nsim,表示简单图像个数,
[0191] 然后,用公知方法提取,对简单图像的前景区域 对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的前景区域 的平均颜色值 对简单图像的背景区域 的对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的背景区域 的平均颜色值 其中 表示简单图像的前景区域 包含的超像素区域的个数, 表示简单图像的背景区域 包含的超像素区域个数,由此完成提取简单图像的前景区域和简单图像的背景区域的颜色特征；
[0192] 第六步,完成图像协同显著性检测:
[0193] 单一的显著性线索不能有效地对图像中的显著性目标进行完整描述,因此将图内显著性线索和图间显著性线索进行融合构造二次能量方程求解最终的协同显著性图,以完成图像协同显著性检测,具体操作步骤如下:
[0194] 第(6.1)步,获取图内显著性线索:
[0195] 图内显著性线索包括:对比度线索和位置线索,
[0196] 第(6.1.1)步,获取对比度线索:
[0197] 进一步利用OTSU算法对上述第五步所述的简单图像Isim的初始协同显著性图进行阈值分割,得到前景超像素区域集 和背景超像素区域集 对于上述第一步的输入图像组{I1,I2,...,In},其中图像Ii任一区域 的对比度线索表示为如下的公式(14):
[0198]
[0199] 公式(14)中, 表示背景超像素区域 的平均颜色特征, 表示前景超像素区域 的平均颜色特征,如果仅仅考虑颜色对比度,显著性线索过于单一,容易引入背景噪声,因此考虑位置线索进一步优化能量方程,
[0200] 第(6.1.2)步,获取位置线索:
[0201] (1)当图像的边界位置为背景区域时,定义上述第一步中所述的图像Ii的超像素区域 的边界连通性为如下公式(15)所示:
[0202]
[0203] 公式(15)表明,超像素区域 的边界连通性为分子所示的区域接触图像边界部分的周长占其分母所示的整体面积的平方根的比例,
[0204] (2)当前景显著性物体目标接触图像边界时,该目标会被误判为背景区域,导致显著性图目标缺失现象,为此引入差异性,超像素区域 的差异性如下公式(16)所示:
[0205]
[0206] 公式(16)中, 表示超像素区域 的平均CIE-Lab颜色特征, 表示超像素区域的平均CIE-Lab颜色特征,
[0207] (3)超像素区域 的差异性越大说明该超像素区域 为背景区域的概率越小,将背景先验用如下公式(17)表示:
[0208]
[0209] 公式(17)中, 表示公式(15)中超像素区域 的边界连通性, 表示公式(16)中超像素区域 的差异性,
[0210] 当上述背景先验越大时,超像素区域 属于背景区域的概率越高；当上述背景先验越小时,超像素区域 属于背景区域的概率越低,因此,超像素区域 的背景概率定义为如下公式(18)所示:
[0211]
[0212] 公式(18)中, 表示公式(17)中超像素区域 的背景先验,σbndCon为常数,设置为1,
[0213] 由此获取位置线索定义为公式(19)所示:
[0214]
[0215] 由此完成获取图内显著性线索；
[0216] 第(6.2)步,获取图间显著性线索:
[0217] 图间显著性线索 用来测量上述第一步的输入图像组{I1,I2,...,In}中所有图像前景区域的相似度,首先对图像组{I1,I2,...,In}中的任意一个图像Ii利用直方图Hi建立前景模型,然后计算图像组{I1,I2,...,In}中所有上述第四步中所设置的简单图像Isim的前景区域的平均直方图 如下公式(20)所示:
[0218]
[0219] 公式(20)中, sim＝1,2,...,Nsim表示简单图像Isim的前景区域直方图,最后计算图像Ii和所有简单图像Isim前景区域的平均直方图 的相似性,如下公式(21)所示:
[0220]
[0221] 公式(21)中, 表示超像素区域 的颜色直方图,由此获得图间显著性线索[0222] 第(6.3)步,图内显著性线索和图间显著性线索的融合:
[0223] 以往的方法,图内线索和图间线索采用简单的加权相乘或线性相加的方式融合,但是往往得到的显著性图不能均匀的突出前景目标,本发明实施例1采用能量方程融合不同图内显著性线索和图间显著性线索,最终的图像协同显著性图通过公式(22)所示的最小化能量方程即二次能量方程获得:
[0224]
[0225] 公式(22)中,数据项ECtr(·)表示对比度线索SCtr(·)的花费,由公式(23)定义如下:
[0226]
[0227] 公式(22)中,数据项EPos(·)表示位置线索SPos(·)的花费,由公式(24)定义如下:
[0228]
[0229] 公式(22)中,数据项EInter(·)表示图间显著性线索SInter(·)的花费,由公式(25)定义如下:
[0230]
[0231] 公式(22)中,数据项 表示平滑能量项,图像上具有相似颜色特征的超像素区域 分配得到相似的显著性值,平滑能量项由如下公式(26)定义:
[0232]
[0233] 公式(26)中,权重系数 定义为超像素区域 和超像素区域 的CIE-Lab颜色空间相似性,如公式(27)所示:
[0234]
[0235] 公式(27)中, 表示超像素区域 的CIE-Lab颜色空间的颜色值, 表示超像素区域 的CIE-Lab颜色空间的颜色值,
[0236] 将上述公式(22)写为矩阵形式:
[0237]
[0238] 公式(28)中, Di的对角线元素表示超像素区域 和超像素区域 的颜色空间相似性 ,
[0239] 上述公式(22)通过凸优化求解,如下面公式(29)所示:
[0240]
[0241] 公式(29)中,Si表示图像Ii待求解的协同显著性图, 表示图像Ii的对比度线索,表示图像Ii的位置线索, 表示图像Ii的图间显著性线索,
[0242] 求解公式(29),得到最终的协同显著性图Si,如下面公式(30)所示:
[0243]
[0244] 公式(30)中,最终的协同显著性图Si由对比度线索 位置线索 和图间显著性线索 共同决定,相比以往的加权相乘或相加的融合方式,采用能量方程的形式显著性图可以更加均匀地突出一致性目标,公式(28)、公式(29)和公式(30)体现了对融合后能量方程进行优化,
[0245] 至此,完成对一组包含相同类别目标图像组的协同显著性检测,即完成图像协同显著性检测。
[0246] 上述实施例中,所述RBD算法的全称为Saliency Optimization from Robust Background Detection,中文意义为基于测地距的显著性检测方法,本技术领域公知的算法；SLIC超像素区域分割算法的全称为Simple linear iterative clustering,中文意义为简单的线性迭代聚类,本技术领域公知的算法；OTSU算法的全称为A threshold selection method from gray-level histograms,中文意义为最大类间方差,本技术领域公知的算法；k-means聚类方法全称为k均值聚类方法,本技术领域公知的算法；以上几种方法均是本技术领域的公知方法。
