技术领域
[0001] 本
发明涉及基于背景与目标先验的多尺度扩散显著目标检测方法，属于图像显著性目标检测技术领域。
背景技术
[0002] 在处理数量庞大的输入信息时，人类视觉利用注意机制筛选出部分最有价值的数据进行优先处理。受此启发，计算机建立显著性检测模型自动选择出图像场景中最感兴趣部分来减少后续分析的复杂度和处理的计算量。早期的显著性模型倾向于人眼视觉关注点，显著性目标检测由于能够得到较为完整的整体目标，在
图像分割、目标识别和图像检索等领域有着广泛的应用而得到更多的关注。
[0003] 近年来，图像四周区域在多个显著性检测模型中充当了背景先验，为检测显著性提供了有效的视觉信息。因此，越来越多的
自下而上的方法倾向于使用图像边界作为背景
种子。Wei等人(Y.Wei,F.Wen,W.Zhu,and J.Sun“,Geodesic saliency using background priors,”in Proc.of the 12th European Conference on Computer Vision,pp.29-42,Oct.7-13,2012)提出了一种用测地线距离表示的显著度，通过计算到虚拟背景
节点的最
短路径的长度来测量图像
块的显著性。Lu等人(H.C.Lu,X.H.Li,L.H.Zhang,X.Ruan,and M.H.Yang“, Dense and Sparse reconstruction Error Based Saliency Descriptor,”IEEE Transaction on Image Processing,vol.25,no.4,pp.1592-1603,Apr.,2016)利用图像四周超
像素构建背景词典，分别计算各个图像块的稠密和稀疏重构误差得到显著图，最后使用贝叶斯公式将二者有效地结合了起来。Zhu等(Zhu W J,Liang S,Wei Y C,Sun J.Saliency optimization from robust background detection[C].Proceedings of the 27th International Conference on Computer Vision and Pattern Recognition.Columbus,USA:IEEE Computer Society,2014:2814-2821.doi:10.1109/CVPR.2014.360)利用每个区域包含边界的比例定义边界连通性来进一步判定图像四周中的超像素是否属于背景，从而得到更鲁棒的背景先验信息完成显著性检测。但当目标出现在图像边缘时可能导致错误的检测结果，并且目标可能出现在多个尺度上，单个尺度上的检测无法充分挖掘检测性能。
[0004] 此外，为了更有效地探索图像边界作为先验信息，进而构建显著性目标检测模型，基于扩散的方法表现出良好的检测效果，已经引起学者越来越多的兴趣。这些方法都将图像映射为以图像超像素为节点的图形，边缘强度与超像素相似度成正比，然后在此图上，背景种子点的显著性信息被空间传播到整个图像。例如，Yang等(Zhang L H,Yang C,Lu H C,Ruan X,Yang M H.Ranking Saliency[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2016,38(9):1-15.doi:10.1109/TPAMI.2016.2609426)将图像的四周区域作为背景种子点，根据第一阶段的显著图选择新的前景种子点再次进行流形排序扩散，最后将上述两个步骤所得的显著图结合起来作为输出。Jia等人(C.Jia,J.Q.Qi,X.H.Li,and H.C.Lu,“Saliency detection via a unified generative and discriminative model,”Neurocomputing,vol.173,no.P2,pp.406-417,Jan.,2016)利用图像周边超像素计算初始显著图得到背景区域
训练数据集，通过词典学习得到背景词典作为流形排序的种子点。但当目标出现在图像边缘时可能导致错误的检测结果，并且目标可能出现在多个尺度上，单个尺度上的检测无法充分挖掘检测性能。
发明内容
[0005] 本发明所要解决的技术问题是：提供基于背景与目标先验的多尺度扩散显著目标检测方法，解决了当目标出现在边缘时可能导致的误差和单一尺度检测不准确的问题。
[0006] 本发明为解决上述技术问题采用以下技术方案：
[0007] 基于背景与目标先验的多尺度扩散显著目标检测方法，包括如下步骤：
[0008] 步骤1，利用简单线性
迭代聚类
算法将图像分割成尺度n下的超像素，且在尺度n下，超像素的数目为Rn，第i个超像素记为 N为所有尺度的数目，利用Lab和RGB的色彩空间提取各超像素的平均
颜色特征，根据平均颜色特征和超像素内所有像素的坐标描述各超像素，并将第i个超像素表示为 RC×1为C×1的
特征空间，C是特征维度；
[0009] 步骤2，将图像的边界超像素作为背景超像素，若背景超像素的数目为M，则尺度n下第k个背景超像素表示为 构建背景超像素集合C×M
作为稀疏表示字典，R 为C×M的特征空间，对第i个超像素进
行稀疏表示编码，并根据重构误差计算尺度n下第i个超像素的背景显著性值
[0010] 步骤3，随机选择图像中的任意像素作为窗口的中心，随机
抽取图像中的10000个图像块作为10000个窗口，计算各窗口被判定为显著性目标的概率值，根据概率值计算图像中任意一个像素的显著性值，根据显著性值得到尺度n下第i个超像素的目标显著性值[0011] 步骤4，通过
贝叶斯推理整合尺度n下第i个超像素的背景显著性值和目标显著性值，得到尺度n下融合背景先验和目标先验的第i个超像素的显著性值，即融合显著性值[0012] 步骤5，针对尺度n，将每个超像素作为结点构建集合V，将结点之间的连接作为边构建集合E，根据V和E构造图G(V,E)，所有结点间的权值矩阵为W，其中第i个结点和第j个结点之间的权值为wji，得到度矩阵为
[0013] 步骤6，针对尺度n，根据步骤4得到的融合显著性值计算该尺度下所有超像素的平均显著性值 将平均显著性值作为
阈值对该尺度下的所有超像素的融合显著性值进行二进制分割，得到二进制显著性值 使用流形排序将二进制显著性
值传播到整个图像，并根据度矩阵获得每个超像素的最终显著性值
[0014] 步骤7，重复步骤2-6，计算不同尺度下所有超像素的最终显著性值，通过加权求和将不同尺度下所有超像素的最终显著性值传播到像素，得到像素级显著图Sp。
[0015] 作为本发明的一种优选方案，步骤1所述简单线性迭代
聚类算法的具体步骤如下：
[0016] (1)初始化种子点即聚类中心，按照设定的超像素个数K，在图像内均匀分配种子点，图像总的像素点个数为Num，每个超像素的大小为Num/K，相邻种子点的距离为DS＝sqrt(Num/K)；
[0017] (2)在以种子点为中心的3*3邻域内选择梯度最小的像素作为新的种子点；
[0018] (3)计算每个新的种子点与其2DS*2DS邻域内像素点的距离，将各像素点分配给与其距离最近的种子点，距离公式为：
[0019]
[0020]
[0021]
[0022] 其中，dc为颜色距离，dh为空间距离，Dist为颜色距离和归一化的空间距离的和，l,a,b为Lab色彩模型的三要素，x,y分别为像素点的横,纵坐标，下标v,u分别表示第v,u个像素点，mp表示超像素紧凑程度；
[0023] (4)根据各像素点对应的种子点重新计算聚类中心，计算当前聚类中心与之前聚类中心的误差，若误差大于
指定阈值则重复步骤(2)-(4)，否则转(5)；
[0024] (5)将不连续的超像素或者尺寸在1～Num/K之间的超像素重新分配给邻近的超像素。
[0025] 作为本发明的一种优选方案，步骤2所述背景显著性值 的计算过程为：
[0026] (1)计算尺度n下第i个超像素的稀疏编码系数，公式为：
[0027]
[0028] (2)根据重构误差计算尺度n下第i个超像素的背景显著性值 公式为：
[0029]
[0030] 其中，αi表示第i个超像素的稀疏编码系数，RM为M的特征空间，M为背景超像素的数目， 表示第i个超像素，B为稀疏表示字典，λ为稀疏惩罚项||αi||1的系数，||·||1表示向量的1范数， 表示向量的2范数的平方。
[0031] 作为本发明的一种优选方案，步骤3所述目标显著性值 的计算过程为：
[0032] (1)分别计算窗口显著性S(t,θS)、颜色
对比度CC(t,θCC)、边缘
密度ED(t,θED)以及轮廓闭合性II(t)，将S(t,θS)、CC(t,θCC)、ED(t,θED)以及II(t)进行融合得到各窗口被判定为显著性目标的概率值；
[0033] (2)根据概率值计算图像中任意一个像素的显著性值：
[0034]
[0035] (3)计算尺度n下第i个超像素的目标显著性值
[0036]
[0037] 其中，O(p)表示像素p的显著性值，pi表示第i个超像素 中像素的数量。
[0038] 作为本发明的一种优选方案，步骤4所述融合显著性值 的计算公式为：
[0039]
[0040] 其中， 分别表示目标显著性值、背景显著性值。
[0041] 作为本发明的一种优选方案，步骤5所述第i个结点和第j个结点之间的权值为wji，计算公式为：
[0042]
[0043] 其中， 分别是CIELAB颜色空间中第j、i个超像素的平均颜色特征，分别表示相应的平均坐标， 表示第j个超像素的空间近邻，σ为控制权重强度的常量。
[0044] 作为本发明的一种优选方案，步骤6所述最终显著性值 的计算过程为：
[0045] (1) 设 定 尺度 n下 所有 超像 素的 最终 显著 性值 构成 的向 量 为[0046] (2)定义求解Sr的目标函数E(Sr)：
[0047]
[0048] (3)最小化目标函数E(Sr)的最优解为：
[0049] Sr＝(D-αW)-1Sq
[0050] α＝1+μ
[0051] 其中，i＝1,2,…,Rn，j＝1,2,…,Rn，i≠j，Rn为尺度n下超像素的数目， 为1×Rn的特征空间，wji为尺度n下第i个结点和第j个结点之间的权值， μ为控制参数， 为二进制显著性值，D为度矩阵，W为尺度n下所有结点间的权值矩阵，Sq为 构成的向量。
[0052] 作为本发明的一种优选方案，步骤7所述像素级显著图Sp，其每个像素的显著性值计算公式为：
[0053]
[0054] 其中，Sp(p)表示像素p的显著性值，N为所有尺度的数目，Rn为尺度n下超像素的数目， 为最终显著性值，Ip表示像素p的CIELAB颜色值， 表示尺度n下第i个超像素内所有像素的颜色均值，ε为常数，δ(·)表示尺度n下第i个超像素的指示函数，当像素p被包含在此超像素中，函数值为1，否则为0。
[0055] 本发明采用以上技术方案与
现有技术相比，具有以下技术效果：
[0056] 1、本发明提高了基于扩散的显著性检测方法的检测
精度，加强了目标出现在不同尺度上时的完整性，更加均匀和明亮地突出目标。
[0057] 2、本发明解决了当目标不在中心或出现在边缘时可能导致的误差，使显著图更接近实际真值。
附图说明
[0058] 图1是本发明基于背景与目标先验的多尺度扩散显著目标检测方法的
流程图。
[0059] 图2是在ASD
数据库上本发明方法与基于对比度先验的显著性检测方法的视觉效果对比图。
[0060] 图3是在ASD数据库上本发明方法与基于前景或背景先验的显著性检测的视觉效果对比图。
[0061] 图4是在SED1数据库上本发明方法与基于对比度先验的显著性检测方法的视觉效果对比图。
[0062] 图5是在SED1数据库上本发明方法与基于前景或背景先验的显著性检测方法的视觉效果对比图。
[0063] 图6是在SED2数据库上本发明方法与基于对比度先验的显著性检测方法的视觉效果对比图。
[0064] 图7是在SED2数据库上本发明方法与基于前景或背景先验的显著性检测方法的视觉效果对比图。
[0065] 图8是在SOD数据库上本发明方法与基于对比度先验的显著性检测方法的视觉效果对比图。
[0066] 图9是在SOD数据库上本发明方法与基于前景或背景先验的显著性检测方法的视觉效果对比图。
具体实施方式
[0067] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0068] 本发明提出了基于背景与目标先验的多尺度扩散显著目标检测方法，在将图像四周作为背景先验的同时，使用目标性作为先验信息得到前景显著图，并将前景和背景显著图进行贝叶斯融合，然后融合的显著图进行空间优化将显著性信息扩散到整个图像，最终再将不同尺度的显著图加权融合。
[0069] 如图1所示，为本发明基于背景与目标先验的多尺度扩散显著目标检测方法的流程图，具体步骤如下：
[0070] 步骤1：首先使用简单线性迭代聚类算法SLIC(Simple Linear Iterative Clustering)将输入的图像分割成N个不同尺度下的超像素。假设第n个尺度下超像素的数目为Rn，其中第i个超像素记为 利用Lab和RGB的色彩空间提取超像素的平均颜色特征，和超像素内所有像素的坐标一起描述一个超像素，则每个超像素被表示为其中C是特征维度。
[0071] 简单线性迭代聚类算法是一种利用像素的颜色相似度和图像片面空间对像素进行聚类，从而有效的生成紧凑的几乎统一化的超像素的分割方法。其步骤如下：
[0072] (1)初始化种子点(聚类中心)。按照设定的超像素个数，在图像内均匀分配种子点。其中图片总共的像素点个数为Num，预分割的相同尺寸的超像素为K，每个超像素的大小为Num/K，相邻种子点的距离近似为DS＝sqrt(Num/K)。
[0073] (2)在以种子点为中心的3*3邻域内选择梯度最小的像素作为新的种子点。
[0074] (3)计算每个种子点与其2DS*2DS的领域内的像素点的距离，将每个像素点分配给与其最近的种子点，具体公式如下：
[0075]
[0076]
[0077]
[0078] 其中，dc为颜色距离，dh为空间距离，l，a，b是Lab色彩模型的三要素。l表示
亮度，值域由0到100；a，b为相关颜色，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。x，y是像素点的
位置。Dist是颜色距离和归一化的空间距离的和。公式中的变量mp为超像素紧凑程度，用来权衡颜色相似度和空间临近性的影响。mp越大，空间影响越大，超像素更紧凑；mp越小，颜色影响越大，超像素更贴合图像边缘。
[0079] (4)根据每个像素对应的种子点重新计算聚类中心，计算当前聚类中心与之前聚类中心的误差，如大于指定阈值则重复步骤(2)～(4)，否则转(5)。
[0080] (5)增强连通性。将不连续的超像素、尺寸过小的超像素重新分配给邻近的超像素。
[0081] 步骤2：边界超像素一般都为背景，根据此先验知识，如果背景超像素的数目是M，则第k个背景超像素表示为 构建背景超像素集合 作为稀疏表示字典，用来对第i个超像素进行稀疏表示编码，然后根据重构误差计算尺度n下基于背景先验信息的任意第i个超像素的显著性值 具体过程如下：
[0082] (1)首先计算第i个超像素的稀疏编码系数，计算公式如下：
[0083]
[0084] 其中，λ为稀疏惩罚项||αi||1系数，||·||1为向量的1范数， 为向量2范数的平方。
[0085] (2)然后根据重构误差计算基于背景先验信息的尺度n下第i个超像素的显著性值，计算公式如下：
[0086]
[0087] 步骤3：随机抽取图像中的10000个图像块，每图像块的中心随机选择图像中的任意像素p，计算每个窗口t被判定为显著性目标的概率值prob(t)，然后计算图像中任意一个像素的显著性值O(p)，最终得到第n个尺度下基于目标先验信息的任意第i个超像素的显著性值 具体过程如下：
[0088] (1)首先，随机抽取图像中的10000个图像块，每图像块的中心随机选择图像中的任意像素p，计算每个窗口t被判定为显著性目标的概率值prob(t)，计算公式如下：
[0089] ①窗口显著性。首先利用任意显著性检测方法计算得到图像中每个像素的显著值I(prob)，则窗口t的显著性计算公式为：
[0090]
[0091] 式中，θS表示待学习的显著性阈值参数。
[0092] ②颜色对比度。对于窗口t，以θCC为固定倍数在上下左右四个方向将其扩展到周围区域得到某一矩形区域Surr(t,θCC)，则窗口t在此区域的颜色对比度计算公式为：
[0093] CC(t,θCC)＝χ2(h(t),h(Surr(t,θCC)))
[0094] 式中，h(t)、h(Surr(t,θCC))分别表示窗口t与矩形区域的颜色直方图，χ2(·)表示卡方距离函数。
[0095] ③边缘密度。对于窗口t，以θED为固定倍数将其收缩到内部环状区域Inn(t,θED)，则此窗口t在区域Inn(t,θED)内的边缘性计算公式为：
[0096]
[0097] 式中，IED(p)表示使用Canny算子得到的二值图，Len(·)表示计算区域Inn(t,θED)的周长。
[0098] ④轮廓闭合性。窗口t的轮廓闭合性的计算公式为：
[0099]
[0100] 式中，|i\t|表示超像素i位于窗口t之外的面积，而|i∩t|表示超像素i位于窗口t内部的面积。
[0101] 将上述得到的窗口显著性S(t,θS)、颜色对比度CC(t,θCC)、边缘密度ED(t,θED)以及轮廓闭合性II(t)进行融合就得到每个窗口被判定为显著性目标的概率值prob(t)。
[0102] (2)然后对所有包含像素p的窗口的显著性概率求和，以计算图像中任意一个像素的显著性值O(p)，公式如下：
[0103]
[0104] (3)计算第n个尺度下基于目标先验信息的任意第i个超像素的显著性值 公式如下：
[0105]
[0106] 其中，pi表示尺度n下第i个超像素 中的像素的数量。
[0107] 步骤4：通过贝叶斯推理整合尺度n下步骤2得到的背景显著性值和步骤3得到的目标显著性值，得到第n个尺度下融合背景先验和目标先验的任意第i个超像素的显著性值计算公式如下：
[0108]
[0109] 步骤5：针对任意尺度n下，将每个超像素作为结点构建集合V，以结点对之间的连接作为边E构造一个图G(V,E)，所有结点间的权值矩阵为W，其中第i个结点和第j个结点间权值为wji，然后生成度矩阵
[0110]
[0111] 其中，和 是CIELAB颜色空间中两个超像素的平均值， 和 分别表示其相应的平均坐标， 表示第j个超像素的空间近邻，σ是控制权重强度的常量。
[0112] 步骤6：针对任意尺度n下所有超像素，根据步骤4融合后的显著值 计算该尺度下所有超像素的平均显著值 利用此平均显著值作为阈值对该尺度下的所有超像素的融合显著值进行二进制分割，得到二进制显著值 使用流形排序
将二进制显著值传播到整个图像，获得每个超像素结点的最终的显著性值 具体过程如下：
[0113] (1)假设尺度n下所有超像素最终的显著性值构成向量
[0114] (2)定义求解Sr的目标函数E(Sr)：
[0115]
[0116] 其中α＝1+μ，μ是一个控制参数， 是
权利要求1中步骤6中经过贝叶斯推理后融合背景先验和目标先验的显著值，等式右边的第一项保证空间上相邻外观上相似的超像素之间的显著性值尽可能一致，第二项保证空间优化后的显著值与优化前显著性值的误差尽可能的小，正则化系数μ控制两项的比重。
[0117] (3)最小化目标函数E(Sr)的最优解为：
[0118] Sr＝(D-αW)-1Sq
[0119] α＝1+μ
[0120] 其中，Sq尺度n下所有超像素在权利要求1中步骤6中经过贝叶斯推理后融合背景先验和目标先验的显著值构成的向量
[0121] 步骤7：重复步骤2-6，计算出不同尺度下所有超像素的最终显著值，然后通过加权求和将不同尺度的显著值传播到像素，得到最终的像素级显著图Sp，其每个像素的显著值计算如下：
[0122]
[0123] 其中，n表示超像素尺度的索引，i表示超像素的索引， 表示第n个尺度下第i个超像素的经过流形排序将显著性传播优化之后的显著值，Ip表示像素p的CIELAB颜色值，表示第n个尺度下第i个超像素内所有像素的颜色均值，ε是一个小常数，||·||2表示计算欧几里得距离，δ(·)表示第n个尺度下第i个超像素的指示函数，当像素p被包含在此超像素中，函数值为1，否则为0。
[0124] 在四种公共基准数据集(即ASD、SED1、SED2和SOD)上，对本发明方法与其他24种方法进行比较。各种显著性目标检测算法的视觉对比结果如图2、图3、图4、图5、图6、图7、图8、图9所示。由图2的(b)、图4的(b)、图6的(b)和图8的(b)可知，IT(Itti)采用下
采样的方式实现多尺度显著，得到的显著图
分辨率比较低。如图2的(c)(d)(e)、图4的(c)(d)(e)、图6的(c)(d)(e)和图8的(c)(d)(e)所示，由于在局部区域内计算对比度，MZ(Ma Zhang)、AC(Achanta)和CA(Context-aware)得到的显著图强调显著性目标的边界。由于在整幅图像内计算颜色对比度，如图2的(f)(g)(i)(j)的第三排图像所示，LC(Luminance-based constrast)、HC(Histgoram-based contrast)、RC(region-based contrast)、GC(Global contrast)将图像最明亮的颜色区域误检为显著性目标。PD(patch distinct)算法将模式和颜色对比度相结合，如图2的(k)、图4的(k)、图6的(k)和图8的(k)所示，显著性目标的边界清晰，但无法将显著性目标整体地凸显出来。由图3的(b)第二排，图3的(c)第一排以及图3的(d)第二排可知，CBS(context-based salinecy)、HS(Hierarchical Saliency)、MSS(Multi-Scale superpixels)将图像中心的区域误检为显著目标。由于CHB(Convex Hull and Bayesian)显著图的准确度取决于凸包所在的区域，如图9的(e)第一排所示，当图像中的背景变得复杂时，背景区域的
角点相应地变多，背景区域被错误地检测为显著区域，导致检测结果会出现显著范围过大的现象。如图9的(f)(k)所示，对于背景复杂的SOD数据库，UFO(uniqueness,focusness and objectness)和GL(global and local)的检测效果不佳。
由于只使用边缘假设，如图3的(g)第二排，图3的(h)第三排以及图3的(i)第二排所示，对于显著目标在边缘的图片，GS(Geodesic saliency)、DSR(Dense and Sparse reconstruction)、BL(bootstrapping learning)的检测结果准确率降低。由图3的(k)可知，RBD(robust background detection)检测到的显著性目标区域要大于真值图中所标注的区域。如图3的(l)和图9的(l)所示，BFS(background and foreground seed)只能凸显显著性目标的某一部分。如图3的(m)(n)(o)、图5的(m)(n)(o)、图7的(m)(n)(o)和图9的(m)(n)(o)所示，MAC(Markov Absorbing Chain)、MAP(Markov Absorption Probability)、GBMR(Graph based Manifold Ranking)能够凸显显著性目标的全部。如图3的(p)、图5的(p)、图7的(p)和图9的(p)所示，本发明方法也适用于检测多个目标和复杂背景的目标。总的来说，本发明方法检测的显著图更接近实际真值。
[0125] 以上
实施例仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案
基础上所做的任何改动，均落入本发明保护范围之内。
