一种基于位置先验信息的时空域显著度检测方法专利检索-前景像素像素电脑图像专利检索查询-专利查询网

一种基于位置先验信息的 时空域显著度检测方法

阅读：1026发布：2020-05-14

专利汇可以提供一种基于位置先验信息的时空域显著度检测方法专利检索，专利查询，专利分析的服务。并且本发明涉及一种时空域显著度检测方法，属于图像处理领域，具体涉及一种基于位置先验信息的时空域显著度检测方法。本发明的主要思想是视频显著度图的显著目标应该是时空连续的，通过获取包含显著对象的时间上连续的前景区域位置信息，增强改进显著度对比方法，包括前景背景对比度方法和局部前景对比度方法，从而有效抑制背景区域，并且高亮前景显著目标。同时本发明提出视频帧内运动一致性来改进时域运动信息的区分程度，从而得到更为精准的运动显著度检测结果。此外，融合时域和空域显著度检测的结果来综合考虑时空域信息，本发明通过时空域显著度检测结果的融合，进而提高时空域显著度检测的准确性。，下面是一种基于位置先验信息的时空域显著度检测方法专利的具体信息内容。

权利要求

1.一种基于位置先验信息的显著度检测方法，其特征在于，包括：
超像素集分割步骤，将视频帧It分割成大小相似、颜色高度一致的超像素集
空域显著度计算步骤，基于空间位置关系加权计算超像素与其它超像素的超像素重要度特征值差异得到的空域对比度，基于各超像素的空域对比度得到视频的空域著度图其中，超像素重要度为其对应颜色与整帧其他超像素主要颜色的对比度；
时域显著度计算步骤，根据超像素运动直方图和整帧运动直方图之间的差
异得到每个超像素的运动区分度基于帧内一致性约束的更新运动区分度，计算视频的时域显著度图
 时空显著图融合步骤，基于时域到空域的一致性MCT，空域到时域的一致性MCS采用选择项和交互项非线性融合时、空域显著度图；其中，MCT与MCS由时域显著度图和空域显著度图的乘积分别除以空域显著度图中所有超像素的空域显著度值总和以及时域显著度图中所有超像素的时域显著度值总和后的两个总和之和得到；
所述超像素集分割步骤中，基于超像素SUPERPIXEL 算法将该帧分割成大小相似、颜色高度一致的超像素集使用最小方差量化算法减少It中出现频率低的颜
色，从而量化It的颜色；
所述空域显著度计算步骤中，通过颜色直方图对比度算法计算超像素重要度
所述空域对比度的计算包括前景背景对比度计算，具体为：
定义超像素距离背景区域的最短路径为关键路径背景区域超像素的关键路
径为该超像素跟其相邻距离最短的背景区域超像素之间的欧氏距离，而前景区域超像素的关键路径跟前景区域的面积相关，定义如下：
式中，Ft为前景区域，Bt为背景区域；
基于位置信息的空域特征差异为之间的超像素重要度差值ψ(i,j)加权单位阶
跃函数ε(ψ(i,j))，即ψ(i,j)大于0时，ε(ψ(i,j))值为1，反之则为0；ψ(i,j)依据超像素位于不同的区域，定义如下：
前景背景对比度为超像素的空间特征差异加权空间位置关系，前景背景对比度
表示如下，式中，为超像素之间的欧氏距离；
所述空域对比度的计算包括前景局部对比度计算，具体为：计算前景区域内超像素与前景区域中其它超像素的超像素重要度特征值差异总和并相应加权空间位置关系，得到前景局部对比度
所述空域对比度的计算包括前景局部对比度计算、前景局部对比度计算，并且基于下式计算视频空显著度图
中，线性系数η为0.5，为前景局部对比度，为前景背景对比度；
所述时域显著度计算步骤中，采用LDOF((LARGE DISPLACE OPTICAL FLOW)光流法提取每一帧像素级运动矢量场，依据运动矢量场，提取每个超像素的运动直方图和整帧运动直方图通过计算超像素级运动直方图和帧级运动直方图之间的差异，得到每个超像素的运动区分度
所述时域显著度计算步骤中，具体包括：依据具有同等运动区分度值的超像素集的中心位置之间的差异，并加权对应超像素集群运动区分度差异，计算得到的空间方差更新运动区分度为根据取得的更新运动区分度，采用前景
背景对比度算法，计算时域每个超像素跟其它超像素的更新运动区分度的差异累积，从而得到时域显著度图
所述时空显著图融合步骤中，交互项根据MCT和MCS对和融合，
融合方式如下：
选择项的计算方式为：分别计算时域和空域中的所有超像素显著度值的总和
T
并加权每个超像素到前景区域中心的欧式距离，得到时域显著度分布DIS和空域显著度分布DISS，比较DIST和DISS的大小，为这两者中较小值对应的显著度图；
基于下式融合交互项和选择项得到最终的时空域显著度图
式中，λt等于sqrt(MCT·MCS)。

说明书全文

一种基于位置先验信息的 时空域显著度检测方法

技术领域

[0001] 本发明涉及一种时空域显著度检测方法，属于图像处理领域，具体涉及一种基于位置先验信息的时空域显著度检测方法。

背景技术

[0002] 在计算机视觉领域，图像视频显著度检测作为目标识别、视频监控、移动机器人学的预处理部分已经进行广泛的研究。图像视频显著度研究一般基于自底向上的快速显著度检测方式，这类方法由中低层特征驱动，适用范围较广，运算速度较快。

[0003] 目前视频时空域显著度研究对于图像显著度研究相对较新，基于视频与图像的相似性，现有的图像显著度检测方法可以独立应用于视频的每一帧图像，这样的方式忽略了视频的时域信息。考虑到时域信息是视频显著度检测最主要的影响因素，空域特征可以结合时域特征计算独立帧的显著度。

[0004] 现有技术中的一些算法主要有：(1)在已有的图像显著度模型上对原有空域特征维度进行扩展，加入运动特征，用于预测动态场景中人眼预测的显著位置；(2)利用亮度、颜色和运动适量的局部对比生成最终的显著度图；(3)利用基于多种低层特征的时空显著度将高帧率的视频输入转为低帧率视频。这些方法都忽略了视频显著度图的时空连续性，可能导致显著图中的显著目标在时间轴上并不连续。

[0005] 为了获取视频更高维度的特征，区域对比度被广泛应用到显著度检测中，区域对比度通常的做法是计算区域特征差异并加权空间位置关系，然而这样的加权方式可能会导致目标衰减或者难以区分前景和背景区域的相似的颜色。

[0006] 为了解决这两个问题，需要利用位置先验信息对前景位置定位，通过利用位置信息，保持时空域显著度图的时空一致性，且改进对比度算法，从而提高视频显著度检测的准确性。

发明内容

[0007] 针对现有技术的不足，本发明提供了一种基于前景位置先验信息的时空域视频显著度检测方法，该方法通过连续获取视频前景区域位置信息，保持视频时空域显著度图的帧间连续性并改进前景背景对比度算法，进而凸显显著目标并抑制背景区域。

[0008] 一种基于位置先验信息的时空域显著度检测方法，其特征在于，包括：

[0009] 超像素集分割步骤，将视频帧It分割成大小相似、颜色高度一致的超像素集[0010] 空域显著度计算步骤，基于空间位置关系加权计算超像素与其他超像素的超像素重要度特征值差异得到的空域对比度，基于各超像素的空域对比度得到视频的空域著度图其中，超像素重要度为其对应颜色与整帧其他超像素主要颜色的对比度；

[0011] 时域显著度计算步骤，根据超像素运动直方图和整帧运动直方图之间的差异得到每个超像素的运动区分度基于更新运动区分度之间的特征差异计算
视频的时域显著度图

[0012] 时空显著图融合步骤，基于时域到空域的一致性MCT，空域到时域的一致性MCS，采用基于这两个一致性系数的选择项和交互项非线性融合时、空域显著度图；其中，MCT与MCS由时域显著度图和空域显著度图的乘积分别除以空域显著度图中所有超像素的空域显著度值总和时域显著度图中所有超像素的时域显著度值总和得到。

[0013] 作为优选，上述的一种基于位置先验信息的显著度检测方法，所述超像素集分割步骤中，基于SLIC算法将该帧分割成大小相似、颜色高度一致的超像素集使用最小方差量化算法减少It中出现频率低的颜色，从而量化It的颜色。

[0014] 作为优选，上述的一种基于位置先验信息的显著度检测方法，所述空域显著度计算步骤中，通过颜色直方图对比度算法计算超像素重要度

[0015] 作为优选，上述的一种基于位置先验信息的显著度检测方法，所述空域对比度的计算包括前景背景对比度计算，具体为：

[0016] 定义超像素距离背景区域的最短路径为关键路径背景区域超像素的关键路径为该超像素跟其相邻距离最短的背景区域超像素之间的欧氏距离，而前景区域超像素的关键路径跟前景区域的面积相关，定义如下。

[0017]

[0018] 式中，Ft为前景区域，Bt为背景区域；

[0019] 基于位置信息的空域特征差异为之间的超像素重要度差值ψ(i，j)加权单位阶跃函数ε(ψ(i，j))，即ψ(i，j)大于0时，ε(ψ(i，j))值为1，反之则为0；ψ(i，j)依据超像素位于不同的区域，定义如下：

[0020]

[0021] 前景背景对比度为超像素的空间特征差异加权空间位置关系，前景背景对比度表示如下，式中，为超像素之间的欧氏距离；

[0022]

[0023] 作为优选，上述的一种基于位置先验信息的显著度检测方法，所述空域对比度的计算包括前景局部对比度计算，具体为：计算前景区域内超像素与其它前景区域内超像素的超像素重要度特征值差异总和并相应加权空间位置关系，得到前景局部对比度

[0024] 作为优选，上述的一种基于位置先验信息的显著度检测方法，所述空域对比度的计算包括前景局部对比度计算、前景局部对比度计算，并且基于下式计算视频空域显著度图

[0025]

[0026] 其中，线性系数η为0.5，为前景局部对比度，为前景背景对比度。

[0027] 作为优选，上述的一种基于位置先验信息的显著度检测方法，所述时域显著度计算步骤中，采用LDOF光流法提取每一帧像素级运动矢量场，依据运动矢量场，提取每个超像素的运动直方图和整帧运动直方图通过计算超像素级运动直方图和帧级运动直方图之间的差异，得到每个超像素的运动区分度

[0028] 作为优选，上述的一种基于位置先验信息的显著度检测方法，在计算运动区分度后，加上帧内运动一致性约束来更新运动区分度，具体步骤包括：依据SF方法计算的空间方差更新运动区分度为根据取得的更新运动区分度，采用前景背景对比度算法，计算整帧每个超像素跟其他超像素的更新运动区分度的差异累积，从而得到时域显著度图

[0029] 作为优选，上述的一种基于位置先验信息的显著度检测方法，所述时空显著图融合步骤中，根据SP方法可得，交互项根据MCT和MCS对和融合，融合方式如下：

[0030]

[0031] 选择项的计算方式为：分别计算时域和空域中的所有超像素显著度值的T
总和并加权每个超像素到前景区域中心的欧式距离，得到时域显著度分布DIS和空域显著S T S
度分布DIS，比较DIS和DIS的大小，为这两者中较小值对应的显著度图。

[0032] 作为优选，上述的一种基于位置先验信息的显著度检测方法，基于下式融合交互项和选择项得到最终的时空域显著度图

[0033]

[0034] 式中，λt等于sqrt(MCT·MCS)，利用λt可以较好地融合时、空域显著度图。

[0035] 本发明可以实现对背景复杂运动复杂的视频进行较准确的视频显著度提取，从而有效解决背景技术提到的问题，可以作为视频计算机视觉的预处理工作部分。附图说明

[0036] 图1为本发明方法流程图。

具体实施方式

[0037] 为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

[0038] 本发明是一种基于位置先验信息的视频时空域显著度提取方法，基于前景位置信息，提出增强前景背景对比度算法和前景局部对比度算法；

[0039] 其思路是结合帧内运动一致性提取视频空域和时域的高层特征，并基于前一帧的时空域显著度图获取当前视频帧的前景区域位置信息，基于该位置先验信息，对提取的中层特征采用增强的前景背景对比度算法计算分别得到空域、时域显著度图。最后通过交互式融合得到最终的时空域显著度图。

[0040] 具体实现时，首先采用SLIC算法将该帧分割成大小相似、颜色高度一致的超像素集并使用最小方差量化算法减少It中出现频率低的颜色；然后根据前一帧的时空域显著度图提取显著度值大于0.4的联通区域作为当前帧的前景区域Ft，初始帧的前景区域Ft默认为整帧视频图像；根据的最主要颜色的计算超像素的超像素重要度然后基于前景位置信息，利用前景背景对比度和前景局部对比度
加权计算得到空域显著度图然后提取每帧的像素级运动矢量场，并进一
步提取的运动直方图和整帧运动直方图根据超像素级直方图和帧级直方
图差异计算得到运动区分度通过引入反映运动一致性的运动空间分布的更新
运动区分度得到基于前景背景对比度方法，计算更新运动对比度的差异累积，得到时域显著度图最后对和进行非线性融合得到最终的时空域显著
度图

[0041] 图1是本实施例的具体流程，本实施例采用MATLAB2012a作为仿真实验平台，在常用的视频显著度检测视频库SegTrack，FBMS和DS2上进行测试。

[0042] 以下针对上述实施例对本发明的做进一步的阐述，本发明的流程包括：

[0043] 步骤1：针对一个特定的视频帧It，采用SLIC算法将该帧分割成大小相似、颜色高度一致的超像素集使用最小方差量化算法减少It中出现频率低的颜色，从而量化It的颜色。

[0044] 步骤2：基于超像素的颜色具有高度相似性，每个超像素可由其出现频率最高的颜色代表，则定义空域特征超像素重要度为其对应颜色与整帧其它超像素主要颜色的对比度，通过颜色直方图对比度(HC)算法可以得到超像素重要度

[0045] 步骤3：提取对应视频帧It-1的时空域显著度图的联通高亮区域作为It的前景区域Ft，It的其他部分为背景区域Bt。设定中像素点灰度值大于0.4为高亮值。

[0046] 步骤4：对It中特定超像素计算其与其它超像素的超像素重要度特征值差异总和并相应加权空间位置关系，得到的空域对比度。特征值差异和空间关系计算方式跟前景位置信息相关，空域对比度算法分为前景背景对比度和局部前景对比度，具体实现包括以下子步骤：

[0047] 步骤4.1：对于空域前景背景对比度计算，定义超像素距离背景区域的最短路径为关键路径背景区域超像素的关键路径为该超像素跟其相邻距离最短的背景区域超像素之间的欧氏距离，而前景区域超像素的关键路径跟前景区域的面积相关，
定义如下。

[0048]

[0049] 基于位置信息的空域特征差异为之间的超像素重要度差值ψ(i，j)加权单位阶跃函数ε(ψ(i，j))，即ψ(i，j)大于0时，ε(ψ(i，j))值为1，反之则为0；ψ(i，j)依据超像素位于不同的区域，定义如下：

[0050]

[0051] 其中α参数用于抑制前景区域的超像素对于背景区域的超像素差异的累积，从而进一步抑制背景。前景背景对比度为超像素的空间特征差异加权空间位置关系，前景背景对比度表示如下，为超像素之间的欧氏距离。

[0052]

[0053] 步骤4.2：对于前景局部对比度计算，计算前景区域内超像素与其它超像素的超像素重要度特征值差异总和并相应加权空间位置关系，得到前景局部对比度计算如下：

[0054]

[0055] 步骤4.3：线性结合前景背景对比度和前景局部对比度结果，得到视频空域显著度图线性系数η为0.5，表示如下

[0056]

[0057] 步骤5：采用LDOF光流法提取每一帧像素级运动矢量场，依据运动矢量场，提取每个超像素的运动直方图和整帧运动直方图通过计算超像素级运动直方图和帧级运动直方图之间的差异，得到每个超像素的运动区分度根据运动一致性，计
算反映运动空间分布的同等运动区分度的空间方差，从而获取更新运动区分度，基于更新运动区分度之间的特征差异，使用前景背景对比度算法得到时域显著度，其具体实现包括以下步骤：

[0058] 步骤5.1：依据SF方法，计算的空间方差则更新运动区分度为

[0059] 步骤5.2：根据取得的更新运动区分度，采用前景背景对比度算法，计算时域每个超像素跟其他超像素的更新运动区分度的差异累积，从而得到时域显著度图

[0060] 步骤6：计算时域显著度图和空域显著度图的乘积分别除以空域显著度图中所有超像素的空域显著度值总和与时域显著度图中
所有超像素的时域显著度值总和得到时域到空域的一致性MCT和空域到时
域的一致性MCS。基于这两个一致性参数采用选择项和交互项非线性融合时、空域显著度图，具体实现包括以下子步骤：

[0061] 步骤6.1：交互项根据MCT和MCS对和融合，融合方式如下：

[0062]

[0063] 步骤6.2：分别计算时域和空域中的所有超像素显著度值的总和并加权每个超像素到前景区域中心的欧式距离，得到时域显著度分布DIST和空域显著度分布DISS。比较DIST和DISS的大小，为这两者中较小值对应的显著度图。

[0064] 步骤6.3：对交互项和选择项进行融合，得到最终的时空域显著度图的公式如下，其中，λt等于sqrt(MCT·MCS)。

[0065]

[0066] 应当理解的是，本说明书未详细阐述的部分均属于现有技术。

[0067] 应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

标题	发布/更新时间	阅读量
用于体育视频识别的快速对象跟踪框架	2020-05-11	9
基于参数解析的自动控制系统	2020-05-11	802
移动终端自动估价机构	2020-05-11	641
一种FSR确定方法及电子设备	2020-05-11	679
一种基于显著性的CNN盲图像质量评估方法	2020-05-11	87
一种字符分割方法、装置以及计算机可读存储介质	2020-05-11	265
一种基于视觉的实时交通信号灯识别方法	2020-05-11	789
检测对象的方法、装置、电子设备和存储介质	2020-05-08	197
一种基于异常追踪的视频异常行为检测方法	2020-05-08	508
基于可形变配准和DCNN的宫颈MRI图像分割方法	2020-05-08	70

一种基于位置先验信息的时空域显著度检测方法

一种基于位置先验信息的时空域显著度检测方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：