首页 / 专利库 / 电脑零配件 / 计算机系统 / 硬件 / 外围设备 / 鼠标 / 一种受前面帧目标信息约束的相关滤波目标跟踪算法

一种受前面目标信息约束的相关滤波目标跟踪算法

阅读:925发布:2020-05-08

专利汇可以提供一种受前面目标信息约束的相关滤波目标跟踪算法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种受前面 帧 目标信息约束的相关滤波目标 跟踪 算法 ;属于跟踪算法技术领域;其技术要点包括下述步骤:(1)在视频的第1帧,通过 鼠标 或目标识别方法以矩形框的方式 选定 目标,作为跟踪对象,从而获得目标在第1帧中的状态;以目标中点为中点,4倍于目标尺度为尺度提取搜索区域的多通道特征;(2)根据第1帧获得的特征,训练 滤波器 f,再根据f判断第2帧的目标状态,再根据第2帧的新目标状态对滤波器f进行更新,再判断第3帧的目标状态,如此反复,直到 视频流 的最后一帧;本发明旨在提供一种可以有效提高算法的准确性和鲁棒性的受前面帧目标信息约束的相关滤波目标跟踪算法;用于自动驾驶、 机器人 控制、 人机交互 等领域。,下面是一种受前面目标信息约束的相关滤波目标跟踪算法专利的具体信息内容。

1.一种受前面目标信息约束的相关滤波目标跟踪算法,其特征在于,该方法包括下述步骤:
(1)在视频的第1帧,通过鼠标或目标识别方法以矩形框的方式选定目标,作为跟踪对象,从而获得目标在第1帧中的状态;以目标中点为中点,4倍于目标尺度为尺度提取搜索区域的多通道特征;
(2)根据第1帧获得的特征,训练滤波器f,再根据f判断第2帧的目标状态,再根据第2帧的新目标状态对滤波器f进行更新,再判断第3帧的目标状态,如此反复,直到视频流的最后一帧;
其中,训练滤波器f的目标方程如式(1)所示:
根据获得的多通道特征训练的滤波器,式(1)中,第1项为主训练项,其目的是使滤波器与搜索区域的卷积矩阵在目标中心有最大的响应值,而离目标中心越远的响应值越小;第2项为边缘抑制项,其目的是减轻背景的变化对跟踪结果的影响,同时抑制跟踪过程中的边缘效应;第3项是反向约束项,该项强制滤波器f能够有效地对前面帧的结果进行有效表达;
第4项为帧间约束项,其目的是为了减少目标消失或丢失时对滤波器的影响; 为卷积符号,·为矩阵点乘符号,K为特征的通道数, 为搜索范围的第t帧的第k个通道特征,fk为第k个通道的滤波器,y为高斯分布的标签矩阵,t为视频帧数, 为前面帧获得的搜索范围样本信息,λ1和λ2为目标方程第3项和第4项的权重因子。
2.根据权利要求1所述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,其特征在于,为了减少卷积的计算量,使用交替方向因子法将式(1)分解为两个变量进行交替求解,将式(1)中的f用h替代,并增加约束项 所以式(1)扩展
为:
令l=α/λ3,式(2)等价于:
对于式(3),由于在第1帧时没有 和 所以在计算第1帧的滤波器f时λ1和λ2为0。
3.根据权利要求2所述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,其特征在于,使用交替方向因子法将式(3)分为3个子问题进行迭代求解:
子问题1:
式中i为迭代的次数;
对于子问题1,利用快速傅里叶变换原理将式(4)转到频域进行处理,使式中的卷积符号转变成点乘,再计算其导数为0时的f值;
子问题2:
对于子问题2,将式(5)转换为:
式中,h=[(h1)T,(h2)T...(hK)T]T,W为K个W组成的对方阵,再计算其导数为0是的h值子问题3:
l(i+1)=li+f(i+1)-g(i+1)                        (7)
子问题(3)可以直接求解。
4.根据权利要求2所述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,其特征在于,式(3)中 要表示前面帧获得的主要信息,每n帧更新一次;设
为前面m帧获得的样本 的均值向量,为后面n帧获得的样本的均值向量;
在m+n帧后,使用式(8)更新
由于目标跟踪过程中,可能存在目标形态的变化,在式(8)中,引入了遗忘因子q,使能倾向于后面获得的样本。
5.根据权利要求2或3所述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,其特征在于,在获得第t帧的滤波器f后,使用f确定第t+1帧的目标状态,先对第t帧搜索范围进行采样,为了使目标跟踪能够适应目标尺度的变化,本发明选取若干不同尺度进行采样,设获得的j个不同尺度搜索范为C=[C1,C2,...,Cj];
第i个搜索范围的响应值如式(9)所示:
式(9)中,^为快速傅里叶变换算子,ifft2为快速傅里叶逆变换,response为响应值,为了提高跟踪的准确性,采用顿插值法对response进行插值,在插值后,不同尺度的响应值response中,最大值即为第t+1帧跟踪的结果,其所在尺度为结果的尺度。
6.根据权利要求1所述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,其特征在于,步骤(1)中,所述获得目标在第1帧中的状态具体为获得目标在第1帧中的中点坐标和尺度参数。
7.根据权利要求1所述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,其特征在于,步骤(1)中,所述多通道特征为Hog特征和颜色空间特征。
8.根据权利要求2所述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,其特征在于,式(3)中,采用增量主元分析法获取
假设前面n帧获得n个跟踪结果A={a1,a2,...an},它的奇异值分解为A=UDVT,假设B={b1,b2,...bn}为新获得的跟踪结果,如果采用传统的主元分析法则需要求取那么其计算量会随着帧数的增加而增大,故本发明采用增量主元分析法获取Xpre,从而避免计算量的增大;
如式(10)所示,
式中 B'为B的主成份且和U正交,则R和B'可以通过QR分解得到,即[U,
B']R=[U,D,BT]                        (11)
设R的奇异值分解为R=U'D'V'T,则[A,B]的奇异值分解为
可得,
可以看出,主元分析的过程中不会随帧数的增加而增大,
可得, 为前面帧跟踪结果的均值。

说明书全文

一种受前面目标信息约束的相关滤波目标跟踪算法

技术领域

[0001] 本发明涉及一种跟踪算法,更具体地说,尤其涉及一种受前面帧目标信息约束的相关滤 波目标跟踪算法。

背景技术

[0002] 目标跟踪算法是通过第一帧获得的目标信息,进而对整个视屏中的目标状态进行跟踪, 在自动驾驶、机器人控制、人机交互等领域有相当的应用价值。目标跟踪的主要难点是它只 能从第一帧获得一个目标样本,没有大量样本进行学习,并且在跟踪过程中,目标会发生形 变、尺度变化、旋转、遮挡、光照变化、运动模糊,并且受复杂背景、相似目标等影响,目 标跟踪算法普遍存在准确性较低且计算量较高的缺点。

发明内容

[0003] 本发明的目的在于针对上述现有技术的不足,提供一种可以有效提高算法的准确性和鲁棒性 的受前面帧目标信息约束的相关滤波目标跟踪算法。
[0004] 本发明的技术方案是这样实现的:一种受前面帧目标信息约束的相关滤波目标跟踪算法, 该方法包括下述步骤:
[0005] (1)在视频的第1帧,通过鼠标或目标识别方法以矩形框的方式选定目标,作为跟踪对 象,从而获得目标在第1帧中的状态;以目标中点为中点,4倍于目标尺度为尺度提取搜索 区域的多通道特征;
[0006] (2)根据第1帧获得的特征,训练滤波器f,再根据f判断第2帧的目标状态,再根据 第2帧的新目标状态对滤波器f进行更新,再判断第3帧的目标状态,如此反复,直到视频 流的最后一帧;
[0007] 其中,训练滤波器f的目标方程如式(1)所示:
[0008]
[0009] 根据获得的多通道特征训练的滤波器,式(1)中,第1项为主训练项,其目的是使滤波 器与搜索区域的卷积矩阵在目标中心有最大的响应值,而离目标中心越远的响应值越小;第 2项为边缘抑制项,其目的是减轻背景的变化对跟踪结果的影响,同时抑制跟踪过程中的边 缘效应;第3项是反向约束项,该项强制滤波器f能够有效地对前面帧的结果进行有效表达; 第4项为帧间约束项,其目的是为了减少目标消失或丢失时对滤波器的影响; 为卷积符号, ·为矩阵点乘符号,K为特征的通道数, 为搜索范围的第t帧的第k个通道特征,fk为第k 个通道的滤波器,y为高斯分布的标签矩阵,t为视频帧数, 为前面帧获得的搜索范围样 本信息,λ1和λ2为目标方程第3项和第4项的权重因子。
[0010] 上述的一种受前面帧目标信息约束的相关滤波目标跟踪算法中,为了减少卷积的计算量, 使用交替方向因子法(ADMM)将式(1)分解为两个变量进行交替求解,将式(1)中的f用h 替代,并增加约束项 所以式(1)扩展为:
[0011]
[0012] 令l=α/λ3,式(2)等价于:
[0013]
[0014] 对于式(3),由于在第1帧时没有 和 所以在计算第1帧的滤波器f时λ1和λ2为 0。
[0015] 上述的一种受前面帧目标信息约束的相关滤波目标跟踪算法中,使用交替方向因子法将 式(3)分为3个子问题进行迭代求解:
[0016] 子问题1:
[0017]
[0018] 式中i为迭代的次数;
[0019] 对于子问题1,利用快速傅里叶变换原理将式(4)转到频域进行处理,使式中的卷积符 号转变成点乘,再计算其导数为0时的f值;
[0020] 子问题2:
[0021]
[0022] 对于子问题2,将式(5)转换为:
[0023]
[0024] 式中,h=[(h1)T,(h2)T...(hK)T]T,W为K个W组成的对方阵,在计算其导数为0是 的h值
[0025] 子问题3:
[0026] l(i+1)=li+f(i+1)-g(i+1)   (7)
[0027] 子问题(3)可以直接求解。
[0028] 上述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,式(3)中 要表示前面 帧获得的主要信息,每n帧更新一次;设
[0029] 为前面m帧获得的样本 的均值向量, 为后面n帧获得的样本的均值向量;
[0030] 在m+n帧后,使用式(8)更新
[0031]
[0032] 由于目标跟踪过程中,可能存在目标形态的变化,在式(8)中,引入了遗忘因子q,使  能倾向于后面获得的样本。
[0033] 上述的一种受前面帧目标信息约束的相关滤波目标跟踪算法中,在获得第t帧的滤波器 f后,使用f确定第t+1帧的目标状态。先对第t帧搜索范围进行采样,为了使目标跟踪能 够适应目标尺度的变化,本发明选取若干不同尺度进行采样,设获得的j个不同尺度搜索范 为C=[C1,C2,...,Cj];
[0034] 第i个搜索范围的响应值如式(9)所示:
[0035]
[0036] 式(9)中,^为快速傅里叶变换算子,ifft2为快速傅里叶逆变换,response为响应值, 为了提高跟踪的准确性,采用顿插值法对response进行插值,在插值后,不同尺度的响应 值response中,最大值即为第t+1帧跟踪的结果,其所在尺度为结果的尺度。
[0037] 上述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,步骤(1)中,所述获得目 标在第1帧中的状态具体为获得目标在第1帧中的中点坐标和尺度参数。
[0038] 上述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,步骤(1)中,所述多通道 特征为Hog特征和颜色空间特征。
[0039] 上述的一种受前面帧目标信息约束的相关滤波目标跟踪算法,式(3)中,采用增量主元 分析法获取
[0040] 假设前面n帧获得n个跟踪结果A={a1,a2,...an},它的奇异值分解为A=UDVT,假设 B={b1,b2,...bn}为新获得的跟踪结果,如果采用传统的主元分析法则需要求取那么其计算量会随着帧数的增加而增大,故本发明采用增量主元分析法获取Xpre,从而避免 计算量的增大;
[0041] 如式(10)所示,
[0042]
[0043] 式中 B'为B的主成份且和U正交,则R和B'可以通过QR分解得到,即[0044] [U,B']R=[U,D,BT]   (11)
[0045] 设R的奇异值分解为R=U'D'V'T,则[A,B]的奇异值分解为
[0046]
[0047] 可得,
[0048] 可以看出,主元分析的过程中不会随帧数的增加而增大,
[0049] 可得, 为前面帧跟踪结果的均值。
[0050] 本发明采用上述算法后,通过在滤波器目标方向中加入反向约束项,该项强制滤波器f能 够有效地对前面帧的结果进行有效表达,提高跟踪算法的鲁棒性。进一步优选地,使用遗忘 因子q求解 使跟踪算法可以有效适应目标形态的变化。同时, 也可以采用增量主 元分析法获取。采用该方法即能更有效地提取全面跟踪结果中的主要信息,使跟踪算法更具 鲁棒性,还可以保证计算量不随帧数的增加而增大。
[0051] 传统相关滤波目标跟踪算法采用当前帧的跟踪结果训练滤波器,当目标外观出现剧烈变 化时,容易出现滤波器过拟合的现象,导致后期跟踪的失败,本发明采用反向约束项可以使 滤波器不仅能识别当前帧,还能兼顾前面跟踪结果的识别,从而能有效避免滤波器过拟合的 现象,使跟踪算法更具鲁棒性。附图说明
[0052] 下面结合附图中的实施例对本发明作进一步的详细说明,但并不构成对本发明的任何限 制。
[0053] 图1是本发明实施例1使用交替方向因子法进行求解滤波器f的原理示意图;
[0054] 图2是本发明实施例1中为使目标跟踪能够适应目标尺度的变化而采取的优选算法的原 理示意图;
[0055] 图3(a)为本发明实施例1对比实验例的定位误差曲线示意图;
[0056] 图3(b)为本发明实施例1对比实验例的跟踪结果S1与真实结果S0的重叠率示意图。

具体实施方式

[0057] 实施例1
[0058] 本发明的一种受前面帧目标信息约束的相关滤波目标跟踪算法,该方法包括下述步骤:
[0059] (1)在视频的第1帧,通过鼠标或目标识别方法以矩形框的方式选定目标,作为跟踪对 象,从而获得目标在第1帧中的状态;以目标中点为中点,4倍于目标尺度为尺度提取搜索 区域的多通道特征。其中,所述多通道特征为Hog特征和颜色空间特征。所述获得目标在第 1帧中的状态具体为获得目标在第1帧中的中点坐标和尺度参数。
[0060] (2)根据第1帧获得的特征,训练滤波器f,再根据f判断第2帧的目标状态,再根据 第2帧的新目标状态对滤波器f进行更新,再判断第3帧的目标状态,如此反复,直到视频 流的最后一帧。
[0061] 其中,训练滤波器f的目标方程如式(1)所示:
[0062]
[0063] 根据获得的多通道特征训练的滤波器,式(1)中,第1项为主训练项,其目的是使滤波 器与搜索区域的卷积矩阵在目标中心有最大的响应值,而离目标中心越远的响应值越小;第 2项为边缘抑制项,其目的是减轻背景的变化对跟踪结果的影响,同时抑制跟踪过程中的边 缘效应;第3项是反向约束项,该项强制滤波器f能够有效地对前面帧的结果进行有效表达; 第4项为帧间约束项,其目的是为了减少目标消失或丢失时对滤波器的影响; 为卷积符号, ·为矩阵点乘符号,K为特征的通道数, 为搜索范围的第t帧的第k个通道特征,fk为第k 个通道的滤波器,y为高斯分布的标签矩阵,t为视频帧数, 为前面帧获得的搜索范围样 本信息,λ1和λ2为目标方程第3项和第4项的权重因子。
[0064] 优选地,为了减少卷积的计算量,使用交替方向因子法(ADMM)将式(1)分解为两个变 量进行交替求解,将式(1)中的f用h替代,并增加约束项所以式(1)扩展为:
[0065]
[0066] 令l=α/λ3,式(2)等价于:
[0067]
[0068] 对于式(3),由于在第1帧时没有 和 所以在计算第1帧的滤波器f时λ1和λ2为 0。
[0069] 进一步优选地,使用交替方向因子法将式(3)分为3个子问题进行迭代求解:
[0070] 子问题1:
[0071]
[0072] 式中i为迭代的次数;
[0073] 对于子问题1,利用快速傅里叶变换原理将式(4)转到频域进行处理,使式中的卷积符 号转变成点乘,再计算其导数为0时的f值;
[0074] 子问题2:
[0075]
[0076] 对于子问题2,将式(5)转换为:
[0077]
[0078] 式中,h=[(h1)T,(h2)T...(hK)T]T,W为K个W组成的对角方阵,在计算其导数为0是 的h值
[0079] 子问题3:
[0080] l(i+1)=li+f(i+1)-g(i+1)   (7)
[0081] 子问题(3)可以直接求解。
[0082] 优选地,式(3)中 要表示前面帧获得的主要信息,每n帧更新一次;设[0083] 为前面m帧获得的样本 的均值向量,为后面n帧获得的样本的均值向量;
[0084] 在m+n帧后,使用式(8)更新
[0085]
[0086] 由于目标跟踪过程中,可能存在目标形态的变化,在式(8)中,引入了遗忘因子q,使  能倾向于后面获得的样本。本步骤算法原理示意图如图1所示。
[0087] 优选地,在获得第t帧的滤波器f后,使用f确定第t+1帧的目标状态。先对第t帧搜 索范围进行采样,为了使目标跟踪能够适应目标尺度的变化,本发明选取若干不同尺度进行 采样,设获得的j个不同尺度搜索范为C=[C1,C2,...,Cj];
[0088] 第i个搜索范围的响应值如式(9)所示:
[0089]
[0090] 式(9)中,^为快速傅里叶变换算子,ifft2为快速傅里叶逆变换,response为响应值, 为了提高跟踪的准确性,采用牛顿插值法对response进行插值,在插值后,不同尺度的响应 值response中,最大值即为第t+1帧跟踪的结果,其所在尺度为结果的尺度。该步骤算法原 理示意图如图2所示。
[0091] 实施例2
[0092] 本发明的一种受前面帧目标信息约束的相关滤波目标跟踪算法,其步骤与实施例1基本 相同,不同之处在于,本实施例中采用增量主元分析法获取
[0093] 假设前面n帧获得n个跟踪结果A={a1,a2,...an},它的奇异值分解为A=UDVT,假设 B={b1,b2,...bn}为新获得的跟踪结果,如果采用传统的主元分析法则需要求取那么其计算量会随着帧数的增加而增大,故本发明采用增量主元分析法获取Xpre,从而避免 计算量的增大。
[0094] 如式(10)所示,
[0095]
[0096] 式中 B'为B的主成份且和U正交,则R和B'可以通过QR分解得到,即[0097] [U,B']R=[U,D,BT]   (11)
[0098] 设R的奇异值分解为R=U'D'V'T,则[A,B]的奇异值分解为
[0099]
[0100] 可得,
[0101] 可以看出,主元分析的过程中不会随帧数的增加而增大。
[0102] 可得, 为前面帧跟踪结果的均值
[0103] 采用该方法即能更有效地提取全面跟踪结果中的主要信息,使跟踪算法更具鲁棒性,还 可以保证计算量不随帧数的增加而增大。
[0104] 本发明算法流程如下:
[0105] 1、获取第1帧目标状态,确定搜索区域,提取该搜索区域多通道特征;
[0106] 2、通过步骤式(1)建立目标方程(λ1,λ2为0),并通过式(3)-(8)计算滤波器f;
[0107] 3、for t=2 to end,t为视频帧数
[0108] 4、Begin
[0109] 5、For i=1 to end,i为迭代次数
[0110] 6、Begin
[0111] 7、通过式(8)计算
[0112] 8、通过求解式(4)计算f(i+1)
[0113] 9、通过求解式(6)计算h(i+1)
[0114] 10、通过式(7)计算l(i+1)
[0115] 11、End
[0116] 12、在t+1帧提取多尺度的搜索范围样本的特征
[0117] 13、通过式(9)获取各尺度搜索范围的响应
[0118] 14、采用牛顿插值法获取响应最大点,作为t+1帧跟踪结果
[0119] 15、End
[0120] 实验例
[0121] 本发明算法在,OTB100(Object Tracking Benchmark)测试集上进行了测试,网址: http://cvlab.hanyang.ac.kr/tracker_benchmark/datasets.html。该测试集有100个公开 视频用于跟踪算法测试。此外,本发明算法还与其他9种优秀算法进行比较,实验结果表明, 本发明算法有最高的跟踪成功率。实验结果如图3所示,其中,图3(a)为定位误差曲线, 指的是跟踪结果与真实结果中心点的距离,单位为像素;图3(b)为跟踪结果S1与真实结 果S0的重叠率,用公式表示为:
[0122]
[0123] 从图(3)可以看出,无论在定位误差还是跟踪成功率上,本发明算法都优于其他优秀算 法。
[0124] 以上所举实施例为本发明的较佳实施方式,仅用来方便说明本发明,并非对本发明作任 何形式上的限制,任何所属技术领域中具有通常知识者,若在不脱离本发明所提技术特征的 范围内,利用本发明所揭示技术内容所作出局部更动或修饰的等效实施例,并且未脱离本发 明的技术特征内容,均仍属于本发明技术特征的范围内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈