专利汇可以提供一种基于迭代法构建相关滤波响应的目标跟踪方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于 迭代 法构建相关滤波响应的目标 跟踪 方法,包括以下步骤:S1、确定跟踪目标参数,提取融合特征并 加窗 处理;S2、通过频域隐式插值构建多 分辨率 特征图;S3、PCA方法构建特征 降维 矩阵;S4、应用共轭梯度法构建特征 滤波器 ;S5、提取候选区域多尺度的融合特征并降维加窗;S6、频域隐式插值构建多分辨率特征图;S7、滤波处理获得各个通道的响应矩阵;S8、构建响应矩阵,确定跟踪结果;S9、更新GMM模型,更新滤波器;S10、循环执行S5、S6、S7、S8、S9。本发明可以有效降低特征冗余,限制较大误差的相关滤波响应对最终响应图的影响,提高跟踪方法效率。,下面是一种基于迭代法构建相关滤波响应的目标跟踪方法专利的具体信息内容。
1.一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,包括以下步骤:
S1、确定初始帧中跟踪目标的位置及区域大小,提取跟踪目标区域的CNN
(Convolutional Neural Networks)特征、CN(Color Names)特征、FHOG(Fused Histogram of oriented gradients)特征并进行加窗处理;
S2、将步骤S1加窗处理后的特征进行傅里叶变换,通过频域隐式插值将特征图插值到连续空域,构建多分辨率特征图;
S3、应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵;
S4、构建基于GMM模型的样本特征集合,应用共轭梯度法进行迭代构建特征滤波器;
S5、依据前一帧确定的跟踪目标的位置及大小确定候选目标区域,提取候选目标区域的多尺度的CNN、CN、FHOG特征,降维并应用余弦窗做加窗处理;
S6、将步骤S5加窗处理后的特征进行傅里叶变换,通过频域隐式插值将特征图插值到连续空域,构建多分辨率特征图;
S7、对多分率特征图应用滤波器进行滤波处理,最终获得各个通道特征对应的响应矩阵;
S8、应用AdaBoost算法对响应矩阵进行处理,构建最终的响应矩阵,确定最终的跟踪结果;
S9、提取跟踪结果区域的深度特征并做相应的处理,处理结果特征添加入GMM高斯模型的样本集合,更新样本集相关参数,更新特征滤波器;
S10、循环执行S5、S6、S7、S8、S9。
2.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,所述的提取跟踪目标区域的CNN特征、CN特征、FHOG特征并进行加窗处理,包括:
依据标准跟踪视频提供的groundtruth.txt文件确定跟踪目标的初始位置及矩形区域的大小,设定搜索区域的大小为4倍的目标区域大小,同时设定搜索区域的大小为200*200至250*250之间的正方形区域,如果搜索目标区域不在此范围则通过图像的缩放方式将原始图像缩放至此范围;跟踪目标的矩形区域的大小也按照相同的比例进行缩放;然后通过VGG-Net的网络结构提取跟踪目标区域的CNN特征,提取网络结构中的第三层和第十四层的特征作为跟踪目标区域的深度特征,分别为96通道和512通道;提取目标区域的FHOG特征,提取目标区域的CN特征;依据跟踪目标实际区域和Padding区域的大小构建高斯标签,创建对应的余弦窗,应用构建的余弦窗对提取到的特征进行加窗处理。
3.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,通过频域隐式插值将特征图插值到连续空域,构建多分辨率特征图包括:
应用CCOT算法中提出的新型学习方式,目标在于训练一个基于训练样本xj的连续卷积算子,这些样本为目标区域提取的D个通道的特征 传统的DCF方程中均假设每个特征通道有着相同的空间分辨率,而CCOT中减少了这个限制并且让Nd指代 中的采样数,特征通道 被看作是由离散空间变量n∈{0,…,Nd}索引的函数 采样空间
表达成
为了处理连续空间域内的学习问题,引入了训练样本的内插模型,将区间 视作特征图的空间支持,T为坐标系缩放比,对于每一个特征通道d,内插操作如公式(1)所示:
d 2 d
插值样本Jd{x }(t)由一个内插函数bd∈L (T)的各个平移形式的叠加构造,特征值x[n]为每个平移后的函数加权值,与传统的离散DCF方程的周期假设类似,特征图的周期扩展被应用到公式(1)中;
插值的目的是为了获得连续卷积算子: 该算子将样本 映射到
一个定义在连续区间[0,T)中的目标置信函数s(t)=Sf{x}(t), 为目标在图像中的位置t∈[0,T)处的置信分数,与DCF方式类似,目标通过寻找图片区域中的最大置信分确定目标的相对平移量,由于置信分是在连续域上定义的,因此,可以具有更高的定位精度;
在连续域方程中,算子Sf是由一系列卷积滤波器f=(f1,…,fD)∈L2(T)D参数化的,fd∈L2(T)是针对特征通道d的连续滤波器,卷积算子如式(2)所示:
每个特征通道首先依据公式(2)插值,然后和对应的滤波器进行卷积,所有滤波器的卷积响应求和产生最终的置信函数;
在标准的DCF中,每一个训练样本由一个代表期望卷积输出的离散函数标定,与之不同的是,样本 由定义在连续空间域内的置信函数yj∈L2(T)标定,其中,yj是卷积算子Sf{xj}应用到训练样本xj上的设计输出,这使得亚像素精度信息在学习中合并了,滤波器f在给定的m个训练样本对 下训练,即最小化泛函,如式(3)所示:
其中,权重αj≥0为每个训练样本的影响力, 为空间正则化项,它由惩罚函数ω决定,空间正则化可以确保滤波器能够通过控制滤波器的空间长度在任意大的区域上学习,通常对目标背景的空间区域在ω中被分配更大的惩罚值,而目标区域则对应较小的惩罚值,因此,ω代表着依赖于其空间位置的特征先验知识,惩罚函数ω定义在整个连续区域[0,T)中,并周期性拓展到了ω∈L2(T),公式(3)要求||ωfd||<∞,即ω含有有限个非零傅里叶系数
为了训练滤波器f,需要在傅里叶域中最小化泛函公式(3),插值后特征图的傅里叶系数可以由 表示,其中,
是xd的离散傅里叶变换;通过线性和卷积性质,
输出置信函数式(2)的傅里叶系数推导可得到式(4);
通过应用帕斯瓦尔公式和式(3),式(4)可以得到式(5);
泛函E(f)最小化等价于其相对每个滤波器fd的傅里叶系数 的最小化;利用傅里叶域的式(5)去最小化原始的代价函数式(3);滤波器f需要由一个有限参数集合表示,通过最小化由有限维子空间 表示的式(5)来获得有
限描述;相对于系数 最小化式(5),同时假设当|k|>Kd时, Kd决定
了学习过程中对于特征通道d中被计算的滤波器系数 的数目,增加Kd可以获得更好的滤波器估计,但是需要增加了计算量和存储消耗,设置 使得d通道存储的滤波器系数的数目和训练样本xd的空间分辨率Nd相等;
为了推导满足f∈V的最小化问题式(5)的解,引入了非零傅里叶系数的组成的向量并且定义系数向量 进
一步定义 是yj的前 个傅里叶系数的向量形式;
为了简化式(5)中的正则化形式,令L表示 中非零系数的数量,因此对所有|k|>L,有进一步定义Wd为(2Kd+2L+1)×(2Kd+1)的托普利兹矩阵,其对应着卷积算子
记W为块对角阵 使得f∈V且泛函式(5)的最小
化等价于求解式(6)的最小平方问题;
其中,矩阵 有2K+1行并且每个2Kd+1列的特征通道d包含一个对角块
其对角线元素为 式(6)中‖·‖2表示在 中标准的欧几里得范数;
为获得正规方程的简化表达形式,定义样本矩阵 对角权重矩阵
和标志向量 公式(6)的极小值可以通过求解以下
正规方程获得:
其中,AH和WH分别为矩阵A和矩阵W的共轭转置,如果ω的非零傅里叶系数数目较小,公式(7)则为一个稀疏线性方程;
通过对定义在实线上的函数周期性重复构造yj和bd,函数g的周期T循环定义为在推导得到的傅里叶域式(5)中,函数yj和bd由各自的傅里叶系
数表示,周期重复gT的傅里叶系数由g(t)的连续傅里叶变换 表示为
构造期望的卷积输出yj,uj∈[0,T)表示目标点的估计位置,定义yj为以
uj为中心的高斯函数 的周期重复,式(8)给出了对应的傅里叶系数;
变量σ2设置为一个较小的数以获得一个尖锐的峰值,进一步,这保证了空间混淆可以被忽略,函数bd的构造基于三次样条核b(t),内插函数bd被设置成核 经缩放和平移后的周期性重复,以保持特征金字塔的空间排列,bd的傅里叶级数表示为将上述过程扩展到二维空间,对于图像我们使用含两
个变量的平方可积的周期函数g(t1,t2)形成空间L2(T1,T2),而复数指数由对于期望卷积输出yj,采用二维高斯函数,此外,插值函数是以可分离的形式获得的三次样条内核的组合,例如b(t1,t2)=b(t1)b(t2);通过共轭梯度法实现对应通道连续空间的滤波器的构建。
4.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,应用PCA方法构建CNN特征、CN特征、FHOG特征的降维矩阵,包括:
确定特征降维的结果通道数,深度网络特征中的96个通道的浅层特征,512个通道的深层语义特征,分别降维为16个通道和64个通道,将31个通道的FHOG特征降维为10个通道,10通道的多颜色特征降维为3个通道;深度特征提取采用的是VGG-Net网络的第三层和第十四层;将经过尺度校正的跟踪目标区域的图像输入VGG-Net网络,然后提取到第三层的96通道的特征和512个通道的第十四层特征;提取目标区域的FHOG特征,CN特征;对提取到的特征通过PCA的方式进行降维处理,最终获得16个通道的浅层特征,64个通道的较深层特征,10个通道的FHOG特征和3个通道的CN特征,最终获得特征降维的投影矩阵和降维特征集合。
5.根据权利要求2所述的一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,构建基于GMM模型的样本特征集合,应用共轭梯度法进行迭代构建特征滤波器,包括:
针对经过一系列处理后的跟踪目标区域的特征集,CNN特征的浅层特征为M*N*16,深层特征为 FHOG特征为M*N*10,CN特征为M*N*3;经过处理后的特征样本x和目标输出y的联合概率分布可以表示为p(x,y),公式(3)的目标函数可以进一步的转化为式(9)所示;由于目标输出的y的形状是一致的,均为峰值为中心的高斯函数,只是峰值的位置不一致,在频域中通过平移确保输出的一致性;因此,p(x,y)可以简化为p(x),应用GMM对p(x)进行建模,模型如公式(10)所示,其中L为样本的组数;每组的更新过程中,当获得新的样本时xj,初始化一个分组m,表示为πm=γ,μm=xj,如果分组的数目超过L时,丢弃全组中权重最小的分组,否则合并两个最近的分组,分组之间的距离通过帕斯瓦尔斯公式计算获得,如式(11)所示,对于分组中最相近的k组和l组,合并后的分组n的参数计算如式(12)所示;最终,公式(9)可以由公式(13)近似给出;
Dkl=‖μk-μl‖ (11)
6.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,提取候选目标区域的多尺度的CNN、CN、FHOG特征,投影降维并应用余弦窗做加窗处理,包括:
以上一帧中确定的跟踪目标的位置及尺度构建当前帧中的跟踪目标的Padding区域,Padding区域对应于不同的尺度,由于跟踪目标的尺度不同,Padding区域的大小也不同,最终提取到的特征的尺度也不同,为了保持一致性,对不同尺度下的跟踪目标区域的特征进行线性插值或双线性插值,使得插值后的特征的尺度与上一帧中跟踪目标的特征尺度一致;然后将提取到的特征降维并应用余弦窗进行加窗处理。
7.根据权利要求5所述的一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,对多分率特征图应用滤波器进行滤波处理,最终获得各个通道特征对应的响应矩阵,包括:
通过对式(13)进行的共轭梯度法迭代,最终获得最优的滤波器f,对于候选目标区域的不同尺度的特征 对应于第i的尺度si,与尺度i对应的响应图像的计算如式(14)所示,滤波器f与经过插值处理的特征 进行相关,获得相应的响应矩阵,响应的结果Ri为D个通道;
8.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,应用AdaBoost算法的思想对响应矩阵进行处理,构建最终的响应矩阵,确定跟踪目标的尺度及位置,包括:
为了应用AdaBoost算法,首先对响应结果矩阵 中每一个通道进行处理,针对 中的第d通道的响应结果矩阵 响应结果的高斯标签为y0,应用公式(15)将第d通道的响应结果矩阵 进行转换,转换的结果为二值矩阵 元素由1和-1组成,其中,(v1,v2)表示矩阵中的坐标,D为响应的通道数,与跟踪目标的特征的通道数相同,经过式(15)处理后的响应矩阵用 表示,跟踪目标区域的标签y0经过公式(15)处理后的结果为Y0; 矩阵中的像素点数为Q=M*N, 矩阵中每个元素对应的权重ω=1/Q;响应图像描述中,误差产生的原因为:理想情况下,目标区域的标签应该符合高斯分布,超过目标的区域的部分的标签的值应该为零,实际的响应矩阵中,目标区域很可能包含零值的元素,而目标之外的部分可能存在非零的值,这些值在构建最终的响应图像时都会造成影响,产生相应的误差,可以理解为在目标最终响应的确定过程中,背景区域的非零值对最终的响应结果影响最大,可以认为是背景中包含了前景的响应值,因此,为了构建理想的响应图像,计算每一帧的响应矩阵的误差值,然后第一次迭代选择最小误差值的响应矩阵为初始矩阵,采用循环迭代的方式实现最终拟合的响应矩阵的背景区域中误差值最小,从而构建最终的响应矩阵;
在响应矩阵中,目标区域为-1的部分和目标区域以外的背景区域中为1的部分都是对最终的响应矩阵产生误差影响的元素,因此,通过公式(16)统计目标区域中-1的部分和背景区域的投影图像的值为1的部分,统计结果的误差最小的响应矩阵为最优的响应矩阵,设定第α次迭代时, 响应矩阵中的元素的权重表示为; 式()16
中,[·]为克罗内克函数,在尺为si的响应通道集合中,通过式(16)确定通道中误差最小的响应矩阵 为第α次迭代获得的最优的响应矩阵;同时,通过式(17)确定该通道的响应矩阵在最终响应矩阵构建中的贡献度βα;确定最优响应矩阵后,通过公式(18)更新其余响应矩阵中的元素的权重值,然后循环执行迭代过程,最终通过公式(19)确定最终的响应结果矩阵,其中, 表示在si尺度下的响应图像矩阵,Res(si)表示应用AdaBoost算法处理后获得的与尺度si对应的最终的响应结果矩阵;
通过公式(19)获得最终的不同尺度的响应图像,应用牛顿法和黑森矩阵确定连续空间响应图像中的最大值的位置和对应的尺度;最大值位置的坐标即为当前帧中的目标相对于上一帧中目标位置的偏移量;通过线性叠加确定最终的跟踪目标的位置和大小。
9.根据权利要求1所述的一种基于迭代法构建相关滤波响应的目标跟踪方法,其特征在于,GMM高斯模型的更新,更新滤波器,更新投影矩阵,包括:
在跟踪目标帧中确定了目标位置和大小后,通过特征提取、特征降维,加窗处理,傅里叶变换,转换至连续空间并重新采样,傅里叶域内的参数整合,最终的特征整合结果为最终的跟踪目标区域的特征描述,将此特征描述添加至样本数据集合;更新GMM模型及相关的参数,同时更新滤波器。
标题 | 发布/更新时间 | 阅读量 |
---|---|---|
一种同时定位与稠密三维重建方法 | 2020-05-12 | 521 |
一种基于点云缺失的盘类元件识别方法及系统 | 2020-05-12 | 65 |
一种基于忆阻器阵列的K-means分类器及其分类方法 | 2020-05-13 | 491 |
一种基于UE速度的Radio Map分类定位方法 | 2020-05-14 | 426 |
一种融合折角板的自然定位方法及系统 | 2020-05-13 | 520 |
三维重建的数据处理方法、装置、电子设备与存储介质 | 2020-05-14 | 744 |
基于电压时序数据的台区户变关系识别方法及系统 | 2020-05-08 | 74 |
一种输水管网管漏损定位系统及定位方法 | 2020-05-13 | 994 |
一种钢构件圆柱体拟合算法 | 2020-05-13 | 447 |
一种基于k-means++质心初始化的k-means算法硬件实现方法及系统 | 2020-05-13 | 56 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。