技术领域
[0001] 本
发明涉及
计算机视觉的技术领域，具体涉及一种基于双模型的自适应融合的目标跟踪方法。
背景技术
[0002] 目标跟踪是计算机视觉领域中主要的研究方向之一。目标跟踪涉及到的领域包括数字
图像处理、
机器学习、
模式识别、神经网络、
深度学习等，在视频监控、智能
机器人等多个应用领域有着广阔的发展前景。
[0003] 近些年，基于检测的目标跟踪方法得到了很大的发展，其中，最主流的研究方向之一是基于相关
滤波器的目标跟踪方法。2014年Henriques等人将MOSSE与CSK使用的单通道灰度特征扩展为的多通道方向梯度直方图特征(HOG)，并将特征用核技巧映射到高维空间，从而提出了KCF
算法。KCF的提出，使得相关滤波类目标跟踪方法迅速发展。2015年Danelljan等人提出的SRDCF通过
空域正则化去解决相关滤波器内在的边界效应，在VOT2015目标跟踪竞赛中名列前茅，但是SRDCF过大的计算量也限制了该算法的实用性。2016年Luca等人基于KCF的线性核版本DCF提出了Staple算法，Staple算法通过求解两个岭回归方程结合相关滤波与
颜色分类器来提升跟踪算法的性能，得到了一个相当优秀的结果。但是，Staple算法中的相关滤波器与颜色分类器的融合系数为常数，这导致了Staple算法没有完全展示出相关滤波器跟踪模型和颜色分类器跟踪模型的优势。
[0004] 因此，针对现有的Staple算法没有完全展示出相关滤波器跟踪模型和颜色分类器跟踪模型的优势的问题，有必要提供一种能够完全展现出相关滤波器跟踪模型和颜色分类器跟踪模型的优势的目标跟踪方法。
发明内容
[0005] 针对现有的Staple算法没有完全展示出相关滤波器跟踪模型和颜色分类器跟踪模型的优势的问题，本发明
实施例提出一种基于双模型的自适应融合的目标跟踪方法。本发明实施例所提出基于双模型的自适应融合的目标跟踪方法利用基于相对
置信度的自适应融合系数，使得相关滤波器和颜色分类器能够进行最优融合，进而充分地展现出各自模型的跟踪优势。
[0006] 该基于双模型的自适应融合的目标跟踪方法的具体方案如下：一种基于双模型的自适应融合的目标跟踪方法，包括步骤S1：根据初始
帧，获取目标初始信息；步骤S2：分别从前景区域和背景区域提取颜色直方图，并采用岭回归方程求解和训练颜色分类器；步骤S3：从相关滤波区域提取特征，并训练相关滤波器；步骤S4：初始化尺度滤波器，提取不同
尺度图像
块来训练尺度滤波器；步骤S5：利用所述颜色分类器检测目标，获得颜色分类器的响应；步骤S6：在相关滤波区域内用相关滤波器检测目标，获得相关滤波的响应；步骤S7：根据所述相关滤波的响应计算相对置信度，基于所述相对置信度计算自适应融合系数，采用所述自适应融合系数融合相关滤波器的响应和颜色分类器的响应，获得检测目标的
位置；步骤S8：提取所述目标的特征，并更新所述相关滤波器和颜色分类器；步骤S9：检测尺度变化，更新目标、前景区域、背景区域和尺度滤波器；步骤S10：重复步骤S5至步骤S9，直至视频结束。
[0007] 优选地，所述目标初始信息包括目标位置、目标的长度、目标的宽度。
[0008] 优选地，所述步骤S2中提取颜色直方图的过程为：将颜色空间均分为若干个颜色区间，定义每个颜色区间为直方图的一个直方柱，统计前景区域或者背景区域落在每一个直方柱中的
像素点的个数。
[0009] 优选地，所述颜色直方图的直方柱的宽度值为8。
[0010] 优选地，所述岭回归方程的表达式为：
[0011]
[0012] χt表示训练样本及其对应的回归值，β为所需要求解的颜色分类器，Lhist表示分类器的损失函数，λhist为正则化系数。
[0013] 优选地，训练相关滤波器的方法为最小化下述公式：
[0014]
[0015] 其中，f表示样本，d为样本f的维数，h为相关滤波器，g表示相关滤波器需要的输出，g为高斯函数，*表示卷积运算，λ为正则化系数。
[0016] 优选地，所述相对置信度的表达式为：
[0017]
[0018] 其中，rt为第t帧时相关滤波器的检测结果相对全局的相对置信度，APCEt为第t帧响应yt的平均相关峰值
能量，APCEt的具体计算表达式为：
[0019]
[0020] 优选地，所述自适应融合系数的表达式为：
[0021]
[0022] 其中，αt为第t帧时的自适应融合系数，ρ为相对置信度的影响因子，rt为第t帧时相关滤波器的检测结果相对全局的相对置信度，α为常量加权系数。
[0023] 优选地，采用所述自适应融合系数融合相关滤波器的响应和颜色分类器的响应，具体计算表达式如下所述：
[0024] response＝(1-αt)response_cf+αt·response_p，
[0025] 其中，response_cf为相关滤波器的响应，response_p为颜色分类器的响应，αt为第t帧时的自适应融合系数，response为最终响应.
[0026] 优选地，影响因子ρ用于调整相关滤波器判别结果和颜色分类器判别结果的权重。
[0027] 从以上技术方案可以看出，本发明实施例具有以下优点：
[0028] 本发明实施例提出一种基于双模型的自适应融合的目标跟踪方法，该方法通过基于相对置信度的自适应融合系数，使得相关滤波器和颜色分类器能够进行最优融合，进而充分地展现出各自模型的跟踪优势。
附图说明
[0029] 图1为本发明实施例中提供的一种基于双模型的自适应融合的目标跟踪方法的流程示意图；
[0030] 图2为本发明实施例所提出的一种基于双模型的自适应融合的目标跟踪方法和其他目标跟踪方法在OTB2013上的实验结果对比示意图；
[0031] 图3为本发明实施例所提出的一种基于双模型的自适应融合的目标跟踪方法与DSST、KCF在不同图像中跟踪的定性比较示意图；
[0032] 图4为图1所示实施例的另一种步骤流程表示示意图。
具体实施方式
[0033] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0034] 本发明的
说明书和
权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何
变形，意图在于
覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0035] 如图1所述，本发明实施例提供的一种基于双模型的自适应融合的目标跟踪方法。该方法包括十个步骤，每个步骤具体的内容如下所述。
[0036] 步骤S1：根据初始帧，获取目标初始信息。目标初始信息包括目标位置、目标的长度、目标的宽度。进一步地，在步骤S1中，还包括一些初始化参数、初始化区域的常规初始化操作。
[0037] 步骤S2：分别从前景区域和背景区域提取颜色直方图，并采用岭回归方程求解和训练颜色分类器。
[0038] 从前景区域或从背景区域提取颜色直方图的具体过程为：将颜色空间均分为若干个颜色区间，定义每个颜色区间为直方图的一个直方柱，统计前景区域或者背景区域落在每一个直方柱中的像素点的个数。在一具体实施例中，颜色直方图的直方柱的宽度值为8。
[0039] 颜色分类器的响应通过求解岭回归方程获得，岭回归方程具体表达式如公式1所示：
[0040]
[0041] χt表示训练样本及其对应的回归值，β为所需要求解的颜色分类器，Lhist表示分类器的损失函数，λhist为正则化系数。
[0042] 令(q,y)∈W表示一系列的矩形的
采样框q及其对应的回归标签 其中包括正样本(p,1)。X表示图像。所有采样图像的损失可以表示为：可将公式1转变成公式2：
[0043] lhist(x,p,β)＝∑(q,y)∈W(βT[∑u∈HψT(x,q)[u]]-y)2 (公式2)[0044] ψT(x,q)表示一个M通道的特征变换，β为模型。应用线性回归在每一个像素u上使属于背景区域B的像素的回归值为0，属于前景区域O的像素的回归值为1，并且以ψ作为ψT(x,q)的简写，则对于单独一副图像的损失函数可以写为：
[0045]
[0046] 在上式，O表示紧围目标的矩形前景区域，B表示包含目标的矩形背景区域。
[0047] 在本发明实施例中，彩色图像采用
RGB颜色空间，因此，使用RGB颜色直方图作为特征。将损失函数分解为直方图中每一个直方柱之和，本发明实施例中的优选值M＝32。
[0048] βTψ[u]可以通过构造查找表k快速获得，k将像素值u映射为所属直方柱的序号，即用颜色直方图进行反向投影。令βTψ[u]＝βk(u)，可以得到公式4：
[0049]
[0050] 其中，Nj(A)＝{xi∈A:k(u)＝j}为区域A中第j个直方柱中元素个数的总和。
[0051] 因此，公式1的岭回归问题的解如公式5所示：
[0052]
[0053] 其中, 对 使用积分图计算,获得颜色分类器的响应。
[0054] 步骤S3：从相关滤波区域提取特征，并训练相关滤波器。根据目标中心提取样本模板x，对其进行循环移位构造大量的训练样本xi。提取多通道方向梯度直方图特征(HOG)训练生成相关滤波器。
[0055] 相关滤波器可以由一个岭回归方程求解获得，对于一个由d维特征组成的样本f,可以通过最小化公式6来训练一个d维的相关滤波器h：
[0056]
[0057] 其中，f表示样本，d为样本f的维数，h为相关滤波器，g表示相关滤波器需要的输出，g为高斯函数，*表示卷积运算，λ为正则化系数。λ用于防止过拟合。
[0058] 步骤S4：初始化尺度滤波器，提取不同尺度图像块来训练尺度滤波器。通过以上一帧确定的目标位置为中心，提取一系列不同尺度的图像块特征，构建特征金字塔。以H×W为目标尺寸，则在目标位置附近提取总数为S个大小为anH×anW的图像块，a表示尺度系数。n的具体表达式如公式7所示：
[0059]
[0060] 其中，在该实施例中令S＝33。当然，在其他实施例中，S的具体取值也可以为其他数字。
[0061] 步骤S5：利用所述颜色分类器检测目标，获得颜色分类器的响应。最小化公式6后，将公式6转换到频域可以计算获得滤波器Hl在频域的表达式，具体表达式如公式8所示：
[0062]
[0063] 其中，公式8中的大写字母意味着对应的离散傅里叶变换, 表示Fk对应的复共轭。
[0064] 步骤S6：在相关滤波区域内用相关滤波器检测目标，获得相关滤波的响应。将公式8做逆傅里叶变化即可得到相关滤波器的响应。
[0065] 步骤S7：根据所述相关滤波的响应计算相对置信度，基于所述相对置信度计算自适应融合系数，采用所述自适应融合系数融合相关滤波器的响应和颜色分类器的响应，获得检测目标的位置。
[0066] 出于结合两个跟踪模型的想法以达成优势互补的思想，Staple目标跟踪方法通过常数系数α加权平均集成相关滤波器的响应response_cf与颜色分类器的响应response_p，具体的结合表达式如公式9所示：
[0067] response＝(1-α)response_cf+α·response_p (公式9)
[0068] 其中，α为常数系数，response_cf为相关滤波器的响应，response_p为颜色分类器的响应。这种加权集成的方法虽然有效的融合了两个互补的模型，但是仅以一个固定融合系数结导致相关滤波器与颜色分类器无法达到最优结合。针对这一问题，本发明实施例提出基于相对置信度的自适应融合系数。
[0069] 本发明实施例采用平均相关峰值能量(简称APCE)对融合系数实现自适应调整。平均相关峰值能量(简称APCE)是一个用于评价相关滤波器检测结果置信度的指标，平均相关峰值能量(简称APCE)越大，检测结果的置信度越高。第t帧响应yt的APCE的表达式如公式10所示：
[0070]
[0071] 其中， 表示响应yt中的最大值， 表示响应yt中的最小值，mean表示求均值。
[0072] 第t帧时相关滤波器的检测结果相对全局的相对置信度的表达式，如公式11所示：
[0073]
[0074] 其中，rt表示第t帧时相关滤波器的检测结果相对全局的相对置信度。
[0075] 因此，公式9中的常数系数α可以用自适应融合系数αt来表示。自适应融合系数αt的具体表达式，如公式12所示：
[0076]
[0077] 其中，αt为第t帧时的自适应融合系数，ρ为相对置信度的影响因子，rt为第t帧时相关滤波器的检测结果相对全局的相对置信度，α为常量加权系数。影响因子ρ用于调整相关滤波器判别结果和颜色分类器判别结果的权重。当相关滤波器的检测结果的相对置信度大于1时，则更加相信相关滤波器的判别结果，否则更加相信颜色分类器的判别结果。
[0078] 步骤S8：提取所述目标的特征，并更新所述相关滤波器和颜色分类器。
[0079] 步骤S9：检测尺度变化，更新目标、前景区域、背景区域和尺度滤波器。
[0080] 在新的位置处，提取33个不同的尺度的图像块，并将33个不同尺度的图像块调整到同一大小，通过循环移位产生候选尺度图像。调用尺度相关滤波器对候选尺度图像进行检测，选取响应最大的尺度为新的尺度。更新目标、前景区域和背景区域。
[0081] 步骤S10：重复步骤S5至步骤S9，直至视频结束。
[0082] 本发明实施例所提出一种基于双模型的自适应融合的目标跟踪方法，该方法通过基于相对置信度的自适应融合系数，使得相关滤波器和颜色分类器能够进行最优融合，进而充分地展现出各自模型的跟踪优势。
[0083] 本发明实施例所提出的基于双模型的自适应融合的目标跟踪方法在I7-4710HQ 2.5GHZ处理器，8G内存的电脑上，使用Matlab R2016a的运行速度可达28帧每秒。
[0084] 如图2所示，本发明实施例所提出的一种基于双模型的自适应融合的目标跟踪方法和其他目标跟踪方法在OTB2013上的实验结果对比示意图。通过图2比对可知，本发明实施例所提出的基于双模型的自适应融合的目标跟踪方法(图中显示为Our算法)，相对于原版算法Staple在
精度和成功率分别提升了1.9％与2％。如图3所示，本发明实施例所提出的一种基于双模型的自适应融合的目标跟踪方法与DSST、KCF在不同图像中跟踪的定性比较示意图。从图3中可以看出，本发明实施例所提供的基于双模型的自适应融合的目标跟踪方法对应目标的跟踪更加准确。
[0085] 如图4所示，为图1所示实施例的另一种步骤流程表示示意图。开始跟踪后先进行初始化；初始化之后分别训练三个滤波器：训练尺度滤波器、训练颜色分类器和训练相关滤波器；用训练后的相关滤波器检测目标以获得相关滤波响应；用训练后的颜色分类器检测目标以获得分类器响应；计算自融合系统，用自融合系数将相关滤波响应和分类器响应进行融合，获得融合后的目标位置；用训练后的尺度滤波器检测尺度变化；再进行一些列的更新；判断视频是否结束，若视频未结束，则继续，否则结束。
[0086] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0087] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、
修改、替换和变型。
