技术领域
[0001] 本
发明属于
模式识别和智能视频监控领域，涉及多目标的特征提取与匹配、运动状态估计和跟踪。本发明提出了一种基于广义最小团和禁忌搜索方法的多目标跟踪方法，可以同时对监控视频中的多个行人进行跟踪。
背景技术
[0002] 由于智能视频
监控系统中检测的事件大部分与个人的动作或多人的互动关系有关，在个人动作识别时要解决所提特征的对象归属问题，在分析多人之间的互动关系时必须首先获得各个对象的运动轨迹，这都需要对已检测到的行人进行有效地跟踪。
[0003] 对于单目标跟踪，根据人体表示方法的不同，现有的人体跟踪方法可以分为特征点跟踪方法、轮廓跟踪方法和核跟踪方法。特征点跟踪方法首先在目标区域内检测特征点，并在特征点周围提取可以有效描述目标的描述子，当输入下一
帧图像时，在图像中提取相同的特征点，并对特征点进行描述，通过描述子对两帧内的特征点进行匹配，匹配上的点的坐标即为目标在两帧图像中的
位置；活动轮廓跟踪方法首先需要提取目标的轮廓，目标轮廓随时间可能发生变化，需要采用一定的方法不断更新目标轮廓。在跟踪过程中，一方面目标轮廓可以作为跟踪的依据，另一方面还可以在轮廓内部提取图像特征用于跟踪；核跟踪方法不需要提取目标轮廓，只是在目标的边界框（Bounding Box）内提取目标的外观特征，例如
颜色直方图、纹理直方图等，通过特征之间的核计算达到快速匹配的目的，进而对各个目标进行跟踪，核跟踪方法还可以利用多核同时考虑多种外观特征，达到更好的鲁棒性。
[0004] 对于多目标跟踪问题，需要解决各个目标之间的相互关系问题，这一问题被称为数据关联（Data Association）问题，即找到多个观察值与多个目标状态之间的对应关系。多目标跟踪方法可以由比较成熟的单目标跟踪方法直接扩展而来，该类方法初始化多个单目标跟踪子（Tracker）对各个目标进行跟踪，每检测到一个新的目标就初始化一个新的跟踪子。还有一类多目标跟踪方法是将问题抽象为图论中的特定问题，如最大权值图等，该类方法首先需要进行目标检测，目标检测结果一般作为图中的点，各个目标之间运用一定的策略建立边，边的权值一般为目标间的相似度。相对于由单目标跟踪扩展而来的多目标跟踪方法，该类方法综合考虑全局信息，而且运用较为成熟的图论方法，具有完备的理论
基础，实验结果也表明其达到了更好的多目标跟踪性能。
发明内容
[0005] 本发明利用广义最小团和禁忌搜索方法对多目标进行跟踪即属于多目标跟踪方法。另外，本发明在设计禁忌搜索方法时融合了高效的单目标跟踪方法，使该方法能够快速有效的进行多目标跟踪。
[0006] 在本发明中，多目标跟踪问题被抽象为广义最小团问题（Generalized Minimum Clique Problem，GMCP），并运用禁忌搜索方法进行求解。首先，在
视频帧中利用行人检测方法检测各个目标；其次，将视频分割成若干视频
片段（segment），在各个视频片段内行人的运动状态和外观特征保持不变；再次，将一个视频片段内被检测到的各个目标抽象成图中的
顶点，并在顶点间建立有权边；然后，利用禁忌搜索方法解广义最小团问题，进而得到视频片段内的多个目标的轨迹片段（tracklet）；最后，将各个视频片段内的轨迹片段进行连接，得到各个目标的完整轨迹（trajectory）。
[0007] 广义最小团问题可以很好地模拟实际的跟踪问题，其可以将目标间的差异和目标的运动状态抽象成顶点之间的有权边，在解广义最小团问题时可以综合考虑目标的外观和运动状态，值得注意的是利用广义最小团可以在更为全局的尺度上度量跟踪结果的正确性，且可以较为方便的处理行人检测方法的漏检虚检错误，这是其他基于帧间特征的跟踪方法无法比拟的。
[0008] 广义最小团问题是一个NP困难问题，无法给出具体的解析解，在
现有技术中一般运用禁忌搜索（Tabu Search）方法求解广义最小团问题，根据实际问题对禁忌搜索方法进行有效设计直接影响方法的性能。禁忌搜索方法是一种亚启发式（Meta-heuristic）随机搜索方法，它从一个初始可行解出发，选择一系列的特定搜索方向进行试探，选择能够使特定目标函数值变化最大的方向进行移动。为了避免陷入局部最优解，禁忌搜索方法搜索中采用了一种灵活的“记忆”技术，对已经完成的优化过程进行记录和选择，指导下一步的搜索方向，由此来避免迂回搜索，直至找到全局最优解。
[0009] 本
申请的
发明人考虑到现有技术的上述情况而作出了本发明。
[0010] 根据本发明的
实施例，提供了一种基于广义最小团和禁忌搜索方法的多目标跟踪方法，包括以下步骤：步骤1、在一段视频的各帧图像中进行目标检测，当在一帧或多帧图像中检测到一个或多个目标时，记录并输出被检测到的各个目标在相应帧图像中的位置、相应帧图像在视频中的时间位置、以及各个目标在相应帧图像中的大小；步骤2、根据每帧图像中的各个目标的
像素值、以及所述各个目标在相应帧图像中的位置以及大小，计算每帧图像中的各个目标的外观特征、以及运动特征；步骤3、根据所计算的每帧图像中的各个目标的外观特征、以及运动特征，在已记录的各个目标在相应帧图像中的位置中提取出属于同一目标的多个位置，并根据相应帧图像在视频中的时间位置，将其连接成为同一目标的轨迹。
[0011] 本发明在设计禁忌搜索
算法时融合了高效的单目标跟踪算法，使该算法能够快速有效的进行多目标跟踪，可以同时对监控视频中的多个行人进行跟踪，具有处理速度快、跟踪效果好的特点。
附图说明
[0012] 图1是示出根据本发明的实施例的多目标跟踪方法的流程示意图。
具体实施方式
[0013] 下面，结合附图对技术方案的实施作进一步的详细描述。
[0014] 图1是示出根据本发明的实施例的多目标跟踪方法的流程示意图。
[0015] 如图1所示，根据本发明的实施例的跟踪方法主要包括以下步骤：首先，在一段视频的各帧图像中进行行人（目标）检测，检测出一个或多个目标；其次，将该视频分割成若干片段（可选步骤），并计算检测出的各个目标的外观特征；然后，在这些片段中运用GMCP寻找行人的轨迹片段；最后，将各个视频片段中的所有轨迹片段合成为完整的轨迹。
[0016] 下面对本发明中各个步骤的具体实施方式进行详细说明。本领域的技术人员能够理解，下面尽管以行人作为目标的示例，但其仅用来说明本发明的原理，而不构成对本发明的限制。显然，本发明还可被应用于除了行人检测之外的其它目标检测。
[0017] 一、行人检测
[0018] 在本发明中可以利用任意一种现有及将来可能有的行人检测方法（例如DPM，Deformable Partial Model，可 参 见 Felzenszwalb P,McAllester D,Ramanan D.A discriminatively trained,multiscale,deformable part model[C]//Computer Vision and Pattern Recognition,2008.CVPR2008.IEEE Conference on.IEEE,2008:1-8，为了避免使本发明的描述限于冗繁，将该参考文献通过引用的方式合并于此）在视频中对行人进行
定位，行人检测方法的输出应包括被检测到的行人的边界框（例如，外接矩形）在视频中的时间位置（帧号）、在（行人出现）视频帧中的空间位置、以及高度和宽度（边界框在视频帧中的高度、宽度）。另外，上述边界框也可以是外接椭圆等，边界框也可以扩大涵盖范围（例如，扩展到行人之外的一定像素范围）。
[0019] 二、视频分割（可选步骤）
[0020] 对上述视频进行在时间上有重叠的分割。具体来说，将视频分割成包含f帧的视频片段，相邻视频片段之间有l帧重叠。在这些视频片段中的每个片段内，假设行人的运动状态和外观保持不变，在这样的假设前提下进行数据关联问题的求解，其解即为各个行人的轨迹片段。其中f和l可根据具体问题进行调整。
[0021] 三、计算目标的外观特征
[0022] 根据行人检测结果中边界框的信息，在每一帧图像中提取目标图像，例如，根据边界框的空间位置和高度宽度信息，可以在一帧图像中提取相应位置的图像作为目标图像。之后，在目标图像中计算两种特征，用于对目标的外观进行描述，所述两种特征为：1）颜色直方图，用于描述对象的颜色特性，2）LBP直方图，用于描述对象的纹理特性。具体方法如下：
[0023] 1、颜色直方图
[0024] 将目标图像由
RGB颜色空间转化至HSV颜色空间。其中，H通道描述颜色的色相，S通道描述颜色的
饱和度，V通道描述颜色的
亮度。将三个通道分别划分成nH、nS和nV个区间，则整个颜色空间被划分成n＝nH×nS×nV个区间，统计目标图像中像素点落在各个区间的个数，计算出HSV颜色直方图。
[0025] 2、LBP直方图
[0026] 在目标的灰度图像上对各个像素点计算LBP特征，计算方法如下：给定一个坐标为c的像素点c，LBP特征的计算方法为
[0027]
[0028] 其中P为c的邻域内像素点的个数，邻域内像素点到c的距离不超过R；gc和 分别为像素点c和其邻域内像素点np的灰度值；另外
[0029]
[0030] 在本实施例中P＝8，R＝1。此时LBP特征一共有28＝256种模式，在目标图像中统计各个模式的像素点个数，构成LBP特征直方图。
[0031] 四、在视频片段内进行多目标跟踪
[0032] 1、将多目标跟踪问题抽象为GMCP问题
[0033] 多目标跟踪问题的实质是数据关联问题，其输入为一个图G＝(V,E,ω)，其中V、E和ω分别代表图中的顶点集、边集和各条边上的权重值。行人检测方法检测到的每一个目标都被抽象为顶点集V中的一个顶点，令 表示一个视频片段内的帧序号，表示视频片段中第i帧中的第m个目标，定义 V就被按帧分割成f个不相交的子集C1～Cf。图G中的边集E定义为 其数学意义为只要两个
顶点不在同一个子集（不在同一帧）中，两者之间就存在一条边；其物理意义为一个目标在一个时刻内只可能出现在唯一的位置，因此在同一子集之内的顶点之间是没有边的，而在不同时刻，需要根据顶点间的特征相似度判断各个顶点是否代表同一目标，顶点之间的边即为两者的关系。一个顶点 由以下特征进行描述：位置向量 代表行人（第i帧中的目标m）在一帧图像中的位置坐标；外观特征 和 分别代表行人的颜色直方图和LBP直方图。边上的权重值ω代表两个行人的相似度，定义为
[0034]
[0035] 式中k(,)表示求解直方图相似度的函数。
[0036] 为了确定某一人在视频片段中的轨迹片段，需要在各帧中定位该人被检测到的位置，这个问题的一个可行解可以被定义为从每一个顶点子集Ci中选取一个检测结果 构成图G的一个子图Gs。具体来说对于Gs＝(Vs,Es,ωs)，其中顶点集 由第1帧图像中的第a个检测结果 第2帧图像中的第b个检测结果 ……等等这些顶点构成，根据上面的定义Es＝{E(p,q)|p∈Vs,q∈Vs}，ωs＝{ω(p,q)|p∈Vs,q∈Vs}，可以看到一个可行解Gs代表了一个人在一个视频片段中可能具有的轨迹片段。
[0037] 对于一个可行解Gs，其外观代价（appearance cost）定义为：
[0038]
[0039] 其为一个全局代价函数，比较了可行解中所有检测结果之间的外观差异，而忽略了它们在时间上的差距。
[0040] 在进行数据关联时，除了外观特征，运动属性也是很重要的信息。运动代价（motion cost）的定义为：
[0041]
[0042] 其中Xs为被跟踪目标的位置向量， 为被跟踪目标在时刻i时的瞬时速度，其计算方法为
[0043]
[0044] 可以将中括号内的数值理解为目标从j时刻运动到i时刻时的预测位置，在理想情况下，目标做匀速直线运动，各个时刻的速度均相等，则其运动代价γmotion(Vs)即为0。
[0045] 在以往的跟踪方法中也存在运动代价估计，一般情况下都是将相邻帧之间的运动误差之和作为运动代价，是一种局部性的代价，而这里的运动代价估计却是全局性的，因为其对目标的
运动估计不只包含相邻帧，而且包含了多帧之间的估计，甚至包含了反向估计。
[0046] 对于一个对象，如果能够找到一个可行解的Vs使得外观代价γappearance和运动代价γmotion的综合结果达到最小，那么这个可行解的Vs即为该行人在视频片段中的轨迹片段。至此数据关联问题已经被转化为求解广义最小团的最优化问题，用数学公式表示即为[0047]
[0048] 其中 为以上最优化问题的解，代表了一个行人轨迹片段的数据关联问题的解，α为一个常数，用于平衡外观代价和运动代价在全局代价函数中的权重。
[0049] 在对多目标进行跟踪时，每确定一个目标的轨迹片段，就将其对应的顶点和相关联的边从图G中去掉，在新图中继续求解GMCP问题，确定另一个目标的轨迹，直到图G为空结束，进而得到多个目标的轨迹。
[0050] 2、处理短时遮挡和漏检问题（可选步骤）
[0051] 为了解决出现短时遮挡和漏检现象时、顶点集中并不包含合适的检测结果的问题，需要在视频片段中的每一帧中都加入一个预测点，当该帧中没有合适的检测结果时，这个预测点将会被加入到可行解中，对于这些预测点需要确定其在空间中的位置和外观特征。下面说明如何确定预测点的位置。
[0052] 因为假定一个目标在视频片段内是匀速直线运动的，所以当可行解中的点均为同一个目标时，可行解中第i个点的位置Xs(i)可以表示为
[0053] Xs(i)＝a0+a1·i
[0054] 其中a0和a1为二维向量，可以理解为a0是目标在该视频片段起始时的初始位置，a1是目标的运动速度，预测点的位置可以类似地给出，但首先需要确定a0和a1的值。对于可行解中属于同一目标的顶点，即选择正确的顶点应该满足以下条件：
[0055]
[0056] 式中 代表正确选择的顶点集合，δ为容许的误差上限。对于一组合适的参数a0和a1，其应能保证可行解中正确选择的点的个数最多，即
[0057]
[0058] 其中#代表了集合的元素个数，由于可行解中既包含正确点又包括错误点，而可行解中正确点的个数多于错误点的个数，因此可以运用随机抽样一致方法（Random Sample Consensus，RANSAC）求解 和 则第i帧中预测点的位置可以通过以下计算得到：
[0059]
[0060] 至此预测点的位置就确定了，预测点所代表目标的尺寸为 中各个目标的尺寸均值，外观特征为XH(i)处视频图像的颜色直方图和LBP直方图。
[0061] 有 关GMCP 的 的 概 念 和 细 节，可 参 见 Zamir A R,Dehghan A,Shah M.GMCP-Tracker:global multi-object tracking using generalized minimum clique graphs[M]//Computer Vision–ECCV2012.Springer Berlin Heidelberg,2012:343-356。为了避免使本发明的描述限于冗繁，将该参考文献通过引用的方式合并于此。
[0062] 3、禁忌搜索方法的具体实现
[0063] 禁忌搜索方法简单来说就是在当前解的邻域内寻找邻域最优解替换当前解，通过多次
迭代跳出局部最优，最终在所有的邻域最优解中选取全局最优解。
[0064] 下面是代码化表示的该方法的原理说明。
[0065]
[0066]
[0067] 具体地，禁忌搜索方法主要以下三个方面。
[0068] （1）初始解的生成
[0069] 初始解对于禁忌搜索方法的性能有着至关重要的作用，其直接影响方法的迭代次数，并决定方法是否可以有效地找到最优解，所以在方法初始化阶段应该给出一个最接近最优解的初始解。为了达到这一目的，在此引入一种单目标跟踪方法用于产生初始解，这种单目标跟踪方法应满足运算快速、性能优良两个条件，本发明选取压缩跟踪方法（Comprehensive Tracking）作为产生初始解的单目标跟踪方法。
[0070] 在计算初始解时，我们首先对某一检测结果（目标）进行单目标跟踪，选取与跟踪结果重合度大于某一
阈值的检测结果（目标）作为初始解中的点，其中重合度的定义为：
[0071]
[0072] 其中V1和V2为两个目标，area(V1∩V2)为两个目标相交的面积，area(V1∪V2)为两个目标相并的面积。具体地，单目标跟踪的结果是在每一帧中产生了一个边界框，每一个边界框都会和检测结果的边界框计算重叠度，由这个重叠度判断选取检测结果还是跟踪结果作为初始解中的点。如果在某一帧中不存在满足条件的检测结果，就以压缩跟踪方法的结果作为初始解中的点，同时计算该点的外观特征，将该点加入到候选点当中。
[0073] （2）邻域解和禁忌表的构成
[0074] 在每一次迭代中，首先根据当前最优解得到第一组预测点（通过上面“2、处理短时遮挡和漏检问题”中的步骤，确定预测点的位置），其次通过单目标跟踪方法得到第二组预测点。当可行解中的某一点距离第一组预测点过远时，就将该帧中的其他检测结果和两组预测点加入到候选点中，构成邻域解。禁忌表为队列式禁忌表，当禁忌表长度达到极值时弹出最先进入禁忌表的解。
[0075] （3）方法结束条件
[0076] 禁忌搜索方法的结束条件为1）当可行解的代价低于某一阈值时，或2）可行解的代价趋于收敛时，方法结束。
[0077] 有关上述禁忌搜索方法的实现过程，可参见Glover F,Laguna M.Tabu search[M].Boston:Kluwer academic publishers,1997。为了避免使本发明的描述限于冗繁，将该参考文献通过引用的方式合并于此。
[0078] 五、融合轨迹片段（可选步骤）
[0079] 如果一次得到的轨迹片段较短、未能满足实际需要，可能还需要进行轨迹片段融合。在融合轨迹片段时，可以再一次运用GMCP对轨迹片段进行合并，这样做的好处是可以处理长时间的遮挡问题，即某一个对象在一个视频片段中完全没有出现的情况，但这样需要解更多次GMCP优化问题，消耗大量时间。因此本发明利用各个视频片段间的重叠帧进行轨迹片段的合并，若相邻的两个视频片段中的轨迹在重叠帧中的位置重叠，就将两条轨迹合并，节省了大量的运算时间。
[0080] 本发明所提出的多目标跟踪方法同时考虑了目标的外观和运动特性、目标在较长时间上的全局变化、多个目标之间的特性差异，并将多目标跟踪和单目标跟踪方法进行结合，在保证跟踪效果的同时提升了方法的效率。
[0081] 综上所述，本领域的技术人员能够理解，对本发明的上述实施例能够做出各种
修改、变型、以及替换，其均落入如所附
权利要求限定的本发明的保护范围。
