[0001] 技术领域
[0002] 本
发明涉及
图像处理技术领域，尤其涉及一种对视频对象进行跟踪的方法及装置。
[0003] 背景技术
[0004]
计算机视觉是指用摄像机和计算机等设备代替人眼对跟踪目标进行识别、跟踪和测量等。其中，视频对象的实时跟踪技术是计算机视觉领域的一个重要课题，它是视频分析、视频理解、视频对象识别、视频对象行为分析等一系列工作的
基础。
[0005] 目前，视频对象跟踪的方法有很多种。根据是否需要在图像的各
帧间进行模式匹配，视频对象跟踪的方法可以分为基于检测的对视频对象进行跟踪的方法和基于识别的对视频对象进行跟踪的方法。
[0006] 基于检测的对视频对象进行跟踪的方法，是根据视频对象的某一特征直接在每一帧图像中提取视频对象的轮廓，而不需要在图像的各帧间进行对象运动状态参数的传递，轮廓匹配等。基于检测的对视频对象进行跟踪的方法包括差分检测的方法等。基于识别的对视频对象进行跟踪的方法，通常是首先提取视频对象的某种特征，然后在每一帧图像中搜寻出与所述特征最为匹配的区域，所述最为匹配的区域即为视频对象。
[0007] 在上述两种对视频对象进行跟踪的方法中，基于检测的对视频对象进行跟踪的方法其
算法简单，容易实现，但跟踪效果不理想。因此当前的视频对象跟踪技术的主要研究方向已转移到基于识别的方法中来。
[0008] 在基于识别的对视频对象进行跟踪的方法中，Condensation(ConditionalDensity propagation)跟踪算法，即条件概率
密度传播算法，是应用最为广泛的一种轮廓跟踪方法。
[0009] Condensation跟踪算法，是基于粒子滤波的跟踪算法中的一种。粒子滤波又称序贯蒙特卡罗方法(Sequential Monte Carlo，SMC)，是以蒙特卡罗方法实现贝叶斯递推滤波的一种方法。它用一组带有权重的随机样本(粒子)来表示系统状态向量的后验概率密度p(xk|z1:k)，样本数量足够多时，这种概率估算等同于后验概率密度函数。
[0010] 在Condensation跟踪算法，是采用活动轮廓模型和形状空间来表示视频对象的轮廓表征方法，它用B-Snake的控制点表征视频对象的轮廓曲线，用形状空间来表征所述轮廓曲线可能的变化，如平移，旋转等。
[0011] 视频对象轮廓的运动状态参数T可以表示为：T＝(TX，TY，θ，SX，SY)，其中TX和TY分别是视频对象x方向和y方向的中心点，θ为视频对象轮廓所旋转的
角度，SX和SY分别为视频对象在x方向和y方向的尺度。视频对象在形状空间内的形状空间参数S表示为：S＝(TX，TY，SXcosθ-1，SYcosθ-1，-SYsinθ，SXsinθ)。
[0012] 利用Condensation跟踪算法进行视频对象跟踪的过程如下。
[0013] 1)由初始帧图像得到视频对象运动的状态初始值T0，初始化Ns个粒子，初始权重W0i为1/Ns，各个粒子的运动状态和形状空间参数分别为T0i，S0i(i＝1，2，......Ns)。在第k帧时，对各粒子状态进行状态转移。状态转移方程如公式(11)所示：
[0014] TXki＝TXk-1i+B1×ξ1-ki；
[0015] TYki＝TYk-1i+B2×ξ2-ki；
[0016] θki＝θik-1+B3×ξ3-ki；(11)
[0017] SXki＝SXik-1+B4×ξ4-ki；
[0018] SYki＝SYik-1+B5×ξ5-ki；
[0019] 其中，B1，B2，B3，B4，B5为常数，ξ为[-1，1]的随机数。
[0020] 2)利用当前帧图像的观测值(运动状态参数T、形状空间参数S等)对各个候选粒子进行评估，计算各个粒子的权重值。
[0021] 具体过程如下：
[0022] 21)对粒子Ni，按照公式(1)中的方法计算得到其运动状态参数Ti和形状空间参数Si。
[0023] 22)根据所述运动状态参数Ti和形状空间参数Si求得粒子Ni的B-Snake的控制点，由所述B-Snake的控制点拟合出视频对象的轮廓曲线。
[0024] 23)在视频对象的轮廓曲线上取样N个样点，求得各样点在法线方向上梯度最大的
像素点。
[0025] 24)求得所述轮廓曲线上各样点，与该样点法线上梯度最大的像素点间的距离DISi(n)，(n＝1，2，......N)，以此作为衡量因素得到粒子Ni的观测概率密度函数Pki，并对粒子Ni的权值更新，其权值Wki的计算公式如下：
[0026] 由各个粒子的运动状态参数T和权值Wki进行加权求和，得到各粒子的期望的运动状态参数，进而可算得视频对象的期望形状空间参数Sk、B-Snake控制点和轮廓曲线。至此就完成了一次对视频对象物体轮廓的跟踪过程。
[0027] 在实现本发明的过程中，
发明人发现
现有技术中存在这样的问题：
[0028] Condensation跟踪算法可以实现对仿射变化(如旋转、平移、放缩等)的视频对象轮廓的实时跟踪。例如当视频对象为刚体时，由于所述刚体在运动过程中它的各个组成部分之间不会产生分离，因此通过Condensation跟踪算法可以准确的实现对所述刚体的跟踪。但是对于非仿射变化的视频对象，如人体在行走过程中，出现手臂弯曲等情况时，Condensation跟踪算法不能准确跟踪。另外，由于Condensation跟踪算法的计算量复杂，因此Condensation跟踪算法对视频对象进行跟踪，跟踪速度较低。
[0029] 发明内容
[0030] 为了解决现有技术对视频对象跟踪速度低以及准确性差的问题，本发明的
实施例提供了一种对视频对象进行跟踪的方法和装置。
[0031] 一方面，本发明的实施例提供了一种对视频对象进行跟踪的方法，所述方法包括如下步骤：
[0032] 取当前帧图像中所述视频对象轮廓的特征点；
[0033] 在下一帧图像中找到与所述特征点匹配的匹配特征点；
[0034] 根据所述匹配特征点，在下一帧图像中检测出所述视频对象的至少一个候选轮廓；
[0035] 计算当前帧图像中的视频对象的轮廓特征值；
[0036] 计算所述候选轮廓的轮廓特征值；
[0037] 将所述候选轮廓的轮廓特征值与当前帧图像中的视频对象的轮廓特征值进行比较，若二者匹配，则所述候选轮廓为所述视频对象在下一帧图像中的轮廓。
[0038] 通过本发明实施例所述的方法，首先确定出当前帧中的视频对象在下一帧图像中的匹配特征点，然后根据所述匹配特征点检测所述视频对象在下一帧图像中的候选轮廓。然后将前、后两帧图像中的视频对象的轮廓特征值进行匹配，若二者匹配，则所述候选轮廓为所述视频对象在下一帧图像中的轮廓。当视频对象进行非仿射变化时，由于能够提取出所述视频对象在下一帧图像中的轮廓特征值，并通过与所述视频对象在当前帧图像中的轮廓特征值进行匹配，得到与当前帧图像中的轮廓特征值最为匹配的轮廓特征值，从而能够对所述视频对象在下一帧图像中的轮廓做出准确的描述。利用本发明实施例所述的方法，克服了现有技术中不能对具有非仿射变化的视频对象进行准确跟踪的
缺陷。此外，利用本发明实施例所述的方法，减小了对视频对象进行跟踪过程中的运算量，提高了跟踪的速度。
[0039] 因此，本发明实施例对视频对象进行跟踪的方法，不仅能够准确的对具有仿射变化的视频对象进行跟踪，而且能够对具有非仿射变化的视频对象进行跟踪，提高了对视频对象跟踪的准确性。
[0040] 另一方面，本发明的实施例提供了一种对视频对象进行跟踪的装置，所述装置包括：
[0041] 第一
定位单元，用于获取当前帧图像中所述视频对象轮廓的特征点；
[0042] 第二定位单元，用于在下一帧图像中找到与所述特征点匹配的匹配特征点；
[0043] 轮廓检测单元，用于根据所述匹配特征点，在下一帧图像中检测出所述视频对象的至少一个候选轮廓；
[0044] 第一计算单元，用于计算所述候选轮廓的轮廓特征值；
[0045] 第二计算单元，用于计算当前帧图像中的视频对象的轮廓特征值；
[0046] 轮廓匹配单元，用于将所述候选轮廓的轮廓特征值与当前帧图像中的视频对象的轮廓特征值进行比较，若二者匹配，则所述候选轮廓为所述视频对象在下一帧图像中的轮廓。
[0047] 通过本发明实施例所述的装置，首先由轮廓检测单元确定所述视频对象在下一帧图像中的候选轮廓，第一、第二计算单元分别计算出前、后两帧图像中视频对象的轮廓特征值，由轮廓匹配单元将两个轮廓特征值进行匹配，当视频对象进行非仿射变化时，也能够通过匹配前后两帧图像中视频对象的轮廓特征值，获得对所述视频对象轮廓的准确描述。当视频对象进行非仿射变化时，由于能够提取出所述视频对象在下一帧图像中的轮廓特征值，并通过与所述视频对象在当前帧图像中的轮廓特征值进行匹配，得到与当前帧图像中的轮廓特征值最为匹配的轮廓特征值，从而能够对所述视频对象在下一帧图像中的轮廓做出准确的描述。利用本发明实施例所述的装置，避免了现有技术中不能对具有非仿射变化的视频对象进行准确跟踪的缺陷。此外，利用本发明实施例所述的装置，减小了对视频对象进行跟踪过程中的运算量，提高了跟踪的速度。
[0048] 因此，本发明实施例对视频对象进行跟踪的装置，不仅能够准确的对具有仿射变化的视频对象进行跟踪，而且能够对具有非仿射变化的视频对象进行跟踪，提高了对视频对象跟踪的准确性。
[0050] 图1是本发明的实施例对视频对象进行跟踪的方法的
流程图；
[0051] 图2是本发明的实施例对视频对象进行跟踪的方法的示意图；
[0052] 图3是本发明的实施例对视频对象进行跟踪的方法的实施例一的示意图；
[0053] 图4是本发明的实施例对视频对象进行跟踪的方法中Harr
小波变换的结果显示图；
[0054] 图5是本发明的实施例对视频对象进行跟踪的方法不同
分辨率下，小波轮廓描述符的显示图；
[0055] 图6是利用本发明的实施例对视频对象进行跟踪的方法的实验结果图；
[0056] 图7是利用本发明的实施例对视频对象进行跟踪的方法的又一实验结果图；
[0057] 图8是本发明的实施例对视频对象进行跟踪的装置的原理图；
[0058] 图9是本发明的实施例对视频对象进行跟踪的装置的示意图。
[0059] 具体实施方式
[0060] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0061] 为了能够对仿射变化和非仿射变化的视频对象进行准确的跟踪，本发明的实施例对视频对象进行的跟踪方法，首先求得当前帧图像中所述视频对象的轮廓特征值；然后利用均值漂移法获得当前帧图像中的视频对象的特征点，求得所述视频对象在下一帧图像中的匹配特征点；接着根据所述视频对象在下一帧图像中的匹配特征点，获得所述视频对象在出现区域中的候选轮廓，求得所述视频对象在下一帧图像中的轮廓特征值；最后，将当前帧图像中所述视频对象的轮廓特征值，与所述视频对象在下一帧图像中的轮廓特征值进行匹配，得到所述视频对象在下一帧图像中的轮廓。
[0062] 为使本发明实施例的技术方案的优点更加清楚，下面结合附图对本发明的实施例作进一步的详细说明。
[0063] 如图1所示，本发明的实施例对视频对象进行跟踪的方法包括以下步骤：
[0064] S1、取当前帧图像中所述视频对象轮廓的特征点；
[0065] S2、在下一帧图像中找到与所述特征点匹配的匹配特征点；
[0066] S3、根据所述匹配特征点，在下一帧图像中检测出所述视频对象的至少一个候选轮廓；
[0067] S4、计算当前帧图像中的视频对象的轮廓特征值；
[0068] S5、计算所述候选轮廓的轮廓特征值；
[0069] S6、将所述候选轮廓的轮廓特征值与当前帧图像中的视频对象的轮廓特征值进行比较，若二者匹配，则所述候选轮廓为所述视频对象在下一帧图像中的轮廓。
[0070] 通过本发明实施例所述的方法，首先确定出当前帧中的视频对象在下一帧图像中的匹配特征点，然后根据所述匹配特征点预测所述视频对象的出现区域，并在所述预测的出现区域内进行检测所述视频对象的候选轮廓。然后将前、后两帧图像中的视频对象的轮廓特征值进行匹配，若二者匹配，则所述候选轮廓为所述视频对象在下一帧图像中的轮廓。
[0071] 当视频对象进行非仿射变化时，由于能够提取出所述视频对象在下一帧图像中的轮廓特征值，并通过与所述视频对象在当前帧图像中的轮廓特征值进行匹配，得到与当前帧图像中的轮廓特征值最为匹配的轮廓特征值，从而能够对所述视频对象在下一帧图像中的轮廓做出准确的描述。利用本发明实施例所述的方法，避免了现有技术中不能对具有非仿射变化的视频对象进行准确跟踪的缺陷。因此，本发明实施例对视频对象进行跟踪的方法，不仅能够准确的对具有仿射变化的视频对象进行跟踪，而且能够对具有非仿射变化的视频对象进行跟踪，提高了对视频对象跟踪的准确性。并且由于本发明实施例的算法简单，因而，相较于现有技术而言，利用本发明实施例所述的方法能够提高对视频对象进行跟踪的速度。
[0072] 如图2所示，上述步骤S3所述根据所述匹配特征点，在下一帧图像中检测出所述视频对象的至少一个候选轮廓的步骤包括：
[0073] S31：根据所述匹配特征点，预测所述视频对象轮廓在下一帧图像中的出现区域；
[0074] S32：在所述预测的出现区域内检测所述视频对象的至少一个候选轮廓。
[0075] 由于首先预测出视频对象在下一帧图像中的出现区域，减少了对视频对象进行轮廓匹配的运算量，提高了对视频对象进行跟踪的效率。
[0076] 在步骤S1中，所述当前帧图像中所述视频对象轮廓的特征点可以为，所述视频对象在当前帧图像中的中心点；相应地，所述步骤S2中的匹配特征点，为所述视频对象在下一帧图像中的匹配中心点。
[0077] 此外，描述视频对象的轮廓有很多种方式，例如不变矩、偏心率、视频对象的长宽比、形状因子、小波轮廓描述符等。其中，小波轮廓描述符具有物理意义明确、检索性能好、旋转、缩放皆不变等优点，能够准确的描述视频对象的轮廓特征值。因此，在本发明的实施例中，采用小波轮廓描述符作为描述视频对象轮廓的轮廓特征值。
[0078] 下面结合图3详细描述一下本发明实施例对视频对象进行跟踪的方法的具体实现过程。
[0079] T1：在当前帧图像中，对所述视频对象进行轮廓检测，得到所述视频对象的轮廓点。
[0080] 在当前帧图像中进行的各种计算，都是以当前帧图像的前一帧作为基础的。而在下一帧图像中所做的各种计算，都是以当前帧为基础的。因此，在当前帧、下一帧图像中的各种计算的原理相同，只是参考基准不同。
[0081] 检测轮廓点的方法为：在当前帧图像中，检查对象索引Mkj圈定的范围内所有的连通位图Vk，只要某点周围上、下、左、右中有一点的灰度值为0，就标志该点为轮廓点。
[0082] T2：由所述轮廓点得到所述视频对象的轮廓矢量。
[0083] 假设在当前帧图像中，视频对象有Np个轮廓点，则其轮廓矢量定义为
[0084] 找到全部轮廓点后，将所述轮廓点排序。对所述轮廓点进行排序的方法是：从检查对象索引Mkj圈定区域的上边缘开始
水平搜索到的第1个轮廓点为第一轮廓点P0。然后以第一个轮廓点P0为中心，利用搜索模板如3*3的模板，按照逆
时针的顺序找到的轮廓点为第二个轮廓点P1。再以第二轮廓点P1为中心，利用搜索模板，按逆时针方向寻找到的轮廓点为第三个轮廓点P2。依此类推，找到的最后一个轮廓点是PNp。那么再以PNp为中心，利用3*3的搜索模板，找到的第一个轮廓点应为P0。上述查找轮廓点的方法忽略了视频对象的内部轮廓点，输出的轮廓矢量仅包括视频对象的外围轮廓点。
[0085] 按照上述的方法将轮廓点P0......PNp的顺序进行排序，得到所述轮廓矢量其中，Pn＝(Pxn，Pyn)(n＝0，...Np)。
[0086] 得到上述轮廓矢量后，按照公式(1)、(2)计算所述轮廓的质心坐标(TXkj，TYkj)，
[0087]
[0088]
[0089] 其中，(xn，yn)为各轮廓点的坐标，(n＝0，1......Np-1)。
[0090] T3：根据所述轮廓矢量，计算平移、旋转、缩放皆不变的归一化
轮距矢量计算公式如下(3)、(4)、(5)所示：
[0091]
[0092] rmax＝Max(r0，r1，KrN-1)(4)
[0093] Un＝rn/rmax；(5)
[0094] 其中，rn为各轮廓点到所述质心的距离，rmax为各轮廓点到所述质心距离中的最大值，n＝0，1......Np-1。
[0095] T4：将得到的归一化轮距矢量进行重新排序，得到定向轮距矢量
[0096] 将所述归一化轮距矢量进行重新排序的方法如下：
[0097] 从所述的归一化轮距矢量的U0，U1，......UNp-1中，查找出所有的最大值和最小值。假设查找到J个最大值，K个最小值，那么这些最大值和最小值之间可以组成J*K个“最大值-最小值对”。在所述J*K个“最大值-最小值对”中，找到所述最大值、最小值之间下标间隔最大的一对“最大值-最小值对”。由于所述归一化轮距矢量中的第一项和最后一项在视频对象的轮廓上是相邻的，所以可使任意两项矢量的间隔保持在Np/2内。因此，若某两个最大值、最小值之间的间隔d大于Np/2，则令d＝Np/2。
[0098] 若只有一个“最大值-最小值对”，则以所述“最大值-最小值对”中的最小值最为所述定向轮距矢量Qki中第一项q0，并且使得最大值在所述定向轮距矢量的前Np/2内，按照“最小值-最大值”的方向对所述归一化轮距矢量排序，得到定向轮距矢量
[0099] 若存在多个“最大值-最小值对”，则通过比较所述最小值或最大值的相邻项来确定选择哪个“最大值-最小值对”，作为计算所述定向轮距矢量的基础。例如，在第一对“最大值-最小值对”中，所述最大值的相邻项，大于第二对“最大值-最小值对”中最大值的相邻项，那么将以第一对“最大值-最小值对”最为计算所述定向轮距矢量的基础。若其相邻项的最大值相等，则说明所述视频对象的轮廓是对称的。
[0100] T5：将所述定向轮距矢量进行长度归一化，形成具有固定长度(例如长度M＝1024)的长度归一化定向轮距矢量计算公式如下：
[0101]
[0102] b＝[a+1]；(7)
[0103]
[0104] Li＝(1-c)×qa+c ×qb，(i＝0，2，......M-1)；(9)
[0105] 其中，a，b为整数，c为浮点数。
[0106] T6：由所述长度归一化轮距矢量计算得到所述视频对象在当前帧图像中的小波轮廓描述符Bk＝{b0，b2，K bN-1}。
[0107] 对所述长度归一化轮距矢量进行Harr(哈尔)小波变换，得到Harr小波变换结果
[0108] 具体的Harr小波变换实现如下：
[0109] 设有一长度为m的一维数组L，且m是2的幂次方，则对该数组的Harr小波变换可以用下面伪代码方法实现：
[0110] proc Decompose(W＝L，h＝K)
[0111] while h＞1 do：
[0112] h＝h/2
[0113] for i＝1 to h do：
[0114] W’[i]＝(W[2i-1]+W[2i])/2
[0115] W’[h+i]＝(W[2i-1]-W[2i])/2
[0116] end for
[0117] W＝W’
[0118] end while
[0119] end proc
[0120] 通过上面所述的方法，可以将所述的长度归一化定向轮距矢量变换成二者的长度相等。所述Harr小波变换的结果示意图如图4所示。
[0121] 根据图像分辨率N的不同，所述小波轮廓描述符Bn＝{b0n，b2n，K bN-1n}可由公式(10)获得：
[0122] Bn＝{b0n，b2n，KbN-1n}＝{w0n，w2n，L wN-1n}(10)
[0123] 由公式(10)可以看出，所述小波轮廓描述符Bn＝{b0n，b2n，KbN-1n}，是截取所述Harr小波变换结果的前N个系数而得。
[0124] 图5显示了分辨率分别为256，64和16时，计算到的小波轮廓描述符的结果。在实际应用中，为了节省视频对象轮廓比较的运算量，分辨率可取16。
[0125] 在计算出当前帧图像中视频对象的小波轮廓描述符Bn＝{b0n，b2n，KbN-1n}后，首先需要确定所述视频对象在下一帧图像中的出现区域，并计算出视频对象在所述出现区域中的候选轮廓，然后在计算所述视频对象在下一帧图像中的候选轮廓的小波轮廓描述符Bn+1＝{b0n+1，b2n+1，KbN-1n+1}。
[0126] 下面，详细描述一下上述计算过程。
[0127] T7：获得所述视频对象在下一帧图像中的出现区域。
[0128] T71：获得当前帧图像中所述视频对象的中心点。
[0129] T72：根据获得的视频对象在当前帧图像中的中心点，计算所述视频对象在下一帧图像中的匹配中心点。
[0130] 在本发明的实施例中，采用均值漂移法计算所述视频对象在下一帧图像中的匹配中心点。那么在计算当前帧图像中视频对象的中心点时，是以当前帧图像的前一帧图像为参考计算得到的，计算原理和下面所描述的计算过程相同。
[0131] 假设{xi*}i＝1，...，n表示视频对象模型的归一化像素
位置，其中心点坐标为0；将所述视频对象的
颜色灰度值进一步量化为m等级，b(x)为位置x的像素向颜色索引的映像；颜色u出现的概率定义为：
[0132]
[0133] 其中：k(x)为核函数，距离中心点较远位置的像素权重较小；
[0134] α为常数，其表达式为：
[0135]
[0136] 则视频对象模型表示为：
[0137] q＝{qu}u＝1，...，m，
[0138] 假设为当前帧中候选的视频对象的像素位置，其中心点为C，在距所述中心点范围h中运用同样的
内核函数k(x)，则候选的视频对象中颜色u出现的概率可以表示成：
[0139]
[0140] 其中：αh为常数，其表达式为：
[0141]
[0142] 则候选的视频对象模型表示为：
[0143] p(y)＝{pu(y)}u＝1，...，m，
[0144] 由以上定义的视频对象模型与候选的视频对象模型，可以计算出它们之间的距离d(C)：
[0145]
[0146] 其中：
[0147] 通过上面的分析可以看出，当前图像帧中的视频对象的最佳候选视频对象，即为与所述视频对象模型距离最近的候选视频对象，也就是使距离d(C)最小的候选区域。因此求出d(C)最小值，就可确定出所述视频对象在下一帧图像中的匹配中心点。
[0148] d(C)的计算方法可按
迭代公式(18)求得，
[0149]
[0150] 其中：C0为视频对象当前的中心点，C1为下一帧图像中视频对象的匹配中心点；
[0151] wi的表达式为：
[0152]
[0153] 那么，可以通过在每一帧图像中应用此迭代公式(19)，来求得使d(C)取得最小值的候选视频对象及其中心点，此候选对象即为视频对象的最佳候选对象，这样也就得到了视频对象在下一帧图像中的匹配中心点。利用均值漂移法，能够提高确定匹配特征点的速度，提高整个跟踪过程的效率。当然，在计算所述视频对象在下一帧图像中的匹配特征点的过程中，也可以不用均值漂移法。即在确定视频对象在当前帧图像中的特征点后，首先确定该特征点在下一帧图像中的可能出现区域。并在可能出现的区域内，逐个像素点的进行匹配，直至得到最为匹配的特征点。
[0154] T73：在获得所述视频对象在下一帧图像中的匹配中心点后，利用线性方法，以所述匹配中心点为中心，预测出所述视频对象在下一帧图像中的出现区域。所述的线性方法可以包括平移、旋转等。
[0155] 例如，以代表从当前帧图像获得的视频对象轮廓范围，而下一帧图像中视频对象轮廓范围，也即出现区域可以用表示。
[0156] 所述视频对象在下一帧图像中的轮廓范围具体预测公式如下：
[0157]
[0158] 其中，(CXk，CYk)是视频对象在当前帧图像中的中心点坐标，(CXk+1，CYk+1)是视频对象在下一帧图像中的匹配中心点坐标，可以根据上述的均值漂移法计算获得。
[0159] 在公式(20)中，
[0160]
[0161] 这里speed_min代表视频对象运动的最小速度(一般取0)，speed_max代表视频对象运动的最大速度(一般取1)，speedk代表上一帧中对象的实际速度，其计算公式如下：
[0162]
[0163] N代表用来计算速度的两帧之间间隔的帧数(一般取10)。
[0164] 当然需要注意的是，获得所述视频对象在下一帧图像中的匹配中心点的方法，并不局限于在本实施例中所提到的均值漂移法。任何一种能够获得视频对象在图像中的中心点的方法均可应用在本发明的实施例中。
[0165] T8：在获得所述视频对象在下一帧图像中的匹配中心点后，在所述出现区域内，在下一帧图像中，对所述视频对象进行轮廓检测，获得所述视频对象的候选轮廓，并计算所述视频对象在下一帧图像中的小波轮廓描述符Bn+1＝{b0n+1，b2n+1，KbN-1n+1}。
[0166] 在这一步骤中，计算所述视频对象在下一帧图像中的小波轮廓描述符的过程，和前面所述步骤T1-T6的原理相同，在此不再赘述。
[0167] T9：在求得当前图像帧、下一图像帧中所述视频对象的小波轮廓描述符后，对所述视频对象进行轮廓匹配，得到所述视频对象在下一图像帧中的轮廓，从而完成对视频对象的跟踪。
[0168] 对视频对象进行轮廓匹配的方法如下：
[0169] T91：将所述出现区域中候选轮廓的小波轮廓描述符Bn+1＝{b0n+1，b2n+1，KbN-1n+1}，与当前帧图像中的小波轮廓描述符Bn＝{b0n，b2n，KbN-1n}进行比较，计算二者之间的相似度。所述相似度按照如下的公式进行计算：
[0170]
[0171] 若前后两帧图像中小波轮廓描述符的相似度值超过相似度
门限值，那么在Bn+1＝{b0n+1，b2n+1，KbN-1n+1}中，选择相似度值最高的作为Bn＝{b0n，b2n，KbN-1n}中相应的跟踪结果。
[0172] 所述的相似度门限值可自由定义，在本实施例中，为了保证对视频对象跟踪的准确性，所述相似度门限值取值为80％。
[0173] 若对Bn＝{b0n，b2n，KbN-1n}的跟踪结果有多个，那么将选择相似度最高的作为对Bn＝{b0n，b2n，KbN-1n}的跟踪结果。
[0174] 若对Bn＝{b0n，b2n，KbN-1n}跟踪失败，则说明Bn＝{b0n，b2n，KbN-1n}所对应的视频对象被遮挡或消失；若Bn+1＝{b0n+1，b2n+1，KbN-1n+1}找不到源跟踪对象，那么Bn+1＝{b0n+1，b2n+1，KbN-1n+1}所对应的视频对象为在下一帧图像中新出现或遮挡消失的视频对象。
[0175] 最后将最佳匹配小波轮廓描述符所对应的视频对象轮廓，与当前帧图像中所述视频对象的轮廓进行匹配，若其相似度超过
阈值，则说明对当前帧图像中的视频对象跟踪成功，否则跟踪失败。
[0176] 通过利用上面的方法可以看出，即使被跟踪的视频对象在运动过程中出现形变，本发明实施例所述的方法利用均值漂移法和轮廓匹配相结合的方式，仍能对视频对象做准确的跟踪。
[0177] 利用本发明实施例所述的对视频对象进行跟踪的方法，对视频对象进行跟踪的结果如图6、7所示。从跟踪结果可以看出，本发明实施例所述的对视频对象进行跟踪的方法的跟踪效果比较理想，能够比较准确地对视频对象的轮廓进行跟踪，即使行人的腿和胳膊发生弯曲等变化时，候选轮廓的曲线和视频对象的真实轮廓也是比较吻合的，例如图6中的c)和d)。
[0178] 本发明实施例所述的对视频对象进行跟踪的方法的跟踪过程也是比较稳定的，即使对象物体的运动速度发生较大变化也可以稳定地进行轮廓跟踪。如图7所示，
汽车视频中的汽车由快到慢驶入
停车场，此算法都实现了对其稳定的跟踪。
[0179] 另外，与Condensation跟踪算法相比，本发明实施例所述的视频对象跟踪方法，计算量小，跟踪速度有很大提高。表1中列出了分别利用两种跟踪算法进行跟踪时的跟踪速度值。
[0180] 表1
[0181]
[0182] 通过上面的实验可以看出，本发明实施例所述的对视频对象进行跟踪的方法，不仅可以对仿射变化或非仿射变化的视频对象进行准确的跟踪，而且由于本发明实施例的算法简单，因而相较于现有技术相比，本发明实施例所述的方法提高了对视频对象的跟踪速度。
[0183] 与本发明实施例对视频对象进行跟踪的方法相对应，本发明的实施例还提供了一种对视频对象进行跟踪的装置。
[0184] 如图8所示，本发明实施例所述的对视频对象进行跟踪的装置包括：
[0185] 第一定位单元801，用于获取当前帧图像中所述视频对象轮廓的特征点；
[0186] 第一定位单元802，用于在下一帧图像中找到与所述特征点匹配的匹配特征点；
[0187] 轮廓检测单元803，用于根据所述匹配特征点，在下一帧图像中检测出所述视频对象的至少一个候选轮廓；
[0188] 第一计算单元804，用于计算所述候选轮廓的轮廓特征值；
[0189] 第二计算单元805，用于计算当前帧图像中的视频对象的轮廓特征值；
[0190] 轮廓匹配单元806，用于将所述候选轮廓的轮廓特征值与当前帧图像中的视频对象的轮廓特征值进行比较，若二者匹配，则所述候选轮廓为所述视频对象在下一帧图像中的轮廓。
[0191] 通过本发明实施例所述的装置，首先由轮廓检测单元803确定所述视频对象在下一帧图像中的候选轮廓，第一计算单元804、第二计算单元805分别计算出前、后两帧图像中视频对象的轮廓特征值，由轮廓匹配单元806将两个轮廓特征值进行匹配，当视频对象进行非仿射变化时，也能够通过匹配前后两帧图像中视频对象的轮廓特征值，获得对所述视频对象轮廓的准确描述。当视频对象进行非仿射变化时，由于能够提取出所述视频对象在下一帧图像中的轮廓特征值，并通过与所述视频对象在当前帧图像中的轮廓特征值进行匹配，得到与当前帧图像中的轮廓特征值最为匹配的轮廓特征值，从而能够对所述视频对象在下一帧图像中的轮廓做出准确的描述。利用本发明实施例所述的装置，避免了现有技术中不能对具有非仿射变化的视频对象进行准确跟踪的缺陷。
[0192] 因此，本发明实施例对视频对象进行跟踪的装置，不仅能够准确的对具有仿射变化的视频对象进行跟踪，而且能够对具有非仿射变化的视频对象进行跟踪，提高了对视频对象跟踪的准确性。
[0193] 同样，描述视频对象的轮廓有很多种，例如不变矩、偏心率、视频对象的长宽比、形状因子、小波轮廓描述符等。其中，小波轮廓描述符具有物理意义明确、检索性能好、旋转、缩放皆不变等优点，能够精确的描述视频对象的轮廓特征值。因此，在本发明的实施例中对视频对象进行跟踪的装置中，采用小波轮廓描述符作为描述视频对象轮廓的轮廓特征值。
[0194] 如图9所示，所述的轮廓检测单元803包括：
[0195] 区域预测模
块8031，用于根据所述匹配特征点预测所述视频对象轮廓在下一帧图像中的出现区域；
[0196] 轮廓选取模块8032，用于在所述出现区域内检测出所述视频对象的至少一个候选轮廓。
[0197] 首先预测出视频对象在下一帧图像中的预测出现区域，能够有针对性的对视频对象进行轮廓选取，降低了对视频对象进行轮廓匹配的计算量，提高了对视频对象进行跟踪的速度及效率。
[0198] 所述的第一计算单元804包括：
[0199] 第一轮廓检测模块8041，用于在当前帧图像中，对所述视频对象进行轮廓检测，得到所述视频对象的轮廓点；
[0200] 第一归一化轮距矢量计算模块8042，用于由所述轮廓点得到所述视频对象的归一化轮距矢量计算模块；
[0201] 第一定向轮廓矢量计算模块8043，用于由所述归一化轮距矢量计算模块计算出所述视频对象的定向轮廓矢量；
[0202] 第一长度归一化定向轮廓矢量计算模块8044，用于对所述定向轮廓矢量进行长度归一化，得到长度归一化定向轮廓矢量；
[0203] 第一轮廓特征值计算模块8045，用于由所述长度归一化定向轮廓矢量得到所述视频对象的小波轮廓描述符。
[0204] 所述的第二计算单元805包括：
[0205] 区域预测模块8051，用于获得所述视频对象在下一帧图像中的出现区域；
[0206] 第二轮廓检测模块8052，用于在所述出现区域中，对所述视频对象进行轮廓检测，得到所述视频对象的轮廓点；
[0207] 第二归一化轮距矢量计算模块8053，用于由所述轮廓点得到所述视频对象的归一化轮距矢量计算模块；
[0208] 第二定向轮廓矢量计算模块8054，用于由所述归一化轮距矢量计算模块计算出所述视频对象的定向轮廓矢量；
[0209] 第二长度归一化定向轮廓矢量计算模块8055，用于对所述定向轮廓矢量进行长度归一化，得到长度归一化定向轮廓矢量；
[0210] 第二轮廓特征值计算模块8056，用于由所述长度归一化定向轮廓矢量得到所述视频对象的小波轮廓描述符。
[0211] 所述第一计算单元804、第二计算单元805各组成模块在计算过程中所用到的算法，和在对视频对象进行跟踪的方法实施例中的相同，在此不再赘述。
[0212] 综上所述，利用本发明实施例的对视频对象进行跟踪的方法及装置，不仅能够提高对视频对象跟踪的准确性，而且由于本发明实施例的算法简单，提高了对视频对象进行跟踪的速度。
[0213] 当然，本发明的实施例还可有很多种，在不背离本发明的实施例精神及其实质的情况下，本领域普通技术人员在没有作出创造性劳动前提下通过
修改、等同、替代所获得的所有其他实施例，都属于本发明保护的范围。
