基于霍夫森林的视频目标跟踪方法专利检索-随机森林集成学习机器学习人工智能专利检索查询-专利查询网

基于霍夫森林的视频目标跟踪方法

阅读：580发布：2021-12-04

专利汇可以提供基于霍夫森林的视频目标跟踪方法专利检索，专利查询，专利分析的服务。并且本发明公开一种基于霍夫森林的视频目标跟踪方法，主要解决现有技术中当目标被部分遮挡或发生非刚性变化时容易跟踪失败的问题。其方法步骤为：(1)输入一段视频的第一帧，并人工标记出待跟踪的目标；（2）从输入的第一帧视频图像中，提取视频图像的特征；(3)建立并初始化霍夫森林检测器；(4)检测目标并进行霍夫投票；(5)用Lucas-Kanade跟踪器跟踪目标，获得目标框大小的尺度变化s；(6)根据霍夫森林检测中的投票峰值和Lucas-Kanade跟踪器的跟踪结果，确定目标位置；(7)根据目标框大小的尺度变化s调整目标框的宽和高，并显示；（8）重新训练霍夫森林检测器；(9)重复步骤(4)—步骤(8)，直到视频结束。本发明具有对遮挡目标跟踪准确的优点，可用于人机交互和交通监控领域。，下面是基于霍夫森林的视频目标跟踪方法专利的具体信息内容。

权利要求

1.一种基于霍夫森林的视频目标跟踪方法，包括以下步骤：
（1）输入一段视频的第一帧，并人工标记出待跟踪的目标；
（2）从输入的第一帧视频图像中，提取视频图像的特征，该特征包括：Lab特征，梯度方向直方图HOG特征，图像x方向的一阶导数特征、二阶导数特征，图像y方向的一阶导数特征、二阶导数特征；
（3）建立并初始化霍夫森林检测器
3a)设定霍夫森林检测器中的决策树数目为20个，为每个决策树随机产生8对范围在
0~12的块内位置偏移量(l,s)、(p,q)，同时为每对块内位置偏移量l随机选取一种特征；
3b)将目标区域作为正样本，将目标区域以外的区域作为负样本，将目标区域向四周扩展20个像素作为样本更新区域，在样本更新区域内逐个像素取12×12的图像块，对每个决策树，根据8对块内位置偏移量(l,s)、(p,q)确定图像块的8个特征点对，提取这些特征点的特征i训练决策树，产生图像块特征值；若图像块为正样本，计算图像块中心与目标中心的位置偏移量d，更新图像块特征值对应的正负样本比及该决策树的正负样本比，存储图像块特征值对应的位置偏移量d，若图像块为负样本，则只更新图像块编码对应的正负样本比及该棵树的正负样本比；
3c)从已经建立的20个决策树中，选择正负样本比最高的10个决策树组成霍夫森林检测器；
（4）检测目标并进行霍夫投票
4a)载入新一帧视频图像，按照步骤(2)的方法提取新一帧视频图像的特征，并将上一帧的目标区域扩大一倍作为搜索区域，在搜索区域内，以每个像素点为中心取12×12得图像块，通过随机森林分类器中的决策树依次对图像块进行分类、计算图像块特征值，当决策树判定图像块属于目标时，根据图像块特征值对应的位置偏移量d和图像块的中心位置计算目标的中心位置并进行投票；
4b)取投票峰值的位置作为目标的位置；
（5）用Lucas-Kanade跟踪器跟踪目标，获得目标框大小的尺度变化s；
（6）根据霍夫森林检测中的投票峰值和Lucas-Kanade跟踪器的跟踪结果，按如下规则确定目标位置；
若霍夫森林检测中的投票峰值大于阈值1，则将检测到的位置作为目标在当前帧视频图像中的位置，并执行步骤（8）；
若霍夫森林检测中的投票峰值大于阈值2且小于阈值1，则当检测到的结果和Lucas-Kanade跟踪得到的结果在x、y方向误差均小于5个像素时，取检测结果和跟踪结果的均值作为目标位置，且执行步骤（8），否则，将检测结果作为目标位置，执行步骤（7）；
若霍夫森林检测中的投票峰值大于阈值3且小于阈值2，则将检测结果作为目标位置，执行步骤（7）；
若霍夫森林检测中的投票峰值小于阈值3，则将Lucas-Kanade跟踪器的跟踪结果作为目标的位置，执行步骤（7）；
（7）根据目标框大小的变化尺度s调整目标框的宽和高，并显示；
（8）重新训练霍夫森林分类器
8a)将目标区域作为正样本，将目标区域以外的区域作为负样本，将目标区域扩大20个像素，将此扩大的区域作为更新区域；
8b)在更新区域中，以每个像素点为中心取12×12的图像块，对每个决策树，确定该图像块的8对特征点并提取这些特征点的特征i训练决策树，产生图像块特征值，若图像块为正样本，则计算图像块中心与目标中心的位置偏移量d，更新图像块特征值对应的正负样本比及该决策树的正负样本比，存储图像块特征值对应的位置偏移量d，若该图像块为负样本则只更新图像块编码对应的正负样本比以及该决策树的正负样本比；
（9）重复步骤（4）—（8），直到视频结束。
2.根据权利要求1所述的基于霍夫森林的视频目标跟踪方法，其中步骤（2）所述的从输入的第一帧视频图像中，提取视频图像的特征，按如下步骤进行：
(2a)将视频图像由RGB颜色空间转化为Lab颜色空间，RGB颜色空间中R表示红色通道、G表示绿色通道、B表示蓝色通道，Lab颜色空间中L表示照度通道、a表示从红色至绿色的通道、b表示从黄色至蓝色的通道，将L通道、a通道、b通道作为提取的特征1~特征3。
(2b)将视频图像由RGB图像转化为灰度图像，计算灰度图像中每个像素点的梯度方向，以40°为一个区域，将各个像素点的梯度方向归并量化为9个方向，统计各个方向的像素点数目，即可得到9维的梯度方向直方图HOG，将HOG的9维向量作为特征4~特征12。
(2c)对灰度图像进行中值滤波得到滤波后的图像I，对图像I的x方向求一阶导数作为特征13，对图像I求x方向求二阶导数作为特征14，对图像I求y方向求一阶导数作为特征15，对图像I求y方向二阶导数作为特征16。
3.根据权利要求1所述的基于霍夫森林的视频目标跟踪方法，其中步骤3b)所述的根据8个块内位置偏移量(lj,rj,pj,qj)确定图像块的8个特征点对，提取这些特征点对的特征i训练决策树，产生图像块特征值，如下步骤进行：
(3a)假设图像块的中心位置为(x,y)，且一个特征点对包括特征点1和特征点2，将(x,y)与第j对块内位置偏移量(l,s)、(p,q)相加，得到坐标(x+lj,y+rj)和坐标(x+pj,y+qj)，将坐标(x+lj,y+rj)所对应的像素点作为第j个特征点对的特征点1，将坐标(x+lx2,y+ly2)所对应的像素点作为第j个特征点对的特征点2；
(3b)比较第j个特征点对的特征点1和特征点2的特征值得到第j个特征点对的标识位mj，若特征点1的特征值大于特征点2的特征值，则mj＝1，若特征点1的特征值小于特征点2的特征值，则mj＝0；
(3c)将8个特征点对的标识位m1～m8依次排列得到图像块特征值m1m2m3m4m5m6m7m8。
4.根据权利要求1所述的基于霍夫森林的视频目标跟踪方法，其中步骤(5)所述的用Lucas-Kanade跟踪器跟踪目标，获得目标框大小的尺度变化s，按如下步骤进行：
(4a)在t-1时刻视频图像I1的目标区域中均匀产生一系列N个跟踪点p1,p2...pN，用Lucas-Kanade跟踪器跟踪这些点，得到p1,p2…pN在t时刻视频图像I2中的对应点q1,q2...qN；
(4b)对t时刻视频图像I2中的点q1,q2...qN，用Lucas-Kanade跟踪器跟踪得到q1,q2...qN在t-1时刻视频图像I1中的对应点p'1,p'2...P’N；
(4c)计算t-1时刻视频图像I1中跟踪点p1,p2...pN和p'1,p'2...p'N对应点之间的前向-后向误差fb，计算p1,p2...pN和q1,q2...qN的标准互相关系数ncc，取q1,q2...qN中满足以下两个要求的点作为可信跟踪点：①前向-后向误差fb小于前向-后向误差中值fb_m；②标准互相关系数ncc大于标准互相关系数中值ncc_m；
(4d)分别计算z个可信跟踪点在t-1时刻视频图像I1中任意两点之间的距离ai，和可信跟踪点在t时刻视频图像I2中任意两点之间的距离bi，并将两类距离之比的均值，作为目标框大小的变化尺度s，其中i＝1,2…k， !表示阶乘。
5.根据权利要求1所述的基于霍夫森林的视频目标跟踪方法，其中步骤(7)所述的根据目标框大小的变化尺度s调整目标框的宽和高，是通过以下两个公式实现：
Ws＝w×s
hs＝h×s
其中，w表示调整前的目标框宽，s表示目标框大小的变化尺度，Ws表示调整后的目标框宽，h表示调整前的目标框高，hs表示调整后的目标框高。

说明书全文

基于霍夫森林的视频目标跟踪方法

技术领域

[0001] 本发明属于图像处理技术领域，涉及视频目标跟踪方法，可应用于人机交互和目标跟踪等领域。

背景技术

[0002] 目标跟踪是指通过对拍摄的图像序列进行分析，从而计算出目标在每帧图像上的位置，然后得到相关的参数。目标跟踪是计算机视觉中一个必不可少的关键技术，它在机器人视觉导航、安全监测、交通管制、视频压缩以及气象分析等许多方面都有广泛应用。如军事方面，已被成功地应用于武器的成像制导、军事侦察和监视等。民用方面，如视觉监控，也已被广泛地应用于社会生活的各方面。目标跟踪还可应用于社区和重要设施的保安监控；用于智能交通系统中进行车辆的实时追踪，从而得到车流量、车型、车速、车流密度等等许多有价值的交通流参数，同时还可以检测事故或故障等突发状况。

[0003] 浙江工业大学提出的专利申请“一种基于累加直方图粒子滤波的视频目标跟踪方法”（专利申请号201110101737.9，公开号CN102184548A）公开了一种基于累加直方图粒子滤波的视频目标跟踪方法。该方法将颜色累加直方图与粒子滤波跟踪算法相结合，即首先根据检测到的目标范围，计算目标的颜色累加直方图，然后初始化粒子滤波并跟踪，得到在新的一帧中目标的范围，此时，以每个粒子的坐标为中心点，计算得到临时的累加直方图和每个粒子的权重并进行权重归一化，并由此得到新的目标累加直方图，更新累加直方图，最后采用替换选择算法对粒子进行重采样。该方法虽然可以在目标和背景颜色相似时进行正确的跟踪，但是，这种方法采用的是直方图对目标进行描述，所以对目标的非刚性变化不够鲁棒，很容易跟踪失败。

[0004] 苏州大学提出的专利申请“基于均值漂移的视频目标跟踪方法”（专利申请号201010110655.6，公开号CN101924871A），公开了一种基于Mean Shift的视频目标跟踪方法，该方法是先提取跟踪目标的SIFT特征，然后用Mean-Shift算法对目标的SIFT特征进行匹配，从而实现对目标的跟踪。这种方法虽然采用了对旋转、尺度缩放、亮度变化保持不变性的SIFT特征，但是由于复杂度非常大，会大大降低目标跟踪的实时性。

发明内容

[0005] 本发明针对上述现有技术的不足，提出一种基于霍夫森林的视频目标跟踪方法，以提高目标跟踪对目标遮挡、非刚性变化的鲁棒性和目标跟踪的实时性。

[0006] 实现本发明的技术思路是：将霍夫变换与随机森林分类器相结合作为检测器对目标进行检测，同时由Lucas-Kanade跟踪器对目标进行跟踪，将霍夫变换与随机森林分类器结合，提高随机森林分类器的性能，使其对目标遮挡和目标非刚性变化的跟踪更加鲁棒，同时通过引入的Lucas-Kanade方法调整目标区域的尺度，进一步确定目标的位置，使跟踪很好的适应目标的尺度变化。具体实现步骤包括如下：

[0007] （1）输入一段视频中的第一帧，并人工标记出待跟踪的目标；

[0008] （2）从输入的第一帧视频图像中，提取视频图像的特征，该特征包括：Lab[0009] 特征，梯度方向直方图HOG特征，图像x方向的一阶导数特征、二阶导数特征，图像y方向的一阶导数特征、二阶导数特征；

[0010] （3）建立并初始化霍夫森林检测器

[0011] 3a)设定霍夫森林检测器中的决策树数目为20个，为每个决策树随机产生8对范围在0~12的块内位置偏移量(l,s)、(p,q)，同时为每对块内位置偏移量l随机选取一种特征；

[0012] 3b)将目标区域作为正样本，将目标区域以外的区域作为负样本，将目标区域向四周扩展20个像素作为样本更新区域，在样本更新区域内逐个像素取12×12的图像块，对每个决策树，根据8对块内位置偏移量(l,s)、(p,q)确定图像块的8个特征点对，提取这些特征点的特征i训练决策树，产生图像块特征值；若图像块为正样本，计算图像块中心与目标中心的位置偏移量d，更新图像块特征值对应的正负样本比及该决策树的正负样本比，存储图像块特征值对应的位置偏移量d，若图像块为负样本，则只更新图像块编码对应的正负样本比及该棵树的正负样本比；

[0013] 3c)从已经建立的20个决策树中，选择正负样本比最高的10个决策树组成霍夫森林检测器；

[0014] （4）测目标并进行霍夫投票

[0015] 4a)载入新一帧视频图像，按照步骤(2)的方法提取新一帧视频图像的特征，并将上一帧的目标区域扩大一倍作为搜索区域，在搜索区域内，以每个像素点为中心取12×12得图像块，通过随机森林分类器中的决策树依次对图像块进行分类、计算图像块特征值，当决策树判定图像块属于目标时，根据图像块特征值对应的位置偏移量d和图像块的中心位置计算目标的中心位置并进行投票；

[0016] 4b)取投票峰值的位置作为目标的位置；

[0017] （5）Lucas-Kanade跟踪器跟踪目标，获得目标框大小的尺度变化s；

[0018] （6）根据霍夫森林检测中的投票峰值和Lucas-Kanade跟踪器的跟踪结果，按如下规则确定目标位置；

[0019] 若霍夫森林检测中的最大投票点的值大于阈值1，则将检测到的位置作为目标在当前帧视频图像中的位置，并执行步骤（8）；

[0020] 若霍夫森林检测中的最大投票点的值大于阈值2且小于阈值1，则当检测到的结果和Lucas-Kanade跟踪得到的结果在x、y方向误差均小于5个像素时，取检测结果和跟踪结果的均值作为目标位置，且执行步骤（8），否则，将检测结果作为目标位置，执行步骤（7）；

[0021] 若霍夫森林检测中的最大投票点的值大于阈值3且小于阈值2，则将检测结果作为目标位置，执行步骤（7）；

[0022] 若霍夫森林检测中的最大投票点的值小于阈值3，则将Lucas-Kanade跟踪器的跟踪结果作为目标的位置，执行步骤（7）；

[0023] （7）根据目标框大小的变化尺度s调整目标框的宽和高，并显示；

[0024] （8）重新训练霍夫森林分类器

[0025] 8a)将目标区域作为正样本，将目标区域以外的区域作为负样本，将目标区域扩大20个像素，将此扩大的区域作为更新区域；

[0026] 8b)在更新区域中，以每个像素点为中心取12×12的图像块，对每个决策树，确定该图像块的8对特征点并提取这些特征点的特征i训练决策树，产生图像块特征值，若图像块为正样本，则计算图像块中心与目标中心的位置偏移量d，更新图像块特征值对应的正负样本比及该决策树的正负样本比，存储图像块特征值对应的位置偏移量d，若该图像块为负样本则只更新图像块编码对应的正负样本比以及该决策树的正负样本比；

[0027] （9）重复步骤（4）—（8），直到视频结束。

[0028] 本发明与现有技术相比有以下优点：

[0029] 第一，本发明采用了霍夫投票的思想，不只对正样本的特征进行了学习，而且在学习过程中记录了正样本到目标中心的位置偏移量，这样即使当目标被部分遮挡或者发生非刚性变化时，也可以由霍夫投票得到目标位置。

[0030] 第二，本发明采用了Lucas-Kanade跟踪方法确定目标的尺度变化，克服了现有技术中目标框大小固定，不随目标大小变化的缺点。附图说明

[0031] 图1为本发明的流程图；

[0032] 图2为输入的第一帧视频图像；

[0033] 图3为在图2中人工标记出待跟踪目标的示意图；

[0034] 图4为图2中更新区域的示意图；

[0035] 图5为输入的新一帧视频图像；

[0036] 图6为图5中搜索区域的示意图；

[0037] 图7为图5中更新区域的示意图。

[0038] 具体实施措施

[0039] 下面结合附图对发明做进一步描述。

[0040] 参照图1，对本发明具体实现给出如下实施例：

[0041] 步骤1，输入一段视频的第一帧，并人工标记出待跟踪的目标。

[0042] 本实例输入的一段视频图如图2，它为一段人脸遮挡视频的第一帧，图2中的人脸为要跟踪的目标，即对图2中用鼠标框定人脸区域作为待跟踪目标，结果如图3所示。

[0043] 步骤2，从输入的第一帧视频图像中，提取视频图像的特征。

[0044] 2.1)将图2由RGB颜色空间转化为Lab颜色空间，RGB颜色空间中R表示红色通道、G表示绿色通道、B表示蓝色通道，Lab颜色空间中L表示照度通道、a表示从红色至绿色的通道、b表示从黄色至蓝色的通道，将L通道、a通道、b通道作为提取的特征1~特征3；

[0045] 2.2)将图2由RGB图像转化为灰度图像，计算灰度图像中每个像素点的梯度方向，以40°为一个区域，将各个像素点的梯度方向归并量化为9个方向，统计各个方向的像素点数目，即可得到9维的梯度方向直方图HOG，将HOG的9维向量作为特征4~特征12；

[0046] 2.3)对灰度图像进行中值滤波得到滤波后的图像I，对图像I的x方向求一阶导数作为特征13，对图像I求x方向求二阶导数作为特征14，对图像I求y方向求一阶导数作为特征15，对图像I求y方向二阶导数作为特征16。

[0047] 步骤3，建立并初始化霍夫森林检测器。

[0048] 3.1）设定霍夫森林检测器中的决策树数目为20个，为每个决策树随机产生8对范围在0~12的块内位置偏移

[0049] 3.2)将图3所示的实线框内的区域作为正样本，将实线框外的区域作为负样本，将图3中的实线框向四周扩展20个像素得到图4所示的虚线框，将虚线框内的区域作为样本更新区域，在样本更新区域内逐个像素取12×12的图像块，对每个决策树，根据8对块内位置偏移量(l,s)、(p,q)确定图像块的8个特征点对，提取这些特征点的特征i训练决策树，产生图像块特征值；若图像块为正样本，计算图像块中心与目标中心的位置偏移量d，更新图像块特征值对应的正负样本比及该决策树的正负样本比，存储图像块特征值对应的位置偏移量d，若图像块为负样本，则只更新图像块编码对应的正负样本比及该棵树的正负样本比；

[0050] 3.3)从已经建立的20个决策树中，选择正负样本比最高的10个决策树组成霍夫森林检测器。

[0051] 步骤4，检测目标并进行霍夫投票。

[0052] 4.1)载入新一帧视频图像图5，按照步骤2的方法提取图5的特征，并将图3中的目标区域扩大一倍的到图6所示的虚线框内的区域作为搜索区域，在搜索区域内，以每个像素点为中心取12×12得图像块，通过随机森林分类器中的决策树依次对图像块进行分类、计算图像块特征值，当决策树判定图像块属于目标时，根据图像块特征值对应的位置偏移量d和图像块的中心位置计算目标的中心位置并进行投票；

[0053] 4.2)取投票峰值的位置作为目标的位置；

[0054] 步骤5，用Lucas-Kanade方法跟踪目标

[0055] 5.1)在图3的目标区域中均匀产生N个跟踪点p1,p2...pN，用Lucas-Kanade跟踪器跟踪这些点，得到p1,p2...pN在图5中的对应点q1,q2...qN；

[0056] 5.2)对图5中的点q1,q2...qN，用Lucas-Kanade跟踪器跟踪，得到点在图3中的对应点p'1,p'2...P'N；

[0057] 5.3)计算p1,p2...pN和p'1,p'2...p’N对应点之间的前向-后向误差fb，计算p1,p2...pN和q1,q2...qN的标准互相关系数ncc，取q1,q2...qN中满足以下两个要求的点作为可信跟踪点：①前向-后向误差fb小于前向-后向误差中值fb_m；②标准互相关系数ncc大于标准互相关系数中值ncc_m；

[0058] 5.4)分别计算z个可信跟踪点在图3中任意两点之间的距离ai，和可信跟踪点在图5中任意两点之间的距离bi，并将两类距离之比的均值，作为目标框大小的变化尺度s，其中i＝1,2…k， !表示阶乘。

[0059] 步骤6，根据霍夫森林检测中的投票峰值和Lucas-Kanade跟踪器的跟踪结果，按如下规则确定目标位置：

[0060] 若霍夫森林检测中的投票峰值大于阈值1，则将检测到的位置作为目标在当前帧视频图像中的位置，并执行步骤8；

[0061] 若霍夫森林检测中的投票峰值大于阈值2且小于阈值1，则当检测到的结果和Lucas-Kanade跟踪得到的结果在x、y方向误差均小于5个像素时，取检测结果和跟踪结果的均值作为目标位置，且执行步骤8，否则，将检测结果作为目标位置，执行步骤7；

[0062] 若霍夫森林检测中的投票峰值大于阈值3且小于阈值2，则将检测结果作为目标位置，执行步骤7；

[0063] 若霍夫森林检测中的投票峰值小于阈值3，则将Lucas-Kanade跟踪器的跟踪结果作为目标的位置，执行步骤7；

[0064] 步骤7，根据目标框大小的变化尺度s，按照如下公式调整目标框的宽和高，并显示

[0065] Ws＝w×s

[0066] hs＝h×s

[0067] 其中，w表示调整前的目标框宽，s表示目标框大小的变化尺度，Ws表示调整后的目标框宽，h表示调整前的目标框高，hs表示调整后的目标框高。

[0068] 步骤8，重新训练霍夫森林分类器

[0069] 8.1)对图5跟踪的结果如图7中的实线框所示，将图7中的实线框内的区域作为正样本，将实线框以外的区域作为负样本，将实线框扩大20个像素，得到图7所示的虚线框，将虚线框内的区域作为更新区域；

[0070] 8.2)在更新区域中，以每个像素点为中心取12×12的图像块，对每个决策树，确定该图像块的8对特征点并提取这些特征点的特征i训练决策树，产生图像块特征值，若图像块为正样本，则计算图像块中心与目标中心的位置偏移量d，更新图像块特征值对应的正负样本比及该决策树的正负样本比，存储图像块特征值对应的位置偏移量d，若该图像块为负样本则只更新图像块编码对应的正负样本比以及该决策树的正负样本比；

[0071] 步骤9，重复步骤4——步骤8，直到视频结束。

[0072] 以上是本发明的一个实例，并不构成对本发明的任何限制，仿真实验表明，本发明不仅能实现对部分遮挡目标的正确跟踪，也能实现对有尺度变化目标的有效跟踪。

标题	发布/更新时间	阅读量
一种基于功率熵谱-随机森林的航空发动机滚动轴承故障诊断方法	2020-05-11	518
一种基于数据挖掘的结构安全评估及预报方法	2020-05-12	427
一种基于投票集成学习的心电数据智能分类方法	2020-05-12	330
一种基于深度强化学习的订单信息处理方法	2020-05-08	589
一种快速建模的方法	2020-05-11	53
一种吹塑成形工艺参数在线调控方法	2020-05-12	739
一种基于特征选择的皮肤检测混合颜色空间的选取方法	2020-05-13	992
基于最大熵特征的葡萄分类提取方法	2020-05-11	297
一种基于核主成分分析和多项式特征的脑血管病神经功能损伤程度预测模型	2020-05-11	347
一种基于误差匹配的中低压燃气调压器故障检测方法	2020-05-12	774

基于霍夫森林的视频目标跟踪方法

基于霍夫森林的视频目标跟踪方法

技术领域

背景技术

发明内容

该功能需要专业版企业版VIP权限，您可以：