首页 / 专利库 / 视听技术与设备 / 运动估计 / 一种抗遮挡目标跟踪方法

一种抗遮挡目标跟踪方法

阅读:837发布:2020-05-08

专利汇可以提供一种抗遮挡目标跟踪方法专利检索,专利查询,专利分析的服务。并且本 发明 提供一种抗遮挡目标 跟踪 方法,首先对于输入视频或 图像序列 ,采用目标检测器对视频中的每一 帧 图像进行检测得到基于检测的候选项;根据输出当前帧的目标检测结果,运用卡尔曼 滤波器 预测目标在下一帧的 位置 得到基于跟踪的候选项。根据 置信度 评分公式计算候选项的置信度,采用非极大值抑制 算法 得到最终候选项;将相邻帧的候选项输入特征匹配网络,通过级联匹配算法计算目标间的匹配度。将基于检测的候选项通过 深度神经网络 进行特征提取,进行特征间相似度的匹配;基于跟踪的候选项进行IOU重合度匹配。根据相邻帧的目标匹配结果确定目标在当前帧的位置从而输出目标运动轨迹。在目标遮挡的情况下检测跟踪到目标,并提高跟踪的 精度 和性能。,下面是一种抗遮挡目标跟踪方法专利的具体信息内容。

1.一种抗遮挡目标跟踪方法,其特征在于,包括如下步骤:
S1:将视频或图像序列输入到目标检测器中得到目标检测结果,所述目标检测结果是基于检测的候选项,包括每帧图像中所有目标的边界框及检测置信度
S2:根据所述目标检测结果利用联合检测跟踪框架对每帧图像生成基于跟踪的候选项,所述联合检测跟踪框架是通过卡尔曼滤波器及相机运动补偿,对所述目标检测结果进行跟踪运动估计,得到基于跟踪的候选项;
S3:根据所述基于检测的候选项和所述基于跟踪的候选项的置信度大小,运用非极大值抑制算法对所述基于检测的候选项和所述基于跟踪的候选项进行筛选得到筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候选项;
S4:利用预训练好的深度神经网络提取当前帧所有筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候选项的表观特征;
S5:利用级联匹配算法计算相邻帧的目标匹配度,包括:筛选后的所述基于检测的候选项对相邻帧的现有轨迹进行表观特征相似度匹配;筛选后的所述基于跟踪的候选项与相邻帧的现有轨迹的目标边界框进行边界框交并比重合度匹配;
S6:根据所述相邻帧的目标匹配度,确定目标在当前帧的位置,从而输出目标运动轨迹。
2.如权利要求1所述的抗遮挡目标跟踪方法,其特征在于,所述目标检测器是SDP目标检测器。
3.如权利要求1所述的抗遮挡目标跟踪方法,其特征在于,所述置信度由以下置信度评分公式得到:
其中, 为第t-1帧的检测置信度, 为第t帧的跟踪置信度,Ndet为待关联轨迹中所述基于检测的候选项的个数,Ntrk为上一次待关联轨迹中所述基于跟踪的候选项的个数,I(·)为二值函数,当函数内为真时,值为1,否则为0,参数α是常数。
4.如权利要求1所述的抗遮挡目标跟踪方法,其特征在于,运用非极大值抑制算法对所述基于检测的候选项和所述基于跟踪的候选项进行筛选得到筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候选项包括如下步骤:
S21:根据所有所述基于检测的候选项和所述基于跟踪的候选项的置信度得分大小进行排序得到候选列表;
S22:选择置信度最高的所述基于检测的候选项和所述基于跟踪的候选项添加到最终输出列表中并从所述候选项列表中删除;
S23:计算置信度最高的所述基于检测的候选项和所述基于跟踪的候选项与其它候选项的边界框交并比并删除边界框交并比大于预设阈值的所述基于检测的候选项和所述基于跟踪的候选项;
S24:重复上述过程直至所述候选项列表为空,所述最终输出列表中即为筛选后的所述基于检测的候选项和所述基于跟踪的候选项。
5.如权利要求4所述的抗遮挡目标跟踪方法,其特征在于,所述预设阈值是0.3-0.5。
6.如权利要求1所述的抗遮挡目标跟踪方法,其特征在于,所述深度神经网络是以GoogLeNet为基础的网络,包括从输入层到inception-4e层,之后通过1×1的卷积层进行连接。
7.如权利要求6所述的抗遮挡目标跟踪方法,其特征在于,所述神经网络的训练的损失函数为:
ltriplet(Ii,Ij,Ik)=m+d(Ii,Ij)-d(Ii,Ik)
其中,Ii,Ij为来自同一身份的图片,Ii,Ik为来自不同身份的图片,d表示欧式距离,m为常数。
8.如权利要求1所述的抗遮挡目标跟踪方法,其特征在于,利用级联匹配算法计算相邻帧的目标匹配度包括如下步骤:
S51:获取第一帧的目标检测结果,并将其中每一个目标生成一条轨迹,得到初始轨迹集合 筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候选项组成的候选项集合 所述表观特征 并构建匹配到的所有候选项集合
未匹配的所有候选项集合
S52:将筛选后的所述基于检测的候选项 与所述初始轨迹集合 进行特征相似度计算,根据匹配结果更新所述匹配到的候选项集合 所述未匹配的候选项集合 所述初始轨迹集合
S53:将筛选后的所述基于跟踪的候选项 与更新后的所述初始轨迹集合 的目标边界框进行边界框交并比重合度匹配,根据匹配结果更新所述匹配到的候选项集合 所述未匹配的候选项集合
9.如权利要求8所述的抗遮挡目标跟踪方法,其特征在于,将所述匹配到的候选项集合中每一个候选项边界框与匹配到的所述初始轨迹集合 中的轨迹段进行连接;将所述未匹配的候选项集合 初始化成一条新的轨迹;对于所述初始轨迹集合 中未匹配到的轨迹段设为临时轨迹段,若在之后连续N帧内没有被匹配到,则认为所述临时轨迹段已经结束,并将其从所述初始轨迹集合 中删除;N取值为5~8。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-9任一所述方法的步骤。

说明书全文

一种抗遮挡目标跟踪方法

技术领域

[0001] 本发明涉及目标跟踪技术领域,尤其涉及一种抗遮挡目标跟踪方法。

背景技术

[0002] 近年来,随着深度神经网络的不断发展和GPU算的不断提升,基于深度学习的方法在计算机视觉任务上取得突破性进展。目标检测、目标识别、目标跟踪、行人重识别等计
算机视觉技术快速发展,在智能监控、人机交互虚拟现实增强现实、医疗影像分析等诸
多行业和领域中得到了广泛应用。
[0003] 多目标跟踪(Multi Object Tracking)是经典的计算机视觉任务,通过目标跟踪得到的感兴趣区域是进一步进行高层视觉分析的基础,目标跟踪的准确度将直接影响到计
算机视觉系统的性能。现有的多目标跟踪方法大都采用基于检测的跟踪(Tracking-by-
Detection),即基于目标检测器的检测结果下,对与帧之间来自相同目标的检测结果进
行运动轨迹关联。这种检测方法很大程度上依赖于检测结果。然而,在许多实际应用中,特
别是在拥挤的场景中,由于目标之间的交互、目标表观相似和频繁遮挡,检测器的检测结果
通常不够准确,从而严重的影响了跟踪的精度和性能。
[0004] 现有的多目标跟踪算法有的通过大规模数据集重新训练目标检测器以得到更为准确的检测结果,然而忽略了视频图像中的运动信息,方法不够高效。有的通过设计和训练
更深的神经网络进行特征提取,以得到更为鲁棒的目标特征,然而基于外观的特征很难解
决表观相似性问题,且很难保障算法的实时性能。综上所述,亟需提出新的用于解决目标遮
挡交互的抗遮挡目标跟踪方法。

发明内容

[0005] 本发明为了解决现有的问题,提供一种抗遮挡目标跟踪方法。
[0006] 为了解决上述问题,本发明采用的技术方案如下所述:
[0007] 一种抗遮挡目标跟踪方法,包括如下步骤:S1:将视频或图像序列按帧输入到目标检测器中得到目标检测结果,所述目标检测结果是基于检测的候选项,包括每帧图像中所
有目标的边界框及检测置信度;S2:根据所述目标检测结果利用联合检测跟踪框架对每帧
图像生成基于跟踪的候选项,所述联合检测跟踪框架是通过卡尔曼滤波器及相机运动补
偿,对检测结果进行跟踪运动估计,从而得到基于跟踪的候选项;S3:根据所述基于检测的
候选项和所述基于跟踪的候选项的置信度大小,运用非极大值抑制算法对所述基于检测的
候选项和所述基于跟踪的候选项进行筛选得到筛选后的所述基于检测的候选项和筛选后
的所述基于跟踪的候选项;S4:利用预训练好的深度神经网络提取当前帧所有筛选后的所
述基于检测的候选项和筛选后的所述基于跟踪的候选项的表观特征;S5:利用级联匹配算
法计算相邻帧的目标匹配度,包括:筛选后的所述基于检测的候选项对相邻帧的现有轨迹
进行表观特征相似度匹配;筛选后的所述基于跟踪的候选项与相邻帧的现有轨迹的目标边
界框进行边界框交并比重合度匹配;S6:根据所述相邻帧的目标匹配度,确定目标在当前帧
位置,从而输出目标运动轨迹。
[0008] 优选地,所述目标检测器是SDP目标检测器。
[0009] 优选地,所述置信度由以下置信度评分公式得到:
[0010]
[0011] 其中, 为第t-1帧的检测置信度, 为第t帧的跟踪置信度, 为待关联轨迹中所述基于检测的候选项的个数,Ntrk为上一次待关联轨迹中所述基于跟踪的候选项的
个数,I(·)为二值函数,当函数内为真时,值为1,否则为0,参数α是常数。
[0012] 优选地,运用非极大值抑制算法对所述基于检测的候选项和所述基于跟踪的候选项进行筛选得到筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候选项包括
如下步骤:S21:根据所有所述基于检测的候选项和所述基于跟踪的候选项的置信度得分大
小进行排序得到候选列表;S22:选择置信度最高的所述基于检测的候选项和所述基于跟踪
的候选项添加到最终输出列表中并从所述候选项列表中删除;S23:计算置信度最高的所述
基于检测的候选项和所述基于跟踪的候选项与其它候选项的边界框交并比并删除边界框
交并比大于预设阈值的所述基于检测的候选项和所述基于跟踪的候选项;S24:重复上述过
程直至所述候选项列表为空,所述最终输出列表中即为筛选后的所述基于检测的候选项和
所述基于跟踪的候选项。
[0013] 优选地,所述预设阈值是0.3-0.5。
[0014] 优选地,所述深度神经网络是以GoogLeNet为基础的网络,包括从输入层到inception4e层,之后通过1×1的卷积层进行连接。
[0015] 优选地,所述神经网络的训练的损失函数为:
[0016] ltriplet(Ii,Ij,Ik)=m+d(Ii,Ij)-d(Ii,Ik)
[0017] 其中,Ii,Ij为来自同一身份的图片,Ii,Ik为来自不同身份的图片,d表示欧式距离,m为常数。
[0018] 优选地,利用级联匹配算法计算相邻帧的目标匹配度包括如下步骤:S51:获取第一帧的目标检测结果,并将其中每一个目标生成一条轨迹,得到初始轨迹集合
筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候选项组成的候选项集合
所述表观特征 并构建匹配到的所有候选项集合 未匹配的所有
候选项集合 S52:将筛选后的所述基于检测的候选项 与所述初始轨迹集合 进
行特征相似度计算,根据匹配结果更新所述匹配到的候选项集合 所述未匹配的候选项
集合 所述初始轨迹集合 S53:将筛选后的所述基于跟踪的候选项 与更新后的所述
初始轨迹集合 的目标边界框进行边界框交并比重合度匹配,根据匹配结果更新所述匹配
到的候选项集合 所述未匹配的候选项集合
[0019] 优选地,将所述匹配到的候选项集合 中每一个候选项边界框与匹配到的所述初始轨迹集合 中的轨迹段进行连接;将所述未匹配的候选项集合 初始化成一条新的轨迹;
对于所述初始轨迹集合 中未匹配到的轨迹段设为临时轨迹段,若在之后连续N帧内没有
被匹配到,则认为所述临时轨迹段已经结束,并将其从所述初始轨迹集合 中删除。N取值
为5~8。
[0020] 本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
[0021] 本发明的有益效果为:提供一种抗遮挡目标跟踪方法,通过联合检测跟踪框架和级联匹配算法共同作用,可以在目标交互遮挡、检测器检测结果不准确时,通过联合联合检
测跟踪框架生成更优的候选项,进行目标级联匹配。解决目标交互遮挡时检测不准确的问
题,减少目标遮挡对跟踪效果的影响,从而实现目标遮挡时的准确跟踪。
[0022] 更进一步的,实现非常简单,计算开销较小,算法在GPU上可以达到30帧/秒的运算速度,可以实现实时跟踪。与传统的目标跟踪方法相比,本发明所需的计算开销少,抗遮挡
能力强,实时性高。
附图说明
[0023] 图1是本发明实施例中抗遮挡目标跟踪方法的示意图。
[0024] 图2是本发明实施例中获取筛选后的基于检测的候选项和筛选后的基于跟踪的候选项的方法示意图。
[0025] 图3是本发明实施例中利用级联匹配算法计算相邻帧的目标匹配度的方法示意图。

具体实施方式

[0026] 为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施
例仅仅用以解释本发明,并不用于限定本发明。
[0027] 需要说明的是,当元件被称为“固定于”或“设置于”另一个元件,它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件,它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外,连接既可以是用于固定
作用也可以是用于电路连通作用。
[0028] 需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
[0029] 此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
[0030] 如图1所示,本发明提供一种抗遮挡目标跟踪方法,包括如下步骤:
[0031] S1:将视频或图像序列按帧输入到目标检测器中得到目标检测结果,所述目标检测结果是基于检测的候选项,包括每帧图像中所有目标的边界框及检测置信度;
[0032] S2:根据所述目标检测结果利用联合检测跟踪框架对每帧图像生成基于跟踪的候选项,所述联合检测跟踪框架是通过卡尔曼滤波器及相机运动补偿,对检测结果进行跟踪
运动估计,从而得到基于跟踪的候选项;
[0033] 以第N帧为例,根据当前帧的SDP目标检测器输出的目标边界框位置作为第N帧基于检测的候选项。同时,将目标边界框的位置输入到卡尔曼滤波器中,估计目标边界框在下
一帧的位置,作为第N+1帧基于跟踪的候选项。
[0034] S3:根据所述基于检测的候选项和所述基于跟踪的候选项的置信度大小,运用非极大值抑制算法对所述基于检测的候选项和所述基于跟踪的候选项进行筛选得到筛选后
的所述基于检测的候选项和筛选后的所述基于跟踪的候选项;
[0035] S4:利用预训练好的深度神经网络提取当前帧所有筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候选项的表观特征;
[0036] 在本发明的一种实施例中得到的表观特征为512维深度特征;
[0037] S5:利用级联匹配算法计算相邻帧的目标匹配度,包括:筛选后的所述基于检测的候选项对相邻帧的现有轨迹进行表观特征相似度匹配;筛选后的所述基于跟踪的候选项与
相邻帧的现有轨迹的目标边界框进行边界框交并比重合度匹配;
[0038] S6:根据所述相邻帧的目标匹配度,确定目标在当前帧的位置,从而输出目标运动轨迹。
[0039] 在本发明的一种实施例中,所述目标检测器是SDP目标检测器。
[0040] 置信度由以下置信度评分公式得到:
[0041]
[0042] 其中, 为第t-1帧的检测置信度, 为第t帧的跟踪置信度,Ndet为待关联轨迹中所述基于检测的候选项的个数,Ntrk为上一次待关联轨迹中所述基于跟踪的候选项的
个数,I(·)为二值函数,当函数内为真时,值为1,否则为0,参数α是常数。
[0043] 在本发明的一种实施例中,α值为0.05。
[0044] 如图2所示,运用非极大值抑制算法对所述基于检测的候选项和所述基于跟踪的候选项进行筛选得到筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候选项
包括如下步骤:
[0045] S21:根据所有所述基于检测的候选项和所述基于跟踪的候选项的置信度得分大小进行排序得到候选列表;
[0046] S22:选择置信度最高的所述基于检测的候选项和所述基于跟踪的候选项添加到最终输出列表中并从所述候选项列表中删除;
[0047] S23:计算置信度最高的所述基于检测的候选项和所述基于跟踪的候选项与其它候选项的边界框交并比并删除边界框交并比大于预设阈值的所述基于检测的候选项和所
述基于跟踪的候选项;
[0048] S24:重复上述过程直至所述候选项列表为空,所述最终输出列表中即为筛选后的所述基于检测的候选项和所述基于跟踪的候选项。
[0049] 在本发明的一种实施例中,预设阈值是0.3-0.5。
[0050] 深度神经网络是以GoogLeNet为基础的网络,包括从输入层到inception4e层,之后通过1×1的卷积层进行连接。网络输入图片大小为160×80,输出目标特征为512维。该网
络在大规模行人重识别数据集上进行预训练,损失函数为:
[0051] ltriplet(Ii,Ij,Ik)=m+d(Ii,Ij)-d(Ii,Ik)
[0052] 其中,Ii,Ij为来自同一身份的图片,Ii,Ik为来自不同身份的图片,d表示欧式距离,m为常数。
[0053] 如图3所示,利用级联匹配算法计算相邻帧的目标匹配度包括如下步骤:
[0054] S51:获取第一帧的目标检测结果,并将其中每一个目标生成一条轨迹,得到初始轨迹集合 筛选后的所述基于检测的候选项和筛选后的所述基于跟踪的候
选项组成的候选项集合 所述表观特征 并构建匹配到的所有候选项集合
未匹配的所有候选项集合
[0055] S52:将筛选后的所述基于检测的候选项 与所述初始轨迹集合 进行特征相似度计算,根据匹配结果更新所述匹配到的候选项集合 所述未匹配的候选项集合 所述
初始轨迹集合
[0056] 在本发明的一种实施例中,采用匈牙利算法进行特征相似度匹配。
[0057] S53:将筛选后的所述基于跟踪的候选项 与更新后的所述初始轨迹集合 的目标边界框进行边界框交并比重合度匹配,根据匹配结果更新所述匹配到的候选项集合
所述未匹配的候选项集合
[0058] 在本发明的一种实施例中,采用匈牙利算法进行边界框交并比重合度匹配。
[0059] 更进一步的,将所述匹配到的候选项集合 中每一个候选项边界框与匹配到的所述初始轨迹集合 中的轨迹段进行连接;将所述未匹配的候选项集合 初始化成一条新的
轨迹;对于所述初始轨迹集合 中未匹配到的轨迹段设为临时轨迹段,若在之后连续N帧内
没有被匹配到,则认为所述临时轨迹段已经结束,并将其从所述初始轨迹集合 中删除,N
一般取值为5~8。
[0060] 在MOT17公开多目标行人跟踪数据集上,本发明的跟踪结果如下表所示。可以看到,在大多数指标中,特别是在F1得分、跟踪率、ID交换次数和精度中,都优于现有的其他技术,并且可以以实时速度运行。ID交换次数的改进表明,在目标发生交互、遮挡情况下,通过该方法提取的表观特征增强了跟踪器的识别能力,减少了跟踪的不准确性。假阳性和跟踪
率的改进表明了本发明的抗遮挡目标跟踪方法的有效性。
[0061] 表1试验结果
[0062] 方法 精度 F1得分 跟踪率 丢失率 假阳性 假阴性 ID交换次数 速度HISP 44.6 38.8 15.1% 38.8% 25,478 276,395 10,617 4.7
SORT 43.1 39.8 12.5% 42.3% 28,398 287,582 4,852 143.3
FPSN 44.9 48.4 16.5% 35.8% 33,757 269,952 7,136 10.1
MASS 46.9 46 16.9% 36.3% 25,773 269,116 4,478 17.1
OTCD 44.6 38.8 15.1% 38.8% 25,478 276,359 3,573 46.5
本发明 47.4 50.1 16.8% 37.2% 26,910 267,331 2,760 35.7
[0063] 本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序
在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机
程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间
形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、
记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器只读存储器(ROM,Read-Only 
Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件
分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法
专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机
可读介质不包括电载波信号和电信信号。
[0064] 以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说,在不脱
离本发明构思的前提下,还可以做出若干等同替代或明显变型,而且性能或用途相同,都应
当视为属于本发明的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈