首页 / 专利库 / 电信 / 跟踪 / 位置跟踪 / 一种基于抽帧检测的随机多目标自动检测跟踪方法

一种基于抽检测的随机多目标自动检测跟踪方法

阅读:1027发布:2020-08-21

专利汇可以提供一种基于抽检测的随机多目标自动检测跟踪方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于抽 帧 检测的随机多目标自动检测 跟踪 方法,属于数字 图像处理 领域与 机器学习 领域,具体涉及将目标检测与目标跟踪方法相结合的随机多目标自动检测跟踪方法。本发明将目标检测与目标跟踪融合到同一个系统中,兼顾了检测与跟踪的优势。利用所提出的初始帧查找法可以检测所有目标在视频序列中是何时出现的,从而能够自动检测到视频序列中任意帧出现的不同类别的目标并加以跟踪。利用更新器,考虑当前检测与跟踪的状态,可以对目标状态加以更新,做到及时纠错。,下面是一种基于抽检测的随机多目标自动检测跟踪方法专利的具体信息内容。

1.一种基于抽检测的随机多目标自动检测跟踪方法,该方法包括:
步骤1:将视频平均分为n段,再每段中随机抽样一帧,得到抽样帧序列f1,f2,…,fk,…,fn;
步骤2:对每个抽样帧,利用预训练的目标检测神经网络模型进行目标检测,记录每个抽样帧中经检测得到的每个目标的位置和类别,统计每帧的目标集合
步骤3:从第一个抽样帧开始,分析当前帧fk与前一抽样帧fk-1的目标集合 若在该帧有新目标出现,则利用初始帧查找法在该帧与前一个抽样帧之间寻找新目标出现的第一帧;按照此流程,依次在视频序列中找到所有目标出现的第一帧并记录;
步骤4:从已进行目标检测的第一帧开始,对当前帧中所有已检测到的目标初始化一个跟踪器,利用这些跟踪器跟踪这些目标直到下一个已进行目标检测的图像帧;将跟踪器的跟踪结果与该帧的目标检测结果输入更新器,输出当前帧所有目标的状态,再次初始化跟踪器继续跟踪;按照此流程直至视频的最后一帧,完成整个视频序列的跟踪。
2.如权利要求1所述的一种基于抽帧检测的随机多目标自动检测跟踪方法,其特征在于步骤2所述的预训练的目标检测神经网络模型建立过程如下:
步骤2.1:收集大量包含要跟踪的目标的图像,对图像中的所有目标进行标注,制作成数据集,数据集分为训练集,验证集和测试集;
步骤2.2:选择对所选目标进行检测的目标检测神经网络结构,将制作好的训练集和验证集输入网络进行训练;
步骤2.3:用测试集对训练好的网络进行测试,最终得到检测准确率符合要求的目标检测网络,用于后续跟踪前的检测。
3.如权利要求1所述的一种基于抽帧检测的随机多目标自动检测跟踪方法,其特征在于步骤3所述的分析fk帧与fk+1帧之间是否有新目标出现的方法为:
假设经检测获得的第fk,fk+1帧的所有目标集合为
其中每个集合内部元素的顺序按照每个目标的坐标排序;对
于当前帧fk+1中的每一个元素qj,在前一帧集合 中寻找是否有与其对应的元素pi,若不存在则目标qj为新增目标。
4.如权利要求1所述的一种基于抽帧检测的随机多目标自动检测跟踪方法,其特征在于步骤3所述的初始帧查找法具体方法为:
设第fk帧中进行目标检测后获得的目标集合为 第fk+1帧中
进行目标检测后获得的目标集合为 设fk+1帧相比fk帧新增了
目标qn,此时需要查找qn出现的第一帧fm;取fk与fk+1的中值,即取fa=(fk+fk+1)/2帧,对该帧利用目标检测网络进行检测;若得到的目标集合为 与前述方法
相同,寻找 中是否存在与目标qn对应的元素;若存在说明要寻找的帧fk在,则说明fa5.如权利要求1所述的一种基于抽帧检测的随机多目标自动检测跟踪方法,其特征在于步骤4中所述的更新跟踪状态的方法为:
假设当前第k帧已在前述步骤中进行了目标检测且检测得到的目标集合为
所有跟踪器在当前帧的跟踪结果集合为 对
于 中每一个元素di,在 中寻找与其对应的元素tj,若不存在这样的元素直接将di加入结果集合Tr。设tj是与di对应的元素,其相似距离为s,则根据以下公式计算其选择系数b;
b=con(tj)×r-con(di)×(1-r)
其中,con()为该目标检测/跟踪时的置信度,r为设定的系数,表示检测与跟踪的结果哪个接受度更高,r∈(0,1);
如果b>0,说明此时跟踪结果的可信度更高,更新结果为
如果b<0,说明此时检测结果的可信度更高,更新结果为
最终将更新结果r加入集合Tr,按照该方式更新直到遍历集合 完成当前帧所有目标状态的更新。
6.如权利要求1所述的一种基于抽帧检测的随机多目标自动检测跟踪方法,其特征在于所述对于当前帧fk+1中的每一个元素qj,在前一帧集合 中寻找是否有与其对应的元素pi的方法为:
设当前帧fk+1中的某一个元素qj为a,在前一帧集合 为T;既对于元素a,在集合T中寻找是否有其对应元素的方法为:
假设集合T={t1,t2,…,ti,…,tm},对于集合中的元素ti,根据检测结果得到其对应图像内坐标为 而元素a对应的目标坐标为(xa,ya),则a与ti的相似距离定义为:
其中,label()为该目标所属的类别;最终结果s越小,则两个元素越相似;如果在集合T中存在元素ti使得s(ti)阈值,该阈值为目标面积大小的3.2倍。

说明书全文

一种基于抽检测的随机多目标自动检测跟踪方法

技术领域

[0001] 本发明属于数字图像处理领域与机器学习领域,具体涉及将目标检测与目标跟踪方法相结合的随机多目标自动检测跟踪方法。

背景技术

[0002] 无论是在军用还是民用中,目标的检测跟踪都具有广泛的应用场景。目标的检测跟踪作为图像处理技术中的重要组成,包含目标检测和目标跟踪两个子任务。目标检测就是在图像中检测出目标物体并将其分类的过程。目标跟踪技术就是以视频序列的某一帧为起点,利用手动选定或者检测器给出的跟踪目标,在后续帧中不断得到目标的运动状态的过程。
[0003] 单独使用检测方法虽然能很好地得到所有目标的位置并且标注其类别,但是检测的处理速度偏慢。单独使用跟踪方法首先需要手动给定要跟踪的目标初始位置,其次对于新出现的目标无法进行处理,虽然速度较快,但是无法应对实际场景。因此需要寻找一种结合检测与跟踪的方法,从而兼顾两者优势,能应用到复杂的任务中。
[0004] 已有许多专利对跟踪检测方法进行了研究。《一种智能的多目标检测跟踪方法》108664930A,《一种视频中目标检测跟踪方法》108986143A,《一种多目标检测跟踪方法、电子设备及存储介质》108121945A等专利中都是采用基于单帧检测以及匹配的跟踪方法,并没有真正使用到跟踪方法,浪费了帧间信息,因此检测速度较慢。而《一种面向无人艇应用的面目标检测跟踪一体化方法》106960446A等专利结合了检测与跟踪方法,但是采用相隔固定帧进行检测的方法,不能保证检测到任意帧出现的目标。

发明内容

[0005] 为了解决现有技术的不足,本发明的目的在于提出一种基于抽帧检测的随机多目标自动检测跟踪方法。
[0006] 本发明针对这些问题所采取的技术方案为:一种基于抽帧检测的随机多目标自动检测跟踪方法,该方法包括:
[0007] 步骤1:将视频平均分为n段,再每段中随机抽样一帧,得到抽样帧序列f1,f2,…,fk,…,fn;
[0008] 步骤2:对每个抽样帧,利用预训练的目标检测神经网络模型进行目标检测,记录每个抽样帧中经检测得到的每个目标的位置和类别,统计每帧的目标集合
[0009] 步骤3:从第一个抽样帧开始,分析当前帧fk与前一抽样帧fk-1的目标集合若在该帧有新目标出现,则利用初始帧查找法在该帧与前一个抽样帧之间寻找新目标出现的第一帧;按照此流程,依次在视频序列中找到所有目标出现的第一帧并记录;
[0010] 步骤4:从已进行目标检测的第一帧开始,对当前帧中所有已检测到的目标初始化一个跟踪器,利用这些跟踪器跟踪这些目标直到下一个已进行目标检测的图像帧;将跟踪器的跟踪结果与该帧的目标检测结果输入更新器,输出当前帧所有目标的状态,再次初始化跟踪器继续跟踪;按照此流程直至视频的最后一帧,完成整个视频序列的跟踪。
[0011] 进一步的,步骤2所述的预训练的目标检测神经网络模型建立过程如下:
[0012] 步骤2.1:收集大量包含要跟踪的目标的图像,对图像中的所有目标进行标注,制作成数据集,数据集分为训练集,验证集和测试集;
[0013] 步骤2.2:选择对所选目标进行检测的目标检测神经网络结构,将制作好的训练集和验证集输入网络进行训练;
[0014] 步骤2.3:用测试集对训练好的网络进行测试,最终得到检测准确率符合要求的目标检测网络,用于后续跟踪前的检测;
[0015] 进一步的,步骤3所述的分析fk帧与fk+1帧之间是否有新目标出现的方法为:
[0016] 假设经检测获得的第fk,fk+1帧的所有目标集合为Tfk={p1,p2,…,pi,…,pm},其中每个集合内部元素的顺序按照每个目标的坐标排序;对于当前帧fk+1中的每一个元素qj,在前一帧集合 中寻找是否有与其对应的元素pi,若不存在则目标qj为新增目标。
[0017] 进一步的,所述对于当前帧fk+1中的每一个元素qj,在前一帧集合 中寻找是否有与其对应的元素pi的方法为:
[0018] 设当前帧fk+1中的某一个元素qj为a,在前一帧集合 为T;既对于元素a,在集合T中寻找是否有其对应元素的方法为:
[0019] 假设集合T={t1,t2,…,ti,…,tm},对于集合中的元素ti,根据检测结果得到其对应图像内坐标为 而元素a对应的目标坐标为(xa,ya),则a与ti的相似距离定义为:
[0020]
[0021] 其中,label()为该目标所属的类别;最终结果s越小,则两个元素越相似;如果在集合T中存在元素ti使得s(ti)阈值,该阈值为目标面积大小的3.2倍。
[0022] 进一步的,步骤3所述的初始帧查找法具体方法为:
[0023] 设第fk帧中进行目标检测后获得的目标集合为 第fk+1帧中进行目标检测后获得的目标集合为 设fk+1帧相比fk帧新增
了目标qn,此时需要查找qn出现的第一帧fm;取fk与fk+1的中值,即取fa=(fk+fk+1)/2帧,对该帧利用目标检测网络进行检测;若得到的目标集合为 与前述方
法相同,寻找 中是否存在与目标qn对应的元素;若存在说明要寻找的帧fk存在,则说明fa
[0024] 进一步的,步骤4中所述的跟踪器的建立方法为:
[0025] 跟踪器可以从速度、准确率方面考虑传统方法或者深度学习方法,根据具体需要选择合适的方法。根据当前输入的目标状态从图像中将其裁取作为模板,从而完成跟踪器的初始化。
[0026] 进一步的,步骤4中所述的更新跟踪状态的方法为:
[0027] 假设当前第k帧已在前述步骤中进行了目标检测且检测得到的目标集合为所有跟踪器在当前帧的跟踪结果集合为 对于 中每一个元素di,在 中寻找与其对应的元素tj,若不存在这样的元素直接将di加入结果集合Tr。设tj是与di对应的元素,其相似距离为s,则根据以下公式计算其选择系数b;
[0028] b=con(tj)×r-con(di)×(1-r)
[0029] 其中,con()为该目标检测/跟踪时的置信度,r为设定的系数,表示检测与跟踪的结果哪个接受度更高,r∈(0,1);
[0030] 如果b>0,说明此时跟踪结果的可信度更高,更新结果为
[0031]
[0032] 如果b<0,说明此时检测结果的可信度更高,更新结果为
[0033]
[0034] 最终将更新结果r加入集合Tr,按照该方式更新直到遍历集合 完成当前帧所有目标状态的更新。
[0035] 本发明的技术效果在于:
[0036] 将目标检测与目标跟踪融合到同一个系统中,兼顾了检测与跟踪的优势。利用所提出的初始帧查找法可以检测所有目标在视频序列中是何时出现的,从而能够自动检测到视频序列中任意帧出现的不同类别的目标并加以跟踪。利用更新器,考虑当前检测与跟踪的状态,可以对目标状态加以更新,做到及时纠错。附图说明
[0037] 图1是一种自动目标检测跟踪方法流程图
[0038] 图2是一种自动目标检测跟踪方法详细流程图,
[0039] 图3是目标抽帧检测示意图,
[0040] 图4是初始帧查找法示意图,
[0041] 图5是跟踪与更新流程示意图。

具体实施方式

[0042] 为了更清晰地说明本发明的技术流程,下面结合附图对本发明做进一步阐述。
[0043] 如图1与图2所示本方法分为四个步骤:
[0044] 步骤1:对视频进行分段抽样,得到若干个抽样帧f1,f2,…,fk,…,fn;
[0045] 步骤2:如图3所示,对每个抽样帧,利用预训练的目标检测神经网络模型进行目标检测,记录每个抽样帧中经检测得到的每个目标的位置和类别,统计每帧的目标集合[0046] 步骤3:从第一个抽样帧开始,分析当前帧fk与前一抽样帧fk-1的目标集合若在该帧有新目标出现,则利用初始帧查找法在该帧与前一个抽样帧之间寻找新目标出现的第一帧。按照此流程,依次在视频序列中找到所有目标出现的第一帧并记录;
[0047] 步骤4:如图5所示,从已进行目标检测的第一帧开始,对当前帧中所有已检测到的目标初始化一个跟踪器,利用这些跟踪器跟踪这些目标直到下一个已进行目标检测的图像帧。将跟踪器的跟踪结果与该帧的目标检测结果输入更新器,输出当前帧所有目标的状态,再次初始化跟踪器继续跟踪。按照此流程直至视频的最后一帧,完成整个视频序列的跟踪。
[0048] 其中,步骤2所述的预训练的目标检测神经网络模型建立过程如下:
[0049] 步骤1:收集大量包含待跟踪的目标的图像,图像应当具有多样性,即包含待跟踪目标多种状态的图像。对图像中的所有目标进行标注,制作成数据集;
[0050] 步骤2:选择适合对所选目标进行检测的目标检测网络结构,比如检测效果较好的SSD或YOLO方法。将制作好的训练集和验证集输入网络进行训练;
[0051] 步骤3:用测试集对训练好的网络进行测试,最终得到检测准确率符合要求的目标检测网络,一般准确率应当不低于80%。该检测器用于后续跟踪前的检测;
[0052] 进一步的,步骤3所述的分析fk帧与fk+1帧之间是否有新目标出现的过程如下:
[0053] 假设经检测获得的第fk,fk+1帧的所有目标集合为其中每个集合内部元素的顺序按照每个目标的坐标排序。对
于当前帧fk+1中的每一个元素qj,在前一帧集合 中寻找是否有与其对应的元素pi,若不存在则目标qj为新增目标。
[0054] 其中,步骤3所述的初始帧查找法类似于中值查找法,如图4所示。该方法的具体过程如下:
[0055] 假设第fk帧中进行目标检测后获得的目标集合为 第fk+1帧中进行目标检测后获得的目标集合为 经前述方法,fk+1
帧相比fk帧新增了目标qn,此时需要查找qn出现的第一帧fm。取fk与fk+1的中值,即取fa=(fk+fk+1)/2帧,对该帧利用目标检测网络进行检测。若得到的目标集合为
与前述方法相同,寻找 中是否存在与目标qn对应的元素。若存
在说明要寻找的帧fk若 中存在与目标qn对应的元素,若存在,则说明fa
[0056] 其中,步骤4中所述的跟踪器的建立方法为:
[0057] 跟踪器可以从速度、准确率方面考虑传统方法或者深度学习方法,可以采用相关滤波跟踪器或者SiamFC类跟踪器。
[0058] 以SiamFC跟踪器为例,首先按照SiamFC跟踪方法的原理构造网络结构。自己制作跟踪数据集对网络进行训练,或者直接使用其他人以及训练好的跟踪网络。将初始帧以及初始目标状态输入网络,随后输入下一帧即可开始进行跟踪。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈