一种多目标编号选定跟踪方法

阅读:615发布:2020-05-14

专利汇可以提供一种多目标编号选定跟踪方法专利检索,专利查询,专利分析的服务。并且本 发明 涉及一种基于 深度学习 的实时自主 跟踪 方法,提出了基于深度学习的 人工神经网络 的 计算机视觉 目标检测与计算机视觉目标跟踪 算法 ,可利用 高性能计算 单元运行神经网络的运算单元检测目标,而后运行目标跟踪算法对所有目标同时实现跟踪,并可以手工介入选择特定目标专注单人跟踪。相比较传统的单目标跟踪算法,传统单目标跟踪需要手动框选目标,但对于移动目标,框选时往往会因为操作延时导致框选失效。本算法避免了人工框选目标的操作延时导致的框选不准和目标偏离。本发明构建了“摄像头- 服务器 ”的架构,将摄像头中所有目标数据同时处理,实现全区域的多人跟踪和单人持续跟踪,实验结果表明,本发明能够实现实时的神经网络运算,进而结合目标跟踪算法,实现“检测、选人”两步跟踪效果。,下面是一种多目标编号选定跟踪方法专利的具体信息内容。

1.一种多目标编号选定跟踪方法,其特征在于:所述跟踪方法通过跟踪系统实现,所述跟踪系统由图像采集单元和计算机处理单元组成,所述图像采集单元用于采集图像,计算处理单元进行运算、检测和跟踪,所述方法包括:对目标检测与多目标跟踪,标注目标与选择目标跟踪单个目标,具体步骤如下:
(1)、对目标检测与多目标跟踪
所述目标检测:通过基于深度学习人工神经网络检测感兴趣的目标,取得目标在图像中对应的ROI(感兴趣区域);
对所有取得的目标进行跟踪并产生编号,同一目标在同一视内只有一个编号,且编号将跟随目标移动;
通过编号对特定目标进行选择,选定目标后对选定的多目标进行持续跟踪;
(2)标注目标与选择目标跟踪单个目标
运行目标跟踪算法跟踪单目标,在跟踪目标的同时,存储跟踪目标的图像
目标发生跨摄像头移动或其他情形导致跟踪算法丢失目标,则重新启动目标识别步骤找出所有可能目标的ROI并跟踪所有可能目标;
通过目标重识别算法,将所有ROI内的图像与跟踪目标的存储图像相比对,从众多ROI从选择最相近的ROI,重新初始化目标跟踪算法,重新跟踪目标。
2.根据权利要求1所述的方法,其特征在于:步骤(1)中所述目标检测与多目标跟踪具体步骤如下:
预先采集待跟踪目标各角度图像(如地面多监控摄像头跟踪图像),作为训练数据集,利用随机梯度下降算法迭代求解进行深度学习,构建目标检测神经网络;
通过图像采集单元采集图像,作为输入传输至计算处理单元,进行目标检测,获取所有待跟踪目标在当前帧中的ROI。
3.根据权利要求1所述的方法,其特征在于:所述的目标选择步骤具体包括:
得到所有待跟踪目标在当前帧中的ROI后给所有ROI固定编号;
通过目标跟踪算法,将ROI作为算法初始值输入,持续更新每个编号目标的ROI;
通过手动操作(键盘输入编号或鼠标选定编号)选择特定的目标;
关闭其他目标的跟踪进程,仅跟踪选定目标。
4.根据权利要求1所述的方法,其特征在于:所述图像采集单元为具有采集图像能且计算处理单元可访问的任何设备,所述任何设备为网络摄像头、USB摄像头或接入网络的拍摄无人机中任一种;所述计算处理单元为处理图像采集单元传入图像的任何设备,所述任何设备为个人微型计算机、服务器图像处理专用芯片中任一种。

说明书全文

一种多目标编号选定跟踪方法

技术领域

[0001] 本发明属于计算机视觉技术领域,具体涉及一种多目标编号选定跟踪方法。

背景技术

[0002] 随着平安城市及科技强警战略的推动,视频监控系统建设正逐步向规模化、网络化、智能化、实战化发展。现阶段,视频监控网络迅速铺开,但随着视频监控系统的规模扩大,其具有的海量数据也带来了处理的困难。当需要跟踪特定目标时,往往只能依靠人工观察监控画面。
[0003] 目标检测是机器视觉的重要研究内容。传统的目标检测流程首先在输入图像上定位出目标位置,然后对目标区域提取特征,最后用训练好的分类器对提取的特征进行分类,判定该区域是不是目标。该流程主要存在两个问题,一是时间复杂度高且窗口冗余,二是特征提取环节提取的特征是特征为人工设计,与任务相关,没有普适性。随着深度学习的兴起,基于神经网络的目标检测算法的准确率和运行速率都得到了很大的提升,可广泛应用于实际应用中。
[0004] 目标跟踪算法同样是机器视觉中的重要研究内容。现阶段各类目标跟踪算法层出不穷,其准确率与跟踪效果也是逐年提升。但是伴随其准确率的升高带来爆炸增长的计算量,使得近年来目标跟踪算法的运行速度降至几秒一,完全无法投入实际使用。而既满足实时性又有足够好的效果的跟踪算法则要追溯至2008开始兴起的相关滤波器(Correlation Filter)方法。

发明内容

[0005] 本发明的目的在于提出一种多目标编号选定跟踪方法。
[0006] 本发明的目的在于提出一种多目标编号选定跟踪方法,所述跟踪方法通过跟踪系统实现,所述跟踪系统由图像采集单元和计算机处理单元组成,所述图像采集单元用于采集图像,计算处理单元进行运算、检测和跟踪,所述方法包括:对目标检测与多目标跟踪,标注目标与选择目标跟踪单个目标,具体步骤如下:(1)、对目标检测与多目标跟踪
所述目标检测:通过基于深度学习的人工神经网络检测感兴趣的目标,取得目标在图像中对应的ROI(感兴趣区域);
对所有取得的目标进行跟踪并产生编号,同一目标在同一视内只有一个编号,且编号将跟随目标移动;
通过编号对特定目标进行选择,选定目标后对选定的多目标进行持续跟踪;
(2)标注目标与选择目标跟踪单个目标
运行目标跟踪算法跟踪单目标,在跟踪目标的同时,存储跟踪目标的图像帧;
目标发生跨摄像头移动或其他情形导致跟踪算法丢失目标,则重新启动目标识别步骤找出所有可能目标的ROI并跟踪所有可能目标;
通过目标重识别算法,将所有ROI内的图像与跟踪目标的存储图像相比对,从众多ROI从选择最相近的ROI,重新初始化目标跟踪算法,重新跟踪目标。
[0007] 本发明中,步骤(1)中所述目标检测与多目标跟踪具体步骤如下:预先采集待跟踪目标各角度图像(如地面多监控摄像头跟踪图像),作为训练数据集,利用随机梯度下降算法迭代求解进行深度学习,构建目标检测神经网络;
通过图像采集单元采集图像,作为输入传输至计算处理单元,进行目标检测,获取所有待跟踪目标在当前帧中的ROI。
[0008] 进一步的,所述的目标选择步骤具体包括:得到所有待跟踪目标在当前帧中的ROI后给所有ROI固定编号;
通过目标跟踪算法,将ROI作为算法初始值输入,持续更新每个编号目标的ROI;
通过手动操作(键盘输入编号或鼠标选定编号)选择特定的目标;
关闭其他目标的跟踪进程,仅跟踪选定目标。
[0009] 本发明中,采用基于卷积神经网络的目标检测方法,在给定训练集的情况下,卷积神经网络可以实现端对端学习,自动学习特征提取的参数和分类器参数,避免了人工设计特征环节的耗时和准确率低的弊端。同时,目前没有实时多目标跟踪系统,跟踪算法基本使用在离线视频中,且需要人工指定初始跟踪ROI。本发明采用目标检测与跟踪联动的方法,无需人工指定初始跟踪ROI即可直接开始跟踪。通过目标检测和多人跟踪算法,可以得到所有目标在图像采集区域的位置,并实时更新。该网络检测的目标可以涵盖很多类范围,如人体、车辆、船舶、建筑等等。
[0010] 2、标注目标与选择目标完成目标检测和多目标同步跟踪以后,本发明将会自动给每个跟踪目标标上编号,便于下一步选择持续跟踪的单一目标。而后通过键盘输入或鼠标选择的方法,选定持续跟踪目标。此步骤完成后,将停止对其余目标的跟踪,仅留下选定的跟踪目标。
[0011] 3、持续跟踪单个目标目标跟踪算法将会持续跟踪选定目标,并存储当前目标ROI的图像,当算法判定目标在视野中丢失(可能由于目标走出视野、被前景其他物品遮挡等多种因素造成),将会启动目标找回方法:首先在视野中重新运行目标检测算法与多目标跟踪算法,找出所有潜在的目标,而后启动目标重识别算法,将之前存储的目标ROI图像与现有的潜在目标进行比对,找出与之符合的目标。找回目标后自动选定此目标,继续持续跟踪此目标。
[0012] 本发明的有益效果在于:本发明构建了“摄像头-服务器”的架构,将摄像头中所有目标数据同时处理,实现全区域的多人跟踪和单人持续跟踪,实验结果表明,本发明能够实现实时的神经网络运算,进而结合目标跟踪算法,实现“检测、跟人、选人”三步跟踪效果。附图说明
[0013] 图1:本发明中实际系统结构与功能框图;图2是实施例1配套GUI上可以查看所有视角所有摄像头的画面和目标在画面中的位置及编号;
图3是实施例1中在图2的场景下,选择了目标3后显示的样子。

具体实施方式

[0014] 下面结合附图并通过具体实施实例对本发明做进一步详述,以下实施例只是描述性的,不是限定性的,不能以此限定本发明的保护范围。
[0015] 实施例1:一种多目标编号选定跟踪方法,以人体目标跟踪、网络摄像头与无人机摄像头为图像采集单位作为示例应用场景,具体步骤如下:1)目标检测与多人跟踪神经网络的构建
将目标检测与多人跟踪合并为一步,为了得到好的检测效果,测试时使用了微软的公开图像数据集COCO数据集及VOC2012数据集作为训练样本训练目标检测算法。利用随机梯度下降算法迭代求解。最后通过在采集的图片的数据集上进行训练和测试,得出检测的mAp可达60%,实际检测算法中,将多摄像头采集的图像进行拼合一次输入,以提升运算速度。同时启用多线程技术,同时启动多个跟踪进程,使跟踪多目标算法速度进一步提升。在实际运行场景中,运行速度可达每秒20fps以上,能满足实时性应用需求。
[0016] 2)系统工作流程系统启动时,通信框架自动启动,构建系统内通信回环。同时图像采集单元、计算处理单元自动启动并处于待命状态,等待进一步交互指令的发出。
[0017] 系统初始化完成并收到开始工作信号后,将自动检测并跟踪所有目标,并给所有目标标注编号,配套GUI上可以查看所有视角所有摄像头的画面和目标在画面中的位置及编号。如图2所示。
[0018] 通过GUI上的目标选择和确认键可以选定所有摄像头中的任一待选目标。选定后,持续跟踪算法会持续进行跟踪。例如,在图2的场景下,选择了目标3,显示将会变为图3所示的样子。
[0019] 同时可通过GUI中的重置键随时重置系统,系统将会自动回到检测和跟踪多目标的状态。
[0020] 上述实施方式仅以对人体类别目标的检测与网络摄像头与无人机采集图像为例作为本发明应用场景的一种具体实现,实际应用中可以将目标更换为其他类别如车辆、船舶等作为深度学习神经网络的训练集,可以将采集图像单元换为其他摄像头,可以选择更有针对性的数据集进行算法训练提升效果与性能。本系统在软件硬件上都实现模化设计,结构上灵活性强;功能上扩展性强,可以附加上更多功能如通信、控制外部设备等。
[0021] 综上,本发明能够有效地实现多视角持续跟踪。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈