技术领域
[0001] 本
发明属于
计算机视觉技术领域，具体涉及一种移动目标检测并追踪系统及其方法，尤其涉及一种通过计算机视觉实现的移动目标追踪系统。
背景技术
[0002] 目标检测与
跟踪是近年来学术界和工业界研究的一个重要方向。尤其在车辆辅助驾驶系统中的应用，因为其有重要应用价值而成为当前计算机视觉和自动驾驶领域最为活跃的研究课题。除此之外，目标检测和追踪在安防、交通和游戏等领域有着较大的可用空间和潜在意义。
[0003] 由于在目标检测过程中受具体个体间差异的影响(例如，移动检测中
姿态和服装变化显著的移动)、而且检测目标所在背景也在持续变化(例如，追踪快速奔跑的移动)，因此这就对检测与追踪
算法的鲁棒性要求很高。其次，目标检测/追踪系统通常需要对目标动作即刻作出反应，这就需要对系统的尺寸和功耗加以考虑。
[0004] 虽然经过多年的研究与积累，视觉目标检测与追踪算法已经有了很大的进步，但在已有的技术中还是缺少一种实现检测算法的鲁棒性与实时性的同时，还能够满足小型性和低功耗要求的目标检测/追踪系统。因此，目标检测和跟踪系统如何在诸如移动装置、
汽车、
机器人和手机等移动端获得广泛应用仍然是业内的一个研究热点。
发明内容
[0005] 发明目的：为了克服
现有技术中存在的不足，本发明提供一种移动目标检测并追踪系统及其方法，采用能够在逻辑
硬件上高效实现的算法来构造移动目标检测与追踪模
块的至少一部分，由此在满足算法鲁棒性的同时提升计算效率，还能够进一步地减少系统功耗，为系统的小型化应用奠定
基础。
[0006] 技术方案：为实现上述目的，本发明采用的技术方案为：
[0007] 一种移动目标检测并追踪系统，包括依次连接的摄像头采集模块、移动目标检测模块、移动目标跟踪模块以及控
制模块，所述摄像头采集模块还与移动目标跟踪模块连接；其中，所述移动目标检测模块和移动目标跟踪模块这两部分是通过逻辑
硬件实现的，所述逻辑硬件为GPU；首先摄像头采集模块获取摄像头的每一
帧图片，然后将该帧图片传到目标检测模块，目标检测模块通过之前基于GPU训练的网络检测这一帧图片中的目标物体，并将检测结果发送给移动目标跟踪模块，移动目标跟踪模块根据检测结果确定追踪目标，并将追踪目标信息发送给
控制模块，由控制模块控制追踪。
[0008] 进一步的，所述移动目标检测模块包括移动目标检测算法模块，所述检测算法采用基于
深度学习的目标检测算法SSD来检测当前视频图像帧中包括移动目标的图像。
[0009] 进一步的，所述移动目标检测模块的移动检测前期需要基于深度学习目标检测算法SSD，在caffe架构下训练相关移动目标数据集，将训练好的网络模型直接用于移动检测模块，在训练过程中通过逻辑硬件GPU
加速训练。逻辑硬件GPU加速训练，提升了训练速度，在实时检测中，准确度也有提高。
[0010] 进一步的，所述基于深度学习的目标检测算法SSD模块的对目标数据的神经网络训练通过逻辑硬件实现。
[0011] 进一步的，所述移动目标追踪模块包括傅里叶变换单元、傅里叶逆变换单元、点乘单元和点除单元，其中至少所述傅里叶变换单元、傅里叶逆变换单元和点乘单元中通过逻辑硬件实现。
[0012] 进一步的，所述移动目标跟踪模块采取核心化相关
滤波器即KCF算法进行目标追踪；所述移动目标追踪模块基于当前视频图像帧中的移动目标以及移动目标在当前视频图像帧中的坐标追踪目标，获取移动目标信息，包括移动目标的
位置和尺寸。
[0013] 进一步的，KCF算法构成追踪算法模块，在所述追踪算法模块之前设置图像特征提取模块，所述图像特征提取模块从局部图中提取与目标相关的图像特征，并且将这些图像特征输入追踪算法模块。
[0014] 进一步的，所述摄像头采集模块通过基于opencv函数库相关程序完成视频的采集，并对图像进行包括降噪在内的预处理，以25帧/秒的速度将每一帧图像送到移动目标检测模块。
[0015] 进一步的，所述摄像头采集模块通过通用处理器的
嵌入式系统实现，所述移动目标检测模块、移动目标追踪模块均通过通用处理器的嵌入式系统和逻辑硬件实现，所述嵌入式系统为英伟达的Jerson TX2开发系统；各个模块之间的通信通过
机器人操作系统ROS以
节点的形式来实现，每一个模块就是一个节点，通过发送消息和订阅消息来完成信息的发送和接受。
[0016] 一种移动目标检测并追踪系统的方法，基于当前视频图像帧中包含目标的图像以及当前视频图像帧中的坐标，预测下一视频图像帧中包含所述目标的坐标，具体包括以下步骤：
[0017] 1)摄像头采集模块实现实时采集摄像头的每一帧图片，作为移动目标检测模块和移动目标跟踪模块的实时图像数据输入；
[0018] 2)移动目标检测模块实现对移动目标的检测识别，并将待跟踪的移动目标的原始坐标信息传输给移动目标跟踪模块，包括移动目标的位置和尺寸；
[0019] 3)移动目标跟踪模块实现对移动目标的跟踪，并将跟踪目标实时坐标发送给控制模块实现实时追踪；
[0020] 4)控制模块实现控制移动装置的运动姿态，对追踪目标进行实时的追踪并保证移动装置平稳运行。
[0021] 有益效果：本发明提供的移动目标检测并追踪系统及其方法，通过使用逻辑硬件，尤其是GPU实现至少一部分的目标检测与追踪功能，就能够充分利用逻辑硬件并行性和低功耗的特点，实现目标的快速检出和准确追踪，并能够进一步降低追踪系统的尺寸。
附图说明
[0022] 图1示出了根据本发明一个
实施例的目标追踪系统的示意图。
[0023] 图2示出了根据本发明一个实施例的移动目标检测模块的示意图。
[0024] 图3示出了根据本发明一个实施例的移动目标跟踪模块的组成示意图。
[0025] 图4示出了根据本发明一个实施例的控制模块的示意图。
[0026] 图5示出了根据本发明一个实施例的目标追踪系统的运行原理图。
具体实施方式
[0027] 下面结合附图对本发明作更进一步的说明。
[0028] 人类一个重要的努
力的方向就是用机器代替人力，而视觉目标检测与跟踪是机器智能重要的一部分。在视觉目标检测与跟踪应用中，大量的
数据处理导致系统实时性不足的问题是制约其发展的关键因素。国内外研究机构为了解决这一难题，主要从两方面来：一是采用高性能的处理器，二是提出新的视觉处理算法，并以就此发表了相当数量论文。面对世界范围内如火如荼的视觉技术研究，本发明的
发明人独辟蹊径，利用现成的逻辑硬件处理器用
软件实现的目标检测和追踪的至少一部分功能。由此，利用逻辑硬件并行运算和功耗低的特点，实现能够满足实际应用的实时检测和追踪系统，并将系统功耗维持在相当低并能实现小型化的
水平。
[0029] 图1示出了根据本发明一个实施例的目标追踪系统的示意图。目标追踪系统通过对输入的视频图像流中的各个视频图像帧进行的处理和计算，能够实时或近实时地实现对视频中一个或多个目标的追踪。
[0030] 目标追踪系统包括目标追踪模块，如图1所示，目标追踪模块有至少一部分在逻辑硬件上实现，并且目标追踪模块基于当前视频图像帧中包含目标的局部图以及局部图在当前视频图像帧中的坐标，预测下一视频图像帧中包含该目标的局部图的坐标。
[0031] 由于基于图像的目标检测算法需要很高的计算并行度，在现有技术中心采用通用处理器(CPU)实现方案会带来很大的性能、功耗和成本代价，虽然在处理器性能持续发展的今天，单凭在处理器上实现的目标检测仍然很难符合移动端产品对计算资源小、功耗低、成本低的要求。相比之下，本发明使用本身适用于并行的计算的逻辑器件(GPU)来实现至少一部分的目标追踪功能，能够大幅度降低系统的功耗，使得本发明的目标追踪系统尤其适用于部分可移动设备。在一个实施例中，逻辑硬件上的输入和输出都为定点数，从在满足逻辑硬件固有的运行要求的同时，大幅减小计算量，并相应地提升计算效率。
[0032] 图2示出了根据本发明一个实施例的移动目标检测模块的示意图。移动目标检测系统通过摄像头传输过来的每一帧图像，通过之前训练好的SSD网络，基于深度学习caffe架构来进行移动目标的检测，然后输出检测目标的原始坐标信息，然后传输给目标跟踪模块。
[0033] 图3示出了根据本发明一个实施例的移动目标追踪模块的示意图。移动追踪系统通过移动目标检测模块输出的原始目标坐标信息，通过KCF跟踪算法，计算出移动目标新坐标，然后输出给控制模块。
[0034] 图4示出了根据本发明一个实施例的移动装置运动控制模块，该模块通过目标追踪模块输出的目标新坐标，通过目标位置计算和Kalman滤波算法，然后控制运动姿态，实时追踪移动目标。
[0035] 具体地，目标检测模块可以用于在当前视频图像帧中检测包含目标的局部图，即，用于实现如上所述的感兴趣区域移动的检测/
定位功能。移动局部图的检测包括确定该移动在视频图像帧中的坐标。
[0036] 另外，图像输入模块则可根据移动在当前视频图像帧中的坐标，从当前视频图像帧中截取局部图，并将该局部图输入到目标追踪模块。在目标检测模块和图像输入模块同时存在的系统中，图像输入模块可以用于将目标检测模块定位/检测出的局部图送入目标追踪模块。虽然图2中同时示出了只有移动目标检测模块，但应该理解的是，仅包括目标检测模块、仅包括图像输入模块或者是包括这两者的情况可以分别对应于本发明的不同实施例，并且都能够实现本发明的至少部分提升计算效率并降低功耗的有益效果。
[0037] 通常情况下，目标检测模块在检测开始时检测出包含有目标的移动局部图并由图像输入模块将局部图送入目标追踪模块。随后，目标检测模块可以保持空闲，目标追踪模块则可以自行预测包含同一目标的下一局部图的坐标并持续进行后续的目标追踪。
[0038] 但是某些情况下，仍需要目标检测模块进行移动局部图的检出。例如，在接收到来自用户的输入指令时，或者系统判定目标丢失时。另外，有些系统还会规定定时重检，即在距离上次将当前视频图像帧输入到目标检测模块已过去预定时间段的情况下，由目标检测模块重新检测局部图。
[0039] 优选地，为了减小追踪算法模块需要计算的数据维数，目标追踪模块还可以在追踪算法模块之前设置图像特征提取模块。图像特征提取模块从局部图中提取与目标相关的图像特征，并且将这些图像特征输入追踪算法模块。通过图像特征提取能够得到反映模式本质属性的特征，因此能够大大方便后续追踪算法对特定目标的追踪。
[0040] 如上已经结合图1-图4描述了根据本发明的目标追踪系统的模块构成例。应该理解的是，本领域技术人员可以对上述实施例中的各类特征进行不同的排列组合以符合实际应用的需要。这些不同的组合都位于本发明所附
权利要求涵盖的范围内。
[0041] 如下，我们见结合具体的算法应用来描述本发明的原理，尤其是根据具体应用来灵活划分软硬件任务，由此实现实时、准确且尽可能低功耗并紧凑的目标检测系统。
[0042] 如上所述，在本发明的一些实施例中，目标追踪系统可以包括目标检测模块，用于从当前图像
视频帧中检测出包括目标的局部图。在现有技术中，局部图的划分通常分为基于运动、基于距离、基于图像特征和基于摄像机参数四种方法。其中，基于图像特征的方法指通过检测与目标相关的图像特征从而得到局部图，并且由于其适用范围广并且结果鲁棒而得到越来越广泛的应用。
[0043]
人工神经网络(Artificial Neural Networks,ANN)也简称为神经网络(NNs)，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。近年来神经网络发展速度很快，被广泛应用于很多领域，包括
图像识别、
语音识别，
自然语言处理，天启预报，基因表达，内容推送等等。在学术界和工业界已经证明，经过海量数据的训练，神经网络算法可以获得很高的目标检测
精度。对于本发明的技术方案，使用一种基于
卷积神经网络算法的深度学习SSD算法进行基于图像特征的目标检测是一个很好的选择。因此，在一个实施例中，本发明的目标检测模块采取深度学习SSD算法来检测当前视频图像帧中包括目标的局部图。此外，由于SSD进行的是分布式地并行计算，因此，通过逻辑硬件，尤其是GPU来实现目标检测功能具有天然的计算优势，并且相比于软件执行，能够实现更低的功耗。
[0044] SSD从本质上来讲是一种分类器，其从输入的图像中提取的
像素值和/或特征值，并输出某一物体是否为特定目标的一个判断。很多情况下，给出的是该物体为特定目标的概率值。在本发明中，可以使用一系列正负样本训练来对目标检测模块进行训练、在训练之后，SSD就可以对输入的图像帧(未知样本)进行处理，以一定的概率确定包含目标的移动局部图。
[0045] 在一个实施例中，图像特征提取模块采取方向梯度直方图(HOG)算法进行图像特征提取。在具体应用中，例如在移动检测和追踪中，可以在移动的头部及四肢等重点区域计算HOG，从而在检测率基本不变的情况下，有效地减少了向量维数以大幅度提升检测速度。
[0046] 由图像特征提取模块所提取的图像特征随后可以输入通过核心化相关滤波器(KCF)算法实现的追踪算法模块，由此实现对目标的实时追踪。图像特征提取模块的全部以追踪算法模块的至少一部分通过逻辑硬件实现。优选地，追踪算法模块可以包括傅里叶变换单元、傅里叶逆变换单元、点乘单元和点除单元。其中尤其适用于逻辑硬件实现的傅里叶变换单元、傅里叶逆变换单元和点乘单元通过逻辑硬件实现。在一个实施例中，点除单元可以由软件实现。在另一个实施例中，如果逻辑硬件资源足够，也可以在逻辑硬件上实现上述点除单元。
[0047] 在一个实施例中，本发明的目标追踪系统可以在包括通用处理器和逻辑硬件的嵌入式系统上实现。其中，逻辑硬件优选GPU。例如，本发明的技术方案可由包括GPU和ARM核的英伟达的Jerson TX2嵌入式系统上实现。
[0048] 在具体应用中，诸如图像输入模块更适用于软件实现的功能可由通用处理器通过软件编程实现。例如，通用处理器中可以包括软件实现的
控制器模块。控制器可用于控制整个系统的运转，如视频图像的输入输出、模块调用控制等。因此，该控制器模块可以实现上述图像输入和/或目标丢失判断功能。
[0049] 由SSD实现的目标检测功能优选由逻辑硬件实现。目标追踪模块的功能则优选至少一部分由逻辑硬件实现。在目标跟踪模块包括图像特征提取模块(例如，HOG算法)和追踪算法模块(KCF)的情况下，例如可以根据逻辑硬件的使用情况将图像特征提取模块的全部以及追踪算法模块的一部分在逻辑硬件上实现。
[0050] 由此，通过对算法的创造性选择(即，使用SSD进行目标检测，HOG进行特征提取，并且使用KCF进行目标坐标的追踪)，并且在软硬件上灵活恰当地分配运算(例如，将适于并行运算的算法至少部分在逻辑硬件上实现，而例如控制等更适于软件实现的功能则由处理器实现)，能够以更高的功效实现目标的实时精确检测与追踪。由于检测和追踪的效率更高，在一个实施例中，本发明的目标追踪系统还适用于对多个目标的追踪。例如，对于一个具有200fps处理能力的系统而言，该目标追踪系统可以例如根据输入的视频图像帧速来实现例如以20fps的精度对10个目标的同时追踪。另外，需要澄清的是，本发明的目标追踪模块可以根据当前帧的局部图及其坐标预测下一帧的局部图坐标。这里的“下一帧”指代的是输入系统中以供针对该特定目标进行处理的“下一”帧，而非图像拍摄源所拍摄的下一帧或是简单送入该系统的下一帧。
[0051] 如上结合附图和具体算法描述了本发明的原理。基于图像的目标检测算法需要计算并行度很高。现有的技术方案中通常采用神经网络算法，在通用处理器(CPU)来实现，然而这会带来很大的性能、功耗和成本代价，尤其无法适应移动端产品的计算量小、能耗低、成本低的要求，从而给移动产品上实现跟踪监测带来很大困难。基于图像的目标追踪算法和检测算法总体的运算量很大，在考虑性能、成本、计算资源和功耗的条件下，单独使用处理器或是单独使用GPU都很难实现一个优质的目标检测/追踪系统。
[0052] 本
申请在基于Jerson TX2嵌入式系统提出一种以灵活划分软硬件计算任务为前提，实现高效灵活的控制逻辑和计算性能，以深度学习算法(SSD)和追踪算法(KCF)为基础的，完整的目标检测和追踪系统。在移动端产品上，可以实现满意的性能，并将成本和功耗维持在较低水平。另外，由于本申请的技术方案能够以少量计算资源获得高性能，因而还适用于非移动端产品(如
服务器)，以便在更多的计算资源下，可以实现更高的追踪性能。
[0053] 实施例
[0054] 如下将结合图5描述根据本发明的一个具体应用。图5示出了根据本发明一个实施例的目标追踪系统的运行原理图。图5示出了的系统能够以很小的硬件资源消耗实现高性能的实时目标检测与追踪。具体地，该系统可以是一种基于GPU的嵌入式系统的实时目标检测和跟踪的软硬件协同系统，其中在GPU上的输入和输出可以皆为定点，以便进一步简化计算并提示计算效率。该系统包含：目标检测模块，用于全局定位目标的位置和大小，在系统开始、用户输入、定时期满时，进行对目标进行重新定位。在此例中，采用一种深度学习网络
框架(SSD)实现该目标检测模块。
[0055] 该系统还包含：目标跟踪模块，用于对目标进行实时跟踪，在目标检测(即，检测出包括目标的局部图)以后，对目标进行实时跟踪。在此例中，采用方向梯度直方图算法(HOG)对图像进行特征提取，并且使用核相关滤波器算法(KCF)根据图像特征对目标位置和大小进行实时预测。
[0056] 控制模块，用于控制整个系统的运转，如视屏图像的输入输出、模块调用控制等等。例如，上述的图像输入模块可以是控制模块的一部分。
[0057] 现将结合图4描述实例系统的具体运行步骤：
[0058] 步骤1：系统开始运行，调用SSD，对输入全图目标进行定位，得到目标在视屏图像中的位置和尺寸(即移动局部图检测)。
[0059] 步骤2：移动目标检测模块将计算得到的原始目标坐标发送给KCF计算模块。倘若SSD在GPU上占用了资源，可以将KCF计算任务划分给
微处理器端。KCF整个计算过程由微处理器控制。
[0060] 步骤3：KCF计算得到的目标的位置和尺寸发送给控制器，控制器在输出视频图像上标记。
[0061] 步骤4：在KCF每次计算完成后，控制器都会根据计算中附带的置信概率和预先设定的阙值进行比较，若小于阙值，则认为跟踪丢失，系统会从步骤1开始执行。若置信概率大于阙值则认为正常，系统会从步骤2开始运行。
[0062] 本系统可以动态修正跟踪对象，在跟踪丢失时，重新调用全图目标检测的算法，对目标进行重新定位。另外，本系统还解决了目标追踪系统的计算资源分配问题。其能够根据GPU资源大小，对算法的实现进行灵活的软硬件任务划分，可以根据现有的硬件资源，将较大规模的系统映射到硬件上实现，在已有的硬件结构上获得尽可能接近极限值的性能。
[0063] 上文中已经参考附图详细描述了根据本发明的目标追踪系统。
[0064] 以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
