技术领域
[0001] 本
发明图像处理领域，尤其涉及一种运动目标跟踪方法、系统及终端。
背景技术
[0002] 运动目标跟踪是现代视觉技术的
基础，在工业过程控制、医学研究、成像制导等领域具有重要的实用价值，现今被广泛地应用于军事、安防及交通。
[0003]
现有技术中，视频图像的运动目标追踪存在多个难点问题，主要包括：
[0004] 1)由于追踪过程中目标的平移或者旋转运动，引起与摄像机的距离和视
角发生变化，会造成目标图像的尺度伸缩变化和形变，这些变化会造成目标图像表达的非线性变化，从而导致追踪的失效；
[0005] 2)遮挡也是运动追踪的一大难题，即在前后两
帧中，由于目标的运动，目标物体的被
覆盖和暴露的区域在前后两帧图像中不存在对应关系，而追踪目标的部分遮挡，会引起目标的不规则变化，目标的全部遮挡，还会引起目标的暂时消失。
[0006] 对于复杂的运动模式，现有技术主要采用滤波预测
算法进行追踪，在运动目标可能出现的区域内进行局部搜索，当目标具有复杂的运动模式时，如目标的运动速度或者方向突然发生改变，运动目标不在预测的搜索区域中时，会造成简单滤波预测算法失效，进而造成目标丢失。
[0007] 另外，由于基于视觉追踪方法的处理对象通常是包含在巨
大数据量的序列图像数据或者
视频流数据。往往需要大量的运算时间，很难达到实时性的要求，虽然简单的算法能够实现实时追踪，但追踪
精度不够，而复杂的算法虽然具有较高的追踪精度，但是运算时间长，影响实时性。如何选择实时、高效的目标进行跟踪一直是行业致
力研究的重点。
[0008] 综上，现有技术在进行运动目标追踪的过程中，当复杂背景图像中的运动目标的形状和大小发生改变时，存在易丢失跟踪目标或实时性较低的问题。
发明内容
[0009] 本发明的目的在于提供一种运动目标跟踪方法，旨在解决现有技术在进行运动目标追踪的过程中，当复杂背景图像中的运动目标的形状和大小发生改变时，存在目标易丢失或实时性较低的问题。
[0010] 本发明是这样实现的，一种运动目标跟踪方法，所述方法包括以下步骤：
[0011] 获取当前帧参考模板，根据所述当前帧参考模板在当前帧上检测新目标；
[0012] 根据新目标的检测结果确定目标模板；
[0013] 根据所述目标模板建立目标模板观测模型；
[0014] 在当前帧上
采样所述目标模板对应的准目标，所述准目标的个数根据经验值设置，根据准目标建立准目标观测模型；
[0015] 计算所述目标模板观测模型和准目标观测模型的相似度，根据所述目标模板观测模型和准目标观测模型的相似度预测目标
位置；
[0016] 根据所述目标位置建立预测目标观测模型，计算所述目标模板观测模型和预测目标观测模型的相似度，根据所述目标模板观测模型和预测目标观测模型的相似度确定下一帧参考模板。
[0017] 本发明的另一目的在于提供一种运动目标跟踪系统，所述系统包括：
[0018] 目标检测单元，用于获取当前帧参考模板，根据所述当前帧参考模板在当前帧上检测新目标；
[0019] 目标模板确定单元，用于根据所述目标检测单元新目标的检测结果确定目标模板；
[0020] 目标模板观测模型建立单元，根据所述目标模板确定单元确定的目标模板建立目标模板观测模型；
[0021] 准目标观测模型建立单元，用于在当前帧上采样所述目标模板确定单元确定的目标模板对应的准目标，所述准目标的个数根据经验值设置，根据准目标建立准目标观测模型；
[0022] 目标位置预测单元，用于计算所述目标模板观测模型建立单元建立的目标模板观测模型和所述准目标观测模型建立单元建立的准目标观测模型的相似度，根据目标模板观测模型和准目标观测模型的相似度预测当前帧的目标位置；
[0023] 参考模板更新单元，用于根据所述目标位置计算单元预测的目标位置建立预测目标观测模型，计算所述目标模板观测模型建立单元建立的目标模板观测模型和所述预测目标观测模型的相似度，根据所述目标模板观测模型和预测目标观测模型的相似度确定下一帧参考模板。
[0024] 本发明的又一目的在于提供包括上述运动目标跟踪系统的显示终端。
[0025] 在本发明中，通过获取当前帧参考模板，根据当前帧参考模板在当前帧上检测新目标，根据新目标的检测结果确定目标模板，根据目标模板建立目标模板观测模型，在当前帧上采样目标模板对应的准目标，准目标的个数根据经验值设定，根据准目标建立准目标观测模型；计算目标模板观测模型和准目标观测模型计算目标模板的相似度，根据目标模板观测模型和准目标观测模型的相似度预测目标位置；根据目标位置建立预测目标观测模型，计算目标模板观测模型和预测目标观测模型的相似度，根据目标模板观测模型和预测目标观测模型的相似度确定下一帧参考模板，本发明实时、准确的实现了运动目标跟踪过程中运动目标的预测和参考模板的更新。较好的解决了因大部分运动目标形状和大小不断变化，跟踪目标容易丢失的问题，且无需占用较多
数据处理资源，对于复杂背景下动态运动目标的跟踪具有较强的实用性。
附图说明
[0026] 图1是本发明
实施例提供的运动目标跟踪方法的
流程图；
[0027] 图2是本发明一个示例提供的复杂背景下多运动目标跟踪方法的流程图；
[0028] 图3是本发明实施例提供的运动目标跟踪系统的结构图。
具体实施方式
[0029] 为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0030] 本发明实施例通过获取当前帧参考模板，根据当前帧参考模板在当前帧上检测新目标，根据新目标的检测结果确定目标模板，根据目标模板建立目标模板观测模型，在当前帧上采样目标模板对应的准目标，准目标的个数根据经验值设置，根据准目标建立准目标观测模型；计算目标模板观测模型和准目标观测模型计算目标模板的相似度，根据目标模板观测模型和准目标观测模型的相似度预测目标位置；根据目标位置建立预测目标观测模型，计算目标模板观测模型和预测目标观测模型的相似度，根据目标模板观测模型和预测目标观测模型的相似度确定下一帧参考模板，实时、准确的实现了运动目标过程中的运动目标预测和参考模板的更新。
[0031] 图1示出了本发明实施例提供的运动目标跟踪方法的流程图。
[0032] 在步骤S101中，获取当前帧参考模板，根据所述当前帧参考模板在当前帧上检测新目标；
[0033] 在本发明实施例中，当前帧参考模板的个数可以为多个，也可以为0，新目标为在上一帧中未出现而在当前帧出现的目标。
[0034] 步骤S101中根据所述当前帧参考模板在当前帧上检测新目标的步骤具体为：
[0035] 在当前帧进行目标检测得到检测目标；
[0036] 当当前帧参考模板的个数为0时，检测目标为新目标，当参考模板的个数至少为1，且当当前帧参考模板和检测目标没有交集时，检测目标为新目标，否则为未检测到新目标。
[0037] 在步骤S102中，根据新目标的检测结果确定目标模板；
[0038] 具体应用时，步骤S102具体为：
[0039] 当在当前帧未检测到新目标时，目标模板为当前帧参考模板；
[0040] 当在当前帧检测到新目标时，目标模板包括当前帧参考模板和新目标。
[0041] 在步骤S103中，根据所述目标模板建立目标模板观测模型；
[0042] 在步骤S104中，在当前帧上采样所述目标模板对应的准目标，所述准目标个数根据经验值设定，根据准目标建立准目标观测模型；
[0043] 通常目标模板有多个，为每个目标模板采样多个准目标，假设目标模板对应的准目标的采样个数预设为N，步骤S104中在当前帧上采样所述目标模板对应的准目标的步骤具体为：
[0044] 以所述目标模板的中心位置为圆心，将半径为R的圆的圆弧上的8等分点作为8个准目标的中心位置，以相同的步进扩大半径，直至采样到N个准目标的中心位置，并将N个准目标的长宽设置为与所述目标模板相同。
[0045] 其中，8等分点的起始位置可以预设，步进也可以预设，采样方式可以是顺
时针方向，也可以是逆时针方向。具体不再一一列举。
[0046] 本发明实施例的目标模板观测模型的特征包括RGB
颜色直方图和边缘直方图，其中，作为目标模板观测模型的特征包括RGB颜色直方图和边缘直方图。
[0047] 步骤S104中根据准目标建立准目标观测模型的步骤具体为：
[0048] 计算每个准目标的RGB颜色直方图和边缘直方图，根据核函数对N个准目标的RGB颜色直方图和边缘直方图进行
叠加得到准目标观测模型。
[0049] 在步骤S105中，计算目标模板观测模型和准目标观测模型计算目标模板的相似度，根据目标模板观测模型和准目标观测子模型的相似度预测目标位置。
[0050] 在本发明实施例中，步骤S105中根据目标模板观测模型和准目标观测模型的相似度预测目标位置具体为：
[0051] 根据目标模板观测模型和准目标观测模型的相似度统计每一个准目标的后验概率；
[0052] 根据每一个准目标的后验概率通过高斯函数统计每一个准目标的权重值，后验概率表示了当前目标当前帧出现在这个位置上的可能性的大小；
[0053] 根据目标模板对应的每一个准目标的权重值和准目标的中心位置确定目标模板追踪的目标的准确位置。
[0054] 比如，目标模板追踪的目标的准确位置可以是其对应的所有的准目标的权重值乘以中心位置的和，所有的准目标的权重值的和为1。
[0055] 在步骤S106中，根据所述目标位置建立预测目标观测模型，计算目标模板观测模型和预测目标观测模型的相似度，根据目标模板观测模型和预测目标观测模型的相似度确定下一帧参考模板。
[0056] 在本发明实施例中，步骤S106中根据目标位置建立预测目标观测模型的步骤具体为：
[0057] 将目标位置为矩形中心，长宽设置为与所述目标模板相同，作为预测目标；
[0058] 根据预测目标建立预测目标观测模型。
[0059] 步骤S106中根据所述目标模板观测模型和预测目标观测模型的相似度确定下一帧参考模板的步骤具体为：
[0060] 当目标模板观测模型和预测目标观测模型的相似度小于
阈值t1，剔除目标模板；
[0061] 当目标模板观测模型和预测目标观测模型的相似度大于阈值t2，根据预设的两个增益系数、目标模板和预测目标，计算下一帧的参考模板；
[0062] 当目标模板观测模型和预测目标观测模型的相似度在阈值t1和t2之间，保留目标模板作为下一帧的参考模板。
[0063] 作为本发明的一个优选实施例，为了减少目标的搜索范围，更快速有效的搜索到运动目标，在步骤S105之后，运动目标跟踪方法还包括
运动补偿处理，具体为：
[0064] 获取同一目标在上一帧的目标位置；
[0065] 根据同一目标在当前帧的目标位置和上一帧的目标位置计算补偿向量；
[0066] 根据补偿向量对下一帧的目标模板位置进行修正。
[0067] 在本发明实施例中，观测模型的建立规则相同，目标模板观测模型、准目标观测模型和预测目标观测模型的建立规则相同，特征包括RGB颜色直方图和边缘直方图，目标模板观测模型、准目标观测模型和预测目标观测模型的特征分别根据在先建立的目标模板的观测模型、准目标的观测模型、预测目标的观测模型的特征参数获取，后者的特征参数包括中心位置，长，宽。
[0068] 本发明实施例通过采用颜色特征和边缘特征对追踪目标进行建模并进行优化，通过生成多个候选目标对目标的位置进行精确
定位，有效解决了动态目标跟踪过程中，由于大部分运动目标形状和大小都不断的在变化，目标容易丢失且定位不够精准的问题。
[0069] 图2示出了本发明一个示例提供的复杂背景下多运动目标跟踪的处理流程。
[0070] 在本示例中，动态目标为多个，在特定视线范围内的不同时间对应的多帧图像中，可能会在同一帧出现多个新目标，也可能在同一帧出现多个追踪的目标离开追踪视线。
[0071] 在步骤S201中，
图像分割，目标检测。
[0072] 在步骤S202中，轮廓查找。
[0073] 获取目标的中心坐标和外截矩形。
[0074] 在步骤S203中，判断目标是否为新目标，是则执行步骤S204，否则执行步骤S201。
[0075] 获取目标的中心坐标和外截矩形，以及参考模板的中心坐标和外截矩形，判断检测到的目标与保存的任何一参考模板是否有交集，是则视为已有目标，否则为新目标。
[0076] 在步骤S204中，为新目标建立目标模板观测模型，观测模型特征参数包括中心位置，长，宽。根据观测模型特征参数计算RGB颜色直方图和边缘直方图，两个直方图分别是一定长度的一维向量，由两个向量组合成目标模板观测模型特征，向量长度越大，提取的特征越丰富，而相对耗时，结合算法的效果和速度选择合适的长度。
[0077] 在步骤S205中，叠加核函数优化目标模板观测模型。
[0078] 在本示例中，核函数采用的是高斯核，高斯轮廓函数表示出核函数对目标模板中心的
像素具有较大权值，而对于目标模板边缘像素则权值较低，这符合越靠近中心点的像素点代表目标的可信度越大，越靠近边缘的点代表背景的可信度越大的客观规律。同时，核窗宽对跟踪效果是非常重要的，它确定了核
密度估计的范围，即目标模板的半径，所以当目标尺寸发生变化时，核窗宽也需要做相应的变化，以保证得到的目标信息能够包含整个目标并排除背景，具体不再详述。
[0079] 在步骤S206中，判断所有新目标对应的新目标观测模型是否都建立完毕，是则执行步骤S207，否则执行步骤S201；
[0080] 在步骤S207中，将新目标和参考模板一并作为目标模板进行逐一追踪；
[0081] 在步骤S208中，采样目标模板对应的准目标。
[0082] 以目标模板的中心位置为圆心，半径为3的圆上等弧长采样8个点，相同的步进不断扩大半径，一共采样24个点，得到24个准目标，并设置准目标的长宽，准目标的长宽和目标模板的长宽相同。
[0083] 在步骤S209中，计算每个准目标对应的准目标观测模型。
[0084] 准目标观测模型的建立规则同步骤S204。
[0085] 在步骤S210中，叠加核函数优化准目标观测模型。
[0086] 核函数叠加方式可参照步骤S205。
[0087] 在步骤S211中，根据准目标观测模型和目标模板观测模型计算准目标和目标模板的相似度S1；
[0088] 相似度S1通过计算准目标观测模型和目标模板观测模型的相似度得到。
[0089] 在步骤S212中，根据相似度S1统计每个准目标的后验概率。
[0090] 在步骤S213中，根据后验概率统计准目标的权重。
[0091] 根据每个准目标的后验概率通过高斯函数统计准目标的权重。
[0092] 在步骤S214中，根据准目标的中心位置和权重预测目标位置。
[0093] 加权平均后根据每个准目标的中心位置计算目标在当前帧的准确位置。
[0094] 在步骤S215中，根据预测目标位置计算预测目标和目标模板的相似度S2。
[0095] 将预测目标位置作为预测目标的外截矩形中心，参考模板的长宽作为预测目标的外截矩形，建立预测目标观测模型。通过欧式距离计算准目标观测模型和目标模板观测模型的相似度S2。
[0096] 在步骤S216中，判断相似度S2是否小于阈值t1，是则执行步骤S217，否则执行步骤S218。
[0097] 在步骤S217中，该目标模板被剔除。
[0098] 在步骤S218中，判断相似度S2是否大于阈值t2，是则执行步骤S219，否则执行步骤S220。
[0099] 在步骤S219中，更新目标模板。
[0100] 假设目标模板为M1，预测目标为M2，预设两个增益系数k1、k2，k1+k2＝1，则更新后的模板为k1*M1+k2*M2，可以有效控制参考模板更新速度。
[0101] 在步骤S220中，判断是否所有目标跟踪完毕，是则执行步骤S221，否则执行步骤S207。
[0102] 在步骤S221中，当前帧处理完毕。
[0103] 如果当前跟踪的是最后一个目标，当前帧的目标追踪执行完毕。
[0104] 其中，阈值t1、t2可以根据效果和需要进行预设，t1小于t2。
[0105] 目标模板观测模型、准目标观测模型和预测目标观测模型的建立规则相同，具体为：先对目标模板、准目标和预测目标建立观测模型，观测模型的特征参数包括中心位置，长，宽，然后根据观测模型的特征参数再计算RGB颜色直方图和边缘直方图，将结果分别保存为目标模板观测模型、准目标观测模型和预测目标观测模型的特征。
[0106] 图3示出了本发明实施例提供的运动目标跟踪系统的结构图。为了便于说明，为了便于说明，仅示出了与本发明实施例相关的部分。该运动目标跟踪系统可以用于计算机、或者其他显示终端，例如摄像机、PAD等中。该运动目标跟踪系统还可以是运行于这些终端设备内的
软件单元，也可以作为独立的挂件集成到这些终端设备中或者运行于这些终端设备的应用系统中。
[0107] 该动态目标跟踪系统主要包括：目标检测单元31、目标模板确定单元32、目标模板观测模型建立单元33、准目标观测模型建立单元34、目标位置预测单元35和参考模板更新单元36。
[0108] 其中：
[0109] 目标检测单元31，用于获取当前帧参考模板，根据当前帧参考模板在当前帧上检测新目标；
[0110] 目标模板确定单元32，用于根据目标检测单元31新目标的检测结果确定目标模板；
[0111] 目标模板观测模型建立单元33，根据目标模板确定单元32确定的目标模板建立目标模板观测模型；
[0112] 准目标观测模型建立单元34，用于在当前帧上采样目标模板确定单元32确定的目标模板对应的准目标，准目标的个数根据经验值设置，根据准目标建立准目标观测模型；
[0113] 目标位置预测单元35，用于计算目标模板观测模型建立单元33建立的目标模板观测模型和准目标观测模型建立单元34建立的准目标观测模型的相似度，根据目标模板观测模型和准目标观测模型的相似度预测当前帧的目标位置；
[0114] 参考模板更新单元36，用于根据目标位置计算单元35预测的目标位置建立预测目标观测模型，计算目标模板观测模型建立单元34建立的目标模板观测模型和预测目标观测模型的相似度，根据目标模板观测模型和预测目标观测模型的相似度确定下一帧参考模板。
[0115] 具体地，当目标检测单元在当前帧未检测到新目标时，目标模板确定单元确定的目标模板为当前帧参考模板；当目标检测单元在当前帧检测到新目标时，目标模板确定单元确定的目标模板包括当前帧参考模板和新目标；目标模板观测模型、准目标观测模型和预测目标观测模型的建立规则相同，特征参数包括RGB颜色直方图和边缘直方图，[0116] 作为本发明的一个优选实施例，为了减少目标的搜索范围，更快速有效的搜索到运动目标，该运动目标跟踪系统还包括：
[0117] 运动补偿处理单元，用于获取同一目标在上一帧的目标位置，根据同一目标在当前帧的目标位置和上一帧的目标位置计算补偿向量，根据补偿向量对下一帧的目标初始位置进行修正。
[0118] 在本发明实施例中，目标位置预测单元35进一步包括：
[0119] 后验概率计算模
块，用于根据目标模板观测模型建立单元33建立的目标模板观测模型和准目标观测模型建立单元建立的准目标观测模型的相似度统计每一个准目标的后验概率；
[0120] 权重计算模块，用于根据后验概率计算模块计算的每一个准目标的后验概率通过高斯函数统计每一个准目标的权重值；
[0121] 准确位置计算模块，用于根据权重计算模块计算的目标模板对应的每一个准目标的权重值和准目标的中心位置确定目标模板追踪的目标的准确位置；
[0122] 参考模板更新单元36进一步包括：
[0123] 预测目标观测模型建立模块，用于根据目标位置预测单元预测35的目标位置建立预测目标观测模型；
[0124] 剔除模块，用于当目标模板观测模型建立单元33建立的目标模板观测模型和预测目标观测模型建立模块建立的预测目标观测模型的相似度小于阈值t1时，剔除目标模板；
[0125] 更换模块，用于当目标模板观测模型建立单元建立的目标模板观测模型和预测目标观测模型建立模块建立的预测目标观测模型的相似度大于阈值t2，根据预设的两个增益系数、目标模板作为下一帧的参考模板。
[0126] 保留模块，用于当目标模板观测模型建立单元建立的目标模板观测模型和预测目标观测模型建立模块建立的预测目标观测模型的相似度在阈值t1和t2之间，保留目标模板作为下一帧的参考模板。
[0127] 其具体实施方式如上所述，在此不再赘述。
[0128] 本发明实施例通过采用颜色特征和边缘特征对跟踪目标建模，并利用核函数优化观测模型，同时还结合轮廓信息来辅助更新运动目标的外截矩形大小，较好的解决了因大部分运动目标形状和大小不断变化，现有技术由于特征提取单一或不够合理，跟踪目标容易丢失的问题。另外，本发明通过重要性分布采样生成多个候选准目标，再利用欧式距离和高斯函数求得每个候选准目标的后验概率，来定义候选准目标是真正目标的可能性大小，最后对候选准目标在坐标上求积分得到下一帧目标的精确位置。同时，由于目标的运动规律是随机的，本发明还通过分析之前几帧图像中目标的运动规律还采用运动补偿技术来纠正下一帧目标的粗略初始位置。这样大大减少了目标的搜索范围，能更快速有效的搜索到运动目标。与具有同等效果的运动目标跟踪方法相比，本发明的数据处理量大大降低，适用于复杂背景下的运动目标检测。
[0129] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的
硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。
[0130] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何
修改、等同替换和改进等，均应包含在本发明的保护范围之内。
