技术领域
[0001] 本
发明涉及
计算机视觉技术领域，具体涉及一种基于深度学习的高速跨摄像头单目标跟踪方法及系统。
背景技术
[0002] 多摄像机目标跟踪是计算机视觉领域的研究热点。其任务目的是在多个视域不重叠的摄像头中找到某个特定的行人轨迹。由于每个摄像头的场景和光照不同，行人
姿态各异，存在互相遮挡的情况，使得任务面临多重挑战。
[0003] 以往跨摄像头跟踪研究以多摄像头多目标跟踪(MTMCT)任务场景为主，而单目标跨摄像头跟踪任务常被忽视。虽然前者包含后者，但两者存在不同的应用场景。以NLPR MCT挑战的跟踪任务为例。大多数
算法着
力于提升跟踪
精度，通常会对所有轨迹片提取特征并全局关联。这些全局信息给整体MTMCT任务带来性能提升。但对于单个行人的跨摄像头跟踪应用，许多处理对实时性是有害的。如单目标跟踪时不希望行人消失后算法仍对其他行人做处理，而全局方法需要全局信息关联无法只对部分
数据处理。此外，目前MCT算法需要跟踪总人数这一关键先验信息。这种信息对现实跟踪任务来说难以实现。
发明内容
[0004] 本发明为解决
现有技术以多摄像头多目标跟踪，需要对所有轨迹片提取特征并全局关联，而无法只对部分数据处理的问题，提供一种基于深度学习的高速跨摄像头单目标跟踪方法。
[0005] 基于深度学习的高速跨摄像头单目标跟踪方法，该方法由以下步骤实现：
[0006] 步骤一、采用行人检测模型检测行人目标，输出每个摄像头下每个行人的检测框
位置大小及检测得分；
[0007] 步骤二、采用步骤一获得的检测框的交并比为依据，基于卡尔曼滤波算法进行多目标跟踪，获得运动轨迹集合；
[0008] 步骤三、根据步骤二获得的运动轨迹集合，采用轨迹片代表图片进行筛选，获得轨迹特征中行人检测得分高的轨迹图片；
[0009] 步骤四、采用预先训练好的行人再识别模型对步骤三获得的轨迹图片提取行人外观特征；
[0010] 步骤五、在单摄像头域内，设定搜索约束条件和轨迹关联，将搜索范围内余弦距离最小的轨迹图片作为匹配轨迹，采用所述匹配轨迹进行关联，获得关联后的轨迹集合；
[0011] 步骤六、对步骤五获得的关联后的轨迹集合，设计跨摄像头轨迹局部二部图关联的方向约束条件，最终匹配建立
时空约束条件；
[0012] 步骤七、根据步骤六的时空约束条件，基于轨迹方向约束的跨摄像头轨迹关联，采用匈牙利法寻找使所有匹配距离之和最小的匹配关联，如果命中目标，则关联成功；否则关联失败，终止该目标的跟踪。
[0013] 基于深度学习的高速跨摄像头单目标跟踪系统，包括行人检测模
块，单相机内多目标跟踪模块，行人再识别模型特征提取模块以及轨迹关联模块；
[0014] 所述行人检测模块用于检测行人目标，输出行人检测框及检测得分；
[0015] 所述单相机内多目标跟踪模块用于对所述行人检测模块获得的检测框的交并比为依据，采用卡尔曼滤波算法进行多目标跟踪，获得检测得分高的轨迹图片；
[0016] 行人再识别模型特征提取模块用于对单相机内多目标跟踪模块获得的轨迹图片进行外观特征的提取；
[0017] 所述轨迹关联模块将行人再识别模型特征提取模块提取的特征进行轨迹关联。
[0018] 本发明的有益效果：本发明所述的跟踪方法，基于行人检测，多目标跟踪以及行人再识别算法，使用目标检测的运动信息进行多目标跟踪算法实时跟踪，在轨迹中断和跨摄像头场景下，使用行人再识别算法重
定位行人。优点如下：
[0019] 1)设计基于检测模型筛选的轨迹片特征，以及优化行人再识别模型的输入。最终验证轨迹特征有效性；
[0020] 2)针对单个行人跨摄像头跟踪应用，提出在线匹配的多摄像头跟踪方法，进一步减少了特征提取和匹配工作量。使整体实时性能得到提升，相比传统方法提速约6～7倍。
附图说明
[0021] 图1为本发明所述的一种基于深度学习的高速跨摄像头单目标跟踪方法的
流程图；
[0022] 图2为本发明所述的一种基于深度学习的高速跨摄像头单目标跟踪方法中不同遮挡、尺度条件下的行人检测得分效果图；
[0023] 图3为消除背景前后对比效果图；
[0024] 图4为轨迹方向(虚线)与基准方向(实线)示例的效果图；
[0025] 图5为跨摄像头行人二部图匹配效果图。
具体实施方式
[0026] 具体实施方式一、结合图1至图5说明本实施方式，基于深度学习的高速跨摄像头单目标跟踪方法，包括行人检测，单相机内多目标跟踪和轨迹关联。
[0027] 一、行人检测；
[0028] 行人检测是算法的第一步。使用FasterRCNN模型作为行人检测算法。为了适应行人目标比例，
修改了提名框大小和比例，仅保留1：2的提名框。在KITTI数据集上重新训练。最终在NLPR_MCT上取得较好行人检测结果，并保存每
帧的检测结果和检测得分作为算法输入。
[0029] 二、单相机内多目标跟踪；
[0030] 之后单相机多目标跟踪算法在每个相机运行。传统轨迹提取策略对每个相机每个行人都进行特征提取，算法很难在线实时运行。其实际效果无异于对每帧每个目标进行行人再识别。使用基于卡尔曼滤波的多目标跟踪算法提取运动轨迹。当目标轨迹消失时，唤起相机轨迹关联模块，算法避免每帧提取特征，节省大量跟踪耗时。关联模块在时空约束条件下收集轨迹，调用单相机和跨相机的关联算法恢复相同行人id的轨迹。
[0031] 虽然基于检测框运动信息的多目标跟踪算法运行高效，但严重依赖检测精度。良好的检测结果是端到端跟踪成功的基本保障。本实施方式采用严格筛选的策略，将faster RCNN中极大值抑制
阈值设置为0.3，行人得分
置信度筛选设置为0.9。
[0032] 三、筛选轨迹代表图片；
[0033] 上文提及的多目标跟踪方法不用提取外观特征，是比较符合实时应用场景的算法。行人运动中大部分时候个体没有障碍或相互遮挡，此时只需检测框几何信息即能完成跟踪。但该方法有显而易见的缺点：由于关联时没有使用外观特征，只使用检测与预测的交并比作为唯一关联线索，行人互相遮挡时容易发生id切换。且行人非线性运动时容易导致跟踪与检测无法关联。从而导致跟踪失败。
[0034] 为了关联轨迹，进一步设计轨迹表观特征作为关联依据。筛选轨迹中行人检测得分较高的轨迹代表图片。筛选规则如(1)式所示，s为行人在轨迹中每帧的行人检测得分。I为按得分降序排名的索引集合。α为检测得分阈值筛选，动态取值使集合大小为总图片数的10％。代表初次筛选后的图片索引。再从中选取轨迹时间戳间隔最长的3张图片，以尽可能使行人位置差异最大化。最终得到代表轨迹中行人检测得分较高且位置多样的轨迹代表图片。
[0035] I＝argsort(s)
[0036] I'＝{l|l∈Iandsl＜α} (1)
[0037] 筛选结果如图2所示，检测得分高的图片有助于提取轨迹中无遮挡的行人，标
准直立状态的行人更容易获得高行人检测得分。
[0038] 四、基于行人再识别模型的轨迹片特征；
[0039] 本实施方式中，基于resnet50神经网络模型开发的一个行人再识别模型提取特征。该模型把行人再识别问题当做物体多分类问题，并设计对称、残缺等多种行人数据增强在market-1501上训练。在测试阶段，为了消除数据集间背景差异，增强模型泛化能力，我们采取简单的帧差法策略去除背景。图3展示了消除背景后的效果。用此模型提取(1)式筛选后的图片作为该轨迹特征。
[0040] 五、单摄像头内相似度优先的轨迹关联；得到轨迹
片段及其深度特征后，算法进一步利用轨迹特征在每个摄像头范围关联轨迹。
[0041] 在mot问题中，研究者通常会采用级联匹配等贪心算法，算法尽量匹配时间临近的轨迹。而在跨摄像头跟踪问题中，跟踪的准确率比召回率更重要：一次跟踪失败导致id切换，后续跨摄像头跟踪如果把此失败的跟踪作为参考目标之一，将严重影响后续场景的跟踪器。因此，在单摄像头关联轨迹时我们采用保守策略。算法搜寻过去一段
时间窗口内匹配度最高的行人轨迹代表图片。这样的策略可能查全率差强人意，但可以提供最可靠的轨迹片段。这为后续的跨摄像头跟踪提供
基础。
[0042] 同摄像头轨迹中断多因为出现遮挡导致目标消失。短暂的消失行人不会平移很远。用以下函数
指定搜索范围。
[0043] F＝X+vδ (2)
[0044] X向量表示行人边界框的运动状态，X＝{x,y,w,h}表示轨迹消失时的目标中心位置和宽高。F＝{x',y',w',h'}表示预测位置中心和搜索区域宽高，v为各状态变化率，δ表示当前时间与轨迹时间消失时的帧差。函数将以帧差为输入变量，帧差越大搜索范围大。
[0045] 一条轨迹有多个不同位置的行人图片，P、Q分别为目标和候选轨迹的图片特征集合。算法取搜索范围内余弦距离最小的轨迹片作为匹配轨迹。
[0046] dist(P,Q)＝minp,q cos(p,q) (3)
[0047]
[0048] 六、基于轨迹方向约束的跨摄像头轨迹关联；理想情况下，行人目标最终在场景边缘消失。此时需要跨摄像头的关联算法进行关联。关联前需要假设相机的位置拓扑结构，以减小全局关联的图规模。以往的方法定义一个拓扑矩阵，该矩阵可以表示行人在一个场景消失会在对应的哪些出入口重现，作为跨相机匹配的限制条件。
[0049] 经统计，在特殊情景下，行人出现位置不可预测。例如：从机动车下车的行人、由于遮挡到场景中央再现的行人等。我们发现，行人轨迹方向是更有效的限制条件。因为场景路径限制，行人行径方向总是一致的。算法把行人运动方向分成二维平面的四个方向。类似出入口限制，
[0050] 创建一个拓扑矩阵M，作为跨摄像机匹配的方向限制。拓扑矩阵M为4*n阶单位布尔矩阵。n为相机数。用数字1～4表示场景2d平面的四个方向。M4n+i,4m+j＝1表示第n个相机下i方向的轨迹与第m个相机下j方向的轨迹是可关联的关系，为0则不可关联。轨迹方向以轨迹起点到终点的矢量与基准
坐标系的最小夹
角决定。如图4所示。
[0051] 实线箭头为基准方向矢量，虚线箭头为行人轨迹方向，以最小夹角判断，场景1轨迹方向为方向1，场景2轨迹方向为方向3。最终匹配建立的时空约束条件为：
[0052]
[0053] M(si，sj)＝1
[0054] 第一项限制候选轨迹时间域范围。第二项用行人方向拓扑结构限制空间范围。t表示轨迹时间，s表示轨迹方向在拓扑矩阵的索引。
[0055] 本实施方式采用了新的轨迹特征及轨迹提取方法。首先为了验证特征的有效性，采用经典的思路构建图模型，把轨迹关联问题转化为最小
费用网络流问题。图结构模型为G＝(V,E,W)，其中
顶点V为轨迹的特征集合，E为
节点的边，即两个轨迹间的联系，受时空约束条件的约束，Wεβ表示第个节点与第β个节点的边权重。添加起始节点S和终结节点T，从起始节点到终结点的流量等于目标轨迹数量，WSε，WεT分别表示起始节点S到节点ε的权重和节点ε到终结节点T的权重。权重表示每条边的费用，即轨迹特征的距离。给定轨迹数量k，其目标函数为：
[0056]
[0057] Γε＝{Eε1,Eε2…，Eεβ}
[0058] 最优关联就是求最优的一组边E*能够以最小代价遍历所有节点的流，每条流Γ表示一条完整的轨迹。
[0059] 七、在线局部关联策略；对于单个行人的跨摄像头实时跟踪应用场景，本实施方式提出基于局部信息的关联策略。首先假设与目标同行的行人共享(4)式描述的时
空域约束条件。关联策略是在跨摄像头匹配时，在消失场景寻找辅助轨迹集合，然后在轨迹方向的(3)式限制下，寻找候选轨迹集合，把两个集合的匹配当作二部图匹配问题，寻找使匹配距离最小的匹配。匹配目标函数为：
[0060]
[0061] 其中c是每行每列只有一个元素为1的指派矩阵，dist(r,o)指示第r个辅助轨迹和候选轨迹池的第o个轨迹的特征距离。
[0062] 辅助轨迹集合U定义为:目标轨迹消失位置一定范围内，与消失时间最接近的u个轨迹。这些轨迹和目标轨迹组成辅助轨迹池。候选轨迹定义为受式(4)时空关系约束的轨迹集合。具体关联流程如下:
[0063] 1)行人轨迹按时间出现顺序排序。
[0064] 2)在当前轨迹结束时，查找当前轨迹的辅助轨迹。提取当前轨迹以及辅助轨迹的特征。
[0065] 3)寻找候选轨迹，并提取轨迹特征。
[0066] 4)辅助轨迹和候选轨迹匹配。用匈牙利法进行多轨迹关联。
[0067] 5)若结果指派矩阵命中目标，则关联成功。否则关联失败，终止该目标的跟踪。
[0068] 结合图5说明本实施方式，图5展示匹配过程。左图是目标和目标的辅助轨迹，右图为一个场景的候选轨迹。连线指示出辅助轨迹与候选轨迹的最佳匹配。
[0069] 本实施方式中，还包括基于深度学习的高速跨摄像头单目标跟踪系统，包括行人检测模块，单相机内多目标跟踪模块，行人再识别模型特征提取模块以及轨迹关联模块；
[0070] 所述行人检测模块用于检测行人目标，输出行人检测框及检测得分；
[0071] 所述单相机内多目标跟踪模块用于对所述行人检测模块获得的检测框的交并比为依据，采用卡尔曼滤波算法进行多目标跟踪，获得检测得分高的轨迹图片；
[0072] 行人再识别模型特征提取模块用于对单相机内多目标跟踪模块获得的轨迹图片进行外观特征的提取；
[0073] 所述轨迹关联模块将行人再识别模型特征提取模块提取的特征进行轨迹关联。
[0074] 具体实施方式二、本实施方式为具体实施方式一所述的基于深度学习的高速跨摄像头单目标跟踪方法的
实施例：
[0075] 本实施例在Ubuntu16.04环境下使用单核2.5GHz的intel i7处理器，RAM 16G，NVDIA GeForce GTX 1080Ti显卡的计算器运行。使用numpy,tensorflow,pytorch等
软件开发包。
[0076] 一、实验数据集
[0077] 实验在NLPR_MCT数据集上进行，它包含4个子集。每个子集的详细参数如表1所示。其中，光照为该场景光照变换强度，遮挡为数据集场景遮挡程度。
[0078] 表1 NLPR_MCT数据集参数
[0079]
[0080] 二、评价指标
[0081] 跨摄像头跟踪综合准确度MCTA(Multi-camera Tracking Accuracy)是衡量多个摄像头下跟踪的准确度，是目前少有的专
门用来衡量多摄像头跟踪性能的评价指标。MCTA综合考虑了检测准确度，单摄像头跟踪准确度(SCT)，跨摄像头跟踪准确度(ICT)。其定义公式为：
[0082]
[0083]
[0084]
[0085] 其中P，R为检测模型的精准度和召回率，
[0086] fpt，rt，mt是模型预测为正的负样本数，检测总数，漏检总数，以及标签总数。后两项为id相关数据。Mw是单相机内行人ID的错误匹配数，Tw是单相机内标注正确检测数，Mh是h跨相机行人ID的错误匹配数，T是指跨相机标注的正确检测数，即某个目标从某个相机中消失而下次再出现在另外一个相机的情况。MCTA的范围是[0，1]。
[0087] 三、MCT综合准确率实验及分析
[0088] 进行端到端的跨摄像头跟踪实验。实验要求输入数据只有
视频帧没有任何标签，输出每个行人轨迹的id和绑定框位置。算法的跨相机关联部分使用全局关联算法。计算MCTA得分得到表2的结果。
[0089] 表2跨摄像头跟踪MCTA性能对比
[0090]
[0091]
[0092]
[0093] 从所有数据集的检测性能表现来看，我们采用faster RCNN检测器在1、2、4数据集上性能优于其他方法采用的DPM等检测器。但在第三个数据集上回归率和准确率都不太理想。直接导致了MCTA整体性能较差。这是由于第三个数据集光照和遮挡严重。而faster RCNN训练时没有此类困难样本，所以导致检测器在遇到这些样本时产生误检、漏检。
[0094] 对比同样采用最小费用网络流进行关联的EGTracker方法，我们的方法SCT和ICT性能指标更好。表明本文提出的轨迹特征性能优秀。这主要得益于良好的检测下，准确地建立轨迹特征。并采用了深度特征，比传统特征更能有效区分行人id。
[0095] 四、实时性能实验
[0096] 基于NLPR_MCT数据集，提出新的应用场景设置如下：不需要目标总人数，而是给定单个目标起始位置，输出目标在随后的所有摄像机场景的位置。本节比较此场景下不同算法的输出精度和耗时。
[0097] 实验分别使用fasterRCNN和DPM的检测结果作为输入。检测耗时不计入运行总耗时。
[0098] 为了方便比较，我们重现了EGTracker方法。对于此类全局关联方法，采用以下公式来估计平均每条轨迹的平均处理耗时：
[0099]
[0100] Tc是跟踪处理总耗时，Ti是轨迹i的真实时间跨度，Ts是数据集总时间跨度。对于提出的方法则直接计算每个目标的耗时，包括目标所在时空域的所有轨迹建立耗时，轨迹特征的提取耗时，以及轨迹关联的总时间。再求平均每个目标轨迹的耗时。
[0101] 表3跨相机跟踪方法耗时对比
[0102]
[0103] 从表中可以发现我们的算法运行效率超过EGTracker。各个数据集的
加速比为：7.8、6.5、14.2、1.9。第1、2、4数据集说明轨迹规模越大，加速效果越明显。证明采用运动轨迹、局部特征匹配是有效的加速策略。第三个数据集由于行人检测算法的漏检过多，导致关联假设变少，虽然关联更快了。但是准确率较低，需要进一步改进。
[0104] 为了验证局部关联方法的有效性，我们将局部关联的每个轨迹的输出组合到一起，输出MCTA评估所需的目标文件。同时，给图的最小费用流关联法也添加目标第一帧位置作为先验信息。使用步骤三的方法构建ST图，固定源节点到目标第一帧所在的轨迹节点的边不变，删除多余边，保持其他实验参数。再重新应用最小费用流关联得到在此应用场景的MCTA性能。对比如下:
[0105] 表4给定首帧先验信息的MCTA性能
[0106]
[0107] 从各个数据集上的MCTA性能来看，两种方法MCTA指标相差无几，说明局部关联方法在运行高效同时仍取得和全局关联匹配的准确率性能。
[0108] 本实施方式所述的单目标跟踪方法，与现有摄像机多目标跟踪工作不同，本实施方式中单目标跨摄像机实时跟踪的可行性。采用基于运动信息的跟踪算法避免大量特征提取工作；开发一种在线关联方法替代不必要的全局关联；与此同时跟踪
质量与先进方法相比仍具有竞争力。更重要的是，提取轨迹特征环节是可拓展的。当前使用reid方法的baseline模型取得良好结果。相信使用更先进的行人再识别模型能取得更好的性能。与经典MCT方法比较了单目标跨相机跟踪实时性能。结果显示实时性能显著提升。这对单个行人目标跨相机检索工作具有重要意义。
