技术领域
[0001] 本
发明涉及
计算机视觉技术领域，特别是一种基于多目标追踪框架的无人机视频中车速校正方法。
背景技术
[0002] 基于视频的车速分析是交通安全领域的一项具有挑战性的任务，对准确性和计算负担要求很高。无人机技术的发展使视频
质量更加高清，视频拥有更多信息。无人机的视频采用
自上而下的视
角，与普通监控摄像机雷达相比，提供更完整的
视野。多目标追踪框架可以实现对视频中车辆的实时追踪，通过分析车辆行进轨迹可以获得车辆的速度、
位置等参数，这对于交通安全领域具有十分重要的意义。
[0003] 在目标检测中，目标物体的特征通常是已知的，因此可以利用已知目标的先验知识设计目标检测器。从方法上看主要分为两类：第一类是基于传统
图像处理的经典目标检测
算法，如Adaboost、Support Vector Machine(SVM)等；第二类是基于
卷积神经网络的
深度学习算法，如Faster R-CNN、YOLO和SSD等。
[0004] 经典目标检测算法，采取手工设计的算子，如Canny、Hog和LBP等特征，再结合滑动窗口的目标检测策略对图像中的可能存在的目标完成检测任务。在张有节等人提出的《基于无人机视频的交通参数提取技术研究》中采用传统图像处理的车辆检测手段，如
边缘检测算法，在车辆检测
精度上有一定的损失。这些手工设计的算子通常仅能提取某种单一特征，因而无法全面地表示物体所拥有的特征，这也就导致物体本身发生一定的形变或者周围背景的环境发生光照等变化时，目标检测器的准确率急剧下降。
[0005] 深度学习以其优异的目标检测性能在
机器视觉中占据了一席之地。深度学习通过构建具有深层结构的卷积神经网络，实现对输入信息的逐层提取和筛选，获得“深层语义”特征，对目标的描述具有更强的泛化能
力。作为典型的Two-stage中的一员，R-CNN系列通过Selective search算法在图像上滑动窗口，获得一定的候选区域，随即投入卷积神经网络中提取深层特征，后又利用反向传播算法，更新模型权重，使得网络在目标检测任务中趋于最优化，获得更好的检测精度。
[0006] 多目标追踪是在目标检测的
基础上完成连续视频序列中的追踪目标在不同
帧中的轨迹。多目标追踪分为两类：Online tracking和Offline tracking。虽然Offline tracking更容易获得全局最优解，但适用范围局限，因此实际情况中更偏向于利用当前帧的之前视频序列信息的Online tracking。目前，对视频序列中目标进行多目标追踪任务时，由于目标预测不稳定所引起的追踪轨迹抖动剧烈，Fu Yuan Hud等人在《A High Efficient System for Traffic Mean Speed Estimation from MPEG Video》中采用均值滤波的方法，对车速进行估计，但是该方法无法适应变化巨大的数据分布，在车速校正效果上有一定局限性。
发明内容
[0007] 本发明的目的在于提供一种速度快、准确率高的基于多目标追踪框架的无人机视频中车速校正方法。
[0008] 实现本发明目的的技术解决方案为：一种基于多目标追踪框架的无人机视频中车速校正方法，包括以下几个步骤：
[0009] 步骤1、采集无人机视频并分拣具有俯视视角的车辆图像制作视频数据集，获得第t帧图像；
[0010] 步骤2、目标检测算法YOLOv3处理第t帧图像，并为每个目标i分配唯一对应的预测框 从而获得预测框集Pt；
[0011] 步骤3、将第t帧图像的预测框集Pt中所有预测框与第t-1帧图像的追踪集Trackt-1中每一个trackt-1记录的目标框pt-1之间，分别计算IoU，匹配是否为新目标：如果第i个预测框 所包含的目标为新目标则将该目标
申请一个新的追踪器，并添加到第t帧图像的追踪集Trackt中，然后转入步骤5；否则转入步骤4判断这个旧目标的丢失目标次数是否超过
阈值δ；
[0012] 步骤4、如果预测框集Pt中 匹配到追踪集Trackt-1中保存的目标框 则该目标丢失目标次数低于阈值δ，将该目标更新到追踪集Trackt对应的 中，否则认为由于丢失目标次数过多，目标消失，将该目标的追踪器从Trackt中移除，并停止追踪；
[0013] 步骤5、结合卡尔曼
滤波器更新当前追踪集Trackt，即可实现多目标追踪；
[0014] 步骤6、结合当前视频的帧数f，获得车速计算的基本时间单位1/f，利用第t帧图像中目标i获得的预测框 的中心坐标 与第t-1帧图像中目标i所属 保存的预测框 的中心坐标 计算在车辆行进方向上的位移，结合基本时间单位计算当前时刻t中目标i的车速
[0015] 步骤7、利用高斯滤波器，对步骤6中提取到的车辆速度数据进行处理，去除在追踪车辆和计算车速的过程中产生的数据噪声，进行车速数据校正，转到步骤1，直到视频结束。
[0016] 进一步地，步骤2所述目标检测算法YOLOv3处理第t帧图像，并为每个目标i分配唯一对应的预测框 从而获得预测框集Pt，具体如下：
[0017] 在ImageNet大型数据集上预训练Darknet53模型，然后利用构建的无人机视频视角的俯视车辆数据集对目标检测网络重新训练，采用优化Loss function：
[0018]
[0019] 其中，λcoord和λnoobj分别表示目标在单元格中和不在单元格中对应的损失函数系数；S2表示将图像分为S×S个单元格，B表示每个单元格产生两个预测框；xi,yi,wi,hi分别表示在单元格i中包含的目标框左
顶点的真实横坐标值、纵坐标值和目标框的真实宽度和高度； 分别表示在单元格i中包含的目标框左顶点的预测横坐标值、纵坐标值和目标框的预测的宽度和高度； 分别表示在单元格i中的第j个目标框真实类别、预测类别、真实类别的概率和预测类别的概率；classes表示所有的真实类别集合，表示目标obj出现在单元格i中的概率函数， 表示在单元格i中的第j个目标预测框的误差函数。
[0020] 进一步地，步骤3所述将第t帧图像的预测框集Pt中所有预测框与第t-1帧图像的追踪集Trackt-1中每一个trackt-1记录的目标框pt-1之间，分别计算IoU，匹配是否为新目标，具体如下：
[0021] 由于相邻两帧图像时间间隔小于阈值，目标在图像中移动距离有限，通过目标预测框 和 的交并比即完成预测目标集与原追踪集中的对应目标的匹配：
[0022]
[0023] 其中， 表示在预测目标集Pt中第i个目标的对应预测框， 表示在原追踪集tTrack中第i个目标保存的追踪框；area表示求解预测框和追踪框面积的函数；∩,∪分别表示求交集和并集的运算符；
[0024] 当IoU大于阈值δ，即认为该预测框检测的目标已存在追踪器，并更新相应追踪器的数据，否则，则认为可能是出现的新目标。
[0025] 进一步地，步骤5所述结合卡尔曼滤波器更新当前追踪集Trackt，具体如下：
[0026] 卡尔曼滤波器预测框与目标检测的预测框共同负责追踪集Trackt内数据的更新，卡尔曼滤波器更新方程：
[0027]
[0028]
[0029]
[0030]
[0031]
[0032] 其中， 分别表示k时刻和k-1时刻后验状态估计值； 表示k时刻和k-1时刻先验状态估计协方差；Pk,Pk-1表示k时刻和k-1时刻后验状态估计协方差；H,HT分别表示状态变量到观测变量的转换矩阵和对应的矩阵转置运算；yk是观测值；Kk表示滤波增益矩阵；A、B、R、Q分别表示状态转移矩阵、输入转换状态矩阵、测量噪声协方差、过程激励噪声协方差。
[0033] 进一步地，步骤7所述利用高斯滤波器，对多目标追踪框架中提取到的车辆速度数据进行处理，去除在追踪车辆和计算车速的过程中产生的数据噪声，进行车速数据校正，其中高斯分布模型p(x)如下：
[0034]
[0035] 其中，μ,σ分别表示高斯滤波函数的均值和标准差；exp表示指数函数运算；x为待处理的数据。
[0036] 本发明与
现有技术相比，其显著优点为：(1)采用速度快、准确率高的YOLOv3深度学习算法作为目标检测器，提高目标检测的准确率，结合卡尔曼滤波器线性预测能力，做到实时、准确追踪目标；(2)通过时间上累积获得车速数据，根据数据分布特点，设计高斯滤波器对追踪轨迹进行平滑处理，还原较为真实的运动轨迹；(3)提取车速等运动目标参数，并通过滤波器完成数据的去噪和去抖动，实现车速数据校正，可应用于交通安全领域。
附图说明
[0037] 图1为本发明基于多目标追踪框架的无人机视频中车速校正方法的
流程图。
[0038] 图2为在无人机视频中实时追踪实验效果图，其中(a)为对视频中密集的车辆完成多目标追踪任务效果图，(b)为对视频中稀疏车辆完成无目标任务效果图。
[0039] 图3为实验提取视频场景中行进的车辆速度参数后利用高斯滤波器校正数据对比图，其中(a)、(b)为车辆在开始进入无人机视频场景时的车速参数校正对比曲线图，(c)、(d)为车辆在视频场景中进入稳定行驶时的车速参数校正对比曲线图。
具体实施方式
[0040] 本发明基于多目标追踪框架的无人机视频中车速校正方法，该方法由优异的目标检测模
块、经典的卡尔曼滤波器和高斯
滤波器组成。首先采集高速路段无人机拍摄的视频并分拣具有俯视视角的车辆图像制作数据集；在数据集上重新训练深度卷积神经网络，提取深层语义特征，回归目标预测框；在实现目标检测的基础上，采用交并比(IOU)度量目标相似性，匹
配对应的目标；结合卡尔曼滤波器构建多目标实时追踪框架；利用设计的高斯滤波器减小由算法框架在追踪车辆目标时计算的车辆速度的数据抖动和误差，从车辆轨迹中提取更加精确的车辆运动数据。其中，目标检测部分采用最新的YOLOv3算法，其在无人机视角下的车辆数据集上训练得到的目标检测模型具有速度快和准确率高的优良特性。之后，利用卡尔曼滤波器和高斯滤波器实现了运动目标的预测与校正，具体包括以下几个步骤：
[0041] 步骤1、采集无人机视频并分拣具有俯视视角的车辆图像制作视频数据集，获得第t帧图像；
[0042] 步骤2、目标检测算法YOLOv3处理第t帧图像，并为每个目标i分配唯一对应的预测框 从而获得预测框集Pt；
[0043] 步骤3、将第t帧图像的预测框集Pt中所有预测框与第t-1帧图像的追踪集Trackt-1中每一个trackt-1记录的目标框pt-1之间，分别计算IoU，匹配是否为新目标：如果第i个预测框 所包含的目标为新目标则将该目标申请一个新的追踪器，并添加到第t帧图像的追踪集Trackt中，然后转入步骤5；否则转入步骤4判断这个旧目标的丢失目标次数是否超过阈值δ；
[0044] 步骤4、如果预测框集Pt中 匹配到追踪集Trackt-1中保存的目标框 则该目标丢失目标次数低于阈值δ，将该目标更新到追踪集Trackt对应的 中，否则认为由于丢失目标次数过多，目标消失，将该目标的追踪器从Trackt中移除，并停止追踪；
[0045] 步骤5、结合卡尔曼滤波器更新当前追踪集Trackt，即可实现多目标追踪；
[0046] 步骤6、结合当前视频的帧数f，获得车速计算的基本时间单位1/f，利用第t帧图像中目标i获得的预测框 的中心坐标 与第t-1帧图像中目标i所属 保存的预测框 的中心坐标 计算在车辆行进方向上的位移，结合基本时间单位计算当前时刻t中目标i的车速
[0047] 步骤7、利用高斯滤波器，对步骤6中提取到的车辆速度数据进行处理，去除在追踪车辆和计算车速的过程中产生的数据噪声，进行车速数据校正，转到步骤1，直到视频结束。
[0048] 进一步地，步骤2所述目标检测算法YOLOv3处理第t帧图像，并为每个目标i分配唯一对应的预测框 从而获得预测框集Pt，具体如下：
[0049] 在ImageNet大型数据集上预训练Darknet53模型，然后利用构建的无人机视频视角的俯视车辆数据集对目标检测网络重新训练，采用优化Loss function：
[0050]
[0051] 其中，λcoord和λnoobj分别表示目标在单元格中和不在单元格中对应的损失函数系2
数；S表示将图像分为S×S个单元格，B表示每个单元格产生两个预测框；xi,yi,wi,hi分别表示在单元格i中包含的目标框左顶点的真实横坐标值、纵坐标值和目标框的真实宽度和高度； 分别表示在单元格i中包含的目标框左顶点的预测横坐标值、纵坐标值和目标框的预测的宽度和高度； 分别表示在单元格i中的第j个目标框真实类
别、预测类别、真实类别的概率和预测类别的概率；classes表示所有的真实类别集合，表示目标obj出现在单元格i中的概率函数， 表示在单元格i中的第j个目标预测框的误差函数。
[0052] 进一步地，步骤3所述将第t帧图像的预测框集Pt中所有预测框与第t-1帧图像的t-1 t-1 t-1追踪集Track 中每一个track 记录的目标框p 之间，分别计算IoU，匹配是否为新目标，具体如下：
[0053] 由于相邻两帧图像时间间隔小于阈值，目标在图像中移动距离有限，通过目标预测框 和 交并比即完成预测目标集与原追踪集中的对应目标的匹配：
[0054]
[0055] 其中， 表示在预测目标集Pt中第i个目标的对应预测框， 示在原追踪集Trackt中第i个目标保存的追踪框；area表示求解预测框和追踪框面积的函数；∩,∪分别表示求交集和并集的运算符；
[0056] 当IoU大于阈值δ，即认为该预测框检测的目标已存在追踪器，并更新相应追踪器的数据，否则，则认为可能是出现的新目标。
[0057] 进一步地，步骤5所述结合卡尔曼滤波器更新当前追踪集Trackt，具体如下：
[0058] 卡尔曼滤波器预测框与目标检测的预测框共同负责追踪集Trackt内数据的更新，卡尔曼滤波器更新方程：
[0059]
[0060]
[0061]
[0062]
[0063]
[0064] 其中， 分别表示k时刻和k-1时刻后验状态估计值； 表示k时刻和k-1时刻先验状态估计协方差；Pk,Pk-1表示k时刻和k-1时刻后验状态估计协方差；H,HT分别表示状态变量到观测变量的转换矩阵和对应的矩阵转置运算；yk是观测值；Kk表示滤波增益矩阵；A、B、R、Q分别表示状态转移矩阵、输入转换状态矩阵、测量噪声协方差、过程激励噪声协方差。
[0065] 进一步地，步骤7所述利用高斯滤波器，对多目标追踪框架中提取到的车辆速度数据进行处理，去除在追踪车辆和计算车速的过程中产生的数据噪声，进行车速数据校正，其中高斯分布模型p(x)如下：
[0066]
[0067] 其中，μ,σ分别表示高斯滤波函数的均值和标准差；exp表示指数函数运算；x为待处理的数据。
[0068] 下面结合附图及具体
实施例对本发明作进一步详细说明。
[0069] 实施例
[0070] 本发明为基于高斯滤波器改进的校正车速数据的多目标追踪方法，主要分三个组件：第一部分为目标检测算法YOLOv3对图像中的目标完成预测；第二部分为结合卡尔曼滤波器更新追踪集；第三部分为高斯滤波器去除由追踪框架在处理图像的过程中产生的数据噪声，结合图1，具体步骤如下：
[0071] 步骤1、读取视频，获得第t帧图像；
[0072] 步骤2、目标检测算法YOLOv3处理第t帧图像，并为每个目标i分配唯一对应的预测t框 从而获得预测框集P ；
[0073] 步骤3、将第t帧图像的预测框集Pt中所有预测框与第t-1帧图像的追踪集Trackt-1中每一个trackt-1记录的目标框pt-1之间，分别计算IoU，匹配是否为新目标：如果第i个预测框 所包含的目标为新目标则将该目标申请一个新的追踪器，并添加到第t帧图像的追踪集Trackt中，然后转入步骤5；否则转入步骤4判断这个旧目标的丢失目标次数是否超过阈值δ；
[0074] 步骤4、如果预测框集Pt中 匹配到追踪集Trackt-1中保存的目标框 则该目标丢失目标次数低于阈值δ，将该目标更新到追踪集Trackt对应的 中，否则认为由于t丢失目标次数过多，目标消失，将该目标的追踪器从Track中移除，并停止追踪；
[0075] 步骤5、结合卡尔曼滤波器更新当前追踪集Trackt，即可实现多目标追踪；
[0076] 步骤6、结合当前视频的帧数f，获得车速计算的基本时间单位1/f，利用第t帧图像中目标i获得的预测框 的中心坐标 与第t-1帧图像中目标i所属 保存的预测框 的中心坐标 计算在车辆行进方向上的位移，结合基本时间单位计算当前时刻t中目标i的车速
[0077] 步骤7、利用高斯滤波器，对步骤6中提取到的车辆速度数据进行处理，去除在追踪车辆和计算车速的过程中产生的数据噪声，进行车速数据校正，转到步骤1，直到视频结束。
[0078] 进一步地，步骤2的目标检测算法YOLOv3处理第t帧图像，并为每个目标i分配唯一对应的预测框 从而获得预测框集Pt，具体如下：
[0079] 在ImageNet大型数据集上预训练Darknet53模型，然后利用构建的无人机视频视角的俯视车辆数据集对目标检测网络重新训练，采用优化Loss function：
[0080]
[0081] 其中,λcoord和λnoobj分别表示目标在单元格中和不在单元格中对应的损失函数系数；S2表示将图像分为S×S个单元格，B表示每个单元格产生两个预测框；xi,yi,wi,hi分别表示在单元格i中包含的目标框左顶点的真实横坐标值、纵坐标值和目标框的真实宽度和高度； 分别表示在单元格i中包含的目标框左顶点的预测横坐标值、纵坐标值和目标框的预测的宽度和高度； 分别表示在单元格i中的第j个目标框真实类别、预测类别、真实类别的概率和预测类别的概率；classes表示所有的真实类别集合，表示目标obj出现在单元格i中的概率函数， 表示在单元格i中的第j个目标预测框的误差函数。
[0082] 进一步地，步骤3所述将第t帧图像的预测框集Pt中所有预测框与第t-1帧图像的追踪集Trackt-1中每一个trackt-1记录的目标框pt-1之间，分别计算IoU，匹配是否为新目标，具体如下：
[0083] 由于相邻两帧图像时间间隔小于阈值，目标在图像中移动距离有限，通过目标预测框 和 的交并比即完成预测目标集与原追踪集中的对应目标的匹配：
[0084]
[0085] 当IoU大于阈值δ，即可认为该预测框检测的目标已存在追踪器，并更新相应追踪器的数据，否则，则认为可能是出现的新目标。
[0086] 进一步地，步骤5所述结合卡尔曼滤波器更新当前追踪集Trackt，具体如下：
[0087] 卡尔曼滤波器预测框与目标检测的预测框共同负责追踪集Trackt内数据的更新，卡尔曼滤波器更新方程：
[0088]
[0089]
[0090]
[0091]
[0092]
[0093] 其中， 分别表示k时刻和k-1时刻后验状态估计值； 表示k时刻和k-1时刻先验状态估计协方差；Pk,Pk-1表示k时刻和k-1时刻后验状态估计协方差；H,HT分别表示状态变量到观测变量的转换矩阵和对应的矩阵转置运算；yk是观测值；Kk表示滤波增益矩阵；A,B,R,Q分别表示状态转移矩阵，输入转换状态矩阵，测量噪声协方差，过程激励噪声协方差。
[0094] 如图2所示，展示了本发明中多目标追踪框架对无人机视频中的车辆进行目标追踪任务的效果图，其中图2(a)、图2(b)均为在目标追踪过程中对车辆进行唯一识别，并绘制追踪轨迹线的截图。总体来看，本发明的多目标追踪框架的追踪效果好，在车辆数目众多、车辆类型不均衡和双向行驶车辆等复杂场景下仍能够保持较高的检测和追踪目标的效果。
[0095] 进一步地，步骤7所述利用高斯滤波器，对多目标追踪框架中提取到的车辆速度数据进行处理，去除在追踪车辆和计算车速的过程中产生的数据噪声，进行车速数据校正，其中高斯分布模型如下：
[0096]
[0097] 其中，μ,σ分别表示高斯滤波函数的均值和标准差；exp表示指数函数运算；x为待处理的数据。
[0098] 如图3所示，展示了本发明在无人机视频中追踪车辆的过程中，对追踪框架提取的车速进行
数据处理的结果图，其中图3(a)、图3(b)为车辆刚进入视频视野时刻的车速对比图，图3(c)、图3(d)为车辆进入视频中一段时间后处于较为稳定的状态时刻的车速对比图。从数据处理对比图的结果来看，本发明的高斯滤波器部分能很好地处理由追踪框架产生的噪声问题并校正车速数据，在提取车速等交通参数应用于交通安全方向具有一定的价值。
