一种使用运动信息与时序信息的改进CFNet视频目标追踪方法
专利汇可以提供一种使用运动信息与时序信息的改进CFNet视频目标追踪方法专利检索，专利查询，专利分析的服务。并且本 发明 提供一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，属于目标追踪、 深度学习 领域。为了使模型有更强的鲁棒性，首先，要能够更好的提取 视频 帧 中的图像特征，在CFNet模型的 基础 上，引入了SE-ResNext-50作为本模型的特征提取网络，其次，通过前后帧的信息，计算物体的位移、速度、 加速 度特征，作为 跟踪 目标的运动信息特征输入模型中。同时，模型还使用二维ConvLSTM循环神经网络，提取视频帧内的时序信息，两种信息的加入使得模型具有了较强的鲁棒性，在遇到遮挡，形变，目标快速运动等问题时较之前模型有较好的表现。，下面是一种使用运动信息与时序信息的改进CFNet视频目标追踪方法专利的具体信息内容。
1.一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，包括如下步骤：
步骤1，选取训练视频数据集，并进行预处理，得到网络模型需要的训练数据集；
步骤2，将步骤1预处理后的数据输入到构建好的网络模型中，初始化历史信息特征图，使用训练好的CFNet或SiameseFC对目标下一帧位置进行估计，用估计结果计算初始化运动状态特征图；
步骤3，使用Se-ResNext-50对模板帧图像特征进行提取，与步骤2中得到的当前时刻状态特征Ht一起，作为相关滤波层的输入，通过相关滤波层进行匹配识别，输出匹配度最高的结果作为模型预估的跟踪目标位置；
步骤4，跟踪过程中通过步骤2与步骤3中的公式不断维护历史状态特征图与运动状态特征图，通过多尺度输入不断修正跟踪目标边界框大小，并根据模型的损失函数，采用反向传播方法，对整个网络的参数进行微调，重复步骤4，得到最后的网络模型；
步骤5，将测试视频数据集输入到步骤4得到的模型中，输出结果。
2.根据权利要求1所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，所述步骤2具体为：
步骤2.1，以Se-ResNext-50作为特征提取网络，构建网络模型，使用ImageNet预训练权重初始化特征提取网络权重，初始化网络模型中特征提取网络以外部分的权重，使用0对历史信息特征图进行初始化，设置模型最大训练轮数；
步骤2.2，将当前帧图片输入到网络模型中，使用CFNet或SiameseFC对目标下一帧位置进行估计，再计算获取物体的运动信息以此初始化运动状态特征图；
(1)设物体当前的位置为Pt，目标在历史帧当中的位置分别为，Pt-T，Pt-2T，则当前帧目标的速度vt与加速度at可分别通过与相应历史值做一阶和二阶近似得到，T表示当前帧与所观察的下一帧的时间差；
vt＝(Pt-Pt-T)
at＝(vt-vt-T)
(2)利用运动信息对视频下一帧目标位置进行推断，得到位移、速度、加速度的特征图；
具体过程为：将下一帧图像的每个像素所在位置pi,j与预估的物体当前的位置Pt相减，得到与Pt预估位置相关的位移特征图Mp，同理获得速度与加速度状态差的特征图Mv，Ma；
Mp(i,j)＝pi,j-Pt
Mv(i,j)＝Mp(i,j)-vt
Ma(i,j)＝Mv(i,j)-at
(3)将得到的跟踪物体位移、速度、加速度特征图在通道轴进行拼接，得到运动状态特征图M＝[Mp,Mv,Ma]，同时对过去的状态进行平滑处理：
其中， 为在t时刻跟踪物体的速度， 为在t时刻跟踪物体的加速度，vj为位置为j的像素的速度，aj为位置为j的像素的加速度；
步骤2.3，将运动状态特征图M与当前帧进行拼接，作为图像特征提取网络Se-ResNext-
50的输入，得到当前帧特征图It；
步骤2.4，将当前帧特征图It，与在T时刻之前得到的历史状态特征Ht-1，同时输入到时序特征状态提取网络ConvLSTM中，得到当前时刻的状态特征Ht，ConvLSTM在接收上一状态特征Ht-1与当前帧特征图It后获取当前时刻状态特征Ht的方式如下：
其中，it为t时刻输入门特征，ft为t时刻遗忘门特征，Ct为t时刻细胞特征，ot为t时刻输出门特征，*表示卷积操作，°表示Hadamard积，σ为Sigmoid激活函数，W(*)为卷积核权重，Wi为输入门权重，Wci为细胞输入门权重，Wf为遗忘门权重，Wcf为细胞遗忘门权重，Wc为细胞权重，Wxo为输出权重，Who为隐藏状态输出门权重，Wco为细胞输出门权重，b(*)为偏置项，bi为输入门偏置，bf为遗忘门偏置，bc为细胞偏置，bo为输出门偏置，tanh(·)表示双曲正切函数。
3.根据权利要求1或2所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，所述步骤3具体为：
步骤3.1，再次使用在步骤2出现过的SE-ResNext-50特征提取网络，对模板帧进行特征提取，得到模板帧的特征向量；
步骤3.2，将模板帧特征信息与当前帧状态特征，同时输入到相关滤波层中，得到两个状态下两特征的匹配度，相关滤波的具体操作为：
hρ,s,b(x,z)＝sω(fρ(x))*fρ(z)+b
其中，ω指代CFNet里面所指的相关滤波层，s,b是为了使响应值更适用于Logistics回归的而引入的参数，fρ(x)表示当前帧搜索区域的特征，fρ(z)表示上一帧目标的特征；
步骤3.3，根据模型输出相应值的高低，作为模型在该位置的得分，相应值最大的位置作为当前帧中目标的预估位置。
4.根据权利要求1或2所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，所述步骤4具体为：
步骤4.1，将步骤2得到的Ht作为下一帧的历史状态信息，将步骤3中得到的当前帧模型预估的跟踪目标位置通过步骤2的方式计算获得运动状态特征图；
步骤4.2，放大和缩小边界框，再通过双线性插值将模版帧缩放至模型要求输入的大小后输入模型；
步骤4.3，将响应值最大的尺寸与位置作为下一帧目标模版帧的边界框尺寸与预估位置；
步骤4.4，通过损失函数计算目标位置与实际位置之间的误差，并通过反向传播方法不断调整训练参数。
5.根据权利要求3所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，所述步骤4具体为：
步骤4.1，将步骤2得到的Ht作为下一帧的历史状态信息，将步骤3中得到的当前帧模型预估的跟踪目标位置通过步骤2的方式计算获得运动状态特征图；
步骤4.2，放大和缩小边界框，再通过双线性插值将模版帧缩放至模型要求输入的大小后输入模型；
步骤4.3，将响应值最大的尺寸与位置作为下一帧目标模版帧的边界框尺寸与预估位置；
步骤4.4，通过损失函数计算目标位置与实际位置之间的误差，并通过反向传播方法不断调整训练参数。
6.根据权利要求1、2或5所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，所述步骤5具体为：
步骤5.1，将预处理好的测试视频数据集输入到步骤4训练好的、参数确定的网络模型中，经过步骤2中各隐藏层网络的处理，提取视频帧中的当前状态特征信息；
步骤5.2，将得到的模板帧特征信息与当前帧状态特征信息，通过相关滤波层进行对比，确定当前帧各部分与模板帧的响应值，得到模型推断的跟踪目标位置。
7.根据权利要求3所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，所述步骤5具体为：
步骤5.1，将预处理好的测试视频数据集输入到步骤4训练好的、参数确定的网络模型中，经过步骤2中各隐藏层网络的处理，提取视频帧中的当前状态特征信息；
步骤5.2，将得到的模板帧特征信息与当前帧状态特征信息，通过相关滤波层进行对比，确定当前帧各部分与模板帧的响应值，得到模型推断的跟踪目标位置。
8.根据权利要求4所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，所述步骤5具体为：
步骤5.1，将预处理好的测试视频数据集输入到步骤4训练好的、参数确定的网络模型中，经过步骤2中各隐藏层网络的处理，提取视频帧中的当前状态特征信息；
步骤5.2，将得到的模板帧特征信息与当前帧状态特征信息，通过相关滤波层进行对比，确定当前帧各部分与模板帧的响应值，得到模型推断的跟踪目标位置。
9.根据权利要求1、2、5、7或8所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，步骤1中所述的预处理的过程包括：对视频中的单帧图像进行亮度、对比度、色相的增广，对视频进行空域上的裁剪，在时域上对视频的时长使用双线性插值的方法进行缩放。
10.根据权利要求6所述的一种使用运动信息与时序信息的改进CFNet视频目标追踪方法，其特征在于，步骤1中所述的预处理的过程包括：对视频中的单帧图像进行亮度、对比度、色相的增广，对视频进行空域上的裁剪，在时域上对视频的时长使用双线性插值的方法进行缩放。
一种使用运动信息与时序信息的改进CFNet视频目标追踪
方法
技术领域
背景技术
发明内容
具体实施方式
OTB-50 OPE DP 72.8 73.0 73.5
TRE IoU 58.6 58.8 59.2
TRE DP 77.2 77.8 78.4
OPE IoU 59.2 59.6 60.2
OTB-100 OPE DP 78.5 78.7 79.2
TRE IoU 62.0 61.9 62.6
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种行人导航定位中的自适应零速修正方法 | 2020-05-08 | 121 |
| 输电线路绝缘子红外智能匹配识别与测距定位方法及系统 | 2020-05-13 | 62 |
| 胃行为的仿真方法和系统 | 2020-05-14 | 114 |
| 基于可穿戴单目视觉和惯性传感器融合的行人导航方法及系统 | 2020-05-14 | 429 |
| 一种目标跟踪模板自适应更新方法 | 2020-05-16 | 741 |
| 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法 | 2020-05-17 | 968 |
| 一种基于深度学习的无人机航拍视频轨迹高精度提取方法 | 2020-05-15 | 190 |
| 一种复杂场景下行人的多模态轨迹预测方法 | 2020-05-14 | 411 |
| 一种基于北斗、GPS和SINS的组合导航方法 | 2020-05-15 | 592 |
| 一种基于DS证据理论的目标轨迹优化方法 | 2020-05-17 | 597 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
