技术领域
[0001] 本
发明属于计算机技术领域，涉及一种深度目标跟踪方法，具体涉及一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法，可用于对视频监控、
机器人导航和
定位、无人驾驶机获取的视频
图像序列中的运动目标进行跟踪。
背景技术
[0002] 目标跟踪的主要任务是，从连续的视频图像序列中检测出运动目标，即在每一
帧图像中确定出运动目标的
位置。对目标跟踪结果的评价主要基于两点，一是对跟踪目标定位的准确性，二是目标跟踪的速度。对跟踪目标定位的准确性主要受描述目标的特征的影响，此外，由于
计算机程序运行时间通常与其计算量成正比，目标跟踪方法的速度主要取决于其计算效率。
[0003] 根据描述目标时用到的特征不同，目标跟踪可分为基于手动设计的特征的传统目标跟踪方法和基于深层卷积特征的深度目标跟踪方法。由于深层卷积特征比手动设计的特征能更好地对目标进行描述，因此深度目标跟踪方法相比于传统目标跟踪方法有更高的跟踪准确度。由于不同层的卷积特征从不同
角度描述了目标的特性，深层卷积特征包含目标语义信息，浅层卷积特征包含更多空间细节信息，在不同的场景中不同层的卷积特征取得的跟踪效果不同，如何更好的将基于不同层卷积特征的跟踪结果进行融合成为提升对跟踪目标定位准确度的关键。
[0004] 很多学者将深层卷积网络，如VGG网络，中的卷积特征输入相关
滤波器模型，提升了对跟踪目标定位的准确性。相关滤波器模型是目标跟踪领域常用的一种模型，设相关滤波器W的输入为x，x∈RL×H×D，模板参数为w，w∈RL×H×D，高斯形类标矩阵为y，y∈RL×H，R表示实数域，，L表示x、w和y的长，H表示x、w和y的高，D表示x和w第三维通道的数量，计算x、w和y在频域的值的计算公式分别为：
[0005] X＝F(x)
[0006] W＝F(w)
[0007] Y＝F(y)
[0008] 其中F(·)表示傅里叶变换，基于此可通过X,W,Y构建相关滤波器模型W，其中W可建模为以下优化问题为：
[0009]
[0010]
[0011] 其中， 表示最小化
算法，X·W为X和W的相关，最终得到W的计算公式为：
[0012]
[0013]
申请公开号为CN107016689A，名称为“一种尺度自适应的相关滤波对冲目标跟踪方法”的
专利申请，公开了一种尺度自适应的相关滤波对冲目标跟踪方法。该方法实现的具体步骤是，(1)确定
视频帧中的待跟踪目标的初始位置和初始尺度，以初始位置为中心，利用深度
卷积神经网络分别提取不同层的卷积特征；(2)对每一层提取的卷积特征，利用相关滤波跟踪方法进行跟踪得到跟踪结果；(3)利用自适应对冲算法将所有的跟踪结果组合得到一个最终跟踪结果，作为待跟踪目标的最终位置，以定位视频帧中待跟踪目标；(4)获得待跟踪目标的最终位置后，利用尺度金字塔策略估计待跟踪目标的最终尺度；(5)得到的待跟踪目标的最终位置和最终尺度后，以最终位置为中心，根据最终尺度提取所述待跟踪目标图像
块，来重新训练每个核相关滤波跟踪方法，以更新系数和模板。该发明将尺度金字塔模型与深度对冲跟踪方法相结合，提高了跟踪的准确度。但其存在的不足之处是，第一，该发明利用自适应对冲算法将所有的跟踪结果组合得到一个最终跟踪结果，未充分考虑到各个基于不同层卷积特征的相关滤波器对目标进行定位的能
力强弱不同，导致目标定位的准确性仍然较低，第二，该发明采用的相关滤波器模型仅能实现输入与模板参数的相关，计算量较大，影响了目标跟踪速度的提升。
发明内容
[0014] 本发明的目的是针对上述
现有技术的不足，提出一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法，用于解决现有技术中存在的目标定位准确度较低的技术问题，并提高跟踪速度。
[0015] 为实现上述目的，本发明采取的技术方案包括如下步骤：
[0016] (1)构建多个基于双相关的相关滤波器模型：
[0017] (1a)设置待构建的多个基于双相关的相关滤波器模型的数量为n，2≤n≤16，第k个相关滤波器Wk的输入为xk，xk∈RL×H×D，模板参数为wk，wk∈RL×H×D，高斯形类标矩阵为yk，yk∈RL×H，R表示实数域，k＝1,2...n，L表示xk、wk和yk的长，H表示xk、wk和yk的高，D表示xk和wk第三维通道的数量，计算xk、wk和yk在频域的值的计算公式分别为：
[0018] Xk＝F(xk)
[0019] Wk＝F(wk)
[0020] Yk＝F(yk)
[0021] 其中，F(·)表示傅里叶变换；
[0022] (1b)通过Xk,Wk,Yk构建基于双相关的相关滤波器模型Wk，得到n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn，其中Wk可建模为下面的优化问题：
[0023]
[0024]
[0025]
[0026] 其中， 表示最小化算法，λ为正则化系数，λ＝0.01， 表示傅里叶域内的平方计算，⊙表示矩阵之间对应元素相乘，∑(·)表示求和操作，Xk·Wk为Xk和Wk的相关，Yk·(Xk·Wk)为Yk和Xk·Wk的相关；
[0027] (2)设定包含待跟踪目标的图像序列参数：
[0028] 设定包含待跟踪目标的图像序列中的图像帧数为tmax，第t帧图像中待跟踪目标中心的坐标位置为(xt,yt)，并初始化t＝1；
[0029] (3)对每个相关滤波器的隶属度进行初始化：
[0030] 对第k个相关滤波器Wk的隶属度 进行初始化的计算公式为：
[0031]
[0032] (4)获取n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值：
[0033] (4a)将大小为L×H的矩形框的中心与第t帧图像中待跟踪目标中心的坐标位置(xt,yt)对正，对该第t帧图像中待跟踪目标的所在区域进行框定，得到第t帧图像中的待跟踪目标区域It；
[0034] (4b)将It输入至预训练后的VGG网络中，得到VGG网络输出的16层卷积特征，并选取其中的n层卷积特征j1,j2,...jk...,jn；
[0035] (4c)对每层卷积特征jk进行傅里叶变换，得到j1,j2,...jk...,jn在频域的值J1,J2,...Jk...,Jn：
[0036] Jk＝F(jk)；
[0037] (4d)计算n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值，Wk的计算公式为：
[0038]
[0039] 其中 Y k 为y k 在频 域的 值 ，yk 中 坐标 为 ( u ,v) 的 元 素的 值 为[0040] (5)计算每个相关滤波器对第t+1帧图像中待跟踪目标的中心位置的估计值：
[0041] (5a)将大小为M×N,M≥2L,N≥2H的矩形框的中心与第t+1帧图像中坐标位置为(xt,yt)的
像素点对正，对第t+1帧图像中待搜索区域进行框定，得到第t+1帧图像中的待搜索区域Ot+1；
[0042] (5b)将Ot+1输入至预训练后的VGG网络中，得到VGG网络输出的16层卷积特征，并选取其中的n层卷积特征T1,T2,...Tk...,Tn；
[0043] (5c)计算n个相关滤波器W1,W2,...Wk...,Wn的时域响应S1(x,y),...Sk(x,y)...,Sn(x,y)，其中，第k个相关滤波器Wk的时域响应Sk(x,y)的计算公式为：
[0044] Sk(x,y)＝F-1(τk·Wk)
[0045] 其中，τk为Tk在频域的值，τk＝F(Tk)，F-1(·)代表F(·)的反变换；
[0046] (5d)计算每个时域响应Sk(x,y)中元素的最大值的位置 并将作为第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的中心位置的估计值，得到n个相关滤波器W1,W2,...Wk...,Wn在t+1帧图像中对待跟踪目标的中心位置的估计值
其中，第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的
中心位置的估计值 的计算公式为：
[0047]
[0048] 其中， 为最大化函数；
[0049] (6)基于隶属度加权决策方法计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1)：
[0050] (6a)计算每个相关滤波器的权值，得到n个相关滤波器W1,W2,...Wk...,Wn的权值w1,...wk...,wn，其中第k个相关滤波器Wk的权值wk的计算公式为：
[0051]
[0052] 其中，(·)b代表(·)的b次方，b＞1；
[0053] (6b)计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1)：
[0054]
[0055] (7)获取深度目标跟踪结果：
[0056] 判断t＝tmax是否成立，若是，输出包含待跟踪目标的图像序列中每帧图像中目标的中心位置，否则，t＝t+1，并执行步骤(8)；
[0057] (8)计算每个相关滤波器的隶属度：
[0058] 计算每个相关滤波器的隶属度，得到n个相关滤波器W1,W2,...Wk...,Wn的隶属度并执行步骤(4)，其中第k个相关滤波器Wk的隶属度 的计算公式为：
[0059]
[0060] 其中，dk为第k个相关滤波器Wk在t-1帧图像中对待跟踪目标的中心位置的估计值与(xt-1,yt-1)的欧氏距离为 ||·||代表欧氏距离。
[0061] 本发明与现有技术相比，具有以下优点：
[0062] (1)本发明利用基于隶属度的加权决策算法，根据隶属度计算公式，定位更准确的滤波器将得到更大的隶属度和权值，更好地将基于不同层卷积特征的跟踪结果进行融合，因此提升了对待跟踪目标定位的准确度。
[0063] (2)为了使得滤波器的计算公式更为简洁，计算效率更高，从而提升跟踪速度，本发明在滤波器构建中首先得到滤波器输入与滤波器模板的相关，然后得到第一次相关结果与高斯形类标矩阵的相关，由此得到的相关滤波器的计算公式更为简洁，计算效率更高，跟踪速度更快；
附图说明
[0065] 图2中的图2(a)、图2(b)、图2(c)、图2(d)分别为本发明在DragonBaby视频图像序列中第11帧、第50帧、第94帧、第108帧图像的跟踪准确度结果；
[0066] 图3中的图3(a)、图3(b)、图3(c)、图3(d)分别为现有技术在DragonBaby视频图像序列中第11帧、第50帧、第94帧、第108帧图像上的跟踪准确度结果；
[0067] 图4为本发明和现有技术的
精度-定位误差
阈值仿真结果图。
具体实施方式
[0068] 下面结合附图和具体
实施例，对本发明作进一步的详细描述。
[0069] 参照图1、一种基于双相关滤波和隶属度加权决策的深度目标跟踪方法，包括如下步骤：
[0070] 步骤1)构建多个基于双相关的相关滤波器模型：
[0071] 步骤1a)设置待构建的多个基于双相关的相关滤波器模型的数量为n，2≤n≤16，第k个相关滤波器Wk的输入为xk，xk∈RL×H×D，模板参数为wk，wk∈RL×H×D，高斯形类标矩阵为yk，yk∈RL×H，R表示实数域，k＝1,2...n，L表示xk、wk和yk的长，H表示xk、wk和yk的高，D表示xkk k k k和w第三维通道的数量，计算x、w和y在频域的值的计算公式分别为：
[0072] Xk＝F(xk)
[0073] Wk＝F(wk)
[0074] Yk＝F(yk)
[0075] 其中，F(·)表示傅里叶变换；
[0076] 在本发明实施例中，相关滤波器模型的数量为n＝6，L和H为视频序列中待跟踪目标区域实际的长和高；
[0077] 步骤1b)通过Xk,Wk,Yk构建基于双相关的相关滤波器模型Wk，得到n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn，其中Wk可建模为以下优化问题：
[0078]
[0079]
[0080]
[0081] 其中， 表示最小化算法，λ为正则化系数，λ＝0.01， 表示傅里叶域内的平方计算，⊙表示矩阵之间对应元素相乘，∑(·)表示求和操作，Xk·Wk为Xk和Wk的相关，Yk·(Xk·Wk)为Yk和Xk·Wk的相关；
[0082] 步骤2)设定包含待跟踪目标的图像序列参数：
[0083] 设定包含待跟踪目标的图像序列中的图像帧数为tmax，第t帧图像中待跟踪目标中心的坐标位置为(xt,yt)，并初始化t＝1；
[0084] 步骤3)对每个相关滤波器的隶属度进行初始化：
[0085] 对第k个相关滤波器Wk的隶属度 进行初始化的计算公式为：
[0086]
[0087] 在本发明实施例中，相关滤波器模型的数量为n＝6，因此每个相关滤波器的初始隶属度均为1/6；
[0088] 步骤4)获取n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值：
[0089] 步骤4a)将大小为L×H的矩形框的中心与第t帧图像中待跟踪目标中心的坐标位置(xt,yt)对正，对该第t帧图像中待跟踪目标的所在区域进行框定，得到第t帧图像中的待跟踪目标区域It；
[0090] 步骤4b)将It输入至预训练后的VGG网络中，得到VGG网络输出的16层卷积特征，并选取其中的n层卷积特征j1,j2,...jk...,jn；
[0091] 预训练后的VGG网络，其网络结构和参数设置分别为：
[0092] 网络结构为：
输入层-第1卷积层-第2卷积层-第1
池化层-第3卷积层-第4卷积层-第2池化层-第5卷积层-第6卷积层-第7卷积层-第8卷积层-第3池化层-第9卷积层-第10卷积层-第11卷积层-第12卷积层-第4池化层-第13卷积层-第14卷积层-第15卷积层-第16卷积层-第5池化层-第1全连接层-第2全连接层-第3全连接层-
输出层；
[0093] 网络参数设置为：所有池化层中池化操作的步长均为2，所有卷积层中的卷积核的大小均为3×3，第1卷积层到第16卷积层中卷积核的个数依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512、512，第1全连接层到第3全连接层中的
节点个数依次为4096、4096、1000；
[0094] 在本发明实施例中，选择第10卷积层、第11卷积层、第12卷积层、第14卷积层、第15卷积层和第16卷积层共6层卷积层的卷积特征；
[0095] 步骤4c)对每层卷积特征jk进行傅里叶变换，得到j1,j2,...jk...,jn在频域的值J1,J2,...Jk...,Jn：
[0096] Jk＝F(jk)；
[0097] 步骤4d)计算n个基于双相关的相关滤波器模型W1,W2,...Wk...,Wn的值，Wk的计算公式为：
[0098]
[0099] 其中 Y k 为y k 在频 域的 值 ，yk 中 坐标 为 ( u ,v) 的 元 素的 值 为[0100] 在本发明实施例中，为了使得滤波器的计算公式更为简洁，计算效率更高，从而提升跟踪速度，因此在本发明在滤波器构建中首先得到滤波器输入与滤波器模板的相关，然后得到第一次相关结果与高斯形类标矩阵的相关，由此得到用于求解相关滤波器的计算公式的优化问题，基于高等数学中的求导法即可求得该优化问题的闭合解，从而得到了更为简洁的滤波器的计算公式，为计算效率的提高提供了数学上的保证，从而保证了更快的跟踪速度；
[0101] 步骤5)计算每个相关滤波器对第t+1帧图像中待跟踪目标的中心位置的估计值：
[0102] 步骤5a)将大小为M×N,M≥2L,N≥2H的矩形框的中心与第t+1帧图像中坐标位置为(xt,yt)的像素点对正，对第t+1帧图像中待搜索区域进行框定，得到第t+1帧图像中的待搜索区域Ot+1；
[0103] 在本发明实施例中，M＝2L,N＝2H；
[0104] 步骤5b)将Ot+1输入至预训练后的VGG网络中，得到VGG网络输出的16层卷积特征，并选取其中的n层卷积特征T1,T2,...Tk...,Tn；
[0105] 预训练后的VGG网络，其网络结构和参数设置分别为：
[0106] 网络结构为：输入层-第1卷积层-第2卷积层-第1池化层-第3卷积层-第4卷积层-第2池化层-第5卷积层-第6卷积层-第7卷积层-第8卷积层-第3池化层-第9卷积层-第10卷积层-第11卷积层-第12卷积层-第4池化层-第13卷积层-第14卷积层-第15卷积层-第16卷积层-第5池化层-第1全连接层-第2全连接层-第3全连接层-输出层；
[0107] 网络参数设置为：所有池化层中池化操作的步长均为2，所有卷积层中的卷积核的大小均为，第1卷积层到第16卷积层中卷积核的个数依次为64、64、128、128、256、256、256、256、512、512、512、512、512、512、512、512，第1全连接层到第3全连接层中的节点个数依次为4096、4096、1000；
[0108] 在本发明实施例中，选择第10卷积层、第11卷积层、第12卷积层、第14卷积层、第15卷积层和第16卷积层共6层卷积层的卷积特征；
[0109] 步骤5c)计算n个相关滤波器W1,W2,...Wk...,Wn的时域响应S1(x,y),...Sk(x,y)...,Sn(x,y)，其中，第k个相关滤波器Wk的时域响应Sk(x,y)的计算公式为：
[0110] Sk(x,y)＝F-1(τk·Wk)
[0111] 其中，τk为Tk在频域的值，τk＝F(Tk)，F-1(·)代表F(·)的反变换；
[0112] 步骤5d)计算每个时域响应Sk(x,y)中元素的最大值的位置 并将作为第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的中心位置的估计值，得到n个相关滤波器W1,W2,...Wk...,Wn在t+1帧图像中对待跟踪目标的中心位置的估计值其中，第k个相关滤波器Wk在t+1帧图像中对待跟踪目标的
中心位置的估计值 的计算公式为：
[0113]
[0114] 其中， 为最大化函数；
[0115] 步骤6)基于隶属度加权决策方法计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1)：
[0116] 步骤6a)计算每个相关滤波器的权值，得到n个相关滤波器W1,W2,...Wk...,Wn的权值w1,...wk...,wn，其中第k个相关滤波器Wk的权值wk的计算公式为：
[0117]
[0118] 其中，(·)b代表(·)的b次方，b＞1；
[0119] 在本发明实施例中，b＝2，按照上式计算wk，则每个滤波器的权值与其隶属度的值成正比，权值越大则在步骤6b)中计算待跟踪目标的中心位置时起的作用越大；
[0120] 步骤6b)计算t+1帧图像中待跟踪目标的中心位置(xt+1,yt+1)：
[0121]
[0122] 步骤7)获取深度目标跟踪结果：
[0123] 判断t＝tmax是否成立，若是，输出包含待跟踪目标的图像序列中每帧图像中目标的中心位置，否则，t＝t+1，并执行步骤(8)；
[0124] 步骤8)计算每个相关滤波器的隶属度：
[0125] 计算每个相关滤波器的隶属度，得到n个相关滤波器W1,W2,...Wk...,Wn的隶属度并执行步骤(4)，其中第k个相关滤波器Wk的隶属度 的计算公式为：
[0126]
[0127] 其中，dk为第k个相关滤波器Wk在t-1帧图像中对待跟踪目标的中心位置的估计值与(xt-1,yt-1)的欧氏距离为 ||·||代表欧氏距离，当dk越小时，说明滤波器Wk的对目标的定位越准确；
[0128] 在本发明实施例中，将每个相关滤波器的隶属度与该滤波器对目标中心位置的估计值的关系可建模为下面的优化问题：
[0129]
[0130] 其中，zk＝(xk,yk)为第k个相关滤波器Wk对目标中心位置的估计值，z＝(x,y)代表目标中心位置的最终结果，μk为第k个相关滤波器的隶属度，且∑kμk＝1；
[0131] 利用拉格朗日乘子法解这个约束优化问题，可求得问题的闭合解：
[0132]
[0133]
[0134] 根据该优化问题的闭合解得到本发明的隶属度计算公式，从而保证了对目标定位越准确的相关滤波器，其隶属度的值就越大，在加权决策时得到权值也就越大，从而进一步提升了本发明对目标精确定位的能力。
[0135] 以下结合仿真试验，对本发明的技术效果作进一步说明：
[0136] 1.仿真实验条件：
[0137] 本发明仿真实验的
硬件平台是：处理器为CPU intel Core i5-6500，主频为3.2GHz，内存为4GB，显卡为NVIDIA Quadro M 2000M；
软件平台为：Windows 7旗舰版，64位
操作系统，MATLAB R2018a。
[0138] 2、仿真内容与结果：
[0139] 对本发明和现有技术在DargonBaby视频图像序列中的目标进行目标跟踪准确度和速度进行对比仿真，其中，跟踪精度的仿真结果如图2、图3、图4所示，跟踪速度的仿真结果如得到如表1所示。
[0140] 参照图2，其中，图2(a)、图2(b)、图2(c)、图2(d)分别为本发明在视频图像序列第11帧、第50帧、第94帧、第108帧图像的跟踪准确度结果；
[0141] 参照图3，其中，图3(a)、图3(b)、图3(c)、图3(d)分别为尺度自适应的相关滤波对冲目标跟踪方法在视频图像序列的第11帧、第50帧、第94帧、第108帧上的跟踪准确度结果；
[0142] 从图3可以看出，现有技术对目标的定位不够准确，尤其是图3(b)中图像序列的第50帧中目标发生重大外观变化时，从图2(a)与图3(a)、图2(b)与图3(b)、图2(c)与图3(c)、图2(d)与图3(d)的对比可以看出，本发明对目标定位的准确度比现有技术更高。
[0143] 参照图4，为本发明和现有技术的精度-定位误差阈值曲线图，其中横轴代表定位误差阈值，横轴代表精度，精度的计算方法是目标跟踪方法预测的目标的位置与真实位置的偏差小于某个阈值的帧数占总帧数的百分比。阈值为20个像素点时，现有技术的精度为72.2％，本发明的精度为82.9％，从图4可以看出来本发明在每个定位误差阈值上都要优于对比方法。
[0144] 表1
[0145] FPS
现有技术 7
本发明 10
[0146] 表1中，FPS表示跟踪算法的每秒帧率。可以看出，现有技术的帧率为7，本发明的帧率为10，由此可以看出本发明的跟踪速度快于现有技术。
