技术领域
[0001] 本
发明属于数字影像处理技术领域，特别涉及一种基于深度学习网络和均值漂移的船只自动跟踪方法。
背景技术
[0002] 现今社会中，视频监控摄像头无处不在，如果只是依靠人眼观察检测，很容易错过视频中的异常事件。随着
计算机网络、通信和
半导体技术的迅速发展，人们越来越青睐于利用
计算机视觉代替人眼对
传感器得到的视频图像进行分析，获取图像中的有用信息。视频跟踪就是计算机视觉研究的一个重点，它主要是对图像传感器得到的感兴趣的目标进行跟踪。视频跟踪是许多视频应用的
基础，比如交通监控、智能
机器人和
人机交互等，其对于智能城市管理、打击违法犯罪以及建设平安城市与智慧城市具有重要作用，是当前视频处理研究的重点和难点。
[0003] 一直以来对视频跟踪系统的研究，主要集中在单目标跟踪方面，跟踪监控中唯一感兴趣目标。单目标跟踪对于异常事件发现后的处理有很大意义，然而在异常事件发生前的预警提示、监督管理等多方面，多目标跟踪方法能够对监管部
门提供很多的帮助。
[0004] 目前的多目标跟踪主要有基于预测的方法、基于匹配的方法和基于检测的方法三大类。
[0005] 基于预测的方法将跟踪问题视作一个状态估计问题，根据给定数据，用新号处理的方法对目标在下一
帧的状态(如
位置、
颜色、形状等)进行最优化估计，该方法主要包括基于滤波的跟踪
算法和基于子空间学习的算法。基于滤波的算法如卡尔曼滤波、均值漂移滤波和粒子滤波，主要根据前期数据学习出目标的特征空间，再根据当前帧的图像
块在特征空间的分布进行目标
定位。预测的方法在多目标跟踪方面具有速度快的优势，但是当前帧状态完全取决于前一帧跟踪结果，无法自动进行目标跟踪，对跟踪错误的情况难以修正。
[0006] 基于匹配的算法讲多目标跟踪问题视为一个模板匹配问题，用一个模板表示待跟踪的目标，寻找下一帧中的最优匹配结果。目标可以是一个或一组图形块，也可以是目标图像的全局或局部特征表示。这类方法通过边跟踪边学习的过程，提高了跟踪的性能，但是依然难以实现自动的多目标跟踪结果，同时对于遮盖、复杂环境下难以准确跟踪。
[0007] 基于检测的算法讲跟踪问题看成是目标检测类问题，将目标与背景进行分离，利用已获取的数据进行训练，得到分类器，自动对当前帧进行目标检测，得分最高的图像块即认为是目标位置。基于检测的算法包含离线方法和在线方法两种，前者用预先训练或者初始的一帧或者多帧数据，学习分类器，后者通过当前帧的
采样数据对分类器进行新的训练。离线学习的方法对于动态变化的目标跟踪效果较差，而在线学习方法容易因每一次的更新引入新的误差导致误差累计，最终发生漂移甚至丢失目标。如何自动快速对多个目标进行准确的跟踪，即考虑当前帧结果，又参考目标不同的特征，还需要进一步研究。
发明内容
[0008] 本发明的目的就在于克服
现有技术存在的缺点和不足，提供一种基于深度学习网络和均值漂移的船只自动跟踪方法。
[0009] 本发明的技术方案为一种基于深度学习网络和均值漂移的船只自动跟踪方法，包括以下步骤：
[0010] 步骤1，监控视频
数据采集，包括采集可见光下的沿海区域监控视频数据，提取每帧图像；
[0011] 步骤2，基于步骤1得到的视频图像进行预处理，提取船只目标的正样本和负样本；
[0012] 步骤3，通过基于区域的
卷积神经网络方式，输入视频里的船只目标样本到神经网络中，进行模型训练；
[0013] 步骤4，提取视频初始帧数据，根据步骤3训练所得模型对初始时刻数据进行船只检测和概率
密度计算；
[0014] 步骤5，通过前一时刻的计算结果，确定当前时刻的船只跟踪结果，包括以下处理，[0015] 步骤A，以t-1时刻的跟踪到的ξ个船只位置作为初始位置，分别将每个船只位置的中心坐标f0作为t时刻船只跟踪的初始目标位置，以f0为搜索窗口的中心，得到相应的候选船只的中心位置坐标f，计算候选位置的区域直方图，进一步计算概率密度；
[0016] 步骤B，通过Bhattacharyya系数进行船只模型和候选船只之间的相似程度描述，计算区域中心的均值漂移
迭代方程，使得模型向着颜色变化最大的方向不断移动，直到最后两次移动距离小于相应预设
阈值，找到t时刻均值漂移结果获得的船只位置，设获得多个船只位置Boxmt，将第id个船只位置表示为
[0017] 步骤C，通过基于区域的卷积神经网络方法，对t时刻的图像进行船只检测，设得到图像中多个船只的t时刻第num个检测坐标 对于 计算其与第id个船只位置的重叠度，
[0018] 记录每个 与其重叠度最大的 相应重叠度大小Omax，如果Omax小于相应阈值θ1，则认为该船只位置为虚警，删除
[0019] 步骤D，通过步骤C的神经网络检测结果，对t时刻出现的新船只目标进行更新，包括对于每个 计算其和所有 分别得到的重叠度大小的最大值O'max，如果O'max小于相应阈值θ2，则认为该船只目标为t时刻出现的船只，将其加入到t时刻跟踪结果中，得到完整的跟踪结果集合。
[0020] 而且，对于 计算其与第id个 的重叠度，重叠度计算公式如下，
[0021]
[0022] 其中，S代表面积大小。
[0023] 而且，步骤4中概率密度计算实现方式为，对该目标所在区域进行灰度颜色空间划分，得到若干个相等区间构成的灰度直方图，根据目标区域中
像素的灰度值所属直方图区间计算概率密度。
[0024] 本发明还提供一种基于深度学习网络和均值漂移的船只自动跟踪系统，包括以下模块：
[0025] 第一模块，用于监控视频数据采集，包括采集可见光下的沿海区域监控视频数据，提取每帧图像；
[0026] 第二模块，用于基于第一模块得到的视频图像进行预处理，提取船只目标的正样本和负样本；
[0027] 第三模块，用于通过基于区域的卷积神经网络方式，输入视频里的船只目标样本到神经网络中，进行模型训练；
[0028] 第四模块，用于提取视频初始帧数据，根据第三模块训练所得模型对初始时刻数据进行船只检测和概率密度计算；
[0029] 第五模块，用于通过前一时刻的计算结果，确定当前时刻的船只跟踪结果，包括以下方式，
[0030] 以t-1时刻的跟踪到的ξ个船只位置作为初始位置，分别将每个船只位置的中心坐标f0作为t时刻船只跟踪的初始目标位置，以f0为搜索窗口的中心，得到相应的候选船只的中心位置坐标f，计算候选位置的区域直方图，进一步计算概率密度；
[0031] 通过Bhattacharyya系数进行船只模型和候选船只之间的相似程度描述，计算区域中心的均值漂移迭代方程，使得模型向着颜色变化最大的方向不断移动，直到最后两次移动距离小于相应预设阈值，找到t时刻均值漂移结果获得的船只位置，设获得多个船只位置Boxmt，将第id个船只位置表示为
[0032] 通过基于区域的卷积神经网络方法，对t时刻的图像进行船只检测，设得到图像中多个船只的t时刻第num个检测坐标 对于 计算其与第id个船只位置的重叠度，记录每个 与其重叠度最大的 相应重叠度大小Omax，如果Omax小于相应阈值θ1，则认为该船只位置为虚警，删除
[0033] 通过神经网络检测结果，对t时刻出现的新船只目标进行更新，包括对于每个计算其和所有 分别得到的重叠度大小的最大值O'max，如果O'max小于相应阈值θ2，则认为该船只目标为t时刻出现的船只，将其加入到t时刻跟踪结果中，得到完整的跟踪结果集合。
[0034] 而且，对于 计算其与第id个 的重叠度，重叠度计算公式如下，
[0035]
[0036] 其中，S代表面积大小。
[0037] 而且，第四模块中概率密度计算实现方式为，对该目标所在区域进行灰度颜色空间划分，得到若干个相等区间构成的灰度直方图，根据目标区域中像素的灰度值所属直方图区间计算概率密度。
[0038] 对比现有技术，本发明具有下列优点和积极效果：
[0039] 深度学习方法部分具体采用基于区域的卷积神经网络对监控视频图像进行多个船只目标的同时检测过程，该方法快速高效、准确度高。对于复杂场景如
云雾、阴天、下雨等情况依然具有较好的检测结果，方法鲁棒性高。
[0040] 采用快速高效的基于颜色直方图的均值漂移方法，对前一帧跟踪到的多个目标同时预测当前帧的均值漂移结果，得到多个预测位置。目标的直方图不受目标形状变化的影响,因此采用直方图作为目标的模式,依据颜色分布进行匹配具有较好的
稳定性。
[0041] 深度学习网络方法和均值漂移方法的结合，一方面更好完成多船只目标的自动跟踪过程，让跟踪过程全自动化，不需要人机交互过程；另一方面神经网络方法的稳定性和准确性也为均值漂移方法的错误进行排除，并对新出现目标的跟踪打下基础，具有重要的市场价值。
附图说明
[0042] 图1为本发明
实施例的应用平台系统结构图。
[0044] 图3为本发明实施例中步骤③以后基于深度学习网络和均值漂移方法获取跟踪结果具体策略流程图。
[0045] 图4为本发明实施例中步骤④步骤⑤使用的均值漂移算法迭代过程示意图。
具体实施方式
[0046] 为了更好地理解本发明的技术方案，下面结合附图和实施例对本发明做进一步的详细说明。
[0047] 参见图1，本发明应用时，可采用的系统架构主要包括监控视频获取模块、船只跟踪平台、应用平台。监控视频获取模块主要使用多个可见光监控摄像头获取海边区域的视频，并下传数据到船只跟踪模块。船只跟踪平台采用本发明的方法，进行船只目标的提取和自动跟踪，将船只目标异常等情况传入应用平台。根据应用平台中具体的船只分析平台、行为预测平台、异常事件处理平台和舰船监督平台等，对船只目标的分布、行动分析，做出合理预测和规划，完成相关任务。
[0048] 参见图2，本发明实施所提供方法包括以下步骤：
[0049] ①输入监控视频数据：可预先进行监控视频数据采集。
[0050] 监控视频数据的采集。本发明所需采集的数据主要为可见光下的沿海区域监控视频数据。对于采集到的视频数据，需要通过
解码器或代码获得每帧图像。具体实施时，可以预先进行采集。
[0051] ②数据预处理与样本准备：视频数据的预处理和船只目标正负样本准备。
[0052] 对于获取到的监控视频数据，需要进行预处理，方便后续数字图像算法的展开。预处理部分主要用图像平滑操作，本发明采用中值滤波方法对视频每帧图像进行平滑。正负样本是为后续步骤的卷积神经网络训练准备，其具体过程如下：
[0053] 第一步：利用步骤①得到的视频图像，通过旋转、平移等方式，对影像进行一定的扩充。第二步：得到每个船只目标在遥感影像中竖直的最小包围矩形的四个
顶点坐标和对应影像，将影像和其上的所有目标坐标共同输出，作为正样本。第三步：在正样本周围随机截取其他区域，得到其竖直的最小包围矩形的四个顶点坐标，作为负样本坐标，将影像和其上的负样本坐标一同输出。
[0054] ③基于区域的卷积神经网络训练：通过基于区域的卷积神经网络方法，输入视频里的船只目标样本到神经网络中，进行模型训练，其理论过程如下：
[0055] 将步骤①完成的船只目标的正负样本数据进行标准格式化，转换成结构化
数据库格式，并输入到卷积神经网络中进行训练，得到监控视频下船只目标的训练结果模型。基于区域的卷积神经网络由多个交替的卷积层、
池化层和全连接层组成，主要采用反向传播算法(BP算法)，有一个
输入层，多个
隐藏层和一个
输出层。用公式表示BP算法中两层之间的计算关系如下：
[0056]
[0057] 其中，i是输入层单元的索引值，j是隐藏层单元的索引值， 代表输入层和隐含层之间的权重，表示各个层之间的激活偏置，f()表示该输出层的激活函数。
[0058] 对于卷积神经网络中的卷积层，网络采用BP神经网络模式进行更新。在一个卷积层，上一层的特征图被一个可学习的卷积核进行卷积运算，然后通过一个激活函数，就可以得到输出特征图。具体加入卷积操作后的下层更新算法如下：
[0059]
[0060] 其中，Mj表示输入层的所有选择集合。 表示输入层i和隐含层j之间的卷积核，表示卷积运算过程。因此，该公式反应了第l层和l-1层之间的运算关系。
[0061] 卷积神经网络中除了卷积层，还有一个重要的运算过程，即池化过程与池化层的计算。池化过程即一个对大图像中不同位置的特征进行聚合统计的过程，该过程大大降低了特征冗余，减少统计特征维数。池化层的计算公式如下：
[0062]
[0063] 其中，D()表示池化过程的降采样函数， 和 为设置不同的激活偏置，每一个偏置均对应每个输出层。
[0064] ④提取视频初始帧数据，计算初始时刻检测结果和概率密度：输入视频数据，对初始时刻数据进行船只检测和概率密度计算。
[0065] a，利用步骤②训练得到的模型，对视频数据中的初始时刻进行船只检测，获得初始时刻船只检测位置，作为跟踪的初始位置。并对每个船只目标进行编号。
[0066] b，基于均值漂移方法，计算每个船只在初始时刻t0的概率密度，作为附图3的首次输入结果。设目标含有n个像素，那么{zi}i＝1...n表示每个像素的位置，对该目标所在区域进行灰度颜色空间划分，得到m(本
专利实施例选取m＝16)个相等区间构成的灰度直方图。计算其概率密度初始值 的公式如下：
[0067]
[0068]
[0069]
[0070] 其中，表示将船只的中心点(x0,y0)设为原点的归一化像素位置，xi表示位置zi处的像素的横坐标，yi表示位置zi处的像素的纵坐标，K选用Epanechikov(依潘涅契科夫)核函数，C表示归一化系数，b(zi)表示位置zi处的像素所处的直方图区间，r＝{1,...,m}为直方图的颜色区间单元索引，δ[b(zi)-r]函数判断目标区域中像素zi处的灰度值是否属于直方图中第r个直方图区间单元，属于取1，否则为0。
[0071] ⑤提取后续待处理帧数据，递归方法确定当前帧船只跟踪结果：设前一时刻为t-1时刻，当前时刻为t时刻，通过t-1时刻的计算结果，确定t时刻的船只跟踪结果，可以记录和存储舰船位置、评价。其流程如附图3所示，详细过程如下：
[0072] A，输入t-1时刻跟踪结果，计算t-1时刻目标位置在t时刻图像上的概率密度：以t-1时刻的跟踪到的ξ个船只位置作为初始位置，分别将每个船只位置的中心坐标f0作为t时刻船只跟踪的初始目标位置，以f0为搜索窗口的中心，得到相应的候选船只的中心位置坐标f，利用④步骤b中的计算公式，计算候选位置的区域直方图，进一步计算其概率密度，如下：
[0073]
[0074] 其中，d为核函数窗口大小(本实施例针对船只数据的船只宽度大小，固定设置d＝16)。
[0075] B，计算Bhattacharyya系数，计算均值漂移迭代方程结果，获得均值漂移跟踪位置：通过Bhattacharyya系数(巴氏系数)对t-1时刻的船只跟踪到位置的概率密度和候选船只位置的概率密度之间的相似程度描述，根据泰勒展开公式，计算区域中心的均值漂移迭代方程如下：
[0076]
[0077]
[0078] 其中，K'(x)为输入位置横坐标为x时候得到K函数取逆，wi为计算中间过程。
[0079] 如上式，整个均值漂移方法就是迭代从fk(迭代第k次的中心位置)求得fk+1(迭代第k+1次的中心位置)的过程，使得模型向着颜色变化最大的方向不断移动，直到最后两次移动距离小于阈值(本专利采用阈值10-6)，即找到t时刻均值漂移结果获得的船只位置Boxmt。整个
均值漂移过程的示意图如附图4，随着迭代的过程，图中的目标中心位置初始值一点点向着聚类中心移动，第1次迭代后移动到位置 第n次迭代后移动到位置 针对t-1时刻的跟踪到的多个(ξ)船只位置，通过均值漂移方法，分别最终获得相应船只位置Boxmt。id＝{1,...,ξ}为t时刻多个均值漂移结果编号，将第id个船只位置表示为[0080] C，提取t时刻的神经网络方法检测结果，进行跟踪位置与检测结果重叠度计算，根据阈值排除与检测结果重叠度小的跟踪结果：通过基于区域的卷积神经网络方法和之前训练好的船只模型，对t时刻的图像(在基于卷积的神经网络中输入图像)进行船只检测，该方法独立获得图像t时刻检测结果，即检测得到的μ个候选船只位置Boxdt。设num为t时刻检测结果编号，第num＝{1,...,μ}个检测坐标 对于 计算其与第id个 的重叠度，其重叠度计算公式如下：
[0081]
[0082] 其中，S代表面积大小，公式求取 和 的交集区域面积除以两者并集区域面积的结果。同时记录每个 与其重叠度最大的 计算得到的重叠度大小Omax，如果Omax小于阈值θ1(本实施例取θ1＝0.8)，则认为该船只位置为虚警，删除[0083] 即ξ个t-1时刻的船，就会算出多少个均值漂移结果，id＝1,…,ξ；检测又会得到μ个检测结果，num＝1,…,μ；对每一个检测结果去求O值，检测结果没有和任何一个均值漂移结果的O大于阈值的认为是虚警，存在大于阈值的，认为该检测结果为一个船只的坐标，保留结果。
[0084] D，根据阈值添加检测到的新目标，输出t时刻跟踪确认结果和新目标位置：通过C步骤的神经网络检测结果，对t时刻出现的新船只目标进行更新。对于每个 计算其和所有步骤C保留的 分别得到的重叠度大小最大值，记为O'max，重叠度计算方式与步骤C一致，如果O'max＜θ2(本实施例取θ2＝0.4)，则认为该船只目标为t时刻新出现的船只，将其加入到t时刻跟踪结果中，即得到完整的跟踪结果集合。即对于每个 检测结果，算所有保留的 和其是否重叠，如果都不重叠，就是新出现的船只目标。
[0085] 至此，本专利所使用的基于深度学习网络和均值漂移的船只自动跟踪方法具体实施过程介绍完毕。具体实施时，本发明技术方案所提供流程可由本领域技术人员采用计算机
软件技术实现自动运行，也可采用模块化方式实现相应系统。本发明实施例还提供一种基于深度学习网络和均值漂移的船只自动跟踪系统，包括以下模块：
[0086] 第一模块，用于监控视频数据采集，包括采集可见光下的沿海区域监控视频数据，提取每帧图像；
[0087] 第二模块，用于基于第一模块得到的视频图像进行预处理，提取船只目标的正样本和负样本；
[0088] 第三模块，用于通过基于区域的卷积神经网络方式，输入视频里的船只目标样本到神经网络中，进行模型训练；
[0089] 第四模块，用于提取视频初始帧数据，根据第三模块训练所得模型对初始时刻数据进行船只检测和概率密度计算；
[0090] 第五模块，用于通过前一时刻的计算结果，确定当前时刻的船只跟踪结果，包括以下方式，
[0091] 以t-1时刻的跟踪到的ξ个船只位置作为初始位置，分别将每个船只位置的中心坐标f0作为t时刻船只跟踪的初始目标位置，以f0为搜索窗口的中心，得到相应的候选船只的中心位置坐标f，计算候选位置的区域直方图，进一步计算概率密度；
[0092] 通过Bhattacharyya系数进行船只模型和候选船只之间的相似程度描述，计算区域中心的均值漂移迭代方程，使得模型向着颜色变化最大的方向不断移动，直到最后两次移动距离小于相应预设阈值，找到t时刻均值漂移结果获得的船只位置，设获得多个船只位置Boxmt，将第id个船只位置表示为
[0093] 通过基于区域的卷积神经网络方法，对t时刻的图像进行船只检测，设得到图像中多个船只的t时刻第num个检测坐标 对于 计算其与第id个船只位置的重叠度，记录每个 与其重叠度最大的 相应重叠度大小Omax，如果Omax小于相应阈值θ1，则认为该船只位置为虚警，删除
[0094] 通过神经网络检测结果，对t时刻出现的新船只目标进行更新，包括对于每个计算其和所有 分别得到的重叠度大小的最大值O'max，如果O'max小于相应阈值θ2，则认为该船只目标为t时刻出现的船只，将其加入到t时刻跟踪结果中，得到完整的跟踪结果集合。
[0095] 各模块具体实现可参见相应步骤，本发明不予赘述。
[0096] 本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的
修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附
权利要求书所定义的范围。
