机场跑道智能监控方法、应用服务器及计算机存储介质
阅读：470发布：2023-01-23
专利汇可以提供机场跑道智能监控方法、应用服务器及计算机存储介质专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种机场跑道智能监控方法，该方法包括：将核心交换机内存储的机场跑道视频分解为连续的 帧 图像；利用全卷积网络模型对帧图像进行特征提取，获得机场跑道特征；采用基于 像素 的自适应分割的前景检测 算法 ，检测机场跑道上的运动目标，并对检测到的第一运动目标设置第一 跟踪 框；采用高速压缩跟踪算法对第一跟踪框进行跟踪，获得第一运动目标的目标跟踪序列；将第一运动目标跟踪序列输入 深度神经网络 模型，进行分类；及当属于异常运动目标时，执行警示操作。本发明还提供一种应用 服务器 和计算机可读存储介质。本发明提供的机场跑道智能监控方法、 应用服务器 以及计算机可读存储介质，能够提高对机场跑道的自动监控的可靠性。，下面是机场跑道智能监控方法、应用服务器及计算机存储介质专利的具体信息内容。
1.一种机场跑道智能监控方法，应用于服务器，其特征在于，所述服务器与至少一个核心交换机连接，所述方法包括步骤：
将所述核心交换机内存储的机场跑道视频分解为连续的帧图像；
利用全卷积网络模型对帧图像进行特征提取，获得机场跑道特征；
采用基于像素的自适应分割的前景检测算法，检测机场跑道上的运动目标，并对检测到的第一运动目标设置第一跟踪框；
采用高速压缩跟踪算法对第一跟踪框进行跟踪，获得第一运动目标的目标跟踪序列；
将所述第一运动目标的目标跟踪序列输入深度神经网络模型，进行第一运动目标的分类；及
当所述第一运动目标属于异常运动目标时，执行警示操作；
所述采用高速压缩跟踪算法对第一跟踪框进行跟踪，获得第一运动目标的目标跟踪序列的步骤包括：
获取检测到第一运动目标时，所述第一运动目标在第t帧图像中的第一位置信息；
在第t+1帧图像中的所述第一位置信息周围采样多个窗口，并将所述多个窗口与多个矩形滤波器进行卷积，得到所述多个窗口的多尺度特征；
采用稀疏测量矩阵对所述窗口的多尺度特征进行降维；及
通过朴素贝叶斯分类器模型对所述多个窗口进行分类，选取分数最大的窗口作为目标窗口进行跟踪，获得第一运动目标的目标跟踪序列。
2.如权利要求1所述的机场跑道智能监控方法，其特征在于，所述核心交换机连接有多个汇聚交换机，所述多个汇聚交换机与多个摄像机对应连接，所述方法还包括步骤：
控制所述多个摄像机对机场跑道进行视频采集，并将采集的机场跑道视频通过连接的所述汇聚交换机发送至核心交换机进行存储。
3.如权利要求1所述的机场跑道智能监控方法，其特征在于，所述在第t+1帧图像中的所述第一位置信息周围采样多个窗口步骤之前还包括步骤：
在第t帧图像中，采样获得多个所述第一运动目标的窗口和多个所述机场跑道的窗口，作为样本图像；
将所述样本图像与所述矩形滤波器进行卷积，得到所述样本图像的多尺度特征；
采用所述稀疏测量矩阵对所述样本图像的多尺度特征进行降维；及
利用降维后的所述样本图像的多尺度特征，对朴素贝叶斯分类器进行训练，获得所述朴素贝叶斯分类器模型。
4.如权利要求2或3所述的机场跑道智能监控方法，其特征在于，所述方法还包括步骤：
采集机场跑道的多个视频序列，并根据每个视频序列包含的内容，对所述采集的多个视频序列进行内容分类；
对各个类别的视频序列进行异常运动目标和正常运动目标的属性分类，获得异常运动目标的视频序列样本集和正常运动目标的视频序列样本集；及
利用异常运动目标的视频序列样本集和正常运动目标的视频序列样本集对深度神经网络进行训练，获得深度神经网络模型。
5.如权利要求4所述的机场跑道智能监控方法，其特征在于，所述深度神经网络模型依次包括三个ST-CNN时空卷积层、一个Flatten层、两个Bi-GRU双向门控重复单元层、一个Dense全连接层和一个Softmax分类输出层。
6.如权利要求5所述的机场跑道智能监控方法，其特征在于，所述服务器与语音报警装置连接，所述执行警示操作的步骤包括：
采用与所述第一跟踪框颜色不同的框线标示所述第一运动目标，并控制所述语音报警装置报警。
7.如权利要求2所述的机场跑道智能监控方法，其特征在于，所述机场跑道视频至少包括机场跑道的高分辨率影像、强逆光影像、红外影像和夜视影像。
8.一种应用服务器，其特征在于，所述应用服务器与至少一个核心交换机连接，所述应用服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的机场跑道智能监控系统，所述机场跑道智能监控系统被所述处理器执行时实现如权利要求1-7中任一项所述的机场跑道智能监控方法的步骤。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有机场跑道智能监控系统，所述机场跑道智能监控系统可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-7中任一项所述的机场跑道智能监控方法的步骤。
机场跑道智能监控方法、应用服务器及计算机存储介质
技术领域
背景技术
[0002] 目前的机场监控系统大部分仍然采用传统的监控系统架构，即前端使用模拟摄像机采集视频信号，通过同轴电缆传输到视频编码器/编码卡进行编码，然后通过网络进行集中存储，或，将模拟摄像机采集的视频信号直接存入硬盘录像机存储。后端根据前端采集的视频数据进行分析与机场状态的实时监控。
发明内容
[0004] 有鉴于此，本发明提出一种机场跑道智能监控方法、应用服务器及计算机存储介质，以解决视频监控在机场环境下鲁棒性较差，经常发生少报或误报，可靠性低的问题。
[0005] 首先，为实现上述目的，本发明提出一种机场跑道智能监控方法，应用于服务器，所述服务器与至少一个核心交换机连接，所述方法包括步骤：将所述核心交换机内存储的机场跑道视频分解为连续的帧图像；利用全卷积网络模型对帧图像进行特征提取，获得机场跑道特征；采用基于像素的自适应分割的前景检测算法，检测机场跑道上的运动目标，并对检测到的第一运动目标设置第一跟踪框；采用高速压缩跟踪算法对第一跟踪框进行跟踪，获得第一运动目标的目标跟踪序列；将所述第一运动目标的目标跟踪序列输入深度神经网络模型，进行第一运动目标的分类；及当所述第一运动目标属于异常运动目标时，执行警示操作。
[0006] 可选地，所述核心交换机连接有多个汇聚交换机，所述多个汇聚交换机与多个摄像机对应连接，所述方法还包括控制所述多个摄像机对机场跑道进行视频采集，并将采集的机场跑道视频通过连接的所述汇聚交换机发送至核心交换机进行存储。
[0007] 可选地，所述采用高速压缩跟踪算法对第一跟踪框进行跟踪，获得第一运动目标的目标跟踪序列的步骤包括：获取检测到第一运动目标时，所述第一运动目标在第t帧图像中的第一位置信息；在第t+1帧图像中的所述第一位置信息周围采样多个窗口，并将所述多个窗口与多个矩形滤波器进行卷积，得到所述多个窗口的多尺度特征；采用稀疏测量矩阵对所述窗口的多尺度特征进行降维；及通过朴素贝叶斯分类器模型对所述多个窗口进行分类，选取分数最大的窗口作为目标窗口进行跟踪，获得第一运动目标的目标跟踪序列。
[0008] 可选地，所述在第t+1帧图像中的所述第一位置信息周围采样多个窗口步骤之前还包括在第t帧图像中，采样获得多个所述第一运动目标的窗口和多个所述机场跑道的窗口，作为样本图像；将所述样本图像与所述矩形滤波器进行卷积，得到所述样本图像的多尺度特征；采用所述稀疏测量矩阵对所述样本图像的多尺度特征进行降维；及利用降维后的所述样本图像的多尺度特征，对朴素贝叶斯分类器进行训练，获得所述朴素贝叶斯分类器模型。
[0009] 可选地，所述方法还包括采集机场跑道的多个视频序列，并根据每个视频序列包含的内容，对所述采集的多个视频序列进行内容分类；对各个类别的视频序列进行异常运动目标和正常运动目标的属性分类，获得异常运动目标的视频序列样本集和正常运动目标的视频序列样本集；及利用异常运动目标的视频序列样本集和正常运动目标的视频序列样本集对深度神经网络进行训练，获得深度神经网络模型。
[0011] 可选地，所述服务器与语音报警装置连接，所述执行警示操作的步骤包括采用与所述第一跟踪框颜色不同的框线标示所述第一运动目标，并控制所述语音报警装置报警。
[0012] 可选地，所述机场跑道视频至少包括机场跑道的高分辨率影像、强逆光影像、红外影像和夜视影像。
[0013] 此外，为实现上述目的，本发明还提供一种应用服务器，包括存储器、处理器，所述存储器存储有并可在所述处理器上运行的机场跑道智能监控系统，所述机场跑道智能监控系统被所述处理器执行时实现如上述的机场跑道智能监控方法的步骤。
[0014] 进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有机场跑道智能监控系统，所述机场跑道智能监控系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述的机场跑道智能监控方法的步骤。
[0015] 相较于现有技术，本发明提出的机场跑道智能监控方法、应用服务器及计算机可读存储介质，可以通过多个算法和模型对机场跑道上的异常目标进行精确地检测、识别和跟踪，从而减少对异常目标的少报或误报情况发生的机率，提高机场跑道的自动监控系统的可靠性。附图说明
[0017] 图2是本发明应用服务器一可选的硬件架构的示意图；
[0019] 图4是本发明机场跑道智能监控方法优选实施例的流程示意图；
[0020] 图5是本发明机场跑道智能监控方法中，采用高速压缩跟踪算法获取第一运动目标的目标跟踪序列的具体流程示意图；
[0021] 图6是本发明机场跑道智能监控方法中，通过深度神经网络模型判别第一运动目标所属分类的具体流程示意图。
[0022] 附图标记：
[0023]
[0024]
[0025] 本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0026] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0027] 需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0028] 参阅图1所示，是本发明机场视频监控系统的硬件架构的示意图。
[0029] 所述机场视频监控系统1包括应用服务器10、至少一个核心交换机20、多个汇聚交换机30和多个摄像机40。服务器10与核心交换机20连接，核心交换机20与多个汇聚交换机30连接，每个汇聚交换机30与多个摄像机40连接，其中，核心交换机20还连接有语音报警装置(图1中未标示)。多个摄像机40用于采集机场跑道的多特征视频数据，并将采集的机场跑道多特征视频数据发送至相连接的汇聚交换机30，经由汇聚交换机30将机场跑道的多特征视频数据发送至核心交换机20进行存储。
[0030] 摄像机40具有测距功能与采集红外影像、夜视影像、强逆光影像和高分辨率影像的功能，通过多个摄像机40采集的所述机场跑道的多特征视频数据至少包括：机场跑道的高分辨率影像、强逆光影像、红外影像、夜视影像和包含有目标物体相对摄像机40的距离信息的机场跑道影像。本发明所述的机场视频监控系统可连接至机场监控值班室、机场指挥中心、航站或楼管理中心，以方便相关监控人员及时了解机场跑道信息。
[0031] 参阅图2所示，是本发明应用服务器10一可选的硬件架构的示意图。
[0032] 本实施例中，所述应用服务器10可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。需要指出的是，图2仅示出了具有组件11-13的应用服务器10，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0033] 其中，所述应用服务器10可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，该应用服务器10可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
[0034] 所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述应用服务器10的内部存储单元，例如该应用服务器10的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述应用服务器10的外部存储设备，例如该应用服务器10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。当然，所述存储器11还可以既包括所述应用服务器10的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述应用服务器10的操作系统和各类应用软件，例如机场跑道智能监控系统200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
[0035] 所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述应用服务器10的总体操作。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述的机场跑道智能监控系统200等。
[0036] 所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述应用服务器10与其他电子设备之间建立通信连接。
[0037] 至此，己经详细介绍了本发明相关设备的硬件结构和功能。下面，将基于上述介绍提出本发明的各个实施例。
[0038] 首先，本发明提出一种机场跑道智能监控系统200。
[0039] 参阅图3所示，是本发明机场跑道智能监控系统200的优选实施例的程序模块图。
[0040] 本实施例中，所述机场跑道智能监控系统200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明各实施例的机场跑道智能监控操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，机场跑道智能监控系统200可以被划分为一个或多个模块。例如，在图3中，机场跑道智能监控系统200可以被分割成：采集控制模块201、特征提取模块202、目标检测模块203、第一训练模块204、跟踪模块205、第二训练模块206、分类模块207和报警模块208。其中：
[0041] 采集控制模块201，用于控制所述多个摄像机40对机场跑道进行视频采集，并将采集的机场跑道视频通过连接的汇聚交换机30发送至核心交换机20进行存储。
[0042] 具体地，采集控制模块201控制多个摄像机40对机场跑道进行视频采集，将采集的机场跑道视频发送至相连接的汇聚交换机30，通过汇聚交换机30将采集的机场跑道视频发送至核心交换机20进行存储。在一实施例中，采集控制模块201控制所述多个摄像机40采集机场跑道的多特征信息，所述机场跑道的多特征信息至少包括机场跑道的高分辨率影像、强逆光影像、红外影像和夜视影像。
[0043] 特征提取模块202，用于将核心交换机20内存储的机场跑道视频分解为连续的帧图像，并利用全卷积网络(Fully Convolutional Networks)模型对帧图像进行特征提取，获得机场跑道特征。
[0044] 具体地，特征提取模块202从核心交换机20内获取机场跑道视频，利用视频分帧算法将机场跑道视频分解为连续的帧图像，将获得的帧图像输入全卷积网络模型，通过全卷积网络模型对帧图像的像素点进行“机场跑道”和“非机场跑道”的二分类，根据分类结果对所有帧图像中的“机场跑道”进行提取。
[0045] 本实施例中，所述全卷积网络模型由全卷积网络训练获得。随机选取一张帧图像，将帧图像中的机场跑道和非跑道部分以黑白两色进行标记，将标记后的图像转化为X*Y的二值矩阵(机场跑道部分为0，非跑道部分为1)以作为监督信息，选取多张帧图像作为测试集和验证集，对全卷积网络进行训练，得到全卷积网络模型。
[0046] 目标检测模块203，用于采用基于像素的自适应分割(Pixel-Based Adaptive Segmenter)的前景检测算法，检测机场跑道上的运动目标，并对检测到的第一运动目标设置第一跟踪框。
[0047] 具体地，目标检测模块203采用基于像素的自适应分割的前景检测算法将提取的机场跑道作为背景模型，检测机场跑道上的运动目标(前景)，并当初始检测到第一运动目标时，在对应的帧图像(例如，第t帧)中对检测到的第一运动目标设置第一跟踪框。
[0048] 本实施例中，采用基于像素的自适应分割的前景检测算法检测机场跑道上的运动目标的步骤包括：
[0049] (1)取机场跑道视频的前N帧像素 及梯度幅值 作为背景模型，则所述背景模型被表示为：B(xi)＝{B1(xi),B2(xi),B3(xi),...,BN(xi)},N＝35。
[0050] (2)输入机场跑道视频的图像I(xi)＝{Iv(xi)，Im(xi)}，其中，Iv(xi)为输入的像素m值，I(xi)为输入的梯度值，通过公式： 进行前景目标的
检测，其中，R(xi)表示像素阈值，dist(I(xi)，Bk(xi))表示像素I(xi)与背景模型中各个像素之间的距离，#min表示最小匹配值，min＝2。当F(xi)＝1时，表示输入I(xi)为前景像素，当F(xi)＝0时，则表示输入I(xi)为背景像素。
检测，其中，R(xi)表示像素阈值，dist(I(xi)，Bk(xi))表示像素I(xi)与背景模型中各个像素之间的距离，#min表示最小匹配值，min＝2。当F(xi)＝1时，表示输入I(xi)为前景像素，当F(xi)＝0时，则表示输入I(xi)为背景像素。
[0051] (3)当F(xi)＝0，即I(xi)为背景像素时，像素I(xi)与背景模型中各个像素之间的距离dist(I(xi)，Bk(xi))可以用于描述背景的复杂度，若距离越大，则背景越复杂。因此，通过公式 计算前N帧的前N个距离的最小值的平均值，用以表示背景复杂度，其中Dk(xi)＝Min(dist(I(xi)，Bk(xi)))表示最小距离矩阵，k＝1,2,...,N,N＝35。
[0052] (4)通过公式 调整像素阈值R(xi)，其中，Rscale和Rinc/dec为预先定义的常量，Rscale用于控制背景复杂度对判断阈值的调整，Rinc/dec为阈值的变化量，在本实施例中，Rscale＝5，Rinc/dec＝0.05。当通过步骤(4)计算出的与Rscale的乘积小于或等于像素阈值R(xi)时，新的像素阈值R(xi)＝R(xi)*(1-Rinc/dec)；当与Rscale的乘积大于像素阈值R(xi)时，新的像素阈值R(xi)＝R(xi)*(1+Rinc/dec)，以使在背景复杂度高时，增大像素阈值R(xi)，从而保证背景像素不被误判为前景。
[0053] (5)通过公式 Tlower(xi)＝1时，新的更新率则为 上述背景模型更新率T(xi)的调整可在
背景负责度高的情况下，减少对背景模型的更新率，以减少误判对背景模型的影响。
背景负责度高的情况下，减少对背景模型的更新率，以减少误判对背景模型的影响。
[0054] (6)当F(xi)＝0或1时，分别以概率 或 从背景模型B(xi)中选取需要被替换的像素值Bk(xi)，并随机选取像素领域的值Bk(yi)，以对应的输入I(xi)代替Bk(xi)和Bk(yi)，更新背景模型，继续进行前景检测。
[0055] 由于，基于像素的前景判断、背景复杂度的计算、像素判断阈值以及背景模型的更新率的计算较为耗时，为节省运算时间，所以，采用GPU分布式并行计算实现上述的运算。
[0056] 本实施例中，第一运动目标(前景)至少包括“步行的人”或“飞行的鸟”或“飞机”。例如，当目标检测模块203检测到有人员进入机场跑道时，在第一次检测到所述人员的帧图像中，用红色框线对所述人员进行标示，以便后续对所述人员进行跟踪。
[0057] 第一训练模块204，用于获取检测到第一运动目标时，所述第一运动目标在第t帧图像中的第一位置信息；根据第一位置信息，在第t帧图像中采样获得多个第一运动目标的窗口和多个机场跑道的窗口，作为样本图像；将所述样本图像与矩形滤波器进行卷积，得到所述样本图像的多尺度特征，其中，所述矩形滤波器的定义为：i和j分别是矩形滤波器的宽和高。在此之后，采用稀疏测
量矩阵对所述样本图像的多尺度特征进行降维处理，所述稀疏测量矩阵为m*n的随机高斯矩阵，其矩阵元素定义为： s＝m/4。利用降维后的所述样本
图像的多尺度特征对朴素贝叶斯分类器进行训练，获得朴素贝叶斯分类器模型，所述朴素贝叶斯分类器的具体定义为： p(y＝0)
与p(y＝1)分别表示正负样本的先验概率，均为0.5。
量矩阵对所述样本图像的多尺度特征进行降维处理，所述稀疏测量矩阵为m*n的随机高斯矩阵，其矩阵元素定义为： s＝m/4。利用降维后的所述样本
图像的多尺度特征对朴素贝叶斯分类器进行训练，获得朴素贝叶斯分类器模型，所述朴素贝叶斯分类器的具体定义为： p(y＝0)
与p(y＝1)分别表示正负样本的先验概率，均为0.5。
[0058] 跟踪模块205，用于采用高速压缩跟踪(Fast Compressive Tracking)算法对第一跟踪框进行跟踪，获得第一运动目标的目标跟踪序列。
[0059] 具体地，跟踪模块205在第t+1帧图像中的所述第一位置信息周围采样多个窗口；将所述多个窗口与多个所述矩形滤波器 进行卷积，得到所
述多个窗口的多尺度特征；采用所述稀疏测量矩阵 对所述窗
口的多尺度特征进行降维处理。通过所述第一训练模块204训练得到的朴素贝叶斯分类器模型 对所述多个窗口进行分类，选取
分数最大的窗口作为目标窗口进行跟踪，获得第一运动目标的目标跟踪序列。
述多个窗口的多尺度特征；采用所述稀疏测量矩阵 对所述窗
口的多尺度特征进行降维处理。通过所述第一训练模块204训练得到的朴素贝叶斯分类器模型 对所述多个窗口进行分类，选取
分数最大的窗口作为目标窗口进行跟踪，获得第一运动目标的目标跟踪序列。
[0060] 第二训练模块206，用于采集机场跑道的多个视频序列，并根据每个视频序列包含的内容，对所述采集的多个视频序列进行内容分类；对各个类别的视频序列进行异常运动目标和正常运动目标的属性分类，获得异常运动目标的视频序列样本集和正常运动目标的视频序列样本集；利用异常运动目标的视频序列样本集和正常运动目标的视频序列样本集对深度神经网络进行训练，获得深度神经网络模型。在本实施例中，所述深度神经网络模型依次包括三个ST-CNN时空卷积层、一个Flatten层、两个Bi-GRU双向门控重复单元层、一个Dense全连接层和一个Softmax分类输出层。
[0061] 在本实施例中，第二训练模块206采集机场跑道的多个视频序列，并根据每个视频序列所包含的内容，对所述采集的多个视频序列进行内容分类，所述分类至少包括“步行的人”、“飞行的鸟”、“风吹进跑道的垃圾”和“飞机”。之后，对分类后的各个类别的视频序列进行异常运动目标和正常运动目标的分类，获得异常运动目标的视频序列样本集和正常运动目标的视频序列样本集，其中，正常运动目标至少包括：“步行的人”和“飞机”，异常运动目标至少包括“飞行的鸟”、“风吹进跑道的垃圾”。采用异常运动目标的视频序列样本集和正常运动目标的视频序列样本集分别对所述深度神经网络进行训练，获得深度神经网络模型。
[0062] 分类模块207，用于将第一运动目标的目标跟踪序列输入第二训练模块206训练得到的深度神经网络模型中，通过深度神经网络模型判别第一运动目标的所属分类。本实施例中，第一运动目标的分类类型包括异常运动目标与正常运动目标。
[0063] 报警模块208，用于当第一运动目标属于异常运动目标时，执行警示操作。
[0064] 具体地，当第一运动目标属于异常运动目标时，报警模块208采用与第一跟踪框颜色不同的框线标示第一运动目标，并控制连接的语音报警装置报警。
[0065] 如图4所示，是本发明机场跑道智能监控方法的优选实施例的流程示意图。根据不同需求，图4所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
[0066] 步骤S400，控制摄像机对机场跑道进行视频采集，并将采集的机场跑道视频通过连接的汇聚交换机发送至核心交换机进行存储。
[0067] 具体地，控制摄像机对机场跑道进行视频采集，将采集的机场跑道视频发送至相连接的汇聚交换机，通过汇聚交换机将采集的机场跑道视频发送至核心交换机进行存储。在一实施例中，控制摄像机采集机场跑道的多特征信息，所述机场跑道的多特征信息至少包括机场跑道的高分辨率影像、强逆光影像、红外影像和夜视影像。
[0068] 步骤S402，将核心交换机内存储的机场跑道视频分解为连续的帧图像，并利用全卷积网络(Fully Convolutional Networks)模型对帧图像进行特征提取，获得机场跑道特征。
[0069] 具体地，从核心交换机内获取机场跑道视频，利用视频分帧算法将机场跑道视频分解为连续的帧图像，将获得的帧图像输入全卷积网络模型，通过全卷积网络模型对帧图像的像素点进行“机场跑道”和“非机场跑道”的二分类，根据分类结果对所有帧图像中的“机场跑道”进行提取。
[0070] 本实施例中，全卷积网络模型由全卷积网络训练获得。随机选取一张帧图像，将帧图像中的机场跑道和非跑道部分以黑白两色进行标记，将标记后的图像转化为X*Y的二值矩阵(机场跑道部分为0，非跑道部分为1)以作为监督信息，选取多张帧图像作为测试集和验证集，对全卷积网络进行训练，得到全卷积网络模型。
[0071] 步骤S404，采用基于像素的自适应分割(Pixel-Based Adaptive Segmenter)的前景检测算法，检测机场跑道上的运动目标，并对检测到的第一运动目标设置第一跟踪框。
[0072] 具体地，采用基于像素的自适应分割的前景检测算法将提取的机场跑道作为背景模型，检测机场跑道上的运动目标(前景)，并当初始检测到第一运动目标时，在对应的帧图像(例如，第t帧)中对检测到的第一运动目标设置第一跟踪框。本实施例中，第一运动目标至少包括“步行的人”或“飞行的鸟”或“飞机”。
[0073] 步骤S406，采用高速压缩跟踪(Fast Compressive Tracking)算法对第一跟踪框进行跟踪，获得第一运动目标的目标跟踪序列。
[0074] 步骤S408，将第一运动目标的目标跟踪序列输入深度神经网络模型，通过深度神经网络模型判别第一运动目标的所属分类。
[0075] 本实施例中，分类类型包括异常运动目标与正常运动目标。
[0076] 步骤S410，当第一运动目标属于异常运动目标时，采用与第一跟踪框颜色不同的框线标示第一运动目标，并控制连接的语音报警装置报警。
[0077] 如图5所示，是本发明机场跑道智能监控方法中，采用高速压缩跟踪算法获取第一运动目标的目标跟踪序列的具体流程示意图。。
[0078] 步骤S500，获取检测到第一运动目标时，所述第一运动目标在第t帧图像中的第一位置信息，根据第一位置信息在第t帧图像中，采样获得多个第一运动目标的窗口和多个机场跑道的窗口作为样本图像。
[0079] 步骤S502，将所述样本图像与矩形滤波器进行卷积，得到所述样本图像的多尺度特征，采用稀疏测量矩阵对所述样本图像的多尺度特征进行降维处理。
[0080] 步骤S504，利用降维后的所述样本图像的多尺度特征，对朴素贝叶斯分类器进行训练，获得朴素贝叶斯分类器模型。
[0081] 步骤S506，在第t+1帧图像中的所述第一位置信息周围采样多个窗口，并将所述多个窗口与多个所述矩形滤波器进行卷积，得到所述多个窗口的多尺度特征。
[0082] 步骤S508，采用所述稀疏测量矩阵对所述窗口的多尺度特征进行降维处理。
[0083] 步骤S510，通过所述朴素贝叶斯分类器模型对所述多个窗口进行分类，选取分数最大的窗口作为目标窗口进行跟踪，获得第一运动目标的跟踪序列。
[0084] 如图6所示，是本发明机场跑道智能监控方法中，通过深度神经网络模型判别第一运动目标所属分类的流程示意图。
[0085] 步骤S600，采集机场跑道的多个视频序列，根据每个视频序列包含的内容，对所述采集的多个视频序列进行内容分类。
[0086] 本实施例中，分别采集包含“步行的人”、“飞行的鸟”、“风吹进跑道的垃圾”和“飞机”的机场跑道的视频序列，根据每个视频序列所包含的内容，将所述采集的多个视频序列分为“步行的人”、“飞行的鸟”、“风吹进跑道的垃圾”和“飞机”的内容类别。
[0087] 步骤S602，对各个类别的视频序列进行异常运动目标和正常运动目标的属性分类，获得异常运动目标的视频序列样本集和正常运动目标的视频序列样本集。
[0088] 本实施例中，正常运动目标至少包括：“步行的人”和“飞机”，异常运动目标至少包括“飞行的鸟”、“风吹进跑道的垃圾”。
[0089] 步骤S604，利用异常运动目标的视频序列样本集和正常运动目标的视频序列样本集对深度神经网络进行训练，获得深度神经网络模型。
[0090] 在本实施例中，所述深度神经网络模型依次包括三个ST-CNN时空卷积层、一个Flatten层、两个Bi-GRU双向门控重复单元层、一个Dense全连接层和一个Softmax分类输出层。
[0091] 步骤S606，将第一运动目标的目标跟踪序列输入深度神经网络模型，通过深度神经网络模型判别第一运动目标的所属分类。
[0092] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0093] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 多声道音频信号的双耳演示 | 2020-05-11 | 490 |
| 双音多频号码的处理方法和装置 | 2020-05-11 | 288 |
| 省电的双音多频编码语音寻呼方法及其语音寻呼系统 | 2020-05-13 | 577 |
| 无线通信系统中的双音多频数字检测 | 2020-05-11 | 332 |
| 用于音频播放的双运放的多段音调处理器 | 2020-05-12 | 95 |
| 带外双音多频信号的传输方法和系统 | 2020-05-11 | 608 |
| 双音多频DTMF的拨号方法及装置 | 2020-05-12 | 49 |
| 跨网关双音多频传送方法及装置 | 2020-05-12 | 769 |
| 一种实现双音多频信号闭音的方法 | 2020-05-11 | 920 |
| 响应于多通道音频通过使用至少一个反馈延迟网络产生双耳音频 | 2020-05-13 | 492 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈