基于注意力机制流网络的流体灾害检测预警平台 |
|||||||
申请号 | CN202311529888.3 | 申请日 | 2023-11-16 | 公开(公告)号 | CN117935487A | 公开(公告)日 | 2024-04-26 |
申请人 | 兰州大方电子有限责任公司; | 发明人 | 白海云; 陆彦强; 边宏伟; 靳辉; 胡斌喜; 宋如萍; 刘伟; 李安泰; 齐国琴; 李润祥; | ||||
摘要 | 本 发明 涉及 流体 灾害监测预警技术领域,其目的在于提供了一种基于注意 力 机制流网络的流体灾害检测预警平台,通过多路摄像头采集实时数据,向视频 服务器 发送采集的 视频流 数据,利用 算法 计算并输出视频流数据的计算结果和洪 水 的最大边界,并利用预警线来比较洪水边界是否触发到警戒 阈值 ,若触发即可预警相应的预警等级,否则不触发,继续下一阶段的数据提取和预警操作。本发明利用 深度学习 算法和传统opencv算法相结合对视频流中的泥石流、山洪等流体灾害进行边界检测,再与预警边界阈值线进行比较来是否触发灾害预警,进而能够对所监测区域内山洪进行连续、实时、动态的监测,为下游受灾区提供实时预警消息,有助于减少生命财产的损失。 | ||||||
权利要求 | 1.一种基于注意力机制流网络的流体灾害检测预警平台,其特征在于,包括如下内容: |
||||||
说明书全文 | 基于注意力机制流网络的流体灾害检测预警平台技术领域[0001] 本发明属于流体灾害监测预警技术领域,具体涉及一种基于注意力机制流网络的流体灾害检测预警平台。 背景技术[0002] 目前,关于流体灾害检测主要有基于两种技术方法。其一,利用传统的物理检测技术,包括各种传感器、水位计等;但是这种方法有很大的局限性,例如水位计在地质结构较复杂的山沟中很难检测到水位。其二,利用传统检测算法和深度学习技术对流体灾害进行检测。随着深度学习技术应用的不断深入,利用深度学习技术对流体灾害进行检测并进行预警受到越来越多研究者的重视。但是目前利用深度学习技术方法的应用场景主要在河道、水库等简单场景中。考虑到像洪水、泥石流等流体无固定特征,不能利用卷积网络等深度学习算法进行直接识别特征。因此,要想直接识别流体的边界比较困难。目前,大多数对流体的识别主要是基于光流算法,但是传统的光流算法受干扰因素的影响较大,很难直接对流体灾害进行识别。 发明内容[0003] 本发明的目的在于提供一种基于注意力机制流网络的流体灾害检测预警平台,以解决上述背景技术中提出的问题。 [0004] 为了实现上述目的,本发明采用的技术方案是: [0005] 一种基于注意力机制流网络的流体灾害检测预警平台,包括如下内容:通过多路摄像头采集实时数据,向视频服务器发送采集的视频流数据,提取视频流数据中的关键帧图像,将关键帧图像中任意两帧图像输入到注意力模型Atten中,利用算法计算并输出上述任意两帧图像上的计算结果和洪水的最大边界,并利用预警线来比较洪水边界是否触发到警戒阈值,若触发即可预警相应的预警等级,否则不触发,继续下一阶段的数据提取和预警操作。 [0006] 所述注意力模型Atten的表达式如下: [0007] [0008] 式中,Q作为查询向量,是第二帧图像的展平特征,K和V是第一帧图像的展平特征,dk是Q和K特征维度的通道数。 [0009] 所述任意两帧图像为连续两帧图像或间隔一段时间的两帧图像。 [0010] 所述算法包括基于注意力的流网络算法和视频流检测的整体算法。 [0011] 所述基于注意力的流网络算法具体包括以下步骤: [0012] S101:利用特征提取器F(1)把图像S1,S2所提取的特征分别为: [0013] f1=F(1)(S1) [0014] f2=F(1)(S2) [0015] 利用特征提取器F(2)再把图像S1所提取的特征为: [0016] [0017] 初始化一个与f1同尺寸的空白流flow0; [0018] S102:利用注意力模型Atten计算f1和f2的相关性矩阵 为: [0019] [0020] S103:利用n次迭代不断更新空白流flow0,利用流网络Flownet最终的迭代公式如下: [0021] [0022] 式中, 最终获得的flow0就是图像S1、S2的算法检测结果。 [0023] 所述视频流检测的整体算法具体包括如下步骤: [0024] S201:向注意力的流网络中输入视频流数据S,和固定间隔k,以及左预警线l1和右警戒线l2,视频流S由一系列的帧图像组成,即 [0025] S={Si,Si+1,…,Si+k,Si+k+1,…,Sn,…} [0026] S202:从某帧开始,依次取相隔k帧的图像作为以上算法的配对输入数据,即[0027] {Si,Si+k},{Si+1,Si+k+1},… [0028] 对每对输入数据{Si,Si+k}送入到注意力的流网络中,并最终输出flown,并对该输出利用opencv算法对其进行边界检测,获得流体的最大轮廓L(t,b,l,r),其中,t,b,l,r分别表示该轮廓的最小x坐标、最大x坐标、最小y坐标、最大y坐标; [0029] S203:对于视频流中的每一对计算结果flown,如果L(t,b,l,r)的(t,l)或(b,r)落在警戒线l1和l2所组成的区域外时,即可触发预警;否则,不触发预警。 [0030] 综上所述,由于采用了上述技术方案,本发明的有益效果是: [0031] 本发明通过在线视频采集装置对某个区域进行视频检测,利用深度学习算法和传统opencv算法相结合对视频流中的泥石流、山洪等流体灾害进行边界检测,再与预警边界阈值线进行比较来是否触发灾害预警,进而能够对所监测区域内山洪进行连续、实时、动态的监测,同时还能够及时获取全面准确的数据,保证了相关管理部门的地质灾害业务工作能够高效协调进行,为下游受灾区提供实时预警消息,有助于减少生命财产的损失。附图说明 [0032] 图1为本发明实施例的算法原理图。 [0033] 图2为本发明实施例的视频流检测原理图。 [0034] 图3为本发明实施例的整体系统构成原理图。 [0036] 图5为本发明实施例的原始视频检测效果示意图。 [0037] 图6为本发明实施例的光流检测效果示意图。 [0038] 图7为本发明实施例的阈值预警监测示意图。 具体实施方式[0039] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。 [0040] 因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。 [0041] 实施例 [0042] 本发明所述的一种基于注意力机制流网络的流体灾害检测预警平台,包括如图4所示的硬件系统:摄像头、边缘计算盒子、声光报警器等,包括如图3所示的系统原理:通过多路摄像头采集实时数据,向视频服务器发送采集的视频流数据,利用卷积网络提取出视频流数据中两帧图像的主要特征,再把两帧图像的特征图进行展平。第二帧图像的展平特征作为查询向量(Q),第一帧图像的展平特征分别作为K和V,Q和K特征维度的通道数作为dk,代入如下公式: [0043] [0044] 利用Atten(Q,K,V)矩阵作为这两帧图像特征的相关矩阵,再利用这个相关矩阵来不断更新两帧原始图像之间的变化状况,再利用Opencv算法对洪水最大边界提取,并利用预警线来比较洪水边界是否触发到警戒阈值,若触发即可预警相应的预警等级,否则不触发,继续下一阶段的数据提取和预警操作。 [0045] 本发明的整个视频流检测算法分为两部分。 [0046] 第一部分基于注意力的流网络算法,利用注意力机制来计算两帧图像特征之间的相关性,从而提高两帧图像之间的动态变化状况,如图1所示。该算法主要把连续两帧的图像输入到该网络中,最终通过该算法输出这连续两帧图像上的运动变化。 [0047] 该算法的主要流程如下: [0048] 输入:图像S1,S2,和循环迭代次数n, [0049] 首先,利用特征提取器F(1)把图像S1,S2分别所提取的特征分别为: [0050] f1=F(1)(S1) [0051] f2=F(1)(S2) [0052] 利用特征提取器F(2)再把图像S1提取的特征为: [0053] [0054] 初始化一个与f1同尺寸的空白流flow0(也就是最终要预测的图像)。 [0055] 其次,利用注意力模型Atten计算f1和f2的相关性矩阵 为: [0056] [0057] 最后,利用n次迭代不断更新空白流flow0,利用流网络Flownet最终的迭代公式如下: [0058] [0059] 其中, [0060] 最终获得的flown就是图像S1,S2的算法检测结果。 [0061] 第二部分主要是视频流检测的整体算法,由于单纯的注意力机制的流网络能检测两帧图像上的任何显著的变化,这对山洪流体的检测带来了严重干扰,因而采用跳跃计算来过滤非山洪等背景因素,提高对山洪等流体的检测效果,如图2所示。该算法的输入是一个完整的视频流数据。首先根据视频流中间隔一段时间的两帧图像输入到注意力的流网络中,从而对这两帧图像进行提取变化图像,再利用Opencv算法对洪水最大边界提取,并利用预警线来比较该洪水边界是否触发到该警戒阈值,若触发即可预警相应的预警等级,否则不触发,继续下一阶段的提取和预警。 [0062] 算法流程的主要流程: [0063] 输入:输入视频流数据S,和固定间隔k,以及左预警线l1和右警戒线l2。 [0064] 这样,视频流S由一系列的帧图像组成,即 [0065] S={Si,Si+1,…,Si+k,Si+k+1,…,Sn,…} [0066] 现在从某帧开始,依次取相隔k帧的图像作为以上算法的配对输入数据。即[0067] {Si,Si+k},{Si+1,Si+k+1},… [0068] 对每对输入数据{Si,Si+k}送入到注意力的流网络中,并最终输出flown,并对该输出利用opencv算法对其进行边界检测,获得流体的最大轮廓L(t,b,l,r),其中,t,b,l,r分别表示该轮廓的最小x坐标,最大x坐标,最小y坐标,最大y坐标。 [0069] 对于视频流中的每一对计算结果flown,如果L(t,b,l,r)的(t,l)或(b,r)落在警戒线l1和l2所组成的区域外时,即可触发预警;否则,不触发预警。 [0070] 本发明的实际使用效果如图5‑7所示:图5是算法识别的山洪的结果图;图6是经过边界提取的结果图;图7是加了预警线的检测结果图。从上述图中可明显看出,结合注意力机制和跳跃计算对视频流数据进行计算输出,能够消除二值图像中面积小于某个阈值的连通域,对一些小的干扰因素进行了有效的过滤,从而能够得到检测图像的最大边界框。进而通过建立人工警戒阈值范围,进行自主配置警戒线,对山洪、泥石流和洪水等流体致灾体达到有效监测和实时预警,配合其它可视化技术达到对致灾体的全流程监测和预警,能够为下游受灾区提供实时预警消息,及时防范流体灾害,减少生命财产的损失。 |