一种用于涡扇炮消防车的自动寻的方法及系统 |
|||||||
申请号 | CN202311747692.1 | 申请日 | 2023-12-19 | 公开(公告)号 | CN117935468A | 公开(公告)日 | 2024-04-26 |
申请人 | 北京南瑞怡和环保科技有限公司; | 发明人 | 张一凡; 王志刚; 吴刘锁; 罗剑飞; 孟宇飞; 石长江; 张晓宾; 武春生; 许志亮; 程晓晓; | ||||
摘要 | 一种用于涡扇炮 消防车 的自动寻的方法,其特征在于,所述方法包括以下步骤:通过所述涡扇炮消防车自动采集目标彩色图像和目标红外热成像 信号 ;对所述目标彩色图像预处理后提取火焰特征、烟雾特征以判断疑似火源 位置 ;从所述目标红外热成像信号中截取疑似火源位置并计算所述疑似火源位置的 温度 分布;基于所述疑似火源位置的火焰特征、烟雾特征和温度分布,判断火灾的发生并执行告警。本 发明 解决了涡扇炮灭火消防车寻火能 力 不足的问题,达到提升变电站消防系统寻火能力提升的目的,能够充分降低消防车自身受到损害的 风 险。 | ||||||
权利要求 | 1.一种用于涡扇炮消防车的自动寻的方法,其特征在于,所述方法包括以下步骤: |
||||||
说明书全文 | 一种用于涡扇炮消防车的自动寻的方法及系统技术领域[0001] 本发明涉及领域,更具体的,涉及一种用于涡扇炮消防车的自动寻的方法及系统。 背景技术[0002] 变电站是坚强智能电网的重要基础和支撑,是电网运行数据的采集源头和命令执行单元,与其他环节联系紧密,是统一坚强智能电网安全、优质、经济运行的重要保障,也是实现智能电网自动化特征的主要体现。因此,加强变电站的建设,对于坚强智能电网的建设至关重要。 [0005] 然而,现有的涡扇炮灭火消防车寻火能力不足,涡扇炮消防车寻的系统在可见光干扰情况下误判火情、站内辐射干扰情况下灵敏度下降、极端天气及站内重油燃烧产生黑烟等情况下辐射信息反射导致不易被探测器接收等问题。 [0006] 另一方面,红外热成像寻的系统由于其非接触、红外辐射敏感的特点,在设备、机械等的测温及故障预警方面,表现出优良的技术性能和应用效果,在电力设备运行状态检测中表现出色。定期用红外测温设备检查隔离开关设备的接头/导电部分,特别是在重负荷或高温期间,加强对运行设备温升的监视,发现问题应及时采取措施,已经称为电力系统中的重要安全要求。 [0007] 然而,目前大量的红外测温设备难以与已有的寻火方式相结合,提供互为冗余的准确寻火方法。此外,主流的涡扇炮灭火消防车上也不具备类似设备。简单的安装这类设备并不能有效与其他寻火方法结合,提高寻火系统的准确度。 [0008] 针对上述问题,亟需一种用于涡扇炮消防车的自动寻的方法及系统。。 发明内容[0009] 为解决现有技术中存在的不足,本发明提供一种用于涡扇炮消防车的自动寻的方法及系统,系统结合目标彩色图像和热红外成像信息中的特征,综合对火灾位置执行精准判断。 [0010] 本发明采用如下的技术方案。 [0011] 本发明第一方面,涉及一种用于涡扇炮消防车的自动寻的方法,方法包括以下步骤:通过所述涡扇炮消防车自动采集目标彩色图像和目标红外热成像信号;对所述目标彩色图像预处理后提取火焰特征、烟雾特征以判断疑似火源位置;从所述目标红外热成像信号中截取疑似火源位置并计算所述疑似火源位置的温度分布;基于所述疑似火源位置的火焰特征、烟雾特征和温度分布,判断火灾的发生并执行告警。 [0012] 优选的,从所述目标红外热成像信号中截取疑似火源位置并计算所述疑似火源位置的温度分布,还包括:遍历所述涡扇炮消防车所在位置下能够采集的变电站三维环境;将所述目标彩色图像中的像素信息和所述目标红外热成像信号中的像素信息分别转换为变电站三维坐标;基于所述变电站三维坐标,记录所述目标彩色图像与目标红外热成像信号的关联关系。 [0013] 优选的,从所述目标红外热成像信号中截取疑似火源位置并计算所述疑似火源位置的温度分布,还包括:采用卷积神经网络从所述预处理后的目标彩色图像中提取火焰特征、烟雾特征;基于提取出的所述火焰特征、烟雾特征的位置推理疑似火源位置,并提取所述疑似火源位置的三维坐标;基于所述疑似火源位置的三维坐标,从所述目标红外热成像信号中截取疑似火源信号。 [0014] 优选的,卷积神经网络采用三层卷积,每层卷积后连接激活层、池化层与全连接层;所述三层卷积之间采用前向传播。 [0015] 优选的,构造火焰特征和烟雾特征的数据集,基于分类器结果的识别率,调整所述卷积神经网络的参数。 [0016] 优选的,从所述目标红外热成像信号中截取疑似火源位置并计算所述疑似火源位置的温度分布,还包括:利用红外探测阵列获得疑似火源位置中每一像素的红外信号;对所述红外信号进行功率放大,再将放大后的所述红外信号转换为温度信息;基于所述温度信息和像素信息获得所述疑似火源位置的温度分布;利用所述温度分布判定火源根部位置。 [0017] 优选的,将所述火源根部位置转换为变电站三维坐标,并基于所述涡扇炮的当前位置计算寻的位移;基于所述寻的位移控制所述涡扇炮的运动方向,并在所述涡扇炮到达目标位置后,执行灭火作业。 [0018] 优选的,将所述放大后的所述红外信号转换为红外图像;截取所述目标彩色图像中的疑似火源位置,分别从目标彩色图像和红外图像中提取每一像素的彩色图像特征和红外图像特征;基于所述关联关系构造每一个像素的包含彩色图像特征、红外图像特征、采集时刻的特征向量;基于每一个像素的特征向量判断火灾的发生,并执行告警。 [0019] 优选的,基于所述寻的位移控制所述涡扇炮的运动方向,还包括:基于告警信息启动对所述涡扇炮的位移控制。 [0020] 本发明第二方面,涉及一种用于涡扇炮消防车的自动寻的系统,系统用于实现本发明第一方面中方法所述的步骤;所述系统包括采集模块、提取模块、计算模块和判断模块;其中,采集模块,用于通过所述涡扇炮消防车自动采集目标彩色图像和目标红外热成像信号;提取模块,用于对所述目标彩色图像预处理后提取火焰特征、烟雾特征以判断疑似火源位置;计算模块,用于从所述目标红外热成像信号中截取疑似火源位置并计算所述疑似火源位置的温度分布;判断模块,用于基于所述疑似火源位置的火焰特征、烟雾特征和温度分布,判断火灾的发生并执行告警。 [0021] 本发明的有益效果在于,与现有技术相比,本发明中的一种用于涡扇炮消防车的自动寻的方法及系统,系统结合目标彩色图像和热红外成像信息中的特征,综合对火灾位置执行精准判断。本发明解决了涡扇炮灭火消防车寻火能力不足的问题,达到提升变电站消防系统寻火能力提升的目的,能够充分降低消防车自身受到损害的风险。 [0022] 本发明的有益效果还包括: [0023] 1、本发明方法测量到的信号波长较长,穿透力强。基于被动接受目标热红外辐射的技术原理,即使在雨、雾等极端天气,仍极易穿透障碍,确保检测火源信息的准确充分。此外,方法直观显示物体表面的温度场,不受强光影响,抗强光干扰能力强。 [0026] 图1为本发明一种用于涡扇炮消防车的自动寻的方法中卷积神经网络的示意图; [0027] 图2为本发明一种用于涡扇炮消防车的自动寻的方法中卷积神经网络前向传播的示意图; [0028] 图3为本发明一种用于涡扇炮消防车的自动寻的方法中分类器训练的示意图; [0029] 图4为本发明一种用于涡扇炮消防车的自动寻的方法中训练准确度的示意图。 具体实施方式[0030] 为使本发明的目的、技术方案和优点更加清晰,下面将结合本发明实施例中的附图,对本发明的技术方案进行清楚、完整地描述。本发明所描述的实施例仅仅是本发明一部分的实施例,而不是全部实施例。基于本发明精神,本领域普通技术人员在没有做出创造性劳动的前提下,根据本发明中记载的实施例而获得的所有其它本发明中未记载的实施例,都应当属于本发明的保护范围。 [0031] 本发明第一方面,涉及一种用于涡扇炮消防车的自动寻的方法,方法包括步骤1至步骤4。 [0032] 步骤1,通过所述涡扇炮消防车自动采集目标彩色图像和目标红外热成像信号。 [0034] 彩色图像识别装置可以为常用的可在变电站三维环境中执行视角切换的彩色成像设备,如线阵扫描相机、三维深度相机等等。在采集到三维环境的图像信息后,可在相应的像素上标注三维坐标和图像深度信息,以支持后续的火源位置判断,并克服消防车辆受火灾损害的风险。 [0035] 此外,红外热成像识别装置可以为红外热成像仪,能够以“面”的形式对目标整体实时成像,使操作者通过屏幕显示的图像色彩和热点追踪显示功能就能初步判断发热情况和故障部位。此外,方法也可能采用热释电红外传感器阵列等结构,将红外成像信息转换为电信号进行处理。 [0036] 在采集图像或信号的过程中,各设备可以实现位移,以确保能够全面采集三维环境中不同位置的数据信息。此外,根据消防车的自动巡线功能,方法也能够利用自动巡线的多个当前位置采集变电站三维环境中同一坐标下不同方位的图像信息,从而综合判断火灾,提升了告警的准确度。 [0037] 一实施例中,自动寻的器以摄像头形式安装于涡扇炮消防车的涡扇炮顶部,自动寻的器通过RS485接口与自动寻的主控制器通讯连接,且自动寻的器用于随涡扇炮头运动实时读取红外热成像温度数据,自动寻的主控制器安装于涡扇炮消防车转台侧方设备箱内。 [0038] 步骤2,对目标彩色图像预处理后提取火焰特征、烟雾特征以判断疑似火源位置。 [0039] 为了提高火灾寻的效率,本发明中首先对目标彩色图像进行分析。预处理过程包括图像去噪、平滑、坐标变换等操作,增强图像中的重要火灾特征。容易想到的,方法可以针对变电站环境的特征来实现图像的去噪过程,例如将某些专用的大型断路器等设备导致的非连续的瞬时电弧等作为噪声排除。此外,方法也支持提取彩色图像中的深度信息,或者是根据变电站自有的三维特征,如某些重要特征设备的轮廓和真实尺寸,这种方式能够确保从任何方位和深度来采集的目标彩色图像能被快速处理,将像素信息与变电站三维环境进行匹配。 [0040] 经过预处理后,方法采用卷积神经网络实现特征提取。可以首先构造火焰特征和烟雾特征的数据集。在构造数据集的过程中,方法支持在数据集图像中为不同类型的火灾设置火焰、烟雾标签,以便根据网络输出实现分类。 [0041] 优选的,卷积神经网络采用三层卷积,每层卷积后连接激活层、池化层与全连接层;三层卷积之间采用前向传播。 [0042] 图1为本发明一种用于涡扇炮消防车的自动寻的方法中卷积神经网络的示意图。图2为本发明一种用于涡扇炮消防车的自动寻的方法中卷积神经网络前向传播的示意图。 [0043] 如图1、图2,一实施例中,训练得到的三层卷积中每一层的卷积核大小为3*3,激活层采用Relu函数,池化层采用最大池化,池化核为2*2,全连接层执行Dropout。三层之间前向传播后执行第一全连接并激活,再执行第二全连接后输出。输出的结果作为分类器的分类依据。分类器对图像集中的图像和标签进行训练,根据准确率、样本训练次数等实现分类评估。 [0044] 优选的,构造火焰特征和烟雾特征的数据集,基于分类器结果的识别率,调整卷积神经网络的参数。 [0045] 图3为本发明一种用于涡扇炮消防车的自动寻的方法中分类器训练的示意图。如图3,通过训练识别得到火焰特征的分类,使图像识别技术能够得到对火焰形态、烟雾形态的高识别率。 [0046] 图4为本发明一种用于涡扇炮消防车的自动寻的方法中训练准确度的示意图。如图4,本发明方法,训练准确度充分拟合测试所得的火灾情形。 [0047] 步骤3,从目标红外热成像信号中截取疑似火源位置并计算疑似火源位置的温度分布。 [0048] 本发明中,自动寻的器由红外热成像识别装置和彩色图像识别装置,方法利用二者相结合的方式,以彩色图像识别做第一层识别,定位疑似火源位置,而后利用热红外辐射对疑似火源位置做二次识别,确定火点根部的精确坐标。 [0049] 优选的,从目标红外热成像信号中截取疑似火源位置并计算疑似火源位置的温度分布,还包括:遍历涡扇炮消防车所在位置下能够采集的变电站三维环境;将目标彩色图像中的像素信息和目标红外热成像信号中的像素信息分别转换为变电站三维坐标;基于变电站三维坐标,记录目标彩色图像与目标红外热成像信号的关联关系。 [0050] 在关联的过程中,方法可以利用采集设备本身的位移、消防车的瞬时位置等综合判断所采集的目标彩色图像、目标红外热成像信号所对应的位置。当然,方法也可以从目标彩色图像中提取相应的设备位置,实现判断。此外,目标红外热成像信号相对来说难以判断实际位置,容易想到,本发明也支持提前获得正常运行状态下变电站中各设备的温度分布信息,构造多个特征点,从而基于特征匹配来获得红外热成像信号中像素点的位置。由此,最终实现两种不同来源信息的关联。 [0051] 优选的,采用卷积神经网络从预处理后的目标彩色图像中提取火焰特征、烟雾特征;基于提取出的火焰特征、烟雾特征的位置推理疑似火源位置,并提取疑似火源位置的三维坐标;基于疑似火源位置的三维坐标,从目标红外热成像信号中截取疑似火源信号。 [0052] 前文描述了获取彩色图像特征的方式,本发明中,还根据疑似火源位置的三维坐标来从目标热红外成像信号中筛选出相关的信号。这一步骤极大的降低了对目标红外成像信号的计算量,提高了寻的速度。 [0053] 优选的,利用红外探测阵列获得疑似火源位置中每一像素的红外信号;对红外信号进行功率放大,再将放大后的红外信号转换为温度信息;基于温度信息和像素信息获得疑似火源位置的温度分布;利用温度分布判定火源根部位置。 [0054] 在处理目标红外成像信号过程中,考虑到火源的红外辐射转化为的电信号幅度较为微弱,因此方法采用功率放大元件实现对微弱电信号的处理和放大。容易想到,在这一步骤中,针对步骤2中标记的火灾特征,如火灾类型、火焰特征、烟雾特征等,确认放大的方式,如对某一个频率段的信号以更大的放大率进行发大,而对某些频率段的信号作为噪声滤除。这也进一步提高了信号识别的准确性。 [0055] 在执行上述过程后,方法将信号阵列转换为温度分布,分布是基于阵列中的不同元件采集的,也可以对应到不同的三维空间位置。通常,温度较高的轮廓对应于火焰表面,而通过火焰表面,和三维空间中设备的外表面或设备内部的易着火点位置相结合,就能够得出最为精准的火源根部位置。这一推导过程为后续消防车自动寻的的准确度做出了贡献,并支持消防车及时、准确的灭火。 [0056] 一实施例中,自动寻的主控制器与已标定的背景系统温度进行比对测量,精确读出点、线、区域的最低温度、最高温度以及平均温度,同时自动检测、追踪并标示检测场景中的温度最高点和最低点,并以火灾试验燃烧数据、燃烧温度拟合曲线为基础,分析火焰周围温度场变化特征。 [0058] 综上,现有寻火装置均使用单一识别技术进行检测,而先彩色图像后热红外的识别手段保证了彩色图像和热红外的误报率控制在可靠的范围内,二者相互冗余,使输出结论更加可靠。 [0059] 容易想到,将放大后的红外信号转换为红外图像;截取目标彩色图像中的疑似火源位置,分别从目标彩色图像和红外图像中提取每一像素的彩色图像特征和红外图像特征;基于关联关系构造每一个像素的包含彩色图像特征、红外图像特征、采集时刻的特征向量;基于每一个像素的特征向量判断火灾的发生,并执行告警。 [0060] 本发明中,采用特征加权机制瞄准异常区,指导涡扇炮消防车喷出灭火介质降温。具体的,将放大后的红外信号转换为红外图像,将红外图像和彩色图像执行对应,并对每个像素点计算特征向量,特征向量中可以包括不同时刻的多个图像针对同一各三维位置所采集到的信息,如火焰特征、烟雾特征、红外温度特征等等,通过这种方式,方法针对每个实际的三维位置坐标,都能够准确得到其在一段时间下与火灾相关的所有信息,这就确保了火灾判断的足够准确。 [0061] 考虑到实际情况下,消防车采集的信号可能受到外部环境光的干扰,大型电器设备的正常切换电弧、站内较大的电磁辐射的干扰、极端天气的影响和重油燃烧产生黑烟等恶劣情形的影响,因此,本发明这种对采集数据的处理方法能够确保方法良好的克服外界干扰的影响,也支持更为准确的判定,提高了方法置信度,降低了误告警的概率。 [0062] 步骤4,基于疑似火源位置的火焰特征、烟雾特征和温度分布,判断火灾的发生并执行告警。 [0063] 优选的,将火源根部位置转换为变电站三维坐标,并基于涡扇炮的当前位置计算寻的位移;基于寻的位移控制涡扇炮的运动方向,并在涡扇炮到达目标位置后,执行灭火作业。 [0064] 自动寻的器与自动寻的主控制器进行信息交互,完成火情定位信息的回传。分析火焰周围温度场变化特征后,主控制器给出异常区的经纬坐标,联动涡扇炮喷射系统。 [0065] 优选的,基于寻的位移控制涡扇炮的运动方向,还包括:基于告警信息启动对涡扇炮的位移控制。 [0066] 设备舱发出启动信号并开始进行计时处理,同时控制炮头运动,自动寻的系统启动定位并通过热成像识别装置和彩色图像识别装置发现火源,发现火源时设备舱停止炮头运动并对确定的目标值进行计时处理,当目标值超时10s并未接收到再次确认有火的反馈信号时,系统会判断为干扰源并再次让寻的系统启动定位,当目标值在计时在10s内接收到反馈时,寻的系统发送目标角度值至自动寻的主控制器上。这里的反馈可以是基于前文所述的多个特征向量的特征综合计算判断得到的。 [0067] 自动寻的主控制器通过设备舱控制炮头运动并将炮头运动状态和炮头运动结果发送至自动寻的系统中,此时设备舱停止炮头运动,自动寻的系统将再次判断火源角度和当前炮头角度的一致性,当上述两者角度不一致时,寻的系统将再次发送目标角度值至自动寻的主控制器上,当上述两者角度一致时,设备舱计时和自动寻的系统计时同时完成,且寻的系统发送火源定位表示成功并开启风机,发送就位信号同时开始进行灭火作业,设备舱发送寻的复位信号并让寻的器进行复位。 [0068] 设备舱计时时间超过5分钟时,提示按下FM按钮或变更FM按钮状态,该按钮状态确认设备舱发送寻的复位信号并让寻的器进行复位,当寻的系统计时时间超过5分钟时,表示寻的系统发送火源定位失败,设备舱发送寻的复位信号并让寻的器进行复位,至此流程结束。 [0069] 涡扇炮消防车自动寻的系统能够精确的监测到火源点,分析火焰周围温度场变化特征,并给出异常区的经纬坐标,系统中也设置相应的反馈调节功能,对于炮头转动角度的状态可以实时的监测到相应数据,对于超过系统的设定监测时间,也会立即的做出反应,例如系统会判断为干扰源,进行重新火源定位,对于设备舱超过计时时间时,也能够将寻的器进行复位,而且系统能够实时的监测到炮头运动状态以及目标角度值,从而保持两者的一致性,通过上述数值的一致性,从而精确判断是否定位成功,并配合目标计时时间,从而有效的判别是否为干扰源,从而进一步保证数据的准确性。 [0070] 对于寻的系统的计时处理超过5分钟,表明火源定位失败,从而也能够将设备舱炮头进行重新复位,从而保证能够有效快速的对火源进行定位处理,而且对于定位失败的炮头也能够进行重新复位。 [0071] 本发明第二方面中,涉及一种用于涡扇炮消防车的自动寻的系统,系统用于实现本发明第一方面中方法的步骤;系统包括采集模块、提取模块、计算模块和判断模块;其中,采集模块,用于通过涡扇炮消防车自动采集目标彩色图像和目标红外热成像信号;提取模块,用于对目标彩色图像预处理后提取火焰特征、烟雾特征以判断疑似火源位置;计算模块,用于从目标红外热成像信号中截取疑似火源位置并计算疑似火源位置的温度分布;判断模块,用于基于疑似火源位置的火焰特征、烟雾特征和温度分布,判断火灾的发生并执行告警。 [0072] 具体的,自动寻的器由红外热成像识别装置、彩色图像识别装置、识别装置支架、自动寻的器不锈钢腔体、腔体安装支架配件、线束、航空插头、胶管和电线等设备部件组成。自动寻的主控制器由火灾识别及运动控制驱动硬件平台、热成像火灾识别处理硬件平台、热成像识别硬件平台、开关电源、安装固定底座、航空插头、胶管和电线等设备部件组成,各部件之间的控制命令通过硬线方式连接,反馈命令通过通讯方式连接。 [0073] 消防车中还带有车载控制系统,安装于涡扇炮消防车转台侧方设备箱内。作为整车控制的集成,主要作用为接收遥控器发射信号做出动作,控制消防车各部分启动。采用多总线架构形式,上下车分别采用4路总线并行的通讯方式,降低通道的负载率,减少丢包现象,实现分布式通讯。自动寻的系统通过CAN信号将处理完成的寻火信息(包括火情信号及位置信息)传输至CAN网络(波特率250),车载主控制器从CAN网络读取寻火信息。 [0074] 寻的系统发送火源定位表示成功并开启风机,发送就位信号同时开始进行灭火作业,寻的系统定位成功后会开启风机,风机是配合安装在消防车的涡扇炮上的,这样的设置目的可以使得水雾喷射的更远,从而提高远距离的消防作用效果。 |