首页 / 专利库 / 诊断设备和程序 / 彩色速度成像 / 基于全方位视觉传感器的自动消防灭火装置

基于全方位视觉传感器的自动消防灭火装置

阅读:315发布:2020-12-06

专利汇可以提供基于全方位视觉传感器的自动消防灭火装置专利检索,专利查询,专利分析的服务。并且一种基于全方位视觉 传感器 的自动消防灭火装置,包括 微处理器 、用于监视现场的视频传感器、用于与外界通信的通信模 块 以及灭火喷头,灭火喷头连接喷头驱动装置,视频传感器是全方位视觉传感器,进行 图像处理 和分析,通过火灾的简单的模式分类、火焰面积变化特征判断、火焰形体变化特征判断、火焰 颜色 特征判断、火焰闪动规律特征判断、火焰整体运动特征判断以及火灾强度特征判断得到综合判断结果,根据所发现的火苗点 位置 自动控制喷头对准火苗点将 灭火剂 喷洒在火源附近。本 发明 能够有效减少误报率、对火源点检测 定位 准确、实时性能好、在发现火苗情况时能自动控制喷头以最短的时间将灭火剂喷射到火苗点、实现的检测 算法 和控制算法简单。,下面是基于全方位视觉传感器的自动消防灭火装置专利的具体信息内容。

1.一种基于全方位视觉传感器的自动消防灭火装置,该自动消防灭火装置包括微处理器、用于监视现场的视频传感器、用于与外界通信的通信模以及灭火喷头,所述灭火喷头连接喷头驱动装置,所述的微处理器包括:
图像数据读取模块,用于读取从视频传感器传过来的视频图像信息;
文件存储模块,用于将视频传感器采集的数据存储到存储器中;
现场实时播放模块,用于连接外部的显示设备,将监视现场画面实时播放;
所述的视频传感器的输出与微处理器通信连接,其特征在于:
所述的视频传感器是全方位视觉传感器,所述的视觉传感器包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、摄像头,所述的外凸反射镜面朝下,所述的透明圆柱体支撑外凸反射镜面,用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的内部,摄像头位于外凸反射镜面的虚焦点上;
所述的微处理器还包括:
传感器标定模块,用于对全方位视觉传感器的参数进行标定,建立空间的实物图像与所获得的视频图像的对应关系;
颜色模型转换模块,用于将彩色图像中的每一个像素点的颜色从RGB颜色空间转换到(Cr,Cb)空间颜色模型;
图像展开处理模块,用于将采集的圆形视频图像展开为全景柱状图,根据圆形全方位* * ** ** * *
图像上的一个点(x,y)和矩形柱状全景图上的一个点(x ,y )的对应关系,建立(x,y)** **
与(x ,y )的映射矩阵,式(1)所示:
上式中, 是映射矩阵, 是 圆形全方位图像上的像素 矩阵,
是矩形柱状全景图上的像素矩阵;
运动对象检测模块,用于将所获得的当前现场视频图像与一个相对比较稳定的基准参考图像进行差值运算,图像相减的计算公式如式(2)表示:
fd(X,t0,ti)=f(X,ti)-f(X,t0) (2)
上式中,fd(X,t0,ti)是实时拍摄到图像与基准参考图像间进行图像相减的结果;f(X,ti)是实时拍摄到图像;f(X,t0)是基准参考图像;
并将当前图像中与相邻K帧的图像相减计算公式如(3)所示:
fd(X,ti-k,ti)=f(X,ti)-f(X,ti-k) (3)
上式中,fd(X,ti-k,ti)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果;f(X,ti-k)是相邻K帧时的图像;
如fd(X,t0,ti)≥阈值、fd(X,ti-k,ti)≥阈值成立时,判定为可疑火焰对象;
如fd(X,t0,ti)≥阈值、fd(X,ti-k,ti)<阈值,判定静止对象,并用式 来更新替换基准参考图像:
如fd(X,t0,ti)<阈值,判定为静止对象;
连通区域计算模块,用于对当前图像进行标记,像素灰度为0的小区表示此小区无可疑火焰,像素灰度为1则表示此小区有可疑火焰,计算当前图像中的像素是否与当前像素周围相邻的某一个点的像素相等,如灰度相等判断为具有连通性,将所有具有连通性的像素作为一个连通区域;
模式分类模块,用于判定为可疑火焰后,对每个连通区域求出其面积Si,并依照如下:
1)若Si<阈值1,则该变化区域为噪声点;
2)若Si>阈值2,则该变化区域为大面积的红外光线变化;
3)若阈值1<Si<阈值2,则该变化区域为可疑的火焰区域;
判断为可疑的火焰区域后,计算相邻帧变化图像的相似度εi,如公式(5)所示,
式中,bi(x,y)为上一帧中可疑的火焰区域,bi+1(x,y)为当前帧中可疑的火焰区域;
根据上述计算结果,模式分类为:
1)若εi≤阈值1,则图像模式为快速运动的亮点;
2)若εi≥阈值2,则图像模式为固定红外发光区域;
3)若阈值1<εi<阈值2,则图像模式为火焰;
火焰颜色特征判断模块,用于在(Cr,Cb)空间的分布模型,计算发光源是否落在火焰图像在(Cr,Cb)空间的分布模型内,计算公式由式(6)所示:
式(6)中,Wfirecolor是颜色特征量, 是火焰点Cr、Cb的样本标准均值,A、B、C分别是由样本标准差和均值计算出来的系数;
火焰面积变化特征判断模块,用于根据每帧图像的发光面积Si进行递推计算,求在下一帧图像的发光面积的递推值 计算公式由式(7)给出;
式中, 是下一帧图像的发光面积的递推平均值, 是目前帧图像的发光面积的
递推平均值,Si是目前帧发光面积的计算值,k为系数,小于1,得到下式(8)
如果上述(8)成立,火焰面积扩展Wfire area量化值取为1;如上式(8)不成立,火焰面积扩展Wfire area量化值取为0;
火焰闪动规律特征判断模块,用于在上述(8)成立时,将发光面积的计算值Si与目前帧图像的发光面积的递推平均值 求差计算,如两者的差的正负发生变化就进行记数,计算在一定时间段中其变化的次数作为火焰闪动的变化频率ffenquncy,并将该ffenquncy与所设定的阈值fc相比较,当ffenquncy≥fc时,火焰闪动Wfire bicker量化值取为1;当ffenquncy<fc时,火焰闪动Wfire bicker量化值0;
火灾强度判断模块,用于在火焰面积扩展Wfire area量化值为1和火焰颜色特征Wfire color的计算值大于0.5时,计算公式如式(9)所示;
上式(9)中,∑S是整个监控面积,Wfire indensity是火灾强度值;
火灾发生综合判断模块,用于根据火焰模式、火焰颜色特征值、火焰面积、火焰闪动规律综合判断是否有火灾发生,其计算式如(10)所示:
Wfire alarm=Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area
(10)
+Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity
式中:Kfire pattern为火焰模式的加权系数;
Kfire color为火焰颜色特征的加权系数;
Kfire area为火焰面积变化的加权系数;
Kfire bicker为火焰闪动的加权系数;
Kfire indensity为火灾强度的加权系数;
如警告值Kalarm≤Wfire alarm,判定为火灾告警,通过通信模块通知管理人员;
火焰发生位置计算模块,用于根据三维空间与图像像素的对应性关系,计算火焰的中心点,确定火源点位置;
自动灭火控制模块,用于在判断火灾告警后,控制喷头驱动装置使喷头朝向火源点移动,当喷头对准火点时,发出打开喷头灭火的指令。
2.如权利要求1所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的警告值Kalarm包括Kattention、 Kalarm2、Kalarm3;
若 判定为火焰可疑注意,通过通信模块通知管理人员,自
动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,控制喷头驱动装置使喷头朝向火源点移动;如为已开启喷头阀门,继续喷射灭火剂
若 判定为火灾早期警告,通过用户通信模块通知管理人
员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,如果管理人员确认为是火灾发生同时喷头对朝向火源点,管理人员从远程控制启动喷头阀门打开;如为已开启喷头阀门,判定火源还没有进一步扩大蔓延,继续喷射灭火剂;
若 判定为火灾发生,通过用户通信模块自动报警通知
119,并通知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,得到确认信息后发出启动喷头阀门打开的指令;如为已开启喷头阀门,继续喷射灭火剂;
若 则拉响火灾警报,通过用户通信模块自动报警通知119,并通知管
理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,得到确认信息后发出启动喷头阀门打开的指令;如为已开启喷头阀门,判定火源有进一步扩大蔓延趋势,继续喷射灭火剂。
3.如权利要求1所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的微处理器还包括背景维护模块,所述的背景维护模块包括:
背景亮度计算单元,用于计算平均背景亮度Yb计算公式如式(11)所示:
式(11)中,Yn(x,y)为当前帧各像素的亮度,Mn(x,y)为当前帧的掩模表,所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化,参见式(12):
Yb0为判定为可疑火焰对象时前一帧的背景亮度,Yb1为判定为可疑火焰对象时第一帧的背景亮度,两帧平均亮度的变化为:
ΔY=Yb1-Yb0 (13)
如果ΔY大于上限值,则认为发生了开灯事件;如果ΔY小于某个下限值,则认为发生了关灯事件;如ΔY介于上限值和下限值之间,则认为光线自然变化;
背景自适应单元,用于当光线自然变化时,按照下式(14)进行自适应学习:
Xmix,bn+1(i)=(1-λ)Xmix,bn(i)+λXmix,cn(i) (14)
式中:Xmix,cn(i)为当前帧RGB向量,Xmix,bn(i)为当前帧背景RGB向量,Xmix,bn+1(i)为下一帧背景预测RGB向量,λ为背景更新的速度;λ=0,使用固定不变的背景;λ=1,使用当前帧作为背景;0<λ<1,背景由前一时刻的背景与当前帧混合而成;
当光线由开关灯引起的,背景像素按照当前帧重置,参见式(15):
Xmix,bn+1(i)=Xmix,cn(i) (15)。
4.如权利要求1-3之一所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的微处理器还包括:
噪声剔除模块,用于将每一个像素值用其局部邻域内所有值的均值置换,如公式(16)所示:
h[i,j]=(1/M)∑f[k,1] (16)
上式(16)中,M是邻域内的像素点总数。
5.如权利要求4所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的微处理器还包括:
火焰整体运动特征模块,用于通过火焰的整体移动的轨迹来进行判断的,如判断火焰整体运动,火焰整理运动量化值Wfire move取为1;如判断非整体运动,火焰整理运动量化值Wfire move取为0;
在所述的火灾发生综合判断模块中,公式(10)修正为:
Wfirre alarm=Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area+Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity+Kfire move×Wfire move上式中,Kfire move是火焰整体运动的加权系数。
6.如权利要求4所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的微处理器还包括:
火焰形体变化特征量化模块,用于根据平方向上的火焰的形状变化,如呈现的形体变化有规律性,Wfire body量化值取为0;如呈现的形体变化无规律性,Wfire body量化值取为1;
在所述的火灾发生综合判断模块中,公式(10)修正为:
Wfire alarm=Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area+Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity+Kfire body×Wfire body上式中,Kfire body是火焰形体变化的加权系数。
7.如权利要求4所述的基于全方位视觉传感器的自动消防灭火装置,其特征在于:所述的喷头驱动装置包括固定架,所述固定架与灭火剂罐连通的空心通水轴固定连接,所述空心通水轴的外壁与垂直齿轮啮合,所述的垂直齿轮与垂直电机联接;所述的固定架上安装水平电机、第一平面齿轮、第二平面齿轮,所述的水平电机与第一平面齿轮联接,第一平面齿轮与第二平面齿轮啮合,第二平面齿轮连接喷头,第二平面齿轮套接在中空轴上,所述中空轴与喷头连通,所述中空轴与空心通水轴连通。

说明书全文

基于全方位视觉传感器的自动消防灭火装置

(一)技术领域

[0001] 本发明涉及一种基于全方位视觉传感器的自动消防灭火装置。(二)背景技术
[0002] 自动消防灭火的核心是火灾的早期发现以及火苗点的确定,关键技术是要根据所发现的火苗点位置自动控制喷头对准火苗点将灭火剂喷洒在火源附近,达到自动消防灭火
的目的。
[0003] 人们为了早期发现和通报火灾,并及时采取有效措施,控制和扑灭火灾,而设置在建筑物中或其它场所的一种自动消防设施,目前是现代消防不可缺少的安全技术设施之
一。国内外对火灾自动监测都非常重视。目前检测火灾是否发生主要通过连续或者断续监
视至少一种与火灾相关联的物理或者化学现象来进行的,监视方法通常分为感烟型、感温
型、气体型和感光型。
[0004] 根据美国测试与材料学会(ASTM)和国际防协会(NFPA)的定义,烟气包括悬浮于其的固相和液相颗粒及材料热解过程产生的气相物质。因此,火灾烟气流动属于两相流流
动,悬浮于其中的烟气颗粒数目、颗粒团聚效应、烟气湍流效应等是火灾图像探测光学特性
的重要影响因素,是火灾探测与预警研究的重要内容。这种基于烟气某一参数特征的火灾
图像探测方法,仍不能满足日趋严格的火灾安全要求。因此,有必要研究基于烟气的多参数
特征的火灾图像探测方法。
[0005] 传统的火灾报警系统一般基于红外传感器和烟雾传感器,这些系统多采用检测浓度法,而并不检测火焰本身,所以其误报率高、检测时间较长,对某些情况无法预报,比如无烟火焰,更谈不上自动灭火。同时在室外仓库和大型室仓库等大空间场合的火灾报警中,上
述传感器信号变得十分微弱,即使是高精度的传感器也会由于种种干扰噪声而无法工作。
为解决此类场合的火灾报警问题,国外某些公司在九十年代初提出用紫外波段的图像传感
器进行中远距离的火焰检测,并推出了相应产品。但此类系统并不具有自动识别的功能,模
也不具有可重构性,而且火焰的识别方法简单,识别误报率较高。
[0006] 随着数字通信技术、计算机技术的发展,数字图像处理获得了广泛的应用。图像型火灾报警等系统是利用数字图像处理技术来实现火灾自动报警的。目前,在某些场所已采
用了比较成熟的火灾探测的方法,如感烟、感温、感光探测器,它们分别利用火灾火焰的烟
雾、温度、光的特性等对火灾进行探测。但在大空间、大面积、环境比较恶劣和室外环境等场所无法发挥现有火灾探测设备的作用,而运用数字图像处理技术利用火灾火焰的图像特性
却能解决以上场所的火灾探测问题。
[0007] 现有的图像处理方法,因为设备昂贵(利用光谱分析)、对环境或摄像机等要求很高(静止、严格定标等)而无法广泛应用。近年来出现的图像处理方法由于考虑到了火焰
的一些特点,取得了一定进展。然而,日趋严格的火灾安全要求和高科技的迅速发展,使火
灾探测和预警、自动灭火等方式正向着图像化、自动化和智能化发展,而基于图像的火灾探
测方法则是根据火焰特征的探测方法。因此,世界各国都在致于研究和开发能早期预报
火灾的火灾探测方法和设备。数字图像处理和模式识别技术实现火灾预报与传统的预报方
法相比可以有效地提高预报精度、大大缩短预报时问、提供更丰富的火灾信息等。
[0008] 图像处理与计算机视觉是一个不断发展的新技术,原则上采用计算机视觉进行观测有四个目的,即预处理、最底层的特征提取、中级特征的辩识以及通过图像对高级情景的
解释。一般来说,计算机视觉包括主要特征、图像处理以及图像理解。
[0009] 图像是人类视觉的延伸。通过视觉,可以立即准确地发现火灾,这是不争的事实。图像监测快速性的基础是视觉所接受的信息以光为传播媒介;而图像信息的丰富和直观,
更为早期火灾的辨识和判断奠定了基础,其它任何火灾探测技术均不能提供如此丰富和直
观的信息。此外,图像监测的关键器件图像敏感组件通过光学镜头与外界发生间接接触,这
种结构保证了图像监测技术既可以较恶劣(多粉尘、高湿度)的室内环境中使用,也可以室
外环境中使用。由此,图像监测技术在火灾探测中的地位和作用为:
[0010] (1)可在太空间、大面积的环境中使用;
[0011] (2)可用于多粉尘、高湿度的场所;
[0012] (3)可在室外环境中使用;
[0013] (4)可对火灾现象中的图像信息作出快速反应;
[0014] (5)可提供直观的火灾信息。
[0015] 火灾图像探测系统,是一种以计算机为核心,结合光电技术和计算机图像处理技术研制而成的火灾自动监测报警系统。火灾图像探测方法,是一种基于数字图像处理和分
析的新型火灾探测方法。它利用摄像头对现场进行监视,同时对摄得的连续图像输入计算
机,不断进行图像处理和分析,通过早期火灾火焰的形体变化特征来探测火灾。它是实现自
动灭火的第一步,也是关键的一步。
[0016] 图像是一种包含强度、形体、位置等信息的信号。火灾中的燃烧过程是一个典型不稳定过程。由于可燃物、几何条件、环境和气候的影响,火灾过程要比其它可控的燃烧过程
更为复杂。同时,火灾现场存在各种干扰因素,如阳光、照明灯等。因此图像型火灾探测方
法必须立足于早期火灾火焰的基本特性,这样就可以排除各种干扰,使火灾探测更快速、可
靠。
[0017] 在原有的专利(CN86106890A,CN1089741A,CN1112702A)技术中对图像型火灾检测在运用数字图像处理技术利用火灾火焰的图像特性方面,根据火焰图形的一些单一或者
几个简单形态特征作为模式识别的判据,这样由于选取特征比较单一,算法相对复杂,造成
误判率高。在专利CN1089741A中使用台对全景进行火灾检测,虽然能得到全方位图像,
但是云台采用机械式旋转装置存在着机械磨损、维护工作量大、要消耗能源、算法相对复
杂,不能实时处理等缺点。在专利(CN 1192381A)技术中提出了一种自动跟踪灭火机,其
方案是采用红外、光电、机械于一身,安装在天花板或顶棚上。烟雾传感器发现控制区内一
旦起火,探头和喷头自动对地面全方位扫描,发现着火点,智能控制系统立即发报警信号,
同时住喷头对准着火点,喷射灭火剂,火光熄灭后,停止喷射,继续寻找新的着火点,再喷射,直到火苗全部扑灭。该发明所提出的自动跟踪灭火机存在着几个比较问题,首先是火灾
的检测问题,要通过烟雾传感器来发现起火,只有在周围的烟雾浓度达到一定值后才能检
测到发生火灾,烟雾传递需要有一个过程,不但取决于火燃烧的大小,同时也取决于监视空
间的大小,因此即使通过烟雾传感器能检测到火灾的发生也已经处在火灾的中期,这时用
一个喷头来扑灭火源已经非常困难;其次要用探头和喷头自动对地面全方位扫描来捕捉火
源必定存在着滞后等问题。
(三)发明内容
[0018] 为了克服已有的火灾探测系统和自动跟踪灭火机的误报率较高、不能及时发现早期火灾、不能实时处理、算法相对复杂的不足,本发明提供一种能够有效减少误报率、对火
源点检测定位准确、实时性能好、在发现火苗情况时能自动控制喷头以最短的时间将灭火
剂喷射到火苗点、实现的检测算法和控制算法简单的基于全方位视觉传感器的自动消防灭
火装置。
[0019] 本发明解决其技术问题所采用的技术方案是:
[0020] 一种基于全方位视觉传感器的自动消防灭火装置,该自动消防灭火装置包括微处理器、用于监视现场的视频传感器、用于与外界通信的通信模块以及灭火喷头,所述灭火喷
头连接喷头驱动装置,所述的微处理器包括:图像数据读取模块,用于读取从视频传感器传
过来的视频图像信息;文件存储模块,用于将视频传感器采集的数据存储到存储器中;现
场实时播放模块,用于连接外部的显示设备,将监视现场画面实时播放;所述的视频传感器
的输出与微处理器通信连接,所述的视频传感器是全方位视觉传感器,所述的视觉传感器
包括用于反射监控领域中物体的外凸反射镜面、透明圆柱体、摄像头,所述的外凸反射镜面
朝下,所述的透明圆柱体支撑外凸反射镜面,用于拍摄外凸反射镜面上成像体的摄像头位
于透明圆柱体的内部,摄像头位于外凸反射镜面的虚焦点上;
[0021] 所述的微处理器还包括:
[0022] 传感器标定模块,用于对全方位视觉传感器的参数进行标定,建立空间的实物图像与所获得的视频图像的对应关系;
[0023] 颜色模型转换模块,用于将彩色图像中的每一个像素点的颜色从RGB颜色空间转换到(Cr,Cb)空间颜色模型;
[0024] 图像展开处理模块,用于将采集的圆形视频图像展开为全景柱状图,根据圆形全* * ** ** *
方位图像上的一个点(x,y)和矩形柱状全景图上的一个点(x ,y )的对应关系,建立(x,
* ** **
y)与(x ,y )的映射矩阵,式(1)所示:
[0025]
[0026] 上式中, 是映射矩阵, 是圆形全方位图像上的像素矩阵,是矩形柱状全景图上的像素矩阵;
[0027] 活动对象检测模块,用于将所获得的当前现场视频图像与一个相对比较稳定的基准参考图像进行差值运算,图像相减的计算公式如式(2)表示:
[0028] fd(X,t0,ti)=f(X,ti)-f(X,t0) (2)
[0029] 上式中,fd(X,t0,ti)是实时拍摄到图像与基准参考图像间进行图像相减的结果;f(X,ti)是实时拍摄到图像;f(X,t0)是基准参考图像;
[0030] 并将当前图像中与相邻K帧的图像相减计算公式如(3)所示:
[0031] fd(X,ti-k,ti)=f(X,ti)-f(X,ti-k) (3)
[0032] 上式中,fd(X,ti-k,ti)是实时拍摄到图像与相邻K帧图像间进行图像相减的结果;f(X,ti-k)是相邻K帧时的图像;
[0033] 如fd(X,t0,ti)≥阈值、fd(X,ti-k,ti)≥阈值成立时,判定为可疑火焰对象;
[0034] 如fd(X,t0,ti)≥阈值、fd(X,ti-k,ti)<阈值,判定静止对象,并用式(4)来更新替换基准参考图像:
[0035]
[0036] 如fd(X,t0,ti)<阈值,判定为静止对象;
[0037] 连通区域计算模块,用于对当前图像进行标记,像素灰度为0的小区表示此小区无可疑火焰,像素灰度为1则表示此小区有可疑火焰,计算当前图像中的像素是否与当前
像素周围相邻的某一个点的像素相等,如灰度相等判断为具有连通性,将所有具有连通性
的像素作为一个连通区域;
[0038] 模式分类模块,用于判定为可疑火焰后,对每个连通区域求出其面积Si,并依照如下:
[0039] 1)若Si<阈值1,则该变化区域为噪声点;
[0040] 2)若Si>阈值2,则该变化区域为大面积的红外光线变化;
[0041] 3)若阈值1<Si<阈值2,则该变化区域为可疑的火焰区域;
[0042] 判断为可疑的火焰区域后,计算相邻帧变化图像的相似度εi,如公式(5)所示,
[0043]
[0044] 式中,bi(x,y)为上一帧中可疑的火焰区域,bi+1(x,y)为当前帧中可疑的火焰区域;
[0045] 根据上述计算结果,模式分类为:
[0046] 1)若εi≤阈值1,则图像模式为快速运动的亮点;
[0047] 2)若εi≥阈值2,则图像模式为固定红外发光区域;
[0048] 3)若阈值1<εi<阈值2,则图像模式为火焰;
[0049] 火焰颜色特征判断模块,用于在(Cr,Cb)空间的分布模型,计算发光源是否落在火焰图像在(Cr,Cb)空间的分布模型内,计算公式由式(6)所示:
[0050]
[0051] 式(6)中,Wfirecolor是颜色特征量, 是火焰点Cr、Cb的样本标准均值,A、B、C分别是由样本标准差和均值计算出来的系数;
[0052] A=3.7*10-3;B=4.1*10-3;C=4.5*10-3;
[0053] 火焰面积变化特征判断模块,用于根据每帧图像的发光面积Si进行递推计算,求在下一帧图像的发光面积的递推值 计算公式由式(7)给出;
[0054]
[0055] 式中, 是下一帧图像的发光面积的递推平均值, 是目前帧图像的发光面积的递推平均值,Si是目前帧发光面积的计算值,K为系数,小于1,得到下式(8)
[0056]
[0057] 如果上述(8)成立,火焰面积扩展Wfire area量化值取为1;如上式(8)不成立,火焰面积扩展Wfire area量化值取为0;
[0058] 火焰闪动规律特征判断模块,用于在上述(8)成立时,将发光面积的计算值Si与目前帧图像的发光面积的递推平均值 求差计算,如两者的差的正负发生变化就进行记
数,计算在一定时间段中其变化的次数作为火焰闪动的变化频率ffenquncy,并将该ffenquncy与所设定的阈值fc相比较,当ffenquncy≥fc时,火焰闪动Wfirebicker量化值取为1;当ffenquncy<fc时,火焰闪动Wfirebicker量化值0;
[0059] 火灾强度判断模块,用于在火焰面积扩展Wfire area量化值为1和火焰颜色特征Wfire color的计算值大于0.5时,计算公式如式(9)所示;
[0060]
[0061] 上式(9)中,∑S是整个监控面积,Wfire indensity是火灾强度值;
[0062] 火灾发生综合判断模块,用于根据火焰模式、火焰颜色特征值、火焰面积、火焰闪动规律综合判断是否有火灾发生,其计算式如(10)所示:
[0063] Wfire alarm=Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area (10)[0064] +Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity
[0065] 式中:Kfire pattern为火焰模式的加权系数;
[0066] Kfire color为火焰颜色特征的加权系数;
[0067] Kfire area为火焰面积变化的加权系数;
[0068] Kfire bicker为火焰闪动的加权系数;
[0069] Kfire indensity为火灾强度的加权系数;
[0070] 如Kalarm≤Wfire alarm,判定为火灾告警,通过通信模块通知管理人员;
[0071] 火焰发生位置计算模块,用于根据三维空间与图像像素的对应性关系,计算火焰的中心点,确定火源点位置;
[0072] 自动灭火控制模块,用于在判断火灾告警后,控制喷头驱动装置使喷头朝向火源点移动,当喷头对准火点时,发出打开喷头灭火的指令。
[0073] 所述的警告值Kalarm包括Kattention、Kalarm1、Kalarm2、Kalarm3,
[0074] 若Kattention≤Wfire alarm≤Kalarm1,判定为火焰可疑注意,通过通信模块通知管理人员,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,控制喷头驱动装置使喷头朝向火源点移动;如为已开启喷头阀门,继续喷射灭火剂;
[0075] 若Kalarm1<Wfire alarm≤K alarm2,判定为火灾早期警告,通过用户通信模块通知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,如果管理人员确认为是火灾发生同时
喷头对朝向火源点,管理人员从远程控制启动喷头阀门打开;如为已开启喷头阀门,判定火
源还没有进一步扩大蔓延,继续喷射灭火剂;
[0076] 若K alarm2<Wfire alarm≤Kalarm3,判定为火灾发生,通过用户通信模块自动报警通知119,并通知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头
阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,得到确认信息后发出
启动喷头阀门打开的指令;如为已开启喷头阀门,继续喷射灭火剂;
[0077] 若K alarm3<Wfire alarm,则拉响火灾警报,通过用户通信模块自动报警通知119,并通知管理人员,启动文件存储模块记录现场视频数据,自动灭火控制模块判断喷头阀门的开启状态,如为未开启喷头阀门,确认喷头是否对朝向火源点,得到确认信息后发出启动喷
头阀门打开的指令;如为已开启喷头阀门,判定火源有进一步扩大蔓延趋势,继续喷射灭火
剂。
[0078] 要关闭已打开的喷头阀门,有两种方式,一种方式是自动关闭,其条件是Wfirealarm≤Kattention,这时的状态是火已经扑灭;另一种方式是手动关闭,为了防止管理人员的误动作,当Wfire alarm>Kalarm1以上状态时,系统要求管理人员进行确认操作的正确性。
[0079] 再进一步,所述的微处理器还包括背景维护模块,所述的背景维护模块包括:
[0080] 背景亮度计算单元,用于计算平均背景亮度Yb计算公式如式(11)所示:
[0081]
[0082] 式(11)中,Yn(x,y)为当前帧各像素的亮度,Mn(x,y)为当前帧的掩模表,所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化,参见式
(12):
[0083]
[0084] Yb0为判定为可疑火焰对象时前一帧的背景亮度,Yb1为判定为可疑火焰对象时第一帧的背景亮度,两帧平均亮度的变化为:
[0085] ΔY=Yb1-Yb0 (13)
[0086] 如果ΔY大于上限值,则认为发生了开灯事件;如果ΔY小于某个下限值,则认为发生了关灯事件;如ΔY介于上限值和下限值之间,则认为光线自然变化;
[0087] 背景自适应单元,用于当光线自然变化时,按照下式(14)进行自适应学习:
[0088] Xmix,bn+1(i)=(1-λ)Xmix,bn(i)+λXmix,cn(i) (14)
[0089] 式中:Xmix,cn(i)为当前帧RGB向量,Xmix,bn(i)为当前帧背景RGB向量,Xmix,bn+1(i)为下一帧背景预测RGB向量,λ为背景更新的速度;λ=0,使用固定不变的背景(初始背景);λ=1,使用当前帧作为背景;0<λ<1,背景由前一时刻的背景与当前帧混合而
成;
[0090] 当光线由开关灯引起的,背景像素按照当前帧重置,参见式(15):
[0091] Xmix,bn+1(i)=Xmix,cn(i) (15)。
[0092] 所述的微处理器还包括:噪声剔除模块,用于将每一个像素值用其局部邻域内所有值的均值置换,如公式(16)所示:
[0093] h[i,j]=(1/M)∑f[k,1] (16)
[0094] 上式(16)中,M是邻域内的像素点总数。
[0095] 所述的微处理器还包括:火焰整体运动特征模块,用于通过火焰的整体移动的轨迹来进行判断的,如判断火焰整体运动,火焰整理运动量化值Wfire move取为1;如判断非整体运动,火焰整理运动量化值Wfire move取为0;
[0096] 在所述的火灾发生综合判断模块中,公式(10)修正为:
[0097] Wfire alarm=Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area[0098] +Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity+Kfire move×Wfire move[0099] 上式中,Kfire move是火焰整体运动的加权系数。
[0100] 所述的微处理器还包括:火焰形体变化特征量化模块,用于根据平方向上的火焰的形状变化,如呈现的形体变化有规律性,Wfire body量化值取为0;如呈现的形体变化无规律性,Wfire body量化值取为1;
[0101] 在所述的火灾发生综合判断模块中,公式(10)修正为:
[0102] Wfire alarm=Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area[0103] +Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity+Kfire body×Wfire body[0104] 上式中,Kfire body是火焰形体变化的加权系数。
[0105] 所述的喷头驱动装置包括固定架,所述固定架与灭火剂罐连通的空心通水轴固定连接,所述空心通水轴的外壁与垂直齿轮啮合,所述的垂直齿轮与垂直电机联接;所述的
固定架上安装水平电机、第一平面齿轮、第二平面齿轮,所述的水平电机与第一平面齿轮联
接,第一平面齿轮与第二平面齿轮啮合,第二平面齿轮连接喷头,第二平面齿轮套接在中空
轴上,所述中空轴与喷头连通,所述中空轴与空心通水轴连通。
[0106] 本发明的工作原理是:近年发展起来的全方位视觉传感器ODVS(OmniDirectionalVision Sensors)为实时获取场景的全景图像提供了一种新的解决方案。ODVS的特点
视野广(360度),能把一个半球视野中的信息压缩成一幅图像,一幅图像的信息量更
大;获取一个场景图像时,ODVS在场景中的安放位置更加自由;监视环境时ODVS不用
瞄准目标;检测和跟踪监视范围内的运动物体时算法更加简单;可以获得场景的实时图
像。因此基于ODVS的全方位视觉系统近几年迅速发展,正成为计算机视觉研究中的重
要领域,IEEE从2000年开始举办每年一次的全方位视觉的专门研讨会(IEEE workshop
onOmni-directional vision)。
[0107] 图1所示的全方位计算机视觉传感器系统,进入双曲面镜的中心的光,根据双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成像,在该成像
平面上的一个点P1(x*1,y*1)对应着实物在空间上的一个点的坐标A(x1,y1,z1)。
[0108] 图1中1-双曲线面镜,2-入射光线,3-双曲面镜的焦点Om(0,0,c),4-双曲面镜的虚焦点即相机中心Oc(0,0,-c),5-反射光线,6-成像平面,7-实物图像的空间坐标A(x1,y1,z1),8-入射到双曲面镜面上的图像的空间坐标,9-反射在成像平面上的点P1(x*1,
y*1)。
[0109] 图1中所示的双曲面镜构成的光学系统可以由下面5个等式表示;
[0110] ((X2+Y2)/a2)-(Z2/b2)=-1(Z>0) (17)
[0111]
[0112] β=tan-1(Y/X) (19)
[0113] α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (20)
[0114]
[0115] 式中X,Y,Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a,b分别是双曲面镜的实轴和虚轴的长度,β表示入射光线在XY平面上的夹-方位角,
α表示入射光线在XZ平面上的夹角-俯角,f表示成像平面到双曲面镜的虚焦点的距离。
[0116] 根据三维室内空间与图像像素的对应性关系把有存在的那些像素部分检测出来,首先要把参考图像存储在计算机的存储器里,通过实时拍摄到图像与参考图像间进行图像
相减,相减的结果发生变化的区域亮度增强,也就是说有光点存在的那些像素区块的亮度
增强,本专利只对这些区块的边缘的形状、面积、辐射强度(颜色)感兴趣。根据上述的空
间几何关系式空间的像素点的对应性就能计算出来。
[0117] 早期火灾因自身原因形成的图像信息的热物理现象有:火羽流以及高温度下的阴燃。在早期火灾阶段,由于火焰从无到有,是一个发生发展的过程。这个阶段火焰的图像特
征就更加明显。早期火灾火焰是非定常的,不同时刻火焰的形状、面积、辐射强度等等都在
变化。抓住火灾的这些特点可以为火灾的识别打下良好的基础。图像型火灾探测中的图像
处理是动态图象的连续处理;对图像上的每个目标,根据一定的算法来确定它们同前一帧
中目标的匹配关系,从而得到各个目标的连续变化规律。以下是本发明的图像型火灾探测
方法中用到的图像信息:
[0118] 1)面积变化:早期火灾是着火后火灾不断发展的过程。在这个阶段,火灾火焰的面积呈现连续的、扩展性的增加趋势。在图像处理中,面积是通过取阈值后统计图像的亮点
(灰度值大于阈值)数实现的。由于本发明采用了从空间的上面向着下面监控的全方位视
觉传感器,能观测到火焰面积的连续的、扩展性的增加趋势。
[0119] 2)边缘变化:早期火灾火焰的边缘变化有一定的规律,同其它的高温物体及稳定火焰的边缘变化不同。精确的方法是用边缘检测和边缘搜索算法将边缘提取出来,根据边
缘的形状、曲率等待性对边缘进行编码,再根据编码提取边缘的特征量。利用这些特征量在
早期火灾阶段的变化规律进行火灾判别。
[0120] 3)形体变化:早期火灾火焰的形体变化反映了火焰在空间分布的变化。在早期火灾阶段,火焰的形状变化、空间取向变化、火焰的抖动以及火焰的分合等,具有自己独特的
变化规律。在图像处理中,形体变化特性是通过计算火焰的空间分布特性,即像素点之间的
位置关系来实现的。
[0121] 4)闪动规律:火焰的闪动规律,即亮度在空间的分布随时间变化的规律,火焰在燃烧过程中会按某种频率闪烁。在数字图像中就是灰度级直方图随时间的变化规律,这个
特性体现了一帧图像的像素点在不同灰度级上的帧频情况随时间的变化。
[0122] 5)分层变化:火焰内部的温度是不均匀的,并且表现出一定的规律。火灾中的燃烧属于扩散燃烧,扩散燃烧火焰都有明显的分层特性,如蜡烛火焰可分为焰心、内焰、外焰
三层;木材等固体燃烧时由于表面辐射很强,可以分为固体表面与火焰部分两大层,而火焰
部分还可以再分层。分层变化特性体现了不同灰度级的像素点在空间的分布规律。
[0123] 6)整体移动:早期火灾火焰是不断发展的火焰,随着旧的燃烧物燃尽和新的燃烧物被点燃,火焰不断移动着位置。所以火焰的整体移动是连续的、非跳跃性的。
[0124] 要控制喷头朝向火源点必须有一个自由三维驱动喷头机械装置,驱动喷头机械装置由两个内置变速电机进行驱动,其中一个是带动喷头回饶着Z轴旋转的电机,另外一个
是带动喷头回饶着X轴旋转的电机。回饶着Z轴旋转的电机和回饶着X轴旋转的电机所产
生合成动作能保证喷头对准空间上的任意点。当喷头对准火点时,立即指令电机停转,打开
喷雾器或压力水路的电磁阀,让喷雾剂或水从进水管进入管腔,经喷头从喷嘴向着火点喷
射灭火剂,将火苗扑灭。
[0125] 因此,采用全方位视觉传感器ODVS并利用数字图像处理技术,找到合理的形态特征判据,结合火焰的颜色特征。解决火灾报警系统和消防灭火装置的误判率高,不能及时发
现早期火灾、不能实时处理、算法相对复杂、对环境依赖性强等突出缺点就成为火灾防治技
术领域的重点研究内容,并且具有突出的现实意义和理论意义。
[0126] 本发明的有益效果主要表现在:1、将各种火灾特征量进行量化,综合判断是否有火灾发生,能够有效减少误报率;2、能早期发现火灾并将火灾扼杀在萌芽状态,使损失减少到最低限度;3、完全实现自动消防灭火,系统装置能自动地找到火焰点,与喷头的配合进行自动灭火;4、实时处理能力高,只要发现火灾就能及时的得到处理,且实现的算法相对简
单;5、避免了现有云台以及扫描检测火灾装置存在的不足,不存在着机械磨损,维护工作量小;6、实现了消防灭火监控的数字多媒体化,管理者能通过各种网络手段确认和控制火灾
发生现场的情况,使火灾监控的人防和机防得到了完美的统一和互补。
(四)附图说明
[0127] 图1为三维立体空间反射到全方位视觉平面成像示意图;
[0128] 图2为全方位视觉光学配件与摄像头和配合使用的示意图;
[0129] 图3为一种基于全方位视觉传感器的自动消防灭火装置的原理图;
[0130] 图4为一种基于全方位视觉传感器的自动消防灭火装置的模块框图
[0131] 图5为连通图标记原理;
[0132] 图6为自动喷头的结构原理图。(五)具体实施方式
[0133] 下面结合附图对本发明作进一步描述。
[0134] 参照图1、图2、图3、图4、图5、图6,图1所示的全方位计算机视觉传感器系统,进入双曲面镜1的中心的光,根据双曲面的镜面特性向着其虚焦点4折射。实物图像7经双曲面镜反射到聚光透镜中成像,在该成像平面上的一个火苗点P1(x*1,y*1)对应着火苗在
空间上的一个点的坐标A(x1,y1,z1)。
[0135] 图1中1-双曲线面镜,2-入射光线,3-双曲面镜的焦点Om(0,0,c),4-双曲面镜的虚焦点即相机中心Oc(0,0,-c),5-反射光线,6-成像平面,7-实物图像的空间坐标A(x1,y1,z1),8-入射到双曲面镜面上的图像的空间坐标,9-反射在成像平面上的点P1(x*1,
y*1)。
[0136] 图1中所示的双曲面镜构成的光学系统可以由下面5个等式表示;
[0137] ((X2+Y2)/a2)-(Z2/b2)=-1(Z>0) (17)
[0138]
[0139] β=tan-1(Y/X) (19)
[0140] α=tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ (20)
[0141]
[0142] 式中X,Y,Z表示空间坐标,c表示双曲面镜的焦点,2c表示两个焦点之间的距离,a,b分别是双曲面镜的实轴和虚轴的长度,β表示入射光线在XY平面上的夹角-方位角,
α表示入射光线在XZ平面上的夹角-俯角,f表示成像平面到双曲面镜的虚焦点的距离。
[0143] 结合图1并参照图2,本发明的全方位视觉功能的配件的结构为:双曲线面镜反射部件1、透明外罩圆柱体10、底座12所组成,所述的双曲线面镜1位于圆柱体10的上端,且
反射镜面的凸面伸入圆柱体内向下;所述的双曲线面镜1、圆柱体10、底座12的旋转轴在同
一中心轴线上;所述的摄像头11位于圆柱体10内的下方;所述的底座12的下部配置有嵌
入式硬件软件系统15。
[0144] 结合图1并参照图4,本发明所述的全方位视觉传感器13通过USB接口14连接到自动消防灭火装置的微处理器15中,所述的微处理器15经图像数据读取模块16读入图像
数据,在初始化时为了得到无火灾时的环境图像,需要将该图像存入图像数据存储模块18
中以便后面的图像识别及处理,同时为了识别运动和变化图像中物体或者火焰的大小,需
要对空间坐标进行标定得到全方位图像系统的9个基本参数进行图像识别及处理,对于这
个处理在本发明中的传感器标定模块17中进行。
[0145] 所述的图像展开处理计算是在图像展开处理模块19中进行的,该模块的作用是将一幅幅圆形全方位图展开成相对应矩形柱状全景图,展开后的图形具有容易计算、变形
小等优点。根据圆形全方位图像上的一个点(x*,y*)和矩形柱状全景图上的一个点(x**,
y**)的对应关系,建立(x*,y*)与(x**,y**)的映射矩阵。由于这种一一对应关系,通过
映射矩阵方法能把转变成不变形的全景图像。通过 映射矩阵可以建立起式(1)关系。
[0146]
[0147] 根据式(1),对于成像平面上的每个像素P*(x*,y*)在全方位图像上有一个点P**(x**,y**)对应,建立了 映射矩阵后,实时图像处理的任务可以得到简化。每次在成
像平面上得到的变形的全方位图像完成查表运算,生成不变形的全方位图像;生成后的不
变形的全方位图像发送给实时播放模块20送到显示器21上显示;如果用户需要知道现场
实时情况可以通过网络传输模块22得到现场全方位图像。
[0148] 一幅彩色图像每个像素点的颜色通常由红绿蓝三刺激值加权合成,其它的彩色基如强度、色调t饱和度IHS基等可以由红绿蓝RGB值线性或非线性变换获得。为了获取火
焰图像上的火焰区域和背景区域在不同的色彩空间里和不同的外界环境里(阴天、晴天和
夜晚)的颜色特征值的区别,以及火焰在和车灯、手电光等发光体在不同色彩空间里的颜
色特征值的区别,本专利中采用了(Cr,Cb)空间颜色模型,以取得以上色彩空间里的火焰
参数取值,颜色模型转换模块建立一个火焰图像在(Cr,Cb)空间的分布模型。
[0149] 从RGB颜色空间到YCrCb颜色空间的转换公式(22)给出,
[0150] Y=0.29990*R+0.5870*G+0.1140*B
[0151] Cr=0.5000*R-0.4187*G-0.0813*B+128 (22)
[0152] Cb=-0.1787*R-0.3313*G+0.5000*B+128
[0153] 然后根据火焰图像在(Cr,Cb)空间的分布模型,计算发光源是否落在火焰图像在(Cr,Cb)空间的分布模型内,来作为判断火焰点的一个重要依据,计算公式由式(6)给出,
[0154]
[0155] 式(7)中 是火焰点Cr、Cb的样本标准均值,A、B、C分别是由样本标准差和均值计算出来的系数。
[0156] A=3.7*10-3;B=4.1*10-3;C=4.5*10-3
[0157] 背景维护模块37是基于背景减算法检测运动对象的关键,它直接影响检测出运动对象的完整性和准确性。本发明中采用了背景自适应法,其核心思想是对每一个背景像
素使用1组矢量:RGB变化的当前混合值(Xmix,bi)来表示合法背景像素的允许取值(i为帧
号),并采用IIR滤波对其进行如下更新。
[0158] (1)当光线自然变化(不是开关灯引起的),并且无异常对象存在时,1组向量(分别为RGB)进行自适应学习:
[0159] Xmix,bn+1(i)=(1-λ)Xmix,bn(i)+λXmix,cn(i) (14)
[0160] 式中:Xmix,cn(i)为当前帧RGB向量,Xmix,bn(i)为当前帧背景RGB向量,Xmix,bn+1(i)为下一帧背景预测RGB向量,λ为背景更新的速度:λ=0,使用固定不变的背景(初始背景);λ=1,使用当前帧作为背景;0<λ<1,背景由前一时刻的背景与当前帧混合而成。
[0161] (2)当光线有突变时(由开关灯引起的),1组向量按当前帧重置:
[0162] Xmix,bn+1(i)=Xmix,cn(i) (15)
[0163] (3)当有对象进入监视范围时,背景保持不变。为避免将运动对象的部分像素学习为背景像素,采用:
[0164] Xmix,bn+1(i)=Xmix,bn(i) (23)
[0165] 上式中的Xmix,bn+1(i)(i=1,2,3)分别表示R,G,B 3个分量,为简化起见,上述公式略去了每个像素的坐标(x,y)部分。
[0166] 背景亮度的变化可用来判定检测到的运动对象是否因开关灯而引起。开关灯事件不应引起系统报警,因而进行背景亮度分析有助于降低系统的误报率。背景亮度使用平均
背景亮度Yb来度量,计算公式由式(11)给出,
[0167]
[0168] 式(11)中,Yn(x,y)为当前帧各像素的亮度,Mn(x,y)为当前帧的掩模表。用Yb0表示发现有异常对象时前一帧的背景亮度,Yb1表示检测到异常对象时第一帧的背景亮度,
两帧平均亮度的变化为:
[0169] ΔY=Yb1-Yb0 (13)
[0170] 如果ΔY大于某个值则认为发生了开灯事件,如果ΔY小于某个负值则认为发生了关灯事件。根据上述判断结果用式(15)对当前帧进行重置。
[0171] 所述的掩模表,是用一个与视频帧尺寸相同的数组M来记录各像素点是否有运动变化,这个数组称为掩模映射表(Mask Map):
[0172]
[0173] 数组M是运动对象的二值图像,不但可用来掩模视频帧从而分割出运动对象,还可用于运动对象的跟踪、分析和分类。
[0174] 上述经过全方位视觉传感器对监视图像采集后需经过几次处理,即全方位图展开计算、求差影图、边缘的探测、求连通区域、图像预处理、模式分类、颜色特征提取、颜色特征判别,然后进行更进一步的综合判断,最后判别起火可能性的大小。
[0175] 所述的求差影图也称为差分方法,是一种常用于检测图像变化和运动物体的图像处理方法,通过求差影图得到运动对象模块23的处理,可以根据三维空间与图像像素的对
应性关系把有光源点存在的那些像素部分检测出来,这里首先要有一个稳定的基准参考图
像,并将该基准参考图像存储在计算机的存储器里,本发明中将一个相对比较稳定的基准
参考图像存放在图像数据文件存储模块18中,然后通过实时拍摄到图像与基准参考图像
间进行图像相减,相减的结果发生变化的区域亮度增强,图像相减的计算公式如式(2)表
示,
[0176] fd(X,t0,ti)=f(X,ti)-f(X,t0) (2)
[0177] 式中fd(X,t0,ti)是实时拍摄到图像与基准参考图像间进行图像相减的结果;f(X,ti)是实时拍摄到图像;f(X,t0)是基准参考图像。
[0178] 由于火灾监控中全方位视觉传感器都是固定的,而背景中的静止对象有时可能被移动,基于背景减算法检测运动对象所得到的运动像素可能包含对象移动留下的空穴。由
于空穴在随后的视频帧中不会移动,因此可用相邻K帧差法来消除空穴,本发明中采用相
邻K帧差法判定某个像素是否是背景对象留下的空穴。为此需要进行式(3)的计算,
[0179] fd(X,ti-k,ti)=f(X,ti)-f(X,ti-k) (3)
[0180] 静止对象的移动一般都可以考虑在时间分的单位上,当fd(X,t0,ti)≥阈值和fd(X,ti-k,ti)≥阈值都成立时,被认为是运动对象;如果fd(X,t0,ti)≥阈值而fd(X,ti-k,ti)<阈值,本发明中认为是背景中的静止对象被移动后所产生的空穴,为了消除空穴用式
(4)来更新替换基准参考图像,
[0181]
[0182] 当fd(X,t0,ti)≥阈值和fd(X,ti-k,ti)≥阈值都成立情况下被认为是运动对象时,要启动下列线程进行火灾判断计算模块24,在该模块中共要启动7个新的线程,既简单
的模式分类模块26、火焰面积变化特征判断模块线程27、火焰形体变化特征判断模块线程
28、火焰颜色特征判断模块线程29、火焰闪动规律特征判断模块线程30、火焰整体运动特
征判断模块线程31、火灾强度特征判断模块线程32;最后根据各线程计算结果在模块33中
进行综合判断,计算综合判断量化值,并根据该量化值进行不同的处理;如果判断为静止图
像时,进入背景维护模块37;
[0183] 在简单的模式分类模块26处理前,由于实际图像信号中包含有噪声,而且一般都表现为高频信号,因此在识别过程中要剔除由噪声所产生的图像边缘点,然后进行像素间
的连通性计算;
[0184] 所述的剔除由噪声所产生的图像边缘点,在本发明中使用四邻域遍历的方法,它用滤波掩膜确定的邻域内像素的平均灰度值去替代图像每个像素点的值,即每一个像素值
用其局部邻域内所有值的均值置换,如公式(16)所示;
[0185] h[i,j]=(1/M)∑f[k,1] (16)
[0186] 式中,M是邻域内的像素点总数,本发明中取为4。
[0187] 所述的像素间的连通性是确定区域的一个重要概念。在二维图像中,假设目标像素周围有m(m<=8)个相邻的像素,如果该像素灰度与这m个像素中某一个点A的灰度相
等,那么称该像素与点A具有连通性。常用的连通性有4连通和8连通。4连通一般选取目
标像素的上、下、左、右四个点。8连通则选取目标像素在二维空间中所有的相邻像素。将所有具有连通性的像素作为一个区域则构成了一个连通区域。
[0188] 所述的连通区域计算模块25主要解决在图像处理过程中,一幅二值图像,其背景和目标分别具有灰度值0和1。对这样的二值图像,要对目标进行标记,计算每一目标的特
征以进行识别,在多目标实时跟踪系统设计中,需要有一种快速而节省内存的连通区域标
记算法。本发明中将像素为0的小区表示此小区无可疑火焰,若为1则表示此小区有可疑
火焰。所以可以采用连通成分标记法进行缺陷区域的合并。连通标记算法可以找到图像中
的所有连通成分,并对同一连通成分中的所有点分配同一标记。附图5为连通标记原理图。
下面是连通区域算法,
[0189] 1)从左到右、从上到下扫描图像;
[0190] 2)如果像素点为1,则:
[0191] ·如果上面点和左面点有一个标记,则复制这一标记。
[0192] ·如果两点有相同的标记,复制这一标记。
[0193] ·如果两点有不同的标记,则复制上点的标记且将两个标记输入等价表中作为等价标记。
[0194] ·否则给这个象素点分配新的标记并将这一标记输入等价表。
[0195] 3)如果需考虑更多的点则回到第2步。
[0196] 4)在等价表的每一等价集中找到最低的标记。
[0197] 5)扫描图像,用等价表中的最低标记取代每一标记。
[0198] 所述的模式分类模块26是当发现可疑的火焰区域后,采用计算相邻帧变化图像的相似度的方法对火焰与干扰模式进行简单的分类。在模式分类前,先进行预处理,对上述
标记过的每个连通区域求出其面积Si,有下面判断规则:
[0199] 1)若Si<阈值1,则该变化区域为噪声点;
[0200] 2)若Si>阈值2,则该变化区域为大面积的红外光线变化;
[0201] 3)若阈值1<Si<阈值2,则该变化区域为可疑的火焰区域。
[0202] 如果图像满足条件3,接着进行简单的模式分类,本发明中采用计算相邻帧变化图像的相似度,如公式(5)所示,
[0203]
[0204] 式中,bi(x,y)为上一帧中可疑的火焰区域,bi+1(x,y)为当前帧中可疑的火焰区域;
[0205] 根据上述计算结果,可以得到以下简单的模式分类;
[0206] 4)若εi≤阈值1,则图像模式为快速运动的亮点;
[0207] 5)若εi≥阈值2,则图像模式为固定红外发光区域;
[0208] 6)若阈值1<εi<阈值2,则图像模式为火焰模式。
[0209] 火焰中心部的颜色特征判断,是利用火焰分层变化规律,在火焰的形状中部的像素根据式(6)所计算的颜色特征Wfire color作为一个综合判断指标,Wfire color值越接近1表明该发光体越接近火焰,火焰的颜色特征判断是在火焰颜色特征判断模块线程29中进行的。
[0210] 火焰整体运动特征判断,是在火焰整体运动特征判断模块线程31中进行的,该模块中利用火焰的整体移动具有连续性、非跳跃性的规律,通过火焰的整体移动的轨迹来进
行判断的,本专利中将式(12)所得到掩模映射表作为计算火焰整体运动特征,火焰整体运
动Wfire move量化值取为1或0,量化值为1表明火焰整体运动具有连续性,0表示没有连续
性。
[0211] 火焰面积变化特征判断,是在火焰面积变化特征判断模块线程27中进行的,该模块中是利用火焰面积的连续的、扩展性的增加趋势的规律,根据上述每个连通区域求出其
面积Si的和来判断火焰面积是否是在扩展性的增加,本专利中通过每帧图像的发光面积
Si进行递推计算,求在下一帧图像的发光面积的递推值 计算公式由式(7)给出;
[0212]
[0213] 式中, 是下一帧图像的发光面积的递推平均值, 是目前帧图像的发光面积的递推平均值,Si是目前帧发光面积的计算值,K为系数,小于1。本发明中用公式计算
随时间显扩展性的增加趋势,
[0214]
[0215] 如果上述不等式(8)成立表示有增加趋势,反映了火焰面积在随时间显扩展性的增加趋势,将火焰面积扩展Wfire area量化值取为1,因此量化值为1表明火焰面积具有扩展
性,0表示没有扩展性。
[0216] 火焰闪动规律特征判断,是在火焰闪动规律特征判断模块线程30中进行的,该模块中是利用亮度在空间的分布随时间变化的规律来判断,本专利中通过上述所计算得到每
帧图像的发光连通区域Si的变化频率来进行判断,在火灾发生的早期,火焰的发光连通区
域Si面积表现为增大趋势,即在不等式(8)成立的情况下,进一步判断发光面积的计算值
Si与目前帧图像的发光面积的递推平均值 的大小情况,本专利中采用了一旦发现两者
的差的正负发生变化就进行记数,计算在一定时间段中其变化的次数作为火焰闪动的变化
频率ffenquncy,并将该ffenquncy与系统所设定的阈值fc相比较,当ffenquncy≥fc时,将火焰闪动Wfire bicker量化值取为1,量化值为1表明有火焰闪动,0表示没有火焰闪动。
[0217] 火焰形体变化特征判断,是在火焰形体变化特征判断模块线程28中进行的,该模块中是利用在早期火灾阶段,火焰的形状变化、空间取向变化、火焰的抖动以及火焰的分合
等,具有自己独特的变化规律,上述的变化不存在共同的规律性,在本专利中使用了全方位
视觉传感器,从视角方面来说能观察到水平方向上的火焰的形状变化,由于手电筒和车灯
等发光体所产生的形体与形体变化,呈现有形体变化的规律性以及形体的规则性,若计算
所得发光体所产生的形体与形体变化具有规律性和规则性,将Wfire body量化值取为0,量化值为0表明发光体具有规律性和规则性,1表示不具有规律性和规则性。
[0218] 所述的火灾强度判断,是在火灾强度判断模块线程32中进行的,该模块中在火焰整体运动Wfire move量化值为1、火焰面积扩展Wfire area量化值为1和火焰颜色特征Wfire color的计算值大于0.5时,火焰面积占整个监控面积的百分比来计算,一个百分点记0.1,计算公
式由式(9)给出;
[0219]
[0220] 式中,∑S是整个监控面积,所计算出来的火灾强度Wfire indensity值越大表明火灾强度越大。
[0221] 在上述的七种火焰判断的基础上,接着进行综合判断以减少误判断率,同时能判断火灾的程度,加权综合判断计算在模块33中进行,综合判断公式由式(10)给出,综合判
断中采用了加权方式,
[0222] Wfire alarm = Kfire pattern×εi+Kfirecolor×Wfire color+Kfire move×Wfire move+Kfire area×Wfire area+Kfire body×Wfire body+Kfire indensity×Wfire indensity+Kfire bicker×Wfire bicker[0223](10) [0224] 式中:
[0225] Kfire pattern为火焰模式的加权系数。
[0226] Kfire color为火焰颜色特征的加权系数。
[0227] Kfire move为火焰移动特征的加权系数。
[0228] Kfire area为火焰面积变化的加权系数。
[0229] Kfire body为火焰形体变化的加权系数。
[0230] Kfire indensity为火灾强度的加权系数。
[0231] Kfir bicker为火焰闪动的加权系数。
[0232] 根据式(10)计算出来的Wfire alarm的结果,首先要根据量化值的大小,作出如下不同的输出结果;
[0233] 如Kalarm≤Wfire alarm,判定为火灾告警,通过通信模块通知管理人员。
[0234] 进一步,所述的警告值Kalarm包括Kattention、K alarm1、Kalarm2、K alarm3;
[0235] 若Kattention≤Wfire alarm≤K alarm1,判定为火焰可疑注意,通过通信模块通知管理人员,首先判断喷头阀门的开启状态,如果是未开启喷头阀门的话,根据火焰颜色特征判断模块中得到的火源中心点位置启动喷头的控制模块动作,控制喷头的机械装置使得喷头对朝
向火源点;如果是已开启喷头阀门的话,说明火源已经有所控制,继续喷射灭火剂;
[0236] 若K alarm1<Wfire alarm≤Kalarm2,判定为火灾早期警告,通过用户通信模块通知管理人员,启动文件存储模块记录现场视频数据,首先判断喷头阀门的开启状态,如果是未开启喷头阀门的话,确认喷头是否对朝向火源点,等待管理人员的信息,如果管理人员确认为是
火灾发生同时喷头对朝向火源点,管理人员能从远程控制启动喷头阀门打开;如果是已开
启喷头阀门的话,说明火源还没有进一步扩大蔓延,继续喷射灭火剂;
[0237] 若K alarm2<Wfire alarm≤K alarm3,判定为火灾发生,通过用户通信模块自动报警通知119,并通知管理人员,启动文件存储模块记录现场视频数据,首先判断喷头阀门的开启状态,如果是未开启喷头阀门的话,确认喷头是否对朝向火源点,得到确认信息后系统自动
启动喷头阀门打开;如果是已开启喷头阀门的话,继续喷射灭火剂;
[0238] 若K alarm3<Wfire alarm,则拉响火灾警报,通过用户通信模块自动报警通知119,并通知管理人员,启动文件存储模块记录现场视频数据,首先判断喷头阀门的开启状态,如果是未开启喷头阀门的话,确认喷头是否对朝向火源点,得到确认信息后系统自动启动喷头阀
门打开;如果是已开启喷头阀门的话,表明火源有进一步扩大蔓延趋势,继续喷射灭火剂;
[0239] 要关闭已打开的喷头阀门,有两种方式,一种方式是自动关闭,其条件是Wfirealarm≤Kattention,这时的状态是火已经扑灭;另一种方式是手动关闭,为了防止管理人员的误动作,当Wfire alarm>Kalarm1以上状态时,系统要求管理人员进行确认操作的正确性。
[0240] 自动灭火控制模块38能控制喷头朝向火源点实现自由三维驱动喷头机械装置,同时喷头对准火点时,立即指令电机停转,打开喷雾器或压力水路的电磁阀,因此至少需要
有三个驱动和停止功能,1)驱动和停止水平旋转的电机;2)驱动和停止垂直旋转的电机;
3)开与关电磁阀;
[0241] 喷头驱动装置能控制喷头朝向火源点实现自由三维驱动喷头机械装置,驱动喷头机械装置由两个电机进行驱动,其中一个是带动喷头作水平旋转的电机,另外一个是带动
喷头作垂直旋转的电机。作水平旋转的电机和作垂直旋转的电机所产生合成动作能保证喷
头对准空间上的任意点。其坐标系与图1中的全方位视觉传感器同属一个三维坐标系。
[0242] 结合图6来说明驱动喷头机械装置的结构,作垂直旋转的电机41驱动齿轮42旋转,齿轮42与空心通水轴40上的外齿轮啮合,这样空心通水管40通过电机41驱动在垂直
平面内做旋转运动;作水平旋转的机械装置安置在固定架48上,固定架48与空心通水轴
40的外壁进行固定连接,因此电机41驱动也能带动固定架48在垂直平面内做旋转运动;
固定架48上又固定了电机44、齿轮45、齿轮46以及喷头47,电机44驱动齿轮45在固定
架48平面内做旋转运动,齿轮45与齿轮46啮合,齿轮46的上部固定了喷头47,因此电机
44驱动也能带动喷头47在固定架48平面内做旋转运动;连接齿轮46的另外还有一个中
空轴,中空轴与空心通水轴形成内部流体通道,灭火剂经空心通水轴40通过中空轴以及喷
头47喷向目标点,灭火剂流道部分用图6中的粗线表示;由于中空轴与空心通水轴都存在
着转动,因此需要在此结合处采用动密封技术。
[0243] 当喷头对准火点时,立即指令电机停转,打开喷雾器或压力水路的电磁阀,让喷雾剂或水从进水管进入管腔,经喷头从喷嘴向着火点喷射灭火剂,将火苗扑灭。
[0244] 从上面的各种计算可以知道,计算的量化值越大,发生火灾的可能性就越大。下面的工作是要及时地将所判断火灾发生的时间、地点、程度等信息通过各种网络手段发送给
需要这种信息的人员,以便能得到及时的处理和救灾。
[0245] 火焰发生位置的判断,是根据三维空间与图像像素的对应性关系把有火焰的中心点计算出来,另一部分的地址信息是存放在用户数据存储信息34中,将这两部分的信息结
合起来就能得到一个完整的详细的地址方位信息(属于什么区、什么地段、门牌号码、什么
楼层、楼层的什么方位)。
[0246] 火灾发生综合判断是根据上述的计算,当Wfire alarm大于Kattention时,自动启动摄像监视部分进行现场摄影取证,同时将现场摄影取证信息保存在信息存储部分18中,然后继续读取量化值,在经过一段时间后Ktimelimit(装置初始设定为1分钟)没有发现量化值有
增加趋势,停止摄像并将量化值清零以便下次的计算,并同时将拍摄的图像和发生的时间
保存在图像数据文件存储模块18中,以便技术人员分析原因;在一段时间Ktimelimit内量化
值还在继续增长时,首先判断量化值,如果量化值在Kalarm2和Kalarm1之间时,首先播放警报,紧接着通过各种可能的通信设备通知相关警备管理人员,要求警备管理人员通过网络手段
(装置提供远程可视化监控手段)或者到现场进行确认,装置自动装置继续观测量化值变
化;当量化值为Kalarm3和Kalarm2之间时,装置自动发送火灾情况给消防部门119,从用户数据存储信息34中得到通报的信息,所通报的信息中包含有报警的地点(属于什么区、什么地
段、门牌号码、火灾发生的详细位置)、火灾报警的时间、系统预测火灾的强度、燃烧的面积等信息,消防部门得到上述信息后,能够在第一时间作出正确的对策;确认发生火灾当量化
值超过Kalarm3以上时,拉响警报通知周边人员紧急疏散并继续给消防部门119报警,报警的
信息包含有报警的地点(属于什么城区、什么地段、门牌号码、火灾发生的详细位置)、火灾
报警的时间、系统预测火灾的强度、燃烧的面积等信息。
[0247] 所述的微处理器15是嵌入式系统,本发明中的实现算法是由Java语言实现的。
[0248] 上述的实施例1所产生的发明效果是通过火灾的综合判断量化计算降低了火灾的误报率,提供了一种基于全方位的计算机视觉传感器的全新的更快速、更准确、更可靠的
多参数智能火灾监控方法与自动消防灭火装置。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈