(一)技术领域

本发明涉及一种基于全方位视觉传感器的火灾监控装置。

(二)背景技术

火灾自动报警系统是人们为了早期发现和通报火灾，并及时采取有效措施， 控制和扑灭火灾，而设置在建筑物中或其它场所的一种自动消防设施，是现代 消防不可缺少的安全技术设施之一。国内外对火灾自动监测都非常重视。目前 检测火灾是否发生主要通过连续或者断续监视至少一种与火灾相关联的物理或 者化学现象来进行的，监视方法通常分为感烟型、感温型、气体型和感光型。

根据美国测试与材料学会(ASTM)和国际防协会(NFPA)的定义，烟气包括悬浮 于其的固相和液相颗粒及材料热解过程产生的气相物质。因此，火灾烟气流动 属于两相流流动，悬浮于其中的烟气颗粒数目、颗粒团聚效应、烟气湍流效应 等是火灾图像探测光学特性的重要影响因素，是火灾探测与预警研究的重要内 容。这种基于烟气某一参数特征的火灾图像探测方法，仍不能满足日趋严格的 火灾安全要求。因此，有必要研究基于烟气的多参数特征的火灾图像探测方法。

传统的火灾报警系统一般基于红外传感器和烟雾传感器，这些系统多采用检 测浓度法，而并不检测火焰本身，所以其误报率高、检测时间较长，对某些情 况无法预报，比如无烟火焰。同时在室外仓库和大型室仓库等大空间场合的火 灾报警中，上述传感器信号变得十分微弱，即使是高精度的传感器也会由于种 种干扰噪声而无法工作。为解决此类场合的火灾报警问题，国外某些公司在九 十年代初提出用紫外波段的图像传感器进行中远距离的火焰检测，并推出了相 应产品。但此类系统并不具有自动识别的功能，模块也不具有可重构性，而且 火焰的识别方法简单，识别误报率较高。

随着数字通信技术、计算机技术的发展，数字图像处理获得了广泛的应用。 图像型火灾报警等系统是利用数字图像处理技术来实现火灾自动报警的。目前， 在某些场所已采用了比较成熟的火灾探测的方法，如感烟、感温、感光探测器， 它们分别利用火灾火焰的烟雾、温度、光的特性等对火灾进行探测。但在大空 间、大面积、环境比较恶劣和室外环境等场所无法发挥现有火灾探测设备的作 用，而运用数字图像处理技术利用火灾火焰的图像特性却能解决以上场所的火 灾探测问题。

现有的图像处理方法，因为设备昂贵(利用光谱分析)、对环境或摄像机等要 求很高(静止、严格定标等)而无法广泛应用。近年来出现的图像处理方法由于 考虑到了火焰的一些特点，取得了一定进展。然而，日趋严格的火灾安全要求 和高科技的迅速发展，使火灾探测和预等方式正向着图像化和智能化发展，而 基于图像的火灾探测方法则是根据火焰特征的探测方法。因此，世界各国都在 致力于研究和开发能早期预报火灾的火灾探测方法和设备。数字图像处理和模 式识别技术实现火灾预报与传统的预报方法相比可以有效地提高预报精度、大 大缩短预报时问、提供更丰富的火灾信息等。

图像处理与计算机视觉是一个不断发展的新技术，原则上采用计算机视觉进 行观测有四个目的，即预处理、最底层的特征提取、中级特征的辩识以及通过 图像对高级情景的解释。一般来说，计算机视觉包括主要特征、图像处理以及 图像理解。

图像是人类视觉的延伸。通过视觉，可以立即准确地发现火灾，这是不争的 事实。图像监测快速性的基础是视觉所接受的信息以光为传播媒介；而图像信 息的丰富和直观，更为早期火灾的辨识和判断奠定了基础，其它任何火灾探测 技术均不能提供如此丰富和直观的信息。此外，图像监测的关键器件图像敏感 组件通过光学镜头与外界发生间接接触，这种结构保证了图像监测技术既可以 较恶劣(多粉尘、高湿度)的室内环境中使用，也可以室外环境中使用。由此， 图像监测技术在火灾探测中的地位和作用为：

(1)可在太空间、大面积的环境中使用；

(2)可用于多粉尘、高湿度的场所；

(3)可在室外环境中使用；

(4)可对火灾现象中的图像信息作出快速反应；

(5)可提供直观的火灾信息。

火灾图像探测系统，是一种以计算机为核心，结合光电技术和计算机图像处 理技术研制而成的火灾自动监测报警系统。火灾图像探测方法，是一种基于数 字图像处理和分析的新型火灾探测方法。它利用摄像头对现场进行监视，同时 对摄得的连续图像输入计算机，不断进行图像处理和分析，通过早期火灾火焰 的形体变化特征来探测火灾。

图像是一种包含强度、形体、位置等信息的信号。火灾中的燃烧过程是一个 典型不稳定过程。由于可燃物、几何条件、环境和气候的影响，火灾过程要比 其它可控的燃烧过程更为复杂。同时，火灾现场存在各种干扰因素，如阳光、 照明灯等。因此图像型火灾探测方法必须立足于早期火灾火焰的基本特性，这 样就可以排除各种干扰，使火灾探测更快速、可靠。

在原有的专利(CN86106890A，CN1089741A，CN1112702A)技术中对图像型 火灾检测在运用数字图像处理技术利用火灾火焰的图像特性方面，根据火焰图 形的一些单一或者几个简单形态特征作为模式识别的判据，这样由于选取特征 比较单一，算法相对复杂，造成误判率高。在专利CN1089741A中使用云台对全 景进行火灾检测，虽然能得到全方位图像，但是云台采用机械式旋转装置存在 着机械磨损、维护工作量大、要消耗能源、算法相对复杂，不能实时处理等缺 点。

(三)发明内容

为了克服已有的火灾探测系统的误报率较高、不能实时处理、算法相对复杂 的不足，本发明提供一种能够有效减少误报率、能够实时处理、算法简单的基于 全方位视觉传感器的火灾监控装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位视觉传感器的火灾监控装置，该火灾监控装置包括微处理 器、用于监视现场的视频传感器、用于与外界通信的通信模块，所述的微处理 器包括：图像数据读取模块，用于读取从视频传感器传过来的视频图像信息；文 件存储模块，用于将视频传感器采集的数据存储到存储器中；现场实时播放模 块，用于连接外部的显示设备，将监视现场画面实时播放；

所述的视频传感器的输出与微处理器通信连接，所述的视频传感器是全方 位视觉传感器，所述的视觉传感器包括用于反射监控领域中物体的外凸反射镜 面、透明圆柱体、摄像头，所述的外凸反射镜面朝下，所述的透明圆柱体支撑 外凸反射镜面，用于拍摄外凸反射镜面上成像体的摄像头位于透明圆柱体的内 部，摄像头位于外凸反射镜面的虚焦点上；

所述的微处理器还包括：

传感器标定模块，用于对全方位视觉传感器的参数进行标定，建立空间的实 物图像与所获得的视频图像的对应关系；

颜色模型转换模块，用于将彩色图像中的每一个像素点的颜色从RGB颜色 空间转换到(Cr，Cb)空间颜色模型；

图像展开处理模块，用于将采集的圆形视频图像展开为全景柱状图，根据圆 形全方位图像上的一个点(x*，y*)和矩形柱状全景图上的一个点(x**，y**)的对应 关系，建立(x*，y*)与(X**，y**)的映射矩阵，式(1)所示：

${\bar{P}}^{**}(x^{**},y^{**})\leftarrow \bar{M}\times {\bar{P}}^{*}(x^{*},y^{*})---\left(1\right)$

上式中， 是映射矩阵， ${\bar{P}}^{*}(x^{*},y^{*})$ 是圆形全方位图像上的像素矩阵， ${\bar{P}}^{**}(x^{**},y^{**})$ 是矩形柱状全景图上的像素矩阵；

运动对象检测模块，用于将所获得的当前帧现场视频图像与一个相对比较稳 定的基准参考图像进行差值运算，图像相减的计算公式如式(2)表示：

fd(X，t0，ti)=f(X，ti)-f(X，t0)        (2)

上式中，fd(X，t0，ti)是实时拍摄到图像与基准参考图像间进行图像相减的结 果；f(X，ti)是实时拍摄到图像；f(X，t0)是基准参考图像；

并将当前图像中与相邻K帧的图像相减计算公式如(3)所示：

fd(X，ti-k，ti)=f(X，ti)－f(X，ti-k)    (3)

上式中，fd(X，ti-k，ti)是实时拍摄到图像与相邻K帧图像间进行图像相减的 结果；f(X，ti-k)是相邻K帧时的图像；

如fd(X，t0，ti)≥阈值、fd(X，ti-k，ti)≥阈值成立时，判定为可疑火焰对 象；

如fd(X，t0，ti)≥阈值、fd(X，ti-k，ti)＜阈值，判定静止对象，并用式(4)来更 新替换基准参考图像：

$f(X,t_0)\Leftarrow f(X,t_{i-k})$ (4)

如fd(X，t0，ti)＜阈值，判定为静止对象；

连通区域计算模块，用于对当前图像进行标记，像素灰度为0的小区表示此 小区无可疑火焰，像素灰度为1则表示此小区有可疑火焰，计算当前图像中的像 素是否与当前像素周围相邻的某一个点的像素相等，如灰度相等判断为具有连通 性，将所有具有连通性的像素作为一个连通区域；

模式分类模块，用于判定为可疑火焰后，对每个连通区域求出其面积Si， 并依照如下：

1)若Si＜阈值1，则该变化区域为噪声点；

2)若Si＞阈值2，则该变化区域为大面积的红外光线变化；

3)若阈值1＜Si＜阈值2，则该变化区域为可疑的火焰区域；

判断为可疑的火焰区域后，计算相邻帧变化图像的相似度εi，如公式(5) 所示，

${ϵ}_i=\frac{\underset{(x,y)\in \Omega }{\Sigma }{b}_i(x,y)\cap b_{i+1}(x,y)}{\underset{(x,y)\in \Omega }{\Sigma }{b}_i(x,y)\cup b_{i+1}(x,y)},i=1,N-1---\left(5\right)$

式中，bi(x，y)为上一帧中可疑的火焰区域，bi+1(x，y)为当前帧中可疑的火 焰区域；

根据上述计算结果，模式分类为：

1)若εi≤阈值1，则图像模式为快速运动的亮点；

2)若εi≥阈值2，则图像模式为固定红外发光区域；

3)若阈值1＜εi＜阈值2，则图像模式为火焰；

火焰颜色特征判断模块，用于在(Cr， Cb)空间的分布模型，计算发光源是否落 在火焰图像在(Cr，Cb)空间的分布模型内，计算公式由式(6)所示：

$W_{\mathrm{firecolor}}=\exp \{-\frac{1}{2}[A*{(\mathrm{Cr}-\overline{\mathrm{Cr}})}^2+2B*(\mathrm{Cr}-\overline{\mathrm{Cr}})*(\mathrm{Cb}-\overline{\mathrm{Cb}})+C*{(\mathrm{Cb}-\overline{\mathrm{Cb}})}^2\left]\right\}---\left(6\right)$

式(6)中，Wfirecolor是颜色特征量， 是火焰点Cr、Cb的样本标准均值， A、B、C分别是由样本标准差和均值计算出来的系数；

$\overline{\mathrm{Cr}}=144.6;$ $\overline{\mathrm{Cb}}=117.5;$ A＝3.7*10-3；B＝4.1*10-3；C＝4.5*10-3；

火焰面积变化特征判断模块，用于根据每帧图像的发光面积Si进行递推计算， 求在下一帧图像的发光面积的递推值 计算公式由式(7)给出；

${\bar{S}}_i^{t(i+1)}=(1-k)*{\bar{S}}_i^{t\left(i\right)}+k*S_i---\left(7\right)$

式中， 是下一帧图像的发光面积的递推平均值， 是目前帧图像的 发光面积的递推平均值，Si是目前帧发光面积的计算值，K为系数，小于1，得 到下式(8)

$\frac{{\bar{S}}_i^{t(i+1)}+{\bar{S}}_i^{t\left(i\right)}+{\bar{S}}_i^{t(i-1)}}{3}>\frac{{\bar{S}}_i^{t(i-2)}+{\bar{S}}_i^{t(i-3)}+{\bar{S}}_i^{t(i-4)}}{3}---\left(8\right)$

如果上述(8)成立，火焰面积扩展Wfire area量化值取为1；如上式(8)不 成立，火焰面积扩展Wfire area量化值取为0；

火焰闪动规律特征判断模块，用于在上述(8)成立时，将发光面积的计算值 Si与目前帧图像的发光面积的递推平均值 求差计算，如两者的差的正负发生 变化就进行记数，计算在一定时间段中其变化的次数作为火焰闪动的变化频率 ffenquncy，并将该ffenquncy与所设定的阈值fc相比较，当ffenquncy≥fc时，火焰闪动 Wfire bicker量化值取为1；当ffenquncy＜fc时，火焰闪动Wfire bicker量化值0；

火灾强度判断模块，用于在火焰面积扩展Wfire area量化值为1和火焰颜色特征 Wfire color的计算值大于0.5时，计算公式如式(9)所示；

$W_{\mathrm{fireindensity}}=\frac{S_i}{\mathrm{\Sigma S}}*10\mathrm{where}{W}_{\mathrm{firearea}}=1\mathrm{AND}{W}_{\mathrm{firecolor}}\ge =0.5---\left(9\right)$

上式(9)中，∑S是整个监控面积，Wfire indensity是火灾强度值；

火灾发生综合判断模块，用于根据火焰模式、火焰颜色特征值、火焰面积、 火焰闪动规律综合判断是否有火灾发生，其计算式如(10)所示：

Wfire alarm＝Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area +Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity   (10)

式中：Kfir pattern为火焰模式的加权系数；

Kdire color为火焰颜色特征的加权系数；

Kfire area为火焰面积变化的加权系数；

Kfire bicker为火焰闪动的加权系数；

Kfire indensity为火灾强度的加权系数；

如Kalarm≤Wfir alarm，判定为火灾告警，通过通信模块通知管理人员。

进一步，所述的警告值Kalarm包括Kattention、Kalarm1、Kalarm2、Kalarm3；

若Kattention≤Wfire alarm≤Kalarm1，判定为火焰可疑注意，通过通信模块通知管 理人员；

若Kalarm1＜Wfire alarm≤Kalarm2，判定为火灾早期警告，通过用户通信模块通 知管理人员，启动文件存储模块记录现场视频数据；

若Kalarm2＜Wfire alarm≤Kalarm3，判定为火灾发生，通过用户通信模块自动报 警通知119，并通知管理人员，启动文件存储模块记录现场视频数据。

若Kalarm3＜Wfire alarm，则拉响火灾警报，通过用户通信模块自动报警通知119， 并通知管理人员，启动文件存储模块记录现场视频数据。

再进一步，所述的微处理器还包括背景维护模块，所述的背景维护模块包 括：

背景亮度计算单元，用于计算平均背景亮度Yb计算公式如式(11)所示：

${\bar{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\Sigma }}\underset{y=0}{\overset{H-1}{\Sigma }}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\Sigma }}\underset{y=0}{\overset{H-1}{\Sigma }}(1-M_n(x,y))}---\left(11\right);$

式(11)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前帧的掩 模表，所述的掩模表是用一个与视频帧尺寸相同的数组M来记录各像素点是否 有运动变化，参见式(12)：

Yb0为判定为可疑火焰对象时前一帧的背景亮度，Yb1为判定为 可疑火焰对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0    (13)

如果ΔY大于上限值，则认为发生了开灯事件；如果ΔY小于某个下限值， 则认为发生了关灯事件；如ΔY介于上限值和下限值之间，则认为光线自然变化；

背景自适应单元，用于当光线自然变化时，按照下式(14)进行自适应学习：

Xmix，bn+l(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i)    (14)

式中：Xmix，cn(i)为当前帧RGB向量，Xmix，bn(i)为当前帧背景RGB向量， Xmix，bn+l(i)为下一帧背景预测RGB向量，λ为背景更新的速度；λ＝0，使用固定 不变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻 的背景与当前帧混合而成；

当光线由开关灯引起的，背景像素按照当前帧重置，参见式(15)：

Xmix，bn+l(i)＝Xmix，cn(i)    (15)。

所述的微处理器还包括：噪声剔除模块，用于将每一个像素值用其局部邻域 内所有值的均值置换，如公式(16)所示：

h[i，j]＝(1/M)∑f[k，1]    (16)

上式(16)中，M是邻域内的像素点总数。

所述的微处理器还包括：火焰整体运动特征模块，用于通过火焰的整体移动 的轨迹来进行判断的，如判断火焰整体运动，火焰整理运动量化值Wfire move取为 1；如判断非整体运动，火焰整理运动量化值Wfire move取为0；

在所述的火灾发生综合判断模块中，公式(10)修正为：

Wfire alarm＝Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area +Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity+Kfire move×Wfire move

上式中，Kfire move是火焰整体运动的加权系数。

所述的微处理器还包括：火焰形体变化特征量化模块，用于根据水平方向上 的火焰的形状变化，如呈现的形体变化有规律性，Wfire body量化值取为0；如呈现 的形体变化无规律性，Wfire body量化值取为1；

在所述的火灾发生综合判断模块中，公式(10)修正为：

Wfire alarm＝Kfire pattern×εi+Kfire color×Wfire color+Kfire area×Wfire area +Kfire bicker×Wfire bicker+Kfire indensity×Wfire indensity+Kfire body×Wfire body

上式中，Kfire body是火焰形体变化的加权系数。

本发明的工作原理是：近年发展起来的全方位视觉传感器 ODVS(OmniDirectional Vision Sensors)为实时获取场景的全景图像提供了一 种新的解决方案。ODVS的特点是视野广(360度)，能把一个半球视野中的信息 压缩成一幅图像，一幅图像的信息量更大；获取一个场景图像时，ODVS在场景 中的安放位置更加自由；监视环境时ODVS不用瞄准目标；检测和跟踪监视范围 内的运动物体时算法更加简单；可以获得场景的实时图像。因此基于ODVS的全 方位视觉系统近几年迅速发展，正成为计算机视觉研究中的重要领域，IEEE从 2000年开始举办每年一次的全方位视觉的专门研讨会(IEEE workshop on Omni-directional vision)。

图1所示的全方位计算机视觉传感器系统，进入双曲面镜的中心的光，根据 双曲面的镜面特性向着其虚焦点折射。实物图像经双曲面镜反射到聚光透镜中成 像，在该成像平面上的一个点P1(x*1，y*1)对应着实物在空间上的一个点的坐标 A(xl，yl，zl)。

图1中1-双曲线面镜，2-入射光线，3-双曲面镜的焦点Om(O，O，c)，4 -双曲面镜的虚焦点即相机中心Oc(O，O，-c)，5-反射光线，6-成像平面，7- 实物图像的空间坐标A(xl，yl，zl)，8-入射到双曲面镜面上的图像的空间坐标， 9-反射在成像平面上的点P1(x*1，y*1)。

图1中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X2+Y2)/a2)-(Z2/b2)＝-1    (Z＞O)    (17)

$c=\sqrt{a^2+b^2}---\left(18\right)$

β＝tan-1(Y/X)    (19)

α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ    (20)

$\gamma ={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(21\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的 距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的 夹角—方位角，α表示入射光线在XZ平面上的夹角—俯角，f表示成像平面到双 曲面镜的虚焦点的距离。

根据三维室内空间与图像像素的对应性关系把有存在的那些像素部分检测出 来，首先要把参考图像存储在计算机的存储器里，通过实时拍摄到图像与参考图 像间进行图像相减，相减的结果发生变化的区域亮度增强，也就是说有光点存在 的那些像素区块的亮度增强，本专利只对这些区块的边缘的形状、面积、辐射强 度(颜色)感兴趣。根据上述的空间几何关系式空间的像素点的对应性就能计算 出来。

早期火灾因自身原因形成的图像信息的热物理现象有：火羽流以及高温度下 的阴燃。在早期火灾阶段，由于火焰从无到有，是一个发生发展的过程。这个阶 段火焰的图像特征就更加明显。早期火灾火焰是非定常的，不同时刻火焰的形状、 面积、辐射强度等等都在变化。抓住火灾的这些特点可以为火灾的识别打下良好 的基础。图像型火灾探测中的图像处理是动态图象的连续处理；对图像上的每个 目标，根据一定的算法来确定它们同前一帧中目标的匹配关系，从而得到各个目 标的连续变化规律。以下是本发明的图像型火灾探测方法中用到的图像信息：

1)面积变化：早期火灾是着火后火灾不断发展的过程。在这个阶段，火灾火 焰的面积呈现连续的、扩展性的增加趋势。在图像处理中，面积是通过取阈值后 统计图像的亮点(灰度值大于阈值)数实现的。由于本发明采用了从空间的上面向 着下面监控的全方位视觉传感器，能观测到火焰面积的连续的、扩展性的增加趋 势。

2)边缘变化：早期火灾火焰的边缘变化有一定的规律，同其它的高温物体及稳 定火焰的边缘变化不同。精确的方法是用边缘检测和边缘搜索算法将边缘提取出 来，根据边缘的形状、曲率等待性对边缘进行编码，再根据编码提取边缘的特征 量。利用这些特征量在早期火灾阶段的变化规律进行火灾判别。

3)形体变化：早期火灾火焰的形体变化反映了火焰在空间分布的变化。在早 期火灾阶段，火焰的形状变化、空间取向变化、火焰的抖动以及火焰的分合等， 具有自己独特的变化规律。在图像处理中，形体变化特性是通过计算火焰的空间 分布特性，即像素点之间的位置关系来实现的。

4)闪动规律：火焰的闪动规律，即亮度在空间的分布随时间变化的规律，火 焰在燃烧过程中会按某种频率闪烁。在数字图像中就是灰度级直方图随时间的变 化规律，这个特性体现了一帧图像的像素点在不同灰度级上的帧频情况随时间的 变化。

5)分层变化：火焰内部的温度是不均匀的，并且表现出一定的规律。火灾中 的燃烧属于扩散燃烧，扩散燃烧火焰都有明显的分层特性，如蜡烛火焰可分为焰 心、内焰、外焰三层；木材等固体燃烧时由于表面辐射很强，可以分为固体表面 与火焰部分两大层，而火焰部分还可以再分层。分层变化特性体现了不同灰度级 的像素点在空间的分布规律。

6)整体移动：早期火灾火焰是不断发展的火焰，随着旧的燃烧物燃尽和新的 燃烧物被点燃，火焰不断移动着位置。所以火焰的整体移动是连续的、非跳跃性 的。

因此，采用全方位视觉传感器ODVS并利用数字图像处理技术，找到合理的形 态特征判据，结合火焰的颜色特征。解决火灾报警系统的误判率高，不能实时处 理，对环境依赖性强等突出缺点就成为火灾防治技术领域的重点研究内容，并且 具有突出的现实意义和理论意义。

本发明的有益效果主要表现在：1、将各种特征量进行量化，综合判断是否有 火灾发生，能够有效减少误报率；2、能够实时处理；3、算法相对简单；4、避免 了现有云台存在的不足，不存在着机械磨损，维护工作量小。

(四)附图说明

图1为三维立体空间反射到全方位视觉平面成像示意图；

图2为全方位视觉光学配件与摄像头和配合使用的示意图；

图3为一种基于全方位计算机视觉传感器的火灾监控方法与装置的原理图；

图4为一种基于全方位计算机视觉传感器的火灾监控方法与装置的模块框 图；

图5为连通图标记原理；

(五)具体实施方式

下面结合附图对本发明作进一步描述。

参照图1、图2、图3、图4、图5，图1所示的全方位计算机视觉传感器系 统，进入双曲面镜1的中心的光，根据双曲面的镜面特性向着其虚焦点4折射。 实物图像7经双曲面镜反射到聚光透镜中成像，在该成像平面上的一个点 P1(x*1，y*1)对应着实物在空间上的一个点的坐标A(xl，yl，zl)。

图1中1-双曲线面镜，2-入射光线，3-双曲面镜的焦点Om(O，O，c)，4 -双曲面镜的虚焦点即相机中心Oc(O，O，-c)，5-反射光线，6-成像平面，7- 实物图像的空间坐标A(xl，yl，zl)，8-入射到双曲面镜面上的图像的空间坐标， 9-反射在成像平面上的点P1(x*1，y*1)。

图1中所示的双曲面镜构成的光学系统可以由下面5个等式表示；

((X2+Y2)/a2)-(Z2/b2)＝-1    (Z＞O)    (17)

$c=\sqrt{a^2+b^2}---\left(18\right)$

β＝tan-1(Y/X)    (19)

α＝tan-1[(b2+c2)sinγ-2bc]/(b2+c2)cosγ    (20)

$\gamma ={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(21\right)$

式中X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的 距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的 夹角—方位角，α表示入射光线在XZ平面上的夹角—俯角，f表示成像平面到双 曲面镜的虚焦点的距离。

结合图1并参照图2，本发明的全方位视觉功能的配件的结构为：双曲线面 镜反射部件1、透明外罩圆柱体10、底座12所组成，所述的双曲线面镜1位 于圆柱体10的上端，且反射镜面的凸面伸入圆柱体内向下；所述的双曲线面镜 1、圆柱体10、底座12的旋转轴在同一中心轴线上；所述的数码摄像头11位 于圆柱体10内的下方；所述的底座12上开有与所述的圆柱体10的壁厚相同 的圆槽；所述的底座12上设有一个与数码摄像装置11的镜头一样大小的孔， 所述的底座12的下部配置有嵌入式硬件和软件系统15。

结合图1并参照图4，本发明所述的全方位视觉传感器13通过USB接口1 4连接到火灾监控装置的微处理器15中，所述的微处理器15经图像数据读取 模块16读入图像数据，在初始化时为了得到无火灾时的环境图像，需要将该图 像存入图像数据存储模块18中以便后面的图像识别及处理，同时为了识别运动 和变化图像中物体或者火焰的大小，需要对空间坐标进行标定得到全方位图像系 统的9个基本参数进行图像识别及处理，对于这个处理在本发明中的传感器标定 模块17中进行。

所述的图像展开处理计算是在图像展开处理模块19中进行的，该模块的作 用是将一幅幅圆形全方位图展开成相对应矩形柱状全景图，展开后的图形具有容 易计算、变形小等优点。根据圆形全方位图像上的一个点(x*，y*)和矩形柱状全 景图上的一个点(x**，y**)的对应关系，建立(x*，y*)与(x**，y**)的映射矩阵。 由于这种一一对应关系，通过映射矩阵方法能把转变成不变形的全景图像。通过 映射矩阵可以建立起式(1)关系。

${\bar{P}}^{**}(x^{**},y^{**})\leftarrow \bar{M}\times {\bar{P}}^{*}(x^{*},y^{*})---\left(1\right)$

根据式(1)，对于成像平面上的每个像素P*(x*，y*)在全方位图像上有一个 点P**(x**，y**)对应，建立了 映射矩阵后，实时图像处理的任务可以得到 简化。每次在成像平面上得到的变形的全方位图像完成查表运算，生成不变形的 全方位图像；生成后的不变形的全方位图像发送给实时播放模块20送到显示器 21上显示；如果用户需要知道现场实时情况可以通过网络传输模块22得到现 场全方位图像。

一幅彩色图像每个像素点的颜色通常由红绿蓝三刺激值加权合成，其它的彩 色基如强度、色调t饱和度IHS基等可以由红绿蓝RGB值线性或非线性变换获得。 为了获取火焰图像上的火焰区域和背景区域在不同的色彩空间里和不同的外界环 境里(阴天、晴天和夜晚)的颜色特征值的区别，以及火焰在和车灯、手电光等发 光体在不同色彩空间里的颜色特征值的区别，本专利中采用了(Cr，Cb)空间颜色 模型，以取得以上色彩空间里的火焰参数取值，颜色模型转换模块建立一个火焰 图像在(Cr，Cb)空间的分布模型。

从RGB颜色空间到YCrCb颜色空间的转换公式(22)给出，

Y＝0.29990*R+0.5870*G+0.1140*B

Cr＝0.5000*R-0.4187*G-0.0813*B+128    (22)

Cb＝-0.1787*R-0.3313*G+0.5000*B+128

然后根据火焰图像在(Cr，Cb)空间的分布模型，计算发光源是否落在火焰图 像在(Cr，Cb)空间的分布模型内，来作为判断火焰点的一个重要依据，计算公式 由式(6)给出，

$W_{\mathrm{firecolor}}=\exp \{-\frac{1}{2}[A*{(\mathrm{Cr}-\bar{C}r)}^2+2B*(\mathrm{Cr}-\overline{\mathrm{Cr}})*(\mathrm{Cb}-\overline{\mathrm{Cb}})+C*{(\mathrm{Cb}-\bar{C}b)}^2\left]\right\}---\left(6\right)$

式(7)中 是火焰点Cr、Cb的样本标准均值，A、B、C分别是由样本标 准差和均值计算出来的系数。

$\overline{\mathrm{Cr}}=144.6;\overline{\mathrm{Cb}}=117.5;$ A＝3.7*10-3；B＝4.1*10-3；C＝4.5*10-3

背景维护模块37是基于背景减算法检测运动对象的关键，它直接影响检测出 运动对象的完整性和准确性。本发明中采用了背景自适应法，其核心思想是对每一 个背景像素使用1组矢量：RGB变化的当前混合值(Xmix，bi)来表示合法背景像素 的允许取值(i为帧号)，并采用IIR滤波对其进行如下更新。

(1)当光线自然变化(不是开关灯引起的)，并且无异常对象存在时，1组向量 (分别为RGB)进行自适应学习：

Xmix，bn+l(i)＝(1-λ)Xmix，bn(i)+λXmix，cn(i)    (14)

式中：Xmix，cn(i)为当前帧RGB向量，Xmix，bn(i)为当前帧背景RGB向量， Xmix，bn+l(i)为下一帧背景预测RGB向量，λ为背景更新的速度：λ＝0，使用固定不 变的背景(初始背景)；λ＝1，使用当前帧作为背景；0＜λ＜1，背景由前一时刻 的背景与当前帧混合而成。

(2)当光线有突变时(由开关灯引起的)，1组向量按当前帧重置：

Xmix，bn+l(i)＝Xmix，cn(i)    (15)

(3)当有对象进入监视范围时，背景保持不变。为避免将运动对象的部分像素 学习为背景像素，采用：

Xmix，bn+l(i)＝Xmix，bn(i)    (23)

上式中的Xmix，bn+l(i)(i＝1，2，3)分别表示R，G，B 3个分量，为简 化起见，上述公式略去了每个像素的坐标(x，y)部分。

背景亮度的变化可用来判定检测到的运动对象是否因开关灯而引起。开关灯 事件不应引起系统报警，因而进行背景亮度分析有助于降低系统的误报率。背景亮 度使用平均背景亮度Yb来度量，计算公式由式(11)给出，

${\bar{Y}}_b=\frac{\underset{x=0}{\overset{W-1}{\Sigma }}\underset{y=0}{\overset{H-1}{\Sigma }}{Y}_n(x,y)(1-M_n(x,y))}{\underset{x=0}{\overset{W-1}{\Sigma }}\underset{y=0}{\overset{H-1}{\Sigma }}(1-M_n(x,y))}---\left(11\right)$

式(11)中，Yn(x，y)为当前帧各像素的亮度，Mn(x，y)为当前 帧的掩模表。用Yb0表示发现有异常对象时前一帧的背景亮度，Yb1表示检测到 异常对象时第一帧的背景亮度，两帧平均亮度的变化为：

ΔY＝Yb1-Yb0    (13)

如果ΔY大于某个值则认为发生了开灯事件，如果ΔY小于某个负值则认为 发生了关灯事件。根据上述判断结果用式(15)对当前帧进行重置。

所述的掩模表，是用一个与视频帧尺寸相同的数组M来记录各像素点是否有 运动变化，这个数组称为掩模映射表(Mask Map)：

数组M是运动对象的二值图像，不但可用来掩模视频帧从而分割出运动对象， 还可用于运动对象的跟踪、分析和分类。

上述经过全方位视觉传感器对监视图像采集后需经过几次处理，即全方位图 展开计算、求差影图、边缘的探测、求连通区域、图像预处理、模式分类、颜色 特征提取、颜色特征判别，然后进行更进一步的综合判断，最后判别起火可能性 的大小。

所述的求差影图也称为差分方法，是一种常用于检测图像变化和运动物体的 图像处理方法，通过求差影图得到运动对象模块23的处理，可以根据三维空间 与图像像素的对应性关系把有光源点存在的那些像素部分检测出来，这里首先要 有一个稳定的基准参考图像，并将该基准参考图像存储在计算机的存储器里，本 发明中将一个相对比较稳定的基准参考图像存放在图像数据文件存储模块18 中，然后通过实时拍摄到图像与基准参考图像间进行图像相减，相减的结果发生 变化的区域亮度增强，图像相减的计算公式如式(2)表示，

fd(X，t0，ti)＝f(X，ti)-f(X，t0)    (2)

式中fd(X，t0，ti)是实时拍摄到图像与基准参考图像间进行图像相减的结果； f(X，ti)是实时拍摄到图像；f(X，t0)是基准参考图像。

由于火灾监控中全方位视觉传感器都是固定的，而背景中的静止对象有时可 能被移动，基于背景减算法检测运动对象所得到的运动像素可能包含对象移动留 下的空穴。由于空穴在随后的视频帧中不会移动，因此可用相邻K帧差法来消除空 穴，本发明中采用相邻K帧差法判定某个像素是否是背景对象留下的空穴。为此需 要进行式(3)的计算，

fd(X，ti-k，ti)＝f(X，ti)-f(X，ti-k)    (3)

静止对象的移动一般都可以考虑在时间分的单位上，当fd(X，t0，ti)≥阈值和 fd(X，ti-k，ti)≥阈值都成立时，被认为是运动对象；如果fd(X，t0，ti)≥阈值而 fd(X，ti-k，ti)＜阈值，本发明中认为是背景中的静止对象被移动后所产生的空穴， 为了消除空穴用式(4)来更新替换基准参考图像，

$f(X,t_0)\Leftarrow f(X,t_{i-k})---\left(4\right)$

当fd(X，t0，ti)≥阈值和fd(X，ti-k，ti)≥阈值都成立情况下被认为是运动对象 时，要启动下列线程进行火灾判断计算模块24，在该模块中共要启动7个新的 线程，既简单的模式分类模块26、火焰面积变化特征判断模块线程27、火焰 形体变化特征判断模块线程28、火焰颜色特征判断模块线程29、火焰闪动规 律特征判断模块线程30、火焰整体运动特征判断模块线程31、火灾强度特征 判断模块线程32；最后根据各线程计算结果在模块33中进行综合判断，计算 综合判断量化值，并根据该量化值进行不同的处理；如果判断为静止图像时，进 入背景维护模块37；

在简单的模式分类模块26处理前，由于实际图像信号中包含有噪声，而且 一般都表现为高频信号，因此在识别过程中要剔除由噪声所产生的图像边缘点， 然后进行像素间的连通性计算；

所述的剔除由噪声所产生的图像边缘点，在本发明中使用四邻域遍历的方法， 它用滤波掩膜确定的邻域内像素的平均灰度值去替代图像每个像素点的值，即每 一个像素值用其局部邻域内所有值的均值置换，如公式(16)所示；

h[i，j]＝(1/M)∑f[k，1]    (16)

式中，M是邻域内的像素点总数，本发明中取为4。

所述的像素间的连通性是确定区域的一个重要概念。在二维图像中，假设目 标像素周围有m(m＜＝8)个相邻的像素，如果该像素灰度与这m个像素中某一个点A 的灰度相等，那么称该像素与点A具有连通性。常用的连通性有4连通和8连通。 4连通一般选取目标像素的上、下、左、右四个点。8连通则选取目标像素在二维 空间中所有的相邻像素。将所有具有连通性的像素作为一个区域则构成了一个连 通区域。

所述的连通区域计算模块25主要解决在图像处理过程中，一幅二值图像，其 背景和目标分别具有灰度值0和1。对这样的二值图像，要对目标进行标记，计 算每一目标的特征以进行识别，在多目标实时跟踪系统设计中，需要有一种快速 而节省内存的连通区域标记算法。本发明中将像素为0的小区表示此小区无可疑 火焰，若为1则表示此小区有可疑火焰。所以可以采用连通成分标记法进行缺陷 区域的合并。连通标记算法可以找到图像中的所有连通成分，并对同一连通成分 中的所有点分配同一标记。附图5为连通标记原理图。下面是连通区域算法，

1)从左到右、从上到下扫描图像；

2)如果像素点为1，则：

·如果上面点和左面点有一个标记，则复制这一标记。

·如果两点有相同的标记，复制这一标记。

·如果两点有不同的标记，则复制上点的标记且将两个标记输入等价表中作 为等价标记。

·否则给这个象素点分配新的标记并将这一标记输入等价表。

3)如果需考虑更多的点则回到第2步。

4)在等价表的每一等价集中找到最低的标记。

5)扫描图像，用等价表中的最低标记取代每一标记。

所述的模式分类模块26是当发现可疑的火焰区域后，采用计算相邻帧变化 图像的相似度的方法对火焰与干扰模式进行简单的分类。在模式分类前，先进行 预处理，对上述标记过的每个连通区域求出其面积Si，有下面判断规则：

1)若Si＜阈值1，则该变化区域为噪声点；

2)若Si＞阈值2，则该变化区域为大面积的红外光线变化；

3)若阈值1＜Si＜阈值2，则该变化区域为可疑的火焰区域。

如果图像满足条件3，接着进行简单的模式分类，本发明中采用计算相邻帧 变化图像的相似度，如公式(5)所示，

${ϵ}_i=\frac{\underset{(x,y)\in \Omega }{\Sigma }{b}_i(x,y)\cap b_{i+1}(x,y)}{\underset{(x,y)\in \Omega }{\Sigma }{b}_i(x,y)\cup b_{i+1}(x,y)},i=1,N-1---\left(5\right)$

式中，bi(x，y)为上一帧中可疑的火焰区域，bi+1(x，y)为当前帧中可疑的火 焰区域；

根据上述计算结果，可以得到以下简单的模式分类；

4)若εi≤阈值1，则图像模式为快速运动的亮点；

5)若εi≥阈值2，则图像模式为固定红外发光区域；

6)若阈值1＜εi＜阈值2，则图像模式为火焰模式。

所述的火焰中心部的颜色特征判断，是利用火焰分层变化规律，在火焰的形 状中部的像素根据式(6)所计算的颜色特征Wfire color作为一个综合判断指标，W fire color值越接近1表明该发光体越接近火焰，火焰的颜色特征判断是在火焰颜色特征 判断模块线程29中进行的。

所述的火焰整体运动特征判断，是在火焰整体运动特征判断模块线程31中 进行的，该模块中利用火焰的整体移动具有连续性、非跳跃性的规律，通过火焰 的整体移动的轨迹来进行判断的，本专利中将式(12)所得到掩模映射表作为计 算火焰整体运动特征，火焰整体运动Wfire move量化值取为1或0，量化值为1表明 火焰整体运动具有连续性，0表示没有连续性。

所述的火焰面积变化特征判断，是在火焰面积变化特征判断模块线程27中 进行的，该模块中是利用火焰面积的连续的、扩展性的增加趋势的规律，根据上 述每个连通区域求出其面积Si的和来判断火焰面积是否是在扩展性的增加，本专 利中通过每帧图像的发光面积Si进行递推计算，求在下一帧图像的发光面积的递 推值 计算公式由式(7)给出；

${\bar{S}}_i^{t(i+1)}=(1-k)*{\bar{S}}_i^{t\left(i\right)}+k*S_i---\left(7\right)$

式中， 是下一帧图像的发光面积的递推平均值， 是目前帧图像的 发光面积的递推平均值，Si是目前帧发光面积的计算值，K为系数，小于1。本 发明中用公式计算随时间显扩展性的增加趋势，

$\frac{{\bar{S}}_i^{t(i+1)}+{\bar{S}}_i^{t\left(i\right)}+{\bar{S}}_i^{t(i-1)}}{3}>\frac{{\bar{S}}_i^{t(i-2)}+{\bar{S}}_i^{t(i-3)}+{\bar{S}}_i^{t(i-4)}}{3}---\left(8\right)$

如果上述不等式(8)成立表示有增加趋势，反映了火焰面积在随时间显扩展 性的增加趋势，将火焰面积扩展Wfire area量化值取为1，因此量化值为1表明火焰 面积具有扩展性，0表示没有扩展性。

所述的火焰闪动规律特征判断，是在火焰闪动规律特征判断模块线程30中 进行的，该模块中是利用亮度在空间的分布随时间变化的规律来判断，本专利中 通过上述所计算得到每帧图像的发光连通区域Si的变化频率来进行判断，在火灾 发生的早期，火焰的发光连通区域Si面积表现为增大趋势，即在不等式(8)成 立的情况下，进一步判断发光面积的计算值Si与目前帧图像的发光面积的递推平 均值 的大小情况，本专利中采用了一旦发现两者的差的正负发生变化就进行 记数，计算在一定时间段中其变化的次数作为火焰闪动的变化频率ffenquncy，并将 该ffenquncy与系统所设定的阈值fc相比较，当ffenquncy≥fc时，将火焰闪动Wfire bicker 量化值取为1，量化值为1表明有火焰闪动，0表示没有火焰闪动。

所述的火焰形体变化特征判断，是在火焰形体变化特征判断模块线程28中 进行的，该模块中是利用在早期火灾阶段，火焰的形状变化、空间取向变化、火 焰的抖动以及火焰的分合等，具有自己独特的变化规律，上述的变化不存在共同 的规律性，在本专利中使用了全方位视觉传感器，从视角方面来说能观察到水平 方向上的火焰的形状变化，由于手电筒和车灯等发光体所产生的形体与形体变化， 呈现有形体变化的规律性以及形体的规则性，若计算所得发光体所产生的形体与 形体变化具有规律性和规则性，将Wfire body量化值取为0，量化值为0表明发光体 具有规律性和规则性，1表示不具有规律性和规则性。

所述的火灾强度判断，是在火灾强度判断模块线程32中进行的，该模块中 在火焰整体运动Wfire move量化值为1、火焰面积扩展Wfire area量化值为1和火焰颜色 特征Wfire color的计算值大于0.5时，火焰面积占整个监控面积的百分比来计算， 一个百分点记0.1，计算公式由式(9)给出；

$W_{\mathrm{fireindensity}}=\frac{S_i}{\mathrm{\Sigma S}}*10\mathrm{where}{W}_{\mathrm{firemove}}=1\mathrm{AND}{W}_{\mathrm{firearea}}=1\mathrm{AND}{W}_{\mathrm{firecolor}}\ge =0.5---\left(9\right)$

式中，∑S是整个监控面积，所计算出来的火灾强度Wfire infesity值越大表明火 灾强度越大。

在上述的七种火焰判断的基础上，接着进行综合判断以减少误判断率，同时 能判断火灾的程度，加权综合判断计算在模块33中进行，综合判断公式由式(10) 给出，综合判断中采用了加权方式，

Wfire alarm＝Kfire pattern×εi+Kfire color×Wfire color+Kfire move×Wfire move+Kfire area×Wfire area +Kfire body×Wfire body+Kfire indensity×Wfire indensity+Kfire bicker×Wfire bicker (10)

式中：

Kfire pattern为火焰模式的加权系数。

Kfire color为火焰颜色特征的加权系数。

Kfire move为火焰移动特征的加权系数。

Kfire area为火焰面积变化的加权系数。

Kfire body为火焰形体变化的加权系数。

Kfire indensity为火灾强度的加权系数。

Kfire bicker为火焰闪动的加权系数。

根据式(10)计算出来的Wfire alarm的结果，首先要根据量化值的大小，作出如 下不同的输出结果；

1)若Kattention≤Wfire alarm≤Kalarm1，则火焰可疑注意，通过用户通信模块3 6发送短消息、语音电话或者电子邮件通知管理人员通过网络确认图 像，启动图像数据文件存储模块18记录现场视频数据，在这种情况 下管理人员可以通过网络选择继续观测还是从新开始计算，并把管理 人员的确认信息写入用户数据存储信息模块34中以便能明确责任；

2)若Kalarm1＜Wfire alarm≤Kalarm2，则火灾早期警告，通过用户通信模块3 6发送短消息、语音电话或者电子邮件通知管理人员通过网络确认图 像，并要求到现场进行确认，同时自动报警通知119，启动图像数 据文件存储模块18记录现场视频数据；

3)若Kalarm2＜Wfire alarm≤Kalarm3，则判断火灾发生，通过用户通信模块3 6自动报警通知119，同时通过用户通信模块36发送短消息、语 音电话或者电子邮件通知管理人员拨打119，明确告知目前的判断 是火灾发生，同时拉响火灾警报，告知周边地区发生火灾，以便紧急 疏散，继续发送火警给119，继续记录现场视频数据；

4)Kalarm3＜Wfire alarm，拉响火灾警报，告知周边地区发生火灾，以便紧急 疏散，继续发送火警给119，通过所有方法通知所有有关人员该地 区发生火灾和火灾的严重程度，希望得到立即的救援，同时继续记录 现场视频数据。

从上面的各种计算可以知道，计算的量化值越大，发生火灾的可能性就越大。

从上面的各种计算可以知道，计算的量化值越大，发生火灾的可能性就越大。 下面的工作是要及时地将所判断火灾发生的时间、地点、程度等信息通过各种网 络手段发送给需要这种信息的人员，以便能得到及时的处理和救灾。

所述的火焰发生位置的判断，是根据三维空间与图像像素的对应性关系把有 火焰的中心点计算出来，另一部分的地址信息是存放在用户数据存储信息34中， 将这两部分的信息结合起来就能得到一个完整的详细的地址方位信息(属于什么 区、什么地段、门牌号码、什么楼层、楼层的什么方位)。

所述的火灾发生综合判断是根据上述的计算，当Wfire alarm大于Kattention时，自 动启动摄像监视部分进行现场摄影取证，同时将现场摄影取证信息保存在信息存 储部分18中，然后继续读取量化值，在经过一段时间后Ktimelimit(装置初始设定 为1分钟)没有发现量化值有增加趋势，停止摄像并将量化值清零以便下次的计 算，并同时将拍摄的图像和发生的时间保存在图像数据文件存储模块18中，以 便技术人员分析原因；在一段时间Ktimelimit内量化值还在继续增长时，首先判断 量化值，如果量化值在Kalarm2和Kalarm1之间时，首先播放警报，紧接着通过各种 可能的通信设备通知相关警备管理人员，要求警备管理人员通过网络手段(装置 提供远程可视化监控手段)或者到现场进行确认，装置自动装置继续观测量化值 变化；当量化值为Kalarm3和Kalarm2之间时，装置自动发送火灾情况给消防部门1 19，从用户数据存储信息34中得到通报的信息，所通报的信息中包含有报警 的地点(属于什么区、什么地段、门牌号码、火灾发生的详细位置)、火灾报警的 时间、系统预测火灾的强度、燃烧的面积等信息，消防部门得到上述信息后，能 够在第一时间作出正确的对策；确认发生火灾当量化值超过Kalarm3以上时，拉响 警报通知周边人员紧急疏散并继续给消防部门119报警，报警的信息包含有报 警的地点(属于什么城区、什么地段、门牌号码、火灾发生的详细位置)、火灾报 警的时间、系统预测火灾的强度、燃烧的面积等信息。

所述的微处理器15是嵌入式系统，本发明中的实现算法是由Java语言实现 的。

上述的实施例1所产生的发明效果是通过火灾的综合判断量化计算降低了火 灾的误报率，提供了一种基于全方位的计算机视觉传感器的全新的更快速、更准 确、更可靠的多参数智能火灾监控方法与装置。