技术领域
[0001] 本
发明涉及防火预警系统，具体涉及一种便携式即时森林防火预警及信息采集处理系统。
背景技术
[0002] 我国航空护林工作大部分停留在航空救火，主要使用载人飞机，采取从空中播撒
灭火剂、洒
水等方式灭火，或协助人员到达和撤离火场。在
预防森林火灾上的应用较少，主要集中为不定期的载人
直升机飞行巡视，缺少系统的航空防火方案和专业人员，飞行事故时有发生。这种方式还具有人工巡护效率有限、扑救重于预防等
缺陷，在火势已经酝酿到一定程度之后往往会难以扑灭，造成消防战士的牺牲以及国家森林资源的极大损失。在航天方面，我国在北京、昆明、乌鲁木齐、哈尔滨等重点区域已建立了卫星林火监测地面站，运用卫星遥感数据监测森林情况，但卫星部署机动性差、投入高，目前难以
覆盖全国林区。纵观国际航空护林的发展方向，更集中在无人机在航空护林中的应用，通过使用无人机加强对森林的日常巡查，及时发现险情，维护防火设施；大幅减少人员在巡护和灭火过程中的实地参与，保障护林人员的安全，降低了综合成本。
[0003] 但是传统的无人机防火体系包括了无人机地面操纵人员，再从地面人员传输数据到管控中心，经过多重的数据传输和处理之后才能得到结论并从指挥部下达指令让前线人员完成，系统的传输过程繁复，且整个过程都要建立在有完整的通信链路的前提下，且现场过程容易在短时间内发生很大转变，信息在一来一回的途中会延误很多能及时处理问题的战机。
[0004] 基于以上的几点考虑，我们设计的信息采集处理预警系统的核心就在于，无人机和移动地面端设备的稳固连接，并在移动端及时处理无人机传输的信息并即时处理。由不同无人机传回的图片等可以实时分别传回护林员对应的移动端设备中，移动设备具有计算能
力，可以用于实时
访问和获取信息，移动设备的种类可分为电脑、手机等。移动端顾名思义其一大优点就在于其便携性，护林员可以在各自的巡护范围内运用设备进行各自的分析，且不受时间地点的影响，由于移动设备需要完成对复杂图像的计算。这套系统中
图像识别的过程是首先监测图像中的特征点，再对特征点进行描述，最后确定特征点在样本库中的匹配目标。
[0005] 而要完成这一系列的操作和计算，便需要借助移动端手机算力逐年加强的CPU、GPU(如高通公司的骁龙855、华为公司的麒麟980以及苹果公司的a12)和
笔记本电脑逐年升级的CPU和GPU(如INTEL公司的i7-8750h和NVDIA公司的rtx2060等)达到在便携沟通和运算速度上的平衡。
发明内容
[0006] 本发明为克服
现有技术的不足，提出一种便携式即时防火预警及信息采集处理预警系统。
[0007] 综合考虑传统护林员巡护森林的不便和纯人力巡护的局限性而设计的一种新型体系。这种新型的便携式即时预警和信息处理系统包括：先以小中型无人机为载体获取森林内不同区域的光学图像视频以及红外线图像等原始信息；再以护林员随身携带的移动端设备如手机和笔记本电脑进行图像和视频处理，获取是否着火，是否有较大可能性起火，是否存在病虫害，是否存在珍稀
植物或动物等终端信息；再由护林员通知相关部
门采取适当的行动进行处理。这一发明解决了林区过大、人工护林及信息采集效率过低的问题，将尽可能节省人力物力，高效低成本地完成森林火灾的预警及其他与森林相关的信息采集工作。通过这一发明，可以实现森林火警的及时发现与通报，还可实现对森林中相关植物或动物的及时保护。
[0008] 本发明为解决背景技术的技术问题，采用的技术方案是：一种便携式即时防火预警及信息采集处理预警系统，系统的核心分为两个部分，分别是起到探测识别作用的无人机和作信息处理识别的地面端，无人机用双摄像头的方法拍摄特定监护区域的林区现场，将得到的图像传回有人员操纵的移动端，分别用
图像处理和
深度学习作进一步的分析处理；
[0009] 第二要介绍的是本系统在无人机和移动端设备之间链路；
[0010] 1)超视距通信需采用卫星中继或无人机自身中继方式；
[0011] 2)而对于较近距离作业，直接采用数据链直传通信，但对于有遮挡情况仍需采用中继方式。
[0012] 本发明通信方式的选择应根据无人机平台的
载荷能力进行选择，大型、中型无人机载荷能力较强，安装卫通设备；但小型无人机载荷能力有限，国内普通卫星通信天线直径大于0.5米，因此小型无人机较难装载卫星通信天线，应其他通信中继的方式。
[0013] 本发明的第二个技术方案是一种便携式即时防火预警及信息采集处理预警方法，主要步骤包括特征检测、特征描述、目标提取和识别分类4个：
[0014] 具体说明如下：
[0015] 1)特征检测：
[0016] 对于彩色图片的特征监测要先将其进行灰度化，根据红绿蓝三种远色进行组合可以得到各异的
颜色，根据人眼对三原色的敏感和识别性对彩色图像的各
像素点可进行灰度转换：
[0017] 灰度可按照公式Y＝0.258R+0.596G+0.119B，其中RGB分别代表红绿蓝三种原色在图像中的
亮度值，而Y表示按此公式转换之后的灰度值；
[0018] 2)特征描述：
[0019] 特征描述过程选用FREAK
算法，此算法选点
采样即可获得二值描述符；
[0020] 3)目标提取：
[0021] 图像中的目标轮廓通过
阈值进行分割提取；
[0022] 4)识别分类：
[0023] 用式(3)来对运动区域的原图片来进行颜色特征判别。
[0024]
[0025] 其中R、G、B是RGB色彩模式下的红、绿、蓝色分量的数值(0～255)；S是HIS色彩模式下的
饱和度分量；ST是饱和度的阈值(参考范围为55～65)；RT是红色分量的阈值(参考范围为115～135)；
[0026] 若运动区域内大量像素点能够符合式(3)的约束条件，则可确定其为火焰。
[0027] 所述步骤1)BRISK算法首先从图像的各个维度搜索出突出的
角点，再通过比较上下相邻的两层非极大值进行抑制以去除某些非目标点，最后可得到此维度空间内不同领域中的独特的特征点。
[0028] 验证火灾，先提取出可疑的火焰区域，而除去静止的背景区域：
[0029] 提取前景可疑火焰区域时，则需要运用式(1)和式(2)采取
帧间差分法将图像二值化：
[0030] Dt(x，y)＝|ft(x，y)-ft-1(x，y)| (1)
[0031]
[0032] 先获取相邻的图像，对每个像素点运行式(1)和(2)，其中ft(x，y)表示图像中(x，y)
位置处的像素点在t时刻的数值，ft-1(x，y)则表示图像中(x，y)位置处的像素点在t-1时刻的数值，Dt(x，y)是其差值的绝对值；T为阈值，用阈值来将所有的像素点进行二值化，划分成255或0(即白色和黑色)，255即是运动区域，0即为静止区域，最后除去静止区域而留下运动区域。
[0033] 所述步骤3)具体根据具体情况不同进行
边缘检测，同时保留图像中的目标信息：
[0034] 图像边缘通过求导数的方法来获得，一阶导数模板采用Sobel算子进行计算，统计图像中每个像素4个相邻素点灰度值的加权差值，根据公式定义算子并计算卷积算子，选取适当的阈值特征后，即可根据Sobel算子来判断此点是否为边缘点。
[0035] 有益效果
[0036] 传统护林员往往基于某一个或某几个
站点为中心进行不同路线的巡视。在巡视时只能使用肉眼观察，巡视半径小，且在观察到可疑目标时需身至目标点进行仔细检查，耽误时间。如果运用无人机进行辅助识别计算，则能在扩大巡视半径的同时提高识别
精度，同时不同路径上护林员和无人机的同时运作可提供一张可逐渐覆盖整个林区的巡视网，网上的各种数据可为后续的宏观数据分析提供详实可靠的数据。
附图说明
[0037] 图1：从无人机到移动端处理器和地面控制总部的设想图；
[0038] 图2：基于图像处理的森林防火检测系统原理图；
[0039] 图3：图像识别实时流程；
[0040] 图4：原图与红外高通滤光片成像结果对比图；
[0041] 图5：森林灰度化图像示意；
[0042] 图6：维恩位移定律图；
[0043] 图7(a\b)：颜色特征分割示意图(a为实际图片、b为提取颜色特征后示意)；
[0044] 图8(a\b)：灰度化图像处理图(a为提取的颜色特征、b为灰度化处理后示意)；
[0045] 图9：边缘检测结果图。
具体实施方式
[0046] 以下结合附图来对本发明作进一步的说明。
[0047] 对火灾的深度学习算法我们采用了经典的BP神经网络算法，可以通过使用监督其告诉训练器并判断其是否正确，训练器可通过不断学习错判样例，通过比较系统产生的所有程序，从中筛选出对火灾识别较准确的程序。
[0048] 对于现在的护林和森林防火领域，利用深度学习算法进行训练和识别分析势在必行，经过少量有针对性的样本训练完之后可以得到一个具有较高识别率的体系，将得到的图像传输至此体系中，可以得到较为准确的反馈来帮助护林人员得到更快更准确的情报并最终做到预防减灾的作用。
[0049] 我们以电脑处理图片的一个实例作详细说明：电脑选用的是联想的y7000p型号，配置上，cpu为i7-9750h，显卡为gtx-1660ti，内存为8g。未用红外滤光片的摄像机拍摄的原图为图7中的左部分，先将其做
图像分割。而将其用红外滤光片处理后的图片可见图8.之后再依次按流程进行二值化，噪声处理等一系预处理方式之后使用上文提到的系列算法将图片进行处理。最后得到的边缘检测结果图为图9。
[0050] 在笔记本或手机本身算力受到局限的条件下，采用腾讯优图AI开放平台关于火灾识别的API，该平台可对火灾图片实现准确识别，并且有高准确率，可达97％。
[0051] 使用这种平台的API
接口算法流程如下：首先要接入网络，通过联网向
服务器发送HTTP
请求，采用POST方法可附带所需要判断的图片、数字签名以发送请求。接着服务器会返回经过其深度识别算法后的结果，此数据中包含其分析的结果，带有其分析的包括每张图片是否会发生火灾并火灾发生的概率等。最后可用返回的数据带上系统的其他数据来综合下结论判断这其中会否发生火灾。
[0052] 如图1、2所示，系统的核心分为两个部分，分别是起到探测识别作用的无人机和作信息处理识别的地面端。本发明的内容也将围绕无人机、地面端、以及无人机与地面端的信息传输三个方面进行展开。无人机端用双摄像头的方法拍摄特定监护区域的林区现场，将得到的图像传回有人员操纵的移动端，分别用图像处理和深度学习作进一步的分析处理。
[0053] 首先要介绍本系统的信息采集端：本系统采集图像的载体选用了大疆多旋翼无人机，本型号无人机有起降灵活，可搭载光学、红外等多种任务设备的特点，可以将重点区域的事实画面和数据发送到
云端，其在森林防火中的作用可以分为以下两个方面：
[0054] 一是起到火灾现场探查的任务，在重点时段(如清明节春节等空气干燥、人为活动加剧)、重点地区(如坟地、居民聚集地)，无人机可以通过常规可见光相机现场事实监控，提供火场位置、面积，燃烧趋势等重要信息。
[0055] 二是无人机可与有人机配合各取所长，无人机的常出在于成本较低，可以形成一定数量的编队出动，可各自负责一定区域的巡视任务，但其缺点在于无人机的飞行速度相对较慢，且续航时间较短。所以这就需要有人机进行补充，有人机的活动范围远大于无人机，且其携带能力及作业能力较强，能对无人机的巡视进行补充。
[0056] 无人机上搭载的相机采用双摄像头方案，其一加装红外高通滤光片，其二用来作后续的图像处理和深度学习。对比只有一个摄像头的方案，可大大提高其识别火焰的准确率。本摄像头采用的红外高通滤光片所能透过的光的
波长范围是760～1100nm，此滤光片可吸收掉所有可见光。其判断拍摄区域
温度的原理主要用到了维恩位移定律，根据不同温度下物体
辐射光的波长不同，通过过滤掉平常出现的可见光，当热点温度与周围环境截然不同时，通过得到的不同波长光做已经或是即将要发生火灾的判断。
[0057] 第二要介绍的是本系统在无人机和移动端设备之间链路。需要注意的是，无人机和移动端设备之间的连接都需要有稳定可靠的通信联络，才能实现地面对无人机的操控、侦察信息传输、信息综合显示等业务功能。稳定可靠的通信联络决定着无人机系统的
稳定性和无人机平台的可遥控性，关系到无人机在森林防火中的应用方式和范围。
[0058] 由于地形遮挡、地球
曲率影响，超视距通信需采用卫星中继或无人机自身中继方式。而对于较近距离作业，可直接采用数据链直传通信，但对于有遮挡情况仍需采用中继方式。通信方式的选择应根据无人机平台的载荷能力进行选择，大型、中型无人机载荷能力较强，可安装卫通设备。但小型无人机载荷能力有限，国内普通卫星通信天线直径大于0.5米，因此小型无人机较难装载卫星通信天线，应其他通信中继的方式(飞机、基站等)。
[0059] 无人机地面站采用数据链和卫星通信两种通信链路实现对不同类型无人机的测控信息传输。对于大型、中型固定翼无人机采用卫星链路和数据链两种通信手段，无人机与地面站通视条件下优先选用数据链通信。对于小型无人机和无人直升机采用数据链通信，在有遮挡地形条件作业可采用中继方式。无人机地面站间通信，如果地面站部署于机场附近，可直接采用有线网络通信或3G/4G移动通信；如果地面站前出部署于林区腹地，有移动基站
信号则优先采用3G/4G移动通信，如没有移动基站信号采用卫星通信方式。
[0060] 最后要说明的是本系统在移动端即使处理的方法和和思路：本系统在移动端运用到的算法特点是应用于特征点检测、特征点概述和特征点匹配。分别使用了BRISK检测算法、FREAK概述算法、Sobel目标提取算子和BP神经网络图像法挖掘出目标信息。
[0061] 如图3所示，包括特征检测、特征描述、目标提取和识别分类4个步骤[0062] 具体说明如下：
[0063] 特征检测：
[0064] 对于彩色图片的特征监测要先将其进行灰度化，根据红绿蓝三种远色进行组合可以得到各异的颜色，根据人眼对三原色的敏感和识别性对彩色图像的各像素点可进行灰度转换，灰度可按照公式Y＝0.258R+0.596G+0.119B，其中RGB分别代表红绿蓝三种原色在图像中的亮度值，而Y表示按此公式转换之后的灰度值。经过此转换可以在保留原图像重要信息的条件下实现较少的占用空间和较快的处理速度。
[0065] BRISK算法首先从图像的各个维度搜索出突出的角点，再通过比较上下相邻的两层非极大值进行抑制以去除某些非目标点，最后可得到此维度空间内不同领域中的独特的特征点。
[0066] 由于火焰处于运动状态，相反背景如山林等维持静止，为进一步验证其是否发生了火灾，需先提取出可疑的火焰区域，而除去静止的背景区域。而提取前景可疑火焰区域时，则需要运用式(1)和式(2)采取帧间差分法将图像二值化。用帧间差分法时不能对前景的火焰做帧间差分处理，而是需要对背景做帧间差分处理。
[0067] Dt(x，y)＝|ft(x，y)-ft-1(x，y)| (1)
[0068]
[0069] 原理在于先获取相邻的图像，对每个像素点运行式(1)和(2)，其中ft(x，y)表示图像中(x，y)位置处的像素点在t时刻的数值，ft-1(x，y)则表示图像中(x，y)位置处的像素点在t-1时刻的数值，Dt(x，y)是其差值的绝对值；T为阈值，用阈值来将所有的像素点进行二值化，划分成255或0(即白色和黑色)，255即是运动区域，0即为静止区域，最后除去静止区域而留下运动区域。
[0070] 特征描述：
[0071] 特征描述过程选用具有运算速度快、负载内存低和鲁棒性较好的FREAK算法，此算法选点采样即可获得二值描述符，因为特征点附近采样
密度高而单个点的高斯核参数小，而在边缘区域中采样密度会减小而高斯核参数较大，因此符合人类视觉中远距离图像模糊的常识感受。此算法与BRISK算法类似，特征方向运用局部梯度来衡量。但二者的差异在于在计算梯度的采样点选择上，FREAK得到的采样点相对于中心对称，而BRISK的采样点对之间还存在较长的距离。
[0072] 目标提取：
[0073] 图像中的目标轮廓可以通过阈值进行分割提取，而阈值提取的前提是直方图的建立，直方图可以反映图像中各个灰度值的像素个数。直方图一般用直角
坐标系来表示，横轴上为灰度值，纵轴为该灰度等级下的像素点个数。
[0074] 目标轮廓提取乃图像识别的
基础，根据具体情况不同进行边缘检测可以极大地减少运算量，同时保留图像中的目标信息，图像边缘的本质是灰度值的不连续变化，这可以通过求导数的方法来获得。一阶导数模板可采用Sobel算子进行计算，统计图像中每个像素4个相邻素点灰度值的加权差值，根据公式定义算子并计算卷积算子，选取适当的阈值特征后，即可根据Sobel算子来判断此点是否为边缘点。
[0075] 识别分类：
[0076] 最后要进行火焰的颜色特征判别，由于单纯得到运动区域不能得知其是否为火焰，可能是人、动物走过或其他非火焰造成的运动情况。因此需要用式(3)来对运动区域的原图片来进行颜色特征判别。
[0077]
[0078] 其中R、G、B是RGB色彩模式下的红、绿、蓝色分量的数值(0～255)；S是HIS色彩模式下的饱和度分量；ST是饱和度的阈值(参考范围为55～65)；RT是红色分量的阈值(参考范围为115～135)。若运动区域内大量像素点能够符合式(3)的约束条件，则可确定其为火焰。
[0079] 神经网络是最广泛的图像识别方式之一，其中的BP神经网络结构简单并且计算量较小，适合运用于移动设备之上，算法中的BP神经网络为单隐层，
输入层单元为n个，隐层单元为m＝2n+1个。图像的特征相连作为网络输入，不同目标在相同结构中通过不同权值的对象实例来进行识别，不仅能够添加新的样式识别模式，还在灵活性以及扩展性方面得到了提高。
[0080] 为了识别目标图像，神经网络首先要利用已经分类过的图像样本进行训练，方可得到训练的初始模型。BP神经网络的样本训练可以简单概括为数据的输入、样本的归一化、隐含层的输出、计算层输出、
输出层方差计算、隐含层的误差计算和训练模型输出。待图像特征全部输入后，BP神经网络便可根据训练模型对图像进行识别以及分类，具体过程是各层之间的权值初始化、待测数据归一化还有根据数据函数进行仿真分类，最后可完成仿真函数的计算。
