技术领域
[0001] 本
发明涉及视觉识别技术领域，具体地涉及一种基于可见光和热成像的火焰检测方法、系统及存储介质。
背景技术
[0002] 随着
计算机视觉的发展，基于计算机视觉的火焰检测技术得到了大量的研究。相较于传统的烟雾等定点
传感器，从图像中检测火焰更加迅速，可以在火灾的初期检测到火焰，从而对火灾进行提前预警。目前，基于
机器视觉的火焰检测方法主要分为基于人工设计的图像特征与基于
卷积神经网络提取的深度特征两大类。在基于深度特征的方法中，一种广泛使用的方法是将卷积神经网络作为分类器应用于火焰检测，这种方法仅能判断出图像中是否存在火焰，而无法给出火焰所在的
位置，因此仅能用于火灾的预警。而对于一些项目中的消防
机器人，首先需要确定火焰的位置，才能进一步计算与火焰之间的距离，从而能够计算并调整喷射装置的
角度并扑灭火焰。
发明内容
[0003] 本发明实施方式的目的是提供一种基于可见光和热成像的火焰检测方法、系统及存储介质。该火焰检测方法、系统及存储介质能够根据机器人拍摄的图像来确认现场是否发生火警并进一步得到发生火警的具体位置。
[0004] 为了实现上述目的，本发明实施方式提供一种基于可见光和热成像的火焰检测方法，所述火焰检测方法可以包括：
[0005] 获取现场的可见光图像；
[0006] 采用训练好的目标检测模型根据所述可见光图像确定火焰的位置以得到第一火焰
检测区域；
[0007] 获取现场的红外热图像；
[0008] 采用自适应
图像分割方法和朴素贝叶斯方法根据所述红外热图像确定火焰的位置以得到第二火焰检测区域；
[0009] 采用
图像配准方法对所述可见光图像和所述红外热图像进行匹配计算；
[0010] 采用综合决策策略根据所述第一火焰检测区域、所述第二火焰检测区域以及所述匹配计算的结果确定现场是否发生火警。
[0011] 可选地，采用训练好的目标检测模型根据所述可见光图像确定火焰的位置以得到第一火焰检测区域具体包括：
[0012] 采用多个第一卷积层提取所述可见光图像中的深度特征；
[0013] 采用多个第二卷积层对所述深度特征进行上
采样和特征拼接操作；
[0014] 采用多个第三卷积层根据所述深度特征和特征拼接操作后的所述可见光图像预测火焰的位置以得到所述第一火焰检测区域。
[0015] 可选地，采用多个第二卷积层对所述深度特征进行上采样和特征拼接操作具体包括：
[0016] 仅执行一次上采样操作。
[0017] 可选地，所述目标检测模型包括YOLO V3网络，所述多个第一卷积层为Darknet-53网络中的卷积层。
[0018] 可选地，采用自适应图像分割方法和朴素贝叶斯方法根据所述红外热图像确定火焰的位置以得到第二火焰检测区域具体包括：
[0019] 将所述红外热图像转换为灰度图；
[0020] 分析所述灰度图的直方图，根据第一
阈值对所述灰度图进行分割；
[0021] 提取分割后的所述灰度图中的感兴趣区域的图像特征；
[0022] 采用朴素贝叶斯
算法根据所述图像特征判断各个感兴趣区域是否包括火焰以得到所述第二火焰检测区域。
[0023] 可选地，所述自适应图像分割方法包括Ostu算法，所述图像特征为均匀模式LBP特征。
[0024] 可选地，采用图像配准方法对所述可见光图像和所述红外热图像进行匹配计算具体包括：
[0025] 采用Canny算法提取所述第一火焰检测区域和所述第二火焰检测区域的边缘特征；
[0026] 采用SURF算法计算所述第一火焰检测区域和所述第二火焰检测区域中的特征点以进行所述匹配计算；
[0027] 根据匹配计算成功的特征点计算所述第一火焰检测区域和所述第二火焰检测区域的仿射矩阵。
[0028] 可选地，采用综合决策策略根据所述第一火焰检测区域、所述第二火焰检测区域以及所述匹配计算的结果确定现场是否发生火警具体包括：
[0029] 使用所述仿射矩阵将所述第二火焰检测区域映射到所述可见光图像上或将所述第一火焰检测区域映射到所述红外热图像上以计算交并比；
[0030] 判断所述交并比是否大于第二阈值；
[0031] 在判断所述交并比大于第二阈值的情况下，确认现场发生火警；
[0032] 在判断所述交并比小于或等于第二阈值的情况下，确认现场未发生火警。
[0033] 另一方面，本发明还提供一种基于可见光和热成像的火焰检测系统，所述火焰检测系统包括处理器，所述处理器用于执行如上述任一所述的火焰检测方法。
[0034] 再一方面，本发明还提供一种存储介质，所述存储介质存储有指令，所述指令用于被机器读取以使得所述机器执行上述任一所述的火焰检测方法。
[0035] 通过上述技术方案，本发明提供的基于可见光和热成像的火焰检测方法、系统及存储介质通过同时采用可见光图像和红外热图像来判断现场是否发生火警，并进一步确定该火警的位置，解决了
现有技术中神经网络无法确定火警位置的技术问题。
[0036] 本发明实施方式的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0037] 附图是用来提供对本发明实施方式的进一步理解，并且构成
说明书的一部分，与下面的具体实施方式一起用于解释本发明实施方式，但并不构成对本发明实施方式的限制。在附图中：
[0038] 图1是根据本发明的一个实施方式的基于可见光和热成像的火焰检测方法的
流程图；
[0039] 图2是根据本发明的一个实施方式的基于可见光和热成像的火焰检测方法的部分流程图；
[0040] 图3是根据本发明的一个实施方式的基于可见光和热成像的火焰检测方法的部分流程图；以及
[0041] 图4是根据本发明的一个实施方式的基于可见光和热成像的火焰检测方法的部分流程图。
具体实施方式
[0042] 以下结合附图对本发明实施方式的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施方式，并不用于限制本发明实施方式。
[0043] 在本发明实施方式中，在未作相反说明的情况下，使用的方位词如“上、下、顶、底”通常是针对附图所示的方向而言的或者是针对竖直、垂直或重
力方向上而言的各部件相互位置关系描述用词。
[0044] 另外，若本发明实施方式中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施方式之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为
基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
[0045] 如图1所示是根据本发明的一个实施方式的基于可见光和热成像的火焰检测方法的流程图。在图1中，该火焰检测方法可以包括：
[0046] 在步骤S10中，获取现场的可见光图像。在该实施方式中，该可见光图像可以是例如通过机器人通过摄像机拍摄获得。
[0047] 在步骤S11中，采用训练好的目标检测模型根据可见光图像确定火焰的位置以得到第一火焰检测区域。在该实施方式中，该目标检测模型可以是例如YOLO V3网络，包括
串联的多个第一卷积层(可以为Darknet-53网络中的卷积层，且该第一卷积层的层数可以为53)、多个第二卷积层和多个第三卷积层。相应地，该步骤S11则可以包括采用多个第一卷积层提取可见光图像中的深度特征；采用多个第二卷积层对深度特征进行上采样和特征拼接操作；采用多个第三卷积层根据深度特征和特征拼接操作后的可见光图像预测火焰的位置以得到第一火焰检测区域。具体地，该上采样操作可以包括第二卷积层从第一卷积层提取的深度特征(特征图A)中获取了(
像素)较大的特征图B，再从该特征图B中提取出(像素)更大的特征图C(即特征拼接后的可见光图像)。考虑到该火焰检测方法中的后续的检测框是基于特征图上的每一点生成的，在像素越大的特征图中，检测到目标物体(即火焰)的正确率就会越低。两次上采样操作虽然可以获得像素更大的特征图，但是也会造成后续检测的正确率降低。因此，在该实施方式中，该上采样操作可以优选地包括第二卷积层从第一卷积层提取的深度特征中获取像素较大的特征图作为该特征拼接操作后的可见光图像。另外，由于该优选实施方式仅采用了一次上采样操作，也降低了算法的复杂度。
[0048] 在步骤S12中，获取现场的红外热图像。在该实施方式中，该红外热图像可以是例如通过机器人的红外相机获取。
[0049] 在步骤S13中，采用自适应图像分割方法和朴素贝叶斯方法根据红外热图像确定火焰的位置以得到第二火焰检测区域。具体地，该步骤S13可以包括如图2中所示出的步骤。在图2中，该步骤S13可以包括：
[0050] 在步骤S20中，将红外热图像转换为灰度图。
[0051] 在步骤S21中，分析灰度图的直方图，根据第一阈值对灰度图进行分割。其中，对于该第一阈值的计算方式，可以是例如预设多个初始阈值，再将图像的灰度直方图分成前景和背景两个部分，然后计算两个部分的灰度方差，最后取值最大的方差所对应的初始阈值作为该第一阈值。另外，该自适应分割方法可以包括例如Ostu算法。那么相应地，该步骤S21则可以进一步包括根据该第一阈值对该灰度图进行图像分割以形成高温的前景部分和低温的背景部分，再采用形态学滤波技术去除分割后的微小噪声区域并填补作为感兴趣区域(Region of interest，ROI)中的孔洞。
[0052] 在步骤S22中，提取分割后的灰度图中的感兴趣区域的图像特征。其中，该图像特征可以为均匀模式LBP(Local Binary Pattern)特征。
[0053] 在步骤S23中，采用朴素贝叶斯算法根据图像特征判断各个感兴趣区域是否包括火焰以得到第二火焰检测区域。
[0054] 在步骤S14中，采用图像配准方法对可见光图像和红外热图像进行匹配计算。具体地，该步骤S14可以包括如图3所示出的步骤。在图3中，该步骤S14可以包括：
[0055] 在步骤S30中，采用Canny算法提取第一火焰检测区域和第二火焰检测区域的边缘特征。
[0056] 在步骤S31中，采用SURF(Speed Up Robust Feature)算法计算第一火焰检测区域和第二火焰检测区域中的特征点以进行匹配计算。
[0057] 在步骤S32中，根据匹配计算成功的特征点计算第一火焰检测区域和第二火焰检测区域的仿射矩阵。
[0058] 在步骤S15中，采用综合决策策略根据第一火焰检测区域、第二火焰检测区域以及匹配计算的结果确定现场是否发生火警。具体地，该步骤S15可以包括如图4中所示出的步骤。在图4中，该步骤S15可以包括：
[0059] 在步骤S40中，使用仿射矩阵将第二火焰检测区域映射到可见光图像上或将第一火焰检测区域映射到红外热图像上以计算交并比(Intersection over union，IOU)。
[0060] 在步骤S41中，判断该交并比是否大于第二阈值。其中，该第二阈值可以是预设值。
[0061] 在步骤S42中，在判断该交并比大于第二阈值的情况下，确认现场发生火警，并且确认发生火警后，还可以基于得到的火焰的位置提示相关的工作人员或控制机器人前往该位置以采取相应的措施。
[0062] 在步骤S43中，在判断该交并比小于或等于第二阈值的情况下，确认现场未发生火警。
[0063] 另一方面，本发明还提供一种基于可见光和热成像的火焰检测系统，该火焰检测系统可以包括处理器，该处理器可以用于执行如上述任一所述的火焰检测方法。
[0064] 再一方面，本发明还提供一种存储介质，该存储介质可以存储有指令，该指令可以用于被机器读取以使得该机器执行上述任一所述的火焰检测方法。
[0065] 通过上述技术方案，本发明提供的基于可见光和热成像的火焰检测方法、系统及存储介质通过同时采用可见光图像和红外热图像来判断现场是否发生火警，并进一步确定该火警的位置，解决了现有技术中神经网络无法确定火警位置的技术问题。
[0066] 以上结合附图详细描述了本发明例的可选实施方式，但是，本发明实施方式并不限于上述实施方式中的具体细节，在本发明实施方式的技术构思范围内，可以对本发明实施方式的技术方案进行多种简单变型，这些简单变型均属于本发明实施方式的保护范围。
[0067] 另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施方式对各种可能的组合方式不再另行说明。
[0068] 本领域技术人员可以理解实现上述实施方式方法中的全部或部分步骤是可以通过程序来指令相关的
硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个(可以是
单片机，芯片等)或处理器(processor)执行本
申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动
硬盘、只读
存储器(ROM，Read-Only Memory)、
随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0069] 此外，本发明实施方式的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施方式的思想，其同样应当视为本发明实施方式所公开的内容。
