技术领域
[0001] 本
发明属于
图像处理技术领域，更具体地，涉及一种利用深度学习分类模型实现烟雾检测的方法和系统。
背景技术
[0002] 火灾是
自然灾害和社会灾害中发生概率最高的灾害之一，对人类生活和生命构成严重威胁。火灾发生的前期往往伴随着大量烟雾的产生，如能及时准确地对烟雾进行检测，对火灾预警及扑救有着深远意义。
[0003] 如今主要采用的视频烟雾检测方法是基于
颜色特征、
边缘检测、LBP算子、
小波变换等的人工特征提取方法，但这些检测方法均存在一些不可忽略的问题：第一、由于烟雾的形状和颜色多变，这些方法所提取的特征泛化能
力差，从而导致其准确率和检测率较低，误检率较高，应用场景有限；第二、这些方法往往需要将整幅图像作为输入，计算量大，实时性较差；第三、普通的深度学习分类模型为了得到更好识别效果，通常采用较为复杂的模型结构，从而导致模型参数量较多，
算法计算量大。
发明内容
[0004] 针对
现有技术的以上
缺陷或改进需求，本发明引入了深度学习算法，将特征表示和分类器联合优化，提供了一种利用深度学习分类模型实现烟雾检测的方法和系统，在训练分类模型时，加入本发明中提出的得分聚类损失函数，其目的在于，用轻量级的深度学习分类模型，达到较高的准确率和检测率，降低误检率，并可以实现实时检测的效果。
[0005] 为实现上述目的，按照本发明的一个方面，提供了一种利用深度学习分类模型实现烟雾检测的方法，包括以下步骤：
[0006] (1)从
视频流中获取一
帧待去烟雾图像I；
[0007] (2)利用高斯混合模型对步骤(1)中得到的待去烟雾图像I进行处理，以得到该待去烟雾图像I的运动区域Region1；
[0008] (3)利用暗通道去雾算法对图像I进行处理，以得到无烟图像模型J；
[0009] (4)获取步骤(1)得到的待去烟雾图像I和步骤(3)得到的无烟图像模型J之间的差值图像P；
[0010] (5)对步骤(4)得到的差值图像P进行二值化处理，以得到疑似烟雾区域Region2；
[0011] (6)获取步骤(2)中得到的运动区域Region1和步骤(4)中得到的疑似烟雾区域Region2之间的交集区域；
[0012] (7)将步骤(6)中得到的交集区域输入训练好的深度学习分类模型中，以得到最终的烟雾识别结果，并根据该烟雾识别结果在待去烟雾图像I中标注烟雾区域。
[0013] 优选地，步骤(3)具体是采用以下公式：
[0014]
[0015] 其中x表示图像I中的任何一个
像素点，A表示总体大气光强，t(x)表示图像I的透射率。
[0016] 优选地，透射率 其中c表示图像I中的RGB颜色通道，Ω(x)表示以RGB颜色通道c中的以像素点x为中心的正方形区域，y表示正方形区域Ω(x)中的像素点，Ic(y)表示RGB通道c中的图像，Ac表示RGB颜色通道中的总体大气光强。
[0017] 优选地，步骤(5)中的二值化处理过程具体是采用以下公式：
[0018]
[0019] 其中T表示二值化
阈值，其取值范围是25到35之间，优选为30。
[0020] 优选地，深度学习分类模型是通过以下过程生成的：
[0021] (a)从烟雾数据集中获取多个烟雾图像和非烟雾图像；
[0022] (b)利用
卷积神经网络对步骤(a)中获取的所有图像中随机选择的m个图像进行训练，以得到卷积神经网络在烟雾测试集上的识别率，其中m的取值是200至500；
[0023] (c)针对步骤(a)中获取的所有图像，不断重复上述步骤(b)，直到卷积神经网络在烟雾测试集上的识别率达到最大值为止，从而得到训练好的卷积神经网络。
[0024] 优选地，卷积神经网络采用十层结构，第一层是
输入层，其输入为32*32*3的像素矩阵，第二层是第一卷积层，其接收来自输入层的32*32*3的像素矩阵，其中卷积核为3*3*32，该层使用全0填充，步长为1，该层输出矩阵大小为32*32*32，第三层是第一
池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为16*16*32，第四层是第二卷积层，卷积核尺寸为3*3*64，步长为1，该层使用全0填充，输出的矩阵为16*16*64，第五层为第二池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为8*8*64，第六层是第三卷积层，卷积核尺寸为3*3*128，步长为1，该层使用全0填充，输出的矩阵为8*8*128，第七层为第三池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为4*4*128，第八层为全连接层，其输出
节点个数为512，用于对第三池化层的输出特征做一次非线性转换，以得到
特征向量，第九层为线性加权层，
输出节点个数为2个，用于对全连接层的输出做线性加权，以得到类别得分向量Si，第十层为损失函数层。
[0025] 优选地，损失函数层所使用的损失函数包括交叉熵损失函数和得分聚类损失函数。
[0026] 优选地，得分聚类损失函数LSC表示为：
[0027]
[0028] 其中Si表示类别得分向量，其维度和类别个数相同，每一维代表一个类别的得分，SCyi表示yi类别的得分中心向量，其维度和类别得分向量Si相同，第一次训练时初始化为全0向量，在每次训练的过程中被更新。
[0029] 按照本发明的另一方面，提供了一种利用深度学习分类模型实现烟雾检测的系统，包括：
[0030] 第一模
块，用于从视频流中获取一帧待去烟雾图像I；
[0031] 第二模块，用于利用高斯混合模型对第一模块得到的待去烟雾图像I进行处理，以得到该待去烟雾图像I的运动区域Region1；
[0032] 第三模块，用于利用暗通道去雾算法对图像I进行处理，以得到无烟图像模型J；
[0033] 第四模块，用于获取第一模块得到的待去烟雾图像I和第三模块得到的无烟图像模型J之间的差值图像P；
[0034] 第五模块，用于对第四模块得到的差值图像P进行二值化处理，以得到疑似烟雾区域Region2；
[0035] 第六模块，用于获取第二模块得到的运动区域Region1和第四模块得到的疑似烟雾区域Region2之间的交集区域；
[0036] 第七模块，用于将第六模块得到的交集区域输入训练好的深度学习分类模型中，以得到最终的烟雾识别结果，并根据该烟雾识别结果在待去烟雾图像I中标注烟雾区域。
[0037] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
[0038] 1、由于本发明采用了步骤(2)到步骤(6)，对烟雾区域做了初步的筛选，只需将疑似烟雾区域输入卷积神经网络，而不是对整幅图像，从而解决了现有视频烟雾检测方法中存在的计算量大，实时性较差的技术问题，同时上述过程也能够排除一部分干扰目标，降低误检率。
[0039] 2、由于本发明采用了步骤(5)，可以自动学习出鲁棒的烟雾图像特征，因此能够解决现有视频烟雾检测方法中存在的人工提取特征泛化能力差，导致其准确率和检测率较低、误检率较高、应用场景有限的技术问题。
[0040] 3、由于本发明在卷积神经网络模型中加入了得分聚类损失函数，从而能够在不改变模型结构的情况下，进一步提高模型准确率和检测率，并降低误检率。
[0041] 4、由于本发明在卷积神经网络模型加入了得分聚类损失函数，可以简化模型，用较为简单的网络结构就可以达到复杂网络的识别效果，从而降低了模型的参数量，并进一步提高了算法效率，实现了实时检测的效果。
[0042] 5、在步骤(5)中，随着卷积神经网络模型识别效果的提高，加大了卷积神经网络模型中全连接层提取的特征向量的类间间距，从而可以学习出更好的烟雾图像特征。
附图说明
[0043] 图1是本发明利用深度学习分类模型实现烟雾检测的方法的
流程图。
[0044] 图2示出本发明方法的步骤(1)中获取的待去烟雾图像；
[0045] 图3示出本发明方法的步骤(4)中得到的差值图像；
[0046] 图4示出本发明方法的步骤(5)中得到的疑似烟雾区域；
[0047] 图5示出本发明方法的步骤(7)中标注的烟雾区域；
[0048] 图6是本发明方法中使用的卷积神经网络的示意
框图；
[0049] 图7(a)和图7(b)分别是使用本发明得分聚类损失函数前后的得分分布效果图；
[0050] 图8(a)和图8(b)分别是使用本发明得分聚类损失函数前后提取到的特征分布效果图。
具体实施方式
[0051] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及
实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0052] 如图1所示，本发明利用深度学习分类模型实现烟雾检测的方法包括以下步骤：
[0053] (1)从视频流中获取一帧待去烟雾图像I，如图2所示；
[0054] (2)利用高斯混合模型对步骤(1)中得到的待去烟雾图像I进行处理，以得到该待去烟雾图像I的运动区域Region1；
[0055] (3)利用暗通道去雾算法(Single Image Haze Removal Using Dark Channel Prior)对图像I进行处理，以得到无烟图像模型J；
[0056] 具体而言，本步骤具体是采用以下的公式：
[0057]
[0058] 其中x表示图像I里面的任何一个像素点，A表示总体大气光强，t(x)表示图像I的透射率，且有 其中c表示图像I中的RGB颜色通道，Ω(x)表示以RGB颜色通道c中的以像素点x为中心的正方形区域，y表示正方形区域Ω(x)中的像素点，Ic(y)表示RGB通道c中的图像，Ac表示RGB颜色通道中的总体大气光强。
[0059] (4)获取步骤(1)得到的待去烟雾图像I和步骤(3)得到的无烟图像模型J之间的差值图像P(如图3所示)；
[0060] 具体而言，本步骤中获取差值图像是采用以下公式：
[0061] P(x)＝|I(x)-J(x)|
[0062] (5)对步骤(4)得到的差值图像P进行二值化处理，以得到疑似烟雾区域Region2(如图4所示)；
[0063] 二值化处理具体是采用以下公式：
[0064]
[0065] 在上式中，T表示二值化阈值，其取值范围是25到35之间，优选为30。
[0066] (6)获取步骤(2)中得到的运动区域Region1和步骤(4)中得到的疑似烟雾区域Region2之间的交集区域，
[0067] (7)将步骤(6)中得到的交集区域输入训练好的深度学习分类模型中，以得到最终的烟雾识别结果，并根据该烟雾识别结果在待去烟雾图像I中标注烟雾区域。
[0068] 经过本步骤处理后，最终标注的烟雾区域效果如图5的方框中所示。
[0069] 本发明中的深度学习分类模型是通过以下过程生成的：从烟雾数据集(其是通过爬虫的方式从网络上获取到的)中获取多个烟雾图像和非烟雾图像，利用卷积神经网络对这多个图像中随机选择的m个(其中m的取值是200至500)图像进行训练，并不断重复本过程，直到卷积神经网络在烟雾测试集上的识别率达到最好为止，从而得到训练好的卷积神经网络。
[0070] 如图6所示，本发明的卷积神经网络包括输入层、三个卷积层、三个池化层、一个全连接层、一个线性加权层、以及一个损失函数层。
[0071] 第一层是输入层，输入为32*32*3的像素矩阵。
[0072] 第二层是第一卷积层，其接收来自输入层的32*32*3的像素矩阵，其中卷积核为3*3*32，该层使用全0填充，步长为1，该层输出矩阵大小为32*32*32；
[0073] 第三层是第一池化层，池化窗口尺寸为2*2，长和宽的步长均为2，该层输出矩阵为16*16*32；
[0074] 第四层是第二卷积层，卷积核尺寸为3*3*64，步长为1，该层使用全0填充，输出的矩阵为16*16*64；
[0075] 第五层为第二池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为8*8*64；
[0076] 第六层是第三卷积层，卷积核尺寸为3*3*128，步长为1，该层使用全0填充，输出的矩阵为8*8**128；
[0077] 第七层为第三池化层，池化窗口尺寸为2*2，步长为2，输出的矩阵大小为4*4*128；
[0078] 第八层为全连接层，其输出节点个数为512，用于对第三池化层的输出特征做一次非线性转换，以得到特征向量；
[0079] 第九层为线性加权层，输出节点个数为2个，用于对全连接层的输出做线性加权，以得到类别得分向量Si；
[0080] 第十层为损失函数层。
[0081] 其中，上述卷积神经网络的损失函数层所使用的损失函数包括交叉熵损失函数和得分聚类损失函数。
[0082] 具体而言，本发明的得分聚类损失函数LSC表示为：
[0083]
[0084] 其中Si表示类别得分向量(其维度和类别个数相同，每一维代表一个类别的得分)，SCyi表示yi类别的得分中心向量(其维度和类别得分向量Si相同，第一次训练时初始化为全0向量，在每次训练的过程中更新它)。
[0085] 测试结果和比较
[0086] 这里通过烟雾数据集上的测试来说明本发明的实际效果。
[0087] (1)得分分布效果对比
[0088] 如图7(a)和(b)所示，其中“x”代表烟雾图像，标签是[1,0]，应位于二维坐标右下
角，“○”代表非烟雾样本，标签是[0,1]，应位于二维坐标左上角。图7(a)为未加得分聚类损失函数的得分分布，部分非烟雾图像被分类错误，导致误检率较高，图7(b)是加上得分聚类损失函数后的得分分布，可以看到在图7(a)中被分类错误的非烟雾图像在得分聚类损失函数的作用下，聚类到左上角，从而使其分类正确。
[0089] (2)特征分布效果对比
[0090] 模型识别效果的提升同时通过梯度反向传播到第八层(即全连接层)输出的特征向量，从而改善了提取的特征的效果，加大了类间间距。图8(a)为未加得分聚类损失函数的特征分布，可以看到类间间距较小，很多图像被分类错误，图8(b)为加上了得分聚类损失函数后的特征分布，类间间距较大，极少数部分被分类错误。
[0091] (3)准确率、检测率、误检率、参数量与经典卷积分类模型的对比
[0092] 如下表1所示，其示出了本发明方法与现有的AlexNet、VGG16经典分类模型、以及IEEE论文中公开的DNCNN分类模型在准确率、检测率、误检率、参数量这些性能方面的对比：
[0093]
[0094] 表1
[0095] 通过上表1可以看出：
[0096] (a)在未
修改模型的情况下，本发明的分类模型的三个指标都比未加得分聚类损失的效果提高很多；
[0097] (b)在与AlexNet以及VGG16经典分类模型的对比上，本发明的分类模型在准确率以及误检率的效果都是最好的；
[0098] (c)与DNCNN分类模型结果相比，本发明的分类模型三项指标都要比它效果好；
[0099] (d)本发明的分类模型参数量是最少的，参数量少就意味着算法效率的提高，在相同的时间内，可以处理更多的视频数据。
[0100] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
