技术领域
[0001] 本
发明属于
计算机视觉领域。特别涉及基于卷积神经网络的多特征层进行多尺度多路径语义信息提取和融合的遥感图像云雪检测方法。
背景技术
[0002] 遥感图像通常用于土地监测、目标检测和地理测绘等，图像中云和雪的分布对遥感图像的
光谱有较大影响。提高遥感图像中云雪的检测测
精度已成为许多遥感图像应用的目标。遥感图像中存在的云和雪会对遥感应用产生不利影响，如大气校正、目标识别、目标检测等。
[0003] 因此，提高光学卫星图像遥感图像云雪检测精度具有十分重要的意义。遥感图像中的遥感图像云雪检测是一个多分类问题，
人工神经网络(ANN)和
支持向量机(SVM)等
机器学习方法已应用于遥感图像分类研究。在不利用高级功能的情况下，这些方法使用手动设计的功能和二进制分类器。今天，卷积神经网络(CNN)已成为研究的重点。卷积神经网络(CNN)已应用于分类检测、目标识别和目标检测，卷积神经网络(CNN)是一种典型的
深度学习算法，CNN
框架在
语音识别和图像语义检测领域的广泛应用已变得十分重要。因为它能够准确地从大量的输入图像中提取语义信息。许多用于云和雪检测的深层卷积神经网络(CNN)都是基于
像素的预测。
发明内容
[0004] 为克服
现有技术的不足，本发明旨在实现一种设计合理且识别准确率高的基于卷积神经网络的多卷积层进行多尺度多路径特征融合的遥感图像云雪检测方法。对图像进行像素级别的准确分类。为此，本发明采取的技术方案是，基于卷积神经网络的遥感图像云雪检测方法，步骤如下：
[0005] 网络的编码部分为：对输入图像信息进行特征编码；
[0006] 网络的解码部分为：将编码结构编码的
基础深度特征经过多尺度融合模
块来提取原始图像
分辨率信息，以生成与原始图像分辨率一致的云雪物体检测结果。
[0007] 综合交叉熵损失和均方误差损失作为损失函数，以综合损失函数目标训练所提出的网络，使用准确率和均交并比mIOU(Mean Intersection over Union)评价网络性能。
[0008] 所述基础深度特征包含全局信息和局部信息并通过对不同卷积层的输出特征进行融合得到。
[0009] 所述网络的编码部分，即对输入图像信息进行特征编码的步骤，具体包含以下步骤：
[0010] (1)将输入
图像处理到统一尺寸为256×256，以具有50层神经元的残差网络ResNet-50结构作为所提出的网络的编码结构部分，根据ResNet-50的5个阶段处理结构，按残差块将其分解为一个预处理单元加4个残差块；
[0011] (2)将统一尺寸后的图像输入到ResNet-50网络结构中，图像经过一系列卷积、批量归一化、
池化、ReLU操作后，每个残差块输出一种特征，每个残差块的输出特征的分辨率依次为：残差块1的为32×32，残差块的2为16×16，残差块的3为16×16，残差块4的为16×16，共计4个局部残差块输出特征。
[0012] 所述网络的编码部分，即用多尺度融合模块对步骤1生成的特征进行融合的过程，具体包含以下步骤：
[0013] (1)将输出特征分辨率为32×32的残差块1输出的特征经过3×3卷积，此卷积的卷积步长为1，得到32×32的特征图，记为特征图1；
[0014] (2)将输出特征分辨率为16×16的残差块2输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为6，得到16×16的特征图，记为特征图2；
[0015] (3)将输出特征分辨率为16×16的残差块3输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为12，得到16×16的特征图，记为特征图3；
[0016] (4)将输出特征分辨率为16×16的残差块4输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为18，得到16×16的特征图，记为特征图4；
[0017] (5)将输出特征分辨率为16×16的残差块4输出的特征经过全局平均池化层再经过3×3的卷积，此卷积的卷积步长为1，得到16×16的特征图，记为特征图5；
[0018] (6)将特征图2、特征图3、特征图4、特征图5、分别经过2倍上
采样，生成特征图2a、特征图3a、特征图4a、特征图5a；
[0019] (7)将特征图1与特征图2a、特征图3a、特征图4a、特征图5a进行级联，得到特征级联图A；
[0020] (8)将特征级联图A经过1×1的卷积，此卷积的卷积步长为1，得到32×32的特征图，记为特征融合图B；
[0021] (9)将特征融合图B经过两倍上采样，生成分辨率为64×64特征融合图C；
[0022] (10)残差块1中的第二个残差单元输出的分辨率为64×64特征图经过1×1的卷积，此卷积的卷积步长为1，得到64×64的特征图，将此特征图与分辨率为64×64特征融合图C级联，得到特征融合图D；
[0023] (11)特征融合图D经过3×3卷积，此卷积的卷积步长为1，得到64×64的特征图，将此特征图经过4倍上采样，生成256×256的检测图。
[0024] 对所提出的网络的训练步骤具体包含以下步骤：
[0025] (1)计算预测检测图与已标注好的检测图的交叉熵损失和均方误差损失，利用反向传播算法更新权重；
[0026] (2)网络训练完成后，使用像素准确率和mIOU(Mean Intersection over Union，均交并比)衡量其预测性能。
[0027] 本发明的特点及有益效果是：
[0028] 本发明设计合理，其充分考虑了局部信息以及全局信息，采用多尺度多卷积层的特征融合方法提高图像的计算检测准确率，以交叉熵损失与均方误差损失的综合为最小化目标损失函数来训练所提出的网络，有效地提高了图像遥感图像云雪检测地准确率。
附图说明：
[0029] 图1是本发明提出的网络整体结构。
[0030] 图2是本发明测试的输入图像。
[0031] 图3是本发明测试的输入图像的云雪标签。
[0032] 图4是本发明的检测结果。
具体实施方式
[0033] 为了减少不确定性和模糊性等外界因素的影响，充分利用图像中的信息，获得更好的特征表示，本发明提出了一种基于卷积神经网络的多卷积层多尺度进行多路径语义信息提取和融合的遥感图像云雪检测方法。本文首先采用采用不同扩张率的扩张卷积提取ResNet-50模型中不同层级的语义特征以增大感受野，本发明对多卷积层进行多尺度多路径进行特征融合从而提高了图像遥感图像云雪检测的性能。
[0034] 本发明技术方案按下列步骤实现：
[0035] 1.对输入图像信息进行特征编码；
[0036] 2.提取基础深度特征经过多尺度融合模块融合，恢复原始图像分辨率信息，并生成检与原始图像分辨率一致的云雪物体检测结果；
[0037] 3.综合交叉熵损失和均方误差损失作为损失函数，以综合损失函数目标训练所提出的网络，使用准确率和mIOU评价网络性能。
[0038] 上述三个步骤的关系是，步骤2对步骤1所得到的编码信息进行处理并生成结果，所述步骤1得到的编码信息为步骤2的基础，步骤1与步骤2为本发明的整体网络结构，步骤3为本发明网络的训练方法。
[0039] 所述步骤1的具体实现方法包含以下步骤：
[0040] (3)将输入图像处理到统一尺寸为256×256，以ResNet-50网络结构作为所提出的网络的编码结构部分，根据ResNet-50的5个阶段处理结构，按残差块将其分解为一个预处理单元加4个残差块。
[0041] (4)将统一尺寸后的图像输入到ResNet-50网络结构中，图像经过一系列卷积、批量归一化、池化、ReLU操作后，每个残差块输出一种特征，每个残差块的输出特征的分辨率依次为：残差块1的为32×32，残差块的2为16×16，残差块的3为16×16，残差块4的为16×16，共计4个局部残差块输出特征。
[0042] 所述步骤2的具体实现方法包含以下步骤：
[0043] (12)将输出特征分辨率为32×32的残差块1输出的特征经过3×3卷积，此卷积的卷积步长为1，得到32×32的特征图，记为特征图1。
[0044] (13)将输出特征分辨率为16×16的残差块2输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为6，得到16×16的特征图，记为特征图2。
[0045] (14)将输出特征分辨率为16×16的残差块3输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为12，得到16×16的特征图，记为特征图3。
[0046] (15)将输出特征分辨率为16×16的残差块4输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为18，得到16×16的特征图，记为特征图4。
[0047] (16)将输出特征分辨率为16×16的残差块4输出的特征经过全局平均池化层再经过3×3的卷积，此卷积的卷积步长为1，得到16×16的特征图，记为特征图5。
[0048] (17)将特征图2、特征图3、特征图4、特征图5、分别经过2倍上采样，生成特征图2a、特征图3a、特征图4a、特征图5a。
[0049] (18)将特征图1与特征图2a、特征图3a、特征图4a、特征图5a进行级联，得到特征级联图A。
[0050] (19)将特征级联图A经过1×1的卷积，此卷积的卷积步长为1，得到32×32的特征图，记为特征融合图B。
[0051] (20)将特征融合图B经过两倍上采样，生成分辨率为64×64特征融合图C。
[0052] (21)残差块1中的第二个残差单元输出的分辨率为64×64特征图经过1×1的卷积，此卷积的卷积步长为1，得到64×64的特征图，将此特征图与分辨率为64×64特征融合图C级联，得到特征融合图D。
[0053] (22)特征融合图D经过3×3卷积，此卷积的卷积步长为1，得到64×64的特征图，将此特征图经过4倍上采样，生成256×256的检测图。
[0054] 所述步骤3的具体实现方法包含以下步骤：
[0055] (3)计算预测检测图与已标注好的检测图的交叉熵损失和均方误差损失，利用反向传播算法更新权重。
[0056] (4)网络训练完成后，使用像素准确率和mIOU(Mean Intersection over Union，均交并比)衡量其预测性能。
[0057] 以下结合附图对本发明
实施例做进一步详述。
[0058] 本发明针对在图像遥感图像云雪检测中如何充分利用全局信息以及局部信息的问题，提出一种利用多路径特征多尺度融合模块进行遥感图像云雪检测。如图1所示，本发明的网络结构，将ResNet-50网络结构中的每一个残差块的输出特征，将多尺度扩张卷积提取特征，经过和上采样层，统一尺寸，再进行级联，经过卷积融合后，与低层次特征再次进行级联，然后对级联的特征进行卷积操作，以及上采样，恢复图像原始分辨率大小，使分类结果更加可信。这种方法相当于在网络中的特征提取端，对不同的特征层进行不同尺度的特征提取，不同尺度的卷积核的感受野不同，这样每条路径得到的特征包含的尺度信息不同，最终得到了一系列从局部到全局的特征。这样的融合结果充分考虑了局部信息以及全局信息。网络的输出是与原图像分辨率大小一致的检测图，使用图像已有的标签计算检测准确率，最后以最小化交叉熵损失和均方误差损失为目标来训练所提出的网络。
[0059] 在本实施例中，一种基于卷积神经网络的遥感图像云雪检测方法包括以下步骤：
[0060] 步骤S1、对输入图像信息进行特征编码，本步骤的具体处理方法如下：
[0061] 步骤S1.1将输入图像处理到统一尺寸为256×256，以ResNet-50网络结构作为预训练的基础卷积神经网络，根据ResNet-50的5个阶段处理结构，按残差块将其分解为一个预处理单元加4个残差块。
[0062] 步骤S1.2将统一尺寸后的图像输入到ResNet-50网络结构中，图像经过一系列卷积、批量归一化、池化、ReLU操作后，每个残差块输出一种特征，每个残差块的输出特征的分辨率依次为：残差块1的为32×32，残差块的2为16×16，残差块的3为16×16，残差块4的为16×16，共计4个局部残差块输出特征。
[0063] 步骤S2、将步骤S1得到的编码信息经过多尺度融合模块，恢复原始图像分辨率信息，并生成与原始图像分辨率一致的云雪物体检测结果。本步骤的具体处理方法如下：
[0064] S2.1将输出特征分辨率为32×32的残差块1输出的特征经过3×3卷积，此卷积的卷积步长为1，得到32×32的特征图，记为特征图1。
[0065] S2.2将输出特征分辨率为16×16的残差块2输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为6，得到16×16的特征图，记为特征图2。
[0066] S2.3将输出特征分辨率为16×16的残差块3输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为12，得到16×16的特征图，记为特征图3。
[0067] S2.4将输出特征分辨率为16×16的残差块4输出的特征经过3×3的扩张卷积，此扩张卷积的卷积步长为1、扩张率为18，得到16×16的特征图，记为特征图4。
[0068] S2.5将输出特征分辨率为16×16的残差块4输出的特征经过全局平均池化层再经过3×3的卷积，此卷积的卷积步长为1，得到16×16的特征图，记为特征图5。
[0069] S2.7将特征图2、特征图3、特征图4、特征图5分别经过2倍上采样，生成特征图2a、特征图3a、特征图4a、特征图5a。
[0070] S2.8将特征图1与特征图2a、特征图3a、特征图4a、特征图5a进行级联，得到特征级联图A。
[0071] S2.9将特征级联图A经过1×1的卷积，此卷积的卷积步长为1，得到32×32的特征图，记为特征融合图B。
[0072] S2.10将特征融合图B经过两倍上采样，生成分辨率为64×64特征融合图C。
[0073] S2.11将残差块1中的第二个残差单元输出的分辨率为64×64特征图经过1×1的卷积，此卷积的卷积步长为1，得到64×64的特征图，将此特征图与分辨率为64×64特征融合图C级联，得到特征融合图D。
[0074] S2.12特征融合图D经过3×3卷积，此卷积的卷积步长为1，得到64×64的特征图，将此特征图经过4倍上采样，生成256×256的检测图。
[0075] 步骤S3、以综合交叉熵损失和均方误差损失函数为目标训练步骤S1和S2提出的网络，使用准确率和mIoU评价网络性能。本步骤的具体处理方法如下：
[0076] 步骤S3.1、计算预测检测图与已标注好的检测图的交叉熵损失和均方误差损失，利用反向传播算法更新权重。
[0077] 步骤S3.2、网络训练完成后，使用准确率和mIOU(Mean Intersection over Union，均交并比)衡量其预测性能。
[0078] 下面按照本发明的方法进行实验，说明本发明的识别效果。
[0079] 测试环境：python2.7(python语言开发环境)；Tensorflow(神经网络算法库)；Ubuntu16.04(
操作系统)系统；NVIDIA GTX 1080Ti GPU(NVIDIA公司开发的图形处理器)[0080] 测试序列：所选数据集是由ZY-3号遥感卫
星云雪图像制作的云雪图像检测的图像数据集,包含21290张卫星遥感图像
[0081] 测试指标：本发明使用像素准确率(Pixel Accuracy)和mIOU为性能评价指标。像素准确率指像素分类准确率。mIoU指平均预测正确的错误像素的交集与并集之比。对当今流行的不同算法计算这些指标数据然后进行结果对比，证明本发明在图像遥感图像云雪检测领域得到较好的结果。
[0082] 测试结果如下：
[0083]
[0084] 通过以上对比数据可以看出，本发明的像素准确率和mIOU与现有算法相比之前方法有明显的提高。
[0085] 需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。
