一种适用于多源异构遥感数据的目标库生成系统
阅读：671发布：2020-05-15
专利汇可以提供一种适用于多源异构遥感数据的目标库生成系统专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种适用于多源异构遥感数据的目标库生成系统，包括：典型目标检索功能模 块 ：采用基于 深度学习 的对象级目标检测方法对标准产品数据进行对象级目标检测，得到对象级目标的标注文件；高级产品生产功能模块：根据对象级目标的标注文件对与其对应的标准产品数据进行 图像处理 操作，得到包含对象级目标的对象级高级产品；样本库生产功能模块：采用基于深度学习的目标级目标检测方法识别对象级高级产品中的目标级目标，得到目标级高级产品。本发明通过对遥感影像的 数据挖掘 和图像处理，实现典型目标检索、高级产品生产以及样本库生产等功能，极大提升了海量遥感数据的典型目标检索速度，并实现了高级产品的自动化生产。，下面是一种适用于多源异构遥感数据的目标库生成系统专利的具体信息内容。
1.一种适用于多源异构遥感数据的目标库生成系统，其特征在于，包括：
典型目标检索功能模块：采用基于深度学习的对象级目标检测方法对标准产品数据进行对象级目标检测，得到对象级目标的标注文件；
高级产品生产功能模块：根据对象级目标的标注文件对与其对应的标准产品数据进行图像处理操作，得到包含对象级目标的对象级高级产品；
样本库生产功能模块：采用基于深度学习的目标级目标检测方法识别对象级高级产品中的目标级目标，得到目标级高级产品。
2.根据权利要求1所述的适用于多源异构遥感数据的目标库生成系统，其特征在于，基于深度学习的对象级目标检测方法包括以下步骤：
S11：构建基于Faster R-CNN算法的目标检测模型，基于Faster R-CNN算法的目标检测模型的构建过程包括以下步骤：
i.读取标准产品数据对应的多光谱遥感影像缩略图；
ii.使用ImageNet模型初始化，独立训练一个区域生成网络；
iii.使用步骤ii中的区域生成网络生成的候选框作为输入，对ImageNet模型初始化，训练一个Fast R-CNN网络，两个网络的每一层参数完全不共享；
iv.使用步骤iii中的Fast R-CNN网络初始化一个新的区域生成网络，将新的区域生成网络、Fast R-CNN网络共享卷积层的学习率设为零，仅更新的区域生成特有的网络层，重新训练完毕后，两个网络实现共享所有公共卷积层；
v.固定共享网络层，加入Fast R-CNN特有网络层，形成统一的网络，继续训练，完成Fast R-CNN特有网络层的精调，得到基于Faster R-CNN算法的目标检测模型；
S12：制作训练样本数据集，利用训练样本数据集对基于Faster R-CNN算法的目标检测模型进行训练，得到训练后的基于Faster R-CNN算法的目标检测模型。
3.根据权利要求1或2所述的适用于多源异构遥感数据的目标库生成系统，其特征在于，
高级产品功能模块根据对象级目标的标注文件和对应的标准产品数据，在标准产品数据对应的多光谱遥感影像和全色遥感影像中确定对象级目标的位置；
高级产品功能模块对对象级目标所在区域的图像进行图像处理操作，生成对象级高级产品。
4.根据权利要求3所述的适用于多源异构遥感数据的目标库生成系统，其特征在于，图像处理操作包括影像正射处理、影像融合处理、拉伸降位处理和影像裁剪处理。
5.根据权利要求2所述的适用于多源异构遥感数据的目标库生成系统，其特征在于，步骤S12中制作训练样本数据集的过程包括以下步骤：
i.搜集包含对象级目标的多光谱遥感影像缩略图作为样本集；
ii.采用标注工具对样本集进行人工标注，人工标注的内容包括对象级目标的位置及其类别；
iii.对样本集进行增量处理，使增量后的样本集中样本数据量增加一倍，增量处理的方法包括对多光谱遥感影像缩略图进行旋转、平移、翻转、对比度变化以及加高斯噪声中的任意一种或者任意几种的结合，对多光谱遥感影像缩略图进行增量处理的同时对对应的标注文件也执行相应的操作。
6.根据权利要求1或2所述的适用于多源异构遥感数据的目标库生成系统，其特征在于，基于深度学习的目标级目标检测方法包括以下步骤：
S21：构建快速目标检测模型网络；
S22：制作训练测试样本数据集，利用训练测试样本数据集对快速目标检测模型网络进行训练和测试，得到测试后的快速目标检测模型网络。
7.根据权利要求6所述的适用于多源异构遥感数据的目标库生成系统，其特征在于，步骤S21中制作训练测试样本数据集的过程包括以下步骤：
i.搜集包含目标级目标的遥感影像作为样本集，遥感影像的像素分辨率为0.7m至
0.9m；
ii.采用标注工具对样本集进行人工标注，人工标注的内容包括目标级目标的位置及其类别；
iii.对样本集进行扩充处理，将样本集中样本数据量扩充至预设值，并将样本集按照预设比例划分为用于对快速目标检测模型网络进行训练的训练数据集和用于测试训练后的快速目标检测模型网络的测试数据集集，扩充处理的方法包括对遥感影像进行旋转、缩放以及亮度调节中的任意一种或者任意几种的结合。
8.根据权利要求1或2所述的适用于多源异构遥感数据的目标库生成系统，其特征在于，
对象级目标为机场或者港口，目标级目标为飞机或者舰船。
一种适用于多源异构遥感数据的目标库生成系统
技术领域
背景技术
[0002] 随着遥感对地观测技术的发展，多种不同遥感器获取的可见光、红外、微波及其他电磁波的影像数据与日俱增，这些数据在空间、时间、光谱、方向和极化等方面对于同一地区构成多源异构遥感数据。目前针对多源异构遥感数据的目标检索速度低，不能实现对多源异构遥感数据的有效挖掘，限制了多源异构遥感数据在工业、农业、交通、水利、军事等领域的应用。
发明内容
[0003] 基于此，有必要针对现有技术中针对多源异构遥感数据的目标检索速度低，不能有效挖掘遥感数据的问题，提供一种适用于多源异构遥感数据的目标库生成系统。
[0004] 为解决上述问题，本发明采取如下的技术方案：
[0005] 一种适用于多源异构遥感数据的目标库生成系统，包括：
[0007] 高级产品生产功能模块：根据对象级目标的标注文件对与其对应的标准产品数据进行图像处理操作，得到包含对象级目标的对象级高级产品；
[0008] 样本库生产功能模块：采用基于深度学习的目标级目标检测方法识别对象级高级产品中的目标级目标，得到目标级高级产品。
[0009] 与现有技术相比，本发明具有以下有益效果：
[0010] 本发明所提出的一种适用于多源异构遥感数据的目标库生成系统，通过对遥感影像的数据挖掘和图像处理，实现典型目标检索、高级产品生产以及样本库生产等功能，一方面，本发明基于深度学习的方法进行数据挖掘，极大提升了海量遥感数据的典型目标检索速度，并实现了高级产品的自动化生产；另一方面，本发明可以实现针对特定用户需求进行数据定制，目标库生成系统所生成的高级产品具有行业市场价值、军事情报价值和科研价值。附图说明
[0011] 图1为本发明适用于多源异构遥感数据的目标库生成系统的组成示意图；
[0012] 图2为本发明适用于多源异构遥感数据的目标库生成系统中典型目标检索功能模块的任务流程图；
[0013] 图3为本发明适用于多源异构遥感数据的目标库生成系统中高级产品生产功能模块的任务流程图；
[0014] 图4为本发明适用于多源异构遥感数据的目标库生成系统中样本库生产功能模块的任务流程图。
具体实施方式
[0015] 在本发明中，首先，用户根据特定需求从标准产品数据库中确定标准产品数据，其中，标准产品数据库是指包含海量多源异构高分辨率遥感影像标准产品的数据库；标准产品数据是指，全色遥感影像以及多光谱遥感影像各自的栅格、矢量数据及其辅助文件的集合。
[0016] 而后，以标准产品数据和待挖掘的典型目标信息为输入，目标库生成系统通过相关的功能模块，能够实现典型目标检索，以及遥感数据高级产品的自动化生产，并获得对象级高级产品和目标级高级产品。其中，对象级高级产品是指，包含例如机场、港口等具有特殊意义的、用户感兴趣的行业及军事地物，区域范围在5KM×5KM至10KM×10KM之间的遥感影像信息产品；目标级高级产品是指，为进行特定目标(例如飞机、舰船等)的精确识别而提供的遥感影像产品库，影像区域范围约为400m×400m，目标级高级产品包括遥感影像文件及其对应的目标标注信息文件。
[0017] 在其中一个实施例中，本发明公开一种适用于多源异构遥感数据的目标库生成系统，该目标库生成系统主要包含3个功能模块：典型目标检索功能模块，高级产品生产功能模块，以及样本库生产功能模块。其中，典型目标检索功能模块主要采用基于深度学习的对象级目标检测方法，实现从标准产品数据中挖掘符合用户需求的对象级目标(例如机场、港口等)，得到对象级目标的标注文件；高级产品生产功能模块主要基于典型目标检索功能模块的对象级目标检测结果即对象级目标的标注文件，根据标注文件中目标位置对对应的标准产品数据进行剪裁以及一系列的图像处理操作，生成包含对象级目标的对象级高级产品，该过程实现自动化生产；样本库生产功能模块基于高级产品生产功能模块生成的对象级高级产品，采用基于深度学习的目标级目标检测方法识别对象级高级产品中的目标级目标，实现目标级目标(例如飞机、舰船等)检测功能，生成目标级高级产品。适用于多源异构遥感数据的目标库生成系统的组成如图1所示。
[0018] 接下来针对遥感影像目标库生成系统的各功能模块，详细介绍本发明实现的技术方案。
[0019] 1.典型目标检索功能模块
[0020] ·任务流程
[0021] 典型目标检索功能模块的任务流程如图2所示。标准产品数据经过基于深度学习的对象级目标检测方法进行对象级目标检测后，得到对象级目标的标注文件，标注文件用于后续的高级产品生产；同时，对象级目标检测的检测结果实现可视化，并支持人工修正，判断检测结果是否需要人工修正，若是，则人工调整边界并进行漏检和误检修正，然后生成标注文件；若否，则直接生成标注文件；标注文件用于后续的高级产品自动化生产。
[0022] ·输入输出
[0023] 典型目标检索功能模块的输入：标准产品数据对应的多光谱遥感影像缩略图文件；
[0024] 典型目标检索功能模块的输出：对象级目标的标注文件。
[0025] ·技术路线
[0026] 典型目标检索功能模块的主要功能通过基于深度学习的对象级目标检测方法来实现。对象级目标检测是指，在给定的多光谱遥感影像缩略图中检测出对象级目标(例如机场、港口等)，通过矩形框标定其位置，给出目标类别、置信概率，并将目标检测信息保存为标注文件。
[0027] 针对高分辨率遥感影像，敏感目标的信息提取技术通常采用传统的机器学习目标检测方法，分为三个阶段：在给定影像中选择候选区域、对候选区域提取特征、使用分类器进行分类。由于感兴趣目标可能出现在影像中的任意位置，且感兴趣目标的大小、长宽比例也无法确定，所以传统方法最初采用滑动窗口的策略以设置不同尺度和长宽比对整幅影像进行遍历，这种穷举的策略虽然包含了感兴趣目标的所有可能出现位置，但冗余窗口过多、时间复杂度过高的缺点也是显而易见，严重影响后续特征提取和目标分类的速度和准确度。由于感兴趣目标的形态多样性、光照变化多样性、背景多样性等因素使得设计一个强鲁棒性的特征并不容易，而特征提取的质量好坏直接影响到分类的准确性。此外，随着高分辨率遥感影像分辨率的提升和数据量的爆发式增长，传统遥感信息提取方法难以达到任务的准确性和实时性要求。
[0030] S12：制作训练样本数据集，利用训练样本数据集对基于Faster R-CNN算法的目标检测模型进行训练，得到训练后的基于Faster R-CNN算法的目标检测模型。
[0031] 1)Faster R-CNN算法基本原理
[0032] Fast R-CNN算法克服了R-CNN算法提取卷积特征时冗余操作的缺点，将目标检测的特征提取，分类和边框回归统一到了一个框架中。然而，目标候选区域提取步骤仍然独立于整个神经网络单独存在，Fast R-CNN算法和R-CNN算法中使用的目标候选区提取方法选择性搜索耗时相对较长，且难以融入GPU运算，于是目标候选区提取成为限制检测速度的一个新的瓶颈。
[0033] 为了解决这一问题，Shaoqing Ren等人提出了Faster R-CNN算法，该算法中引入了一个新的概念——区域生成网络来进行目标候选区的提取。从某种意义上讲，Faster R-CNN算法可以看作是由生成目标候选区的区域生成网络(Region Proposal Networks,RPN)和利用这些候选区的Fast R-CNN检测器组成的，这样整个目标候选区域提取、深度特征提取、目标识别和检测过程都融入在一个深度神经网络模型中。这样所有过程都可以在GPU中运行，从而大大提高了整个检测速度却不降低检测精度。
[0034] 与Fast R-CNN算法和R-CNN算法不同的是，Faster R-CNN模型只需要输入一张图片，以及图片中目标的类别和对应的边界框类别，随后通过卷积神经网络模型对图像做特征提取，然后将输出的特征用区域生成网络做候选区域的预测，以及用预测到的候选区域边框对特征图做如同Fast R-CNN算法中感兴趣区(RoI)的操作，并达到目标的识别和边界框回归。其中区域生成网络是一个全卷积神经网络，其输入的前一层为任意大小的特征图，输出为一系列的矩形目标候选区。为了生成候选区域，一个小型网络在共享卷积网络的最后一层卷积层的输出特征图上进行了滑窗选择，该网络的输入为特征图的一个n×n的窗口。对于每个窗口，同时预测k个目标候选区，这k个候选区都与这个窗口存在关联，称为锚点(anchors)。每个锚点都有着对应的尺度和比例。卷积特征图中的每一个点都是一个锚点中心，有着k个相对应的锚点。对于一张w×h大小的卷积特征图，存在w×h个锚点。每个窗口被映射为一个低维的向量，该特征向量随即被传送到两个子网络中：边框回归网络和边框分类网络。边框分类网络输出的是每个锚点属于目标或者背景的概率，对于每个窗口，有2k个输出，即将256维向量映射为2k维向量；而边框回归网络输出的是每个锚点的平移缩放的值，对每个窗口，有4k个输出。
[0035] 区域生成网络的训练过程是端到端的，使用的优化方法是反向传播和随机梯度下降，损失函数是分类误差和回归误差的联合损失：
[0036]
[0037] 其中，i表示第i个锚点，pi*＝1表示第i个锚点为正样本，ti*表示候选区边框与真实目标边框之间的偏差，pi表示第i个锚点的类别概率，ti表示第i个锚点的边框预测坐标，Ncls表示训练时批量样本数量，Lcls表示每个目标候选区的每一类别概率输出，Nreg表示训练时批量样本中锚点总数，Lreg表示每个目标候选区的边界回归值，λ表示平衡Lcls与Lreg的权重系数。在训练时，正样本为与任意的真实边框的IoU大于0.7的候选区；负样本为与所有的真实边界的IoU小于0.3的候选区。
[0038] 通过区域生成网络得到候选区后，将得到的区域作用于深度残差网络的特征图，进行与FastR-CNN算法类似的感兴趣区池化(RoIPooling)操作，提取对应区域的特征，并用这些特征去做目标类别和边界框的预测。其中分类层输出的是每个感兴趣区在k+1个类别上的概率分布p＝(p0,…,pk)。边界回归层输出的是边界回归的参数， 其中k表示类别。这两个输出层是通过一个联合损失函数来训练的：
[0039] L(p，u，tu，v)＝Lcls(p，u)+λ[u≥1]·Lloc(tu，v) (2)
[0040] 其中，Lcls(p，u)＝-log(pu)是真实类别u的对数损失。而回归损失Lloc的定义基于两组参数：类别u的真实边框v＝(vx,vy,vw,vh)，类别u的预测边框 详细公式如下：
[0041]
[0042]
[0043]
[0044]
[0045] 其中，(Gx,Gy,Gw,Gh)表示真实目标的中心坐标、边框宽和边框高，(Px,Py,Pw,Ph)表示候选区域的中心坐标、区域的宽和高。对于边框回归层，定义的损失为：
[0046]
[0047] 其中：
[0048]
[0049] 2)基于Faster R-CNN算法的目标检测模型构建
[0050] 基于Faster R-CNN算法的目标检测模型的构建过程具体包括以下步骤：
[0051] i.读取标准产品数据对应的多光谱遥感影像缩略图；
[0052] ii.使用ImageNet模型初始化，独立训练一个区域生成网络；
[0053] iii.使用步骤ii中的区域生成网络生成的候选框作为输入，对ImageNet模型初始化，训练一个Fast R-CNN网络，并且两个网络的每一层参数完全不共享；
[0054] iv.使用步骤iii中的Fast R-CNN网络初始化一个新的区域生成网络，将新的区域生成网络、Fast R-CNN网络共享卷积层的学习率设为零，仅更新的区域生成特有的网络层，重新训练完毕后，两个网络实现共享所有公共卷积层；
[0055] v.固定共享网络层，加入Fast R-CNN特有网络层，形成统一的网络，继续训练，完成Fast R-CNN特有网络层的精调，得到基于Faster R-CNN算法的目标检测模型。
[0056] 在得到基于Faster R-CNN算法的目标检测模型后，还可以包括以下步骤：
[0057] vi.基于训练好的目标检测模型参数，对感兴趣目标(例如飞机、油罐、建筑等)进行全自动目标检测；
[0058] vii.使用准确率、召回率、总体精度等评价指标对基于Faster R-CNN算法的目标检测模型的检测性能进行评价。
[0059] 3)基于Faster R-CNN的目标检测模型训练
[0060] a)训练样本数据集制作
[0061] i.搜集包含对象级目标(例如机场、港口等)的多光谱遥感影像缩略图作为样本集，样本集中样本数据量约为1500景/类目标；
[0062] ii.采用标注工具对样本集进行人工标注，人工标注的内容包括对象级目标位置及其类别；
[0063] iii.对样本集进行增量处理，增量处理的方法包括对多光谱遥感影像缩略图进行旋转、平移、翻转、对比度变化以及加高斯噪声中的任意一种或者任意几种的结合，对多光谱遥感影像缩略图进行增量处理的同时对对应的标注文件也执行相应的操作，使增量后的样本集中样本数据量增加一倍，例如使增量后的样本数据量约为3000景/类目标。
[0064] b)目标检测模型训练
[0065] 训练样本数据集制作完成后，利用训练样本数据集对基于Faster R-CNN算法的目标检测模型进行训练，得到训练后的基于Faster R-CNN算法的目标检测模型，训练过程具体包括以下步骤：
[0066] i.选用Inception-ResNet-v2网络为特征提取网络模型；
[0067] ii.通过TensorFlow深度学习框架搭建Faster R-CNN模型训练网络；
[0068] iii.将制作好的训练样本数据集在网络上进行训练，得到训练后的基于Faster R-CNN算法的目标检测模型。
[0069] 2.高级产品生产功能模块
[0070] ·任务流程
[0071] 高级产品生产功能模块的任务流程如图3所示。标准产品数据(多光谱和全色遥感影像数据及其辅助文件)以及典型目标检索功能模块得到的对象级目标的标注文件共同输入该模块，经过一系列图像处理操作，得到包含对象级目标的对象级高级产品。
[0072] ·输入输出
[0073] 高级产品生产功能模块的输入：标准产品数据及其对应的对象级目标的标注文件；
[0074] 高级产品生产功能模块的输出：对象级高级产品。
[0075] ·技术路线
[0076] 高级产品功能模块根据标注产品数据对应的多光谱遥感影像缩略图及其对应的对象级目标的标注文件，在标注产品数据对应的多光谱遥感影像以及全色遥感影像中确定对象级目标的位置，进而对对象级目标所在区域的图像进行图像处理操作，图像处理操作包括影像正射处理、全色锐化、全色多光谱配准、AGSFIM(自适应高斯滤波)影像融合处理、拉伸降位处理、MSCANN色彩增强与影像裁剪处理，生成对象级高级产品。
[0077] 3.样本库生产功能模块
[0078] ·任务流程
[0079] 样本库生产功能模块的任务流程如图4所示。样本库生产功能模块采用基于深度学习的目标级目标检测方法识别对象级高级产品中的特定目标(即目标级目标)，识别检测完成后将遥感图像裁剪至规定尺寸，并生成目标标注信息文件；目标级目标检测的检测结果实现可视化，并支持人工修正，判断检测结果是否需要人工修正，若是，则人工调整边界并进行漏检和误检修正，然后将遥感图像裁剪至规定尺寸，最后生成目标标注信息文件；若否，则直接将遥感图像裁剪至规定尺寸，然后生成目标标注信息文件，得到目标级高级产品。
[0080] ·输入输出
[0081] 样本库生产功能模块的输入：对象级高级产品；
[0082] 样本库生产功能模块的输出：目标级高级产品(包含目标标注信息文件)。
[0083] ·技术路线
[0084] 样本库生产功能模块的主要功能通过基于深度学习的目标级目标检测方法实现。目标级目标检测是指，在输入的对象级高级产品中找到目标级目标(例如飞机、舰船等)，通过矩形框标定其位置，给出目标类别、置信概率，并将目标检测信息保存为目标标注信息文件。
[0085] 基于深度学习的目标级目标检测方法包括以下步骤：
[0086] S21：构建快速目标检测模型网络；
[0087] S22：制作训练测试样本数据集，利用训练测试样本数据集对快速目标检测模型网络进行训练和测试，得到测试后的快速目标检测模型网络。
[0088] 样本库生产功能模块利用改进的YOLOv2算法，提出了一种快速目标检测模型网络(US-Net)，在训练数据集上进行模型训练，实现目标级目标检测任务。
[0089] 1)YOLO算法基本原理
[0090] 对于人类来说观察一张图片，检测并识别出图像中的目标是非常快速，准确的，而且不需要反复观察一张图片。因此Joseph Redmon等人提出了YOLO(you only look once)算法，这种算法对于基于区域建议的算法来说，是一种新的目标检测与识别框架。他们将目标检测与识别当作一种回归问题，通过回归的方式来检测目标的位置以及识别目标的类别。而且回归的方式只需要用单一的网络对整张图片做一次评估就可以得到目标边界框和类别。这个算法是一个端对端的模型，因此这个算法可以说只要观测图片一次就能检测和识别目标。
[0091] 在YOLO算法和YOLOv2算法网络结构中，将检测机制更多的关注于较高的卷积层中。与YOLO算法相比，YOLOv2算法通过减少堆叠层来简化网络的中间层，检测效率更高。因此，本发明对YOLOv2算法网络结构进行适当改进，提出一种快速目标检测模型US-Net，实现对遥感视频中目标级目标的检测。US-Net相比于YOLOv2稍大，但准确率更高。
[0092] YOLO算法较传统方法有如下几个优点：
[0094] ii.YOLO算法每次能够直接检测和识别到整张图的所有目标，每次能够处理整张图，这样识别目标时相当于加入了目标所在的周围环境的信息；
[0095] iii.YOLO算法能够学习到目标的一种概括性的表示，鲁棒性较强。
[0096] YOLO算法也有如下几个缺点：
[0097] i.定位精度差，该算法的定位精度没有基于区域建议的算法高，如Faster R-CNN，这是由于该算法只是简单地对图像做回归导致的；
[0098] ii.对于一些小目标或者目标之间位置很接近的情况下检测效果不好，这也是因为该算法只是对固定大小、固定位置的图像块做回归引起的。
[0099] YOLO算法使用单个神经网络直接预测边界框和类别概率，它将输入图像划分为N×N的网格，每个网格单元预测K个包围框和其置信度以及C种类别的概率。
[0100] 整个YOLO算法可以分为以下3步：
[0101] i.将整张图片等分成S×S个格子；
[0102] ii.将整张图片送入深度神经网络，预测每一个格子是否存在目标、目标的边界框、目标的类别；
[0103] iii.将预测的边界框做非最大抑制筛选出最好的边界框，从而得到最好的结果。
[0104] 训练时每次运行整个模型需要用到影像以及影像中目标的类别 和目标边界框坐标 其中 表示真实目标的中心位置， 表示真实目标边界框的宽和高。整个系统在处理检测识别任务时，首先，将整张图片划分成S×S个格子，这样划分图像比较简单而且能够确保格子中可能存在目标。这比基于区域建议的算法动辄判断几百上千的区域要简单快捷，提高了整个过程的效率。最后对整张图片目标位置类别的预测可以用一个S×S×(B×5+C)的张量来表示，其中B表示图像中每个格子要预测的目标边界框的数量，这里的5表示目标边界框(x,y,w,h)和这个格子对于目标的置信度分值Conf，共5个参数C表示所用数据集中目标的类别数量。目标置信度分数Conf用来表示图像中格子预测的边框是否包含目标，以及预测的边界框是否准确，定义如下：
[0105]
[0106] 其中，P(Classi|Object)表示有目标Object的情况下，目标属于第i类Classi的概率，P(Object)表示边界框是否有目标， 表示预测的目标边框和真实的目标框之间的交集与并集的比值，这个参数将用于在测试阶段评价筛选出来的边框是否有效。
[0107] 然后，设计深度神经网络来提升图像特征，并预测目标类别和边界框。网络结构基于GoogLeNet改进，整个网络包含了24个CNN层，2个全连接层，与GoogleNet不同的是：这里在用3×3卷积核得到的特征图后面用一个1×1的卷积操作来减少特征图的数量。3×3×1024→1×1×512，这样可以减少计算的中间参数，减少模型的规模，从而加快运算速度。在模型的最后通过一个全连接层去预测各个图像块对应的目标类别和边界框，这样每一个图像块都用到了这个图片全部的特征，对于每个目标来说都考虑到了它存在的周围环境信息，损失函数如下：
[0108]
[0109] 参数λcoord用来增强边界框在损失计算中的重要性，假设λcoord＝5；参数λnoobj用来减弱非目标区域对目标区域置信度计算的影响，假设λnoobj＝0.5； 表示图像中第i个图像块有目标， 表示第i个图像块的第j个预测框有目标，反之第i个图像块的第j个预测框没有目标为 式(10)中的第一项和第二项是用来预测目标的边界框的，这里用平方根处理边界框宽和高(ω,h)，是因为在宽和高预测时，预测结果对大目标和小目标的影响是相同的，然而真实的情况是(ω,h)变化对大目标的敏感性要差于小目标，可能(ω，h)变化小一点，小目标的边框就无法找到，所以加入这个开方的过程；式(10)中的第三项是用来预测边框置信度分数，第四项是预测非目标的置信度分数，最后一项是用来预测图像中每一个格子所属目标类别。
[0110] YOLOv2算法基于YOLO算法进行了改进，一种非常有效的措施是借鉴了Faster-RCNN网络中的anchor机制，系统使用维度聚类作为anchor框来预测边界框。YOLOv2算法利用这些预设的anchor值去产生候选框，从而提高了预测的精度和定位准确度。网络为每个边界框预测4个坐标，tx，ty，tw，th。如果单元格从图像的左上角偏移(cx，cy)，并且之前的边界框具有宽度和高度Pw，Ph，则预测对应于：
[0111] bx＝σ(tx)+cx
[0112] by＝σ(ty)+cy
[0113]
[0114]
[0115] 在训练期间，使用平方误差损失的总和。如果对于一些坐标预测的ground truth是t*％，梯度是ground truth减去预测：t*％-t*。通过式(11)可以很容易地计算出这个ground truth。
[0116] 网络使用逻辑回归预测每个边界框的对象分数。如果先前的边界框比之前的任何其他边界框重叠ground truth对象，则该值应该为1。如果以前的边界框不是最好的，但是确实将ground truth对象重叠了一定的阈值(例如0.5)以上，将会忽略这个预测，按照Faster-RCNN算法进行。与Faster-RCNN算法不同，该模块只为每个ground truth对象分配一个边界框。如果先前的边界框未分配给grounding box对象，则不会对坐标或类别预测造成损失。
[0117] 2)基于US-Net网络的优化算法：
[0118] 样本库生产功能模块采用的US-Net网络以Adam算法为梯度下降优化算法，在训练数据的基础上迭代地更新神经网络权重。Adam算法同时拥有AdaGrad算法和RMSProp算法的优点，它不仅像RMSProp算法那样基于一阶矩均值计算学习率参数，因其实现简单，计算高效，占用的计算机内存小而且同时充分利用了梯度的二阶矩均值，具有十分突出的优点，因此利用Adam优化算法进行网络训练。
[0119] 在训练过程中，使用交叉熵损失来进行类别预测。样本库生产功能模块使用3种不同尺度的框来提取这些尺度的特征，以形成金字塔网络。从基本特征提取器中，添加卷积层。其中最后一个卷积层进行边界框、对象和类别预测。网路中每个尺度预测3个框，因此对于4个边界框偏移量，1个目标性预测和1个类别预测，张量为N×N×[3×(4+1+classes)]＝18N2，其中N表示将输入的样本影像划分成格网的数目，classes表示目标检测类别的数量，若检测一种目标则classes＝1。
[0120] 接下来，从之前的两层中取得特征图，并将其上采样2倍。从网络中前端卷积层获取特征图，并将其与上采样特征进行合并。这种方法使我们能够从早期特征映射中的上采样特征和更细粒度的信息中获得更有意义的语义信息。然后，再添加几个卷积层来处理这个组合的特征图，并最终预测出一个相似的张量。
[0121] 再次执行相同的设计来预测最终尺度的方框。因此，我们对第三种尺度的预测将从所有先前的计算中获益，并从早期的网络中获得细粒度的特征。网络仍然使用k-means聚类来确定我们的边界框先验。选择了9个聚类和3个尺度，然后在整个尺度上均匀分割聚类。在构建的训练数据集上，9个聚类分别为：(10×13)；(16×30)；(33×23)；(30×61)；(62×
45)；(59×119)；(116×90)；(156×198)；(373×326)。
45)；(59×119)；(116×90)；(156×198)；(373×326)。
[0122] US-Net使用新的网络来实现特征提取。基于YOLOv2算法，Darknet-19中的网络和残差网络的混合方法。使用连续的3×3和1×1卷积层和一些shotcut连接。新网络相比Darknet-19功能更加强大，且相比于ResNet-101或ResNet-152，具有更高的提取效率，网络整体结构如表1所示。
[0123] 表1US-Net结构表
[0124]
[0125] 3)基于US-Net的目标检测模型训练
[0126] a)训练样本数据集制作
[0128] ii.采用标注工具对样本集进行人工标注，人工标注的内容包括目标级目标位置及其类别；
[0129] iii.对样本集进行扩充处理，例如可以利用旋转、缩放、亮度调节等方法中的任意一种或者任意几种的结合进行数据集扩充，其中旋转角度为45°，缩放因子取值0.85，亮度调节因子取值1.2，将样本集中样本数据量扩充至预设值，例如将样本数据量扩充为8000景/类目标，并将样本集按照预设比例划分为训练数据集和测试数据集，其中训练数据集用于对快速目标检测模型网络进行训练，测试数据集用于测试训练后的快速目标检测模型网络，例如，取6000张作为训练数据集，剩余2000张作为测试数据集。
[0130] b)目标检测模型训练
[0131] 为了提高训练时期的召回率，以便更快地提取目标特征，样本库生产功能模块检测器的检测阈值取为0.5。即在训练时期，当模型检测到目标的可能性高于0.5则进行特征提取和标注，而在测试数据集中进行模型测试时，为了验证模型的准确率，检测器的阈值取为0.75得到预测框。在单一目标种类的训练条件下，经过10万次迭代训练后两种网络的损失都不再发生变化，最终得到稳定的两种训练模型，其中，最终稳定时，US-Net网络的损失值为0.00197，原YOLOv2网络损失值为0.0268。
[0132] 首先，本发明通过总结和引领用户需求，创新性地提出了对象级高级产品和目标级高级产品的概念，支持工业、农业、交通、水利、军事等领域具有特殊意义的、用户感兴趣的地物目标样本库生产。对于行业用户，目标库可提供行业研究分析数据；对于军方用户，目标库可提供军事情报数据；对于高校和科研单位用户，目标库可提供科研样本数据集。
[0133] 其次，本发明提出的基于深度学习的目标库生成技术及其方法流程，在海量多源异构高分辨率遥感影像的数据挖掘工作上表现出了格外优异的效果，数据检索的准确率和数据挖掘的效率相较于传统方法都有了巨大的提升，能够极大节约时间和人力成本。
[0135] 下面详细介绍各个功能模块的具体效果：
[0136] 1.典型目标检索功能模块
[0137] 1)目标抽样检测mAP：约97％(测试边界与真值IOU大于0.5时认为该边界被准确检测)，总体准确率优于95％；
[0138] 2)目标检测效率：在普通图像工作站(Dell 7810)下，标准产品缩略影像检测速度约3秒/景。
[0139] 2.高级产品生产功能模块
[0140] 高级产品生产效率：在普通图像工作站(Dell 7810)下，影像正射、配准、影像融合、拉伸降位以及影像裁剪，约3分钟/景。
[0141] 3.样本库生产功能模块
[0142] 对2000张测试数据集影像进行检测，合计11773架飞机，检测器检出11012架，正确检出10031架，错检811架，漏检761架飞机。在大宽幅影像中，检测召回率(recall)、检测准确率(precision)及F1分数(F1score)计算如式(12)至式(14)所示：
[0143]
[0144]
[0145]
[0146] 式(12)～(14)中，TP表示正确检出数量，FN表示漏检数量，FP表示错检数量，P表示检测准确率，R表示检测召回率。召回率体现了模型对影像数据中飞机的检索能力，召回率值越高，说明检测模型对飞行器的检索与识别能力越强；准确率体现了模型对影像中的背景区分能力，其值越高，说明检测模型对复杂背景的区分能力越强；F1score是两者的综合，其值越高，说明分类模型越稳健。从这三项评价指标的值可以看出本发明训练得到的检测模型对于大面幅遥感影像的检测是极为高效的。
[0147] 由表2可知，所提网络US-Net以同样的训练数据集和同样的测试数据集的前提条件下，以较高检测速度实现了92.51％的最优识别准确率和92.95％最优的召回率。
[0148] 表2测试准确率及模型速度对比
[0149]
[0150] 在实验过程中每个网络都使用相同的设置进行训练，并以512×512的单精度测试进行测试，如上表所示。运行时间是在Titan X上以512×512进行测量的。因此，US-Net可与state-of-the-art的分类器相媲美，但速度更快。US-Net速度为ResNet-101的5倍。US-Net与ResNet-152具有相似的性能，速度提高2倍。相比于其他几个网络，US-Net也可以实现每秒最高的测量浮点运算，这意味着网络结构可以更好地利用GPU，从而使其评估效率更高，速度更快。
[0151] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于云控制的国产陆地观测卫星姿轨精化方法 | 2020-05-08 | 923 |
| 一种种植作物结构遥感影像分类方法及装置 | 2020-05-13 | 592 |
| 一种融合DEM、光学遥感和形变信息的潜在滑坡识别方法 | 2020-05-22 | 269 |
| 基于卫星遥感影像的冻土灾害信息提取方法及装置 | 2020-05-20 | 798 |
| 数字摄影测量系统生成边境狭长区域正射影像图的方法 | 2020-05-12 | 91 |
| 一种天、空、地一体化数据融合的系统和方法 | 2020-05-08 | 95 |
| 一种适用于高分辨率遥感影像高级产品自动生产系统 | 2020-05-11 | 413 |
| 基于Riesz-Lap变换及PCNN的图像融合方法 | 2020-05-21 | 949 |
| 一种海岸线年际演变分析系统及方法 | 2020-05-13 | 10 |
| 一种大口径全谱段高光谱载荷高稳定性探测系统 | 2020-05-12 | 428 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
全色影像热门专利
QQ群二维码
意见反馈
意见反馈