基于深度递归网络下小样本极化合成孔径雷达图像分类方法
阅读：900发布：2020-05-11
专利汇可以提供基于深度递归网络下小样本极化合成孔径雷达图像分类方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了基于深度递归网络下小样本PolSAR图像分类方法，本发明借鉴了深度递归网络的复杂性和空间分析的优势，对小样本数据首先进行了特征增强，然后选取0.5％的样本作为训练样本，同时每个点只使用了5个特征序列来作为训练样本。此外，本发明提出了RNBP的样本合成方法类提升训练样本的丰富度，同时提出MB和MBW来提升测试样板的鲁棒性，从而达到小样本较优的分类效果。在深度递归网络的构建中，本发明使用LSTM作为基本的处理单元，每个空间的样本序列对应一个LSTM时间单元，从而使其充分兼顾PolSAR的空间特征，从而实现分类。最后在深度递归网络得到的概率图 基础 上，利用CRF进行空间纹理分析，以实现最优的小样本决策分类过程。，下面是基于深度递归网络下小样本极化合成孔径雷达图像分类方法专利的具体信息内容。
1.基于深度递归学习网络下的小样本PolSAR图像分类方法，其特征在于：该方法的实施流程如下，
步骤1、数据预处理：对四通道极化数据利用不同的散射模型进行特征提取，并组合成三维特征图像：
1)对于全极化数据，首先求其极化相干矩阵T与极化协方差矩阵C；
2)然后对T矩阵和C矩阵利用LEE滤波器进行去噪；
3)最后利用不同分解机制得到不同的分解特征；
步骤2、提取训练、测试数据数据集：
1)对构建的三维特征模型，每个特征维度进行归一化，以消除不同特征之间的量纲干扰；
2)在像素空间维度进行数据块划分，以每个像素为中心，选取邻域块，边界超出部分复制临近行或列的值作为代替值，然后得到对应的像素特征块；
3)在像素块维度中选取像素点作为空间特征序列，组合数据集合，作为标准网络输入数据集；
4)标准数据集中随机选取不超过0.5％且每一类样本数不少于6个，来作为训练样本，其它作为测试样本；
步骤3、样本增强，用于增强样本的表达能力：
由于相邻地物之间为同一类的概率大于异类的特点，提出了随机邻域像素块组合的方法来扩充训练样本；同一类标签的样本中心被提取出来，然后对序列随机自由组合，得到新的训练样本，同时样本标签也是已知的；
步骤4、构建深度递归学习模型，并利用训练样本及扩充训练样本训练神经网络：
1)构建深度递归神经网络
网络模型由两部分组成：深度递归网络层层和全连接层；其中，深度递归网络中，网络的单元是LSTM架构；
2)深度递归网络的训练和测试
在完成深度递归网络构建之后，训练数据样本和扩充训练样本，都被输入到深度递归网络模型中进行训练；邻域像素点对应的像素特征序列分别作为LSTM的时间点对应的序列特征，在网络中循环递归学习；
完成网络训练之后，将处理后的测试样本同样输入到深度递归网络中，根据网络的输出相应的概率，由各个类别的概率组成的概率图通过网络进行输出，并进行下一步的纹理分割中；
步骤5、利用条件随机场进行纹理分析，给出最终图像分类结果
在深度递归网络模型之后，得到的概率图利用条件随机场进一步实现纹理分析，从而提升分类精度；最终得到的势团能量作为最终输出，以判断个点最终所属类别，从而得到最优分类结果。
2.根据权利要求1所述的基基于深度递归学习网络下的小样本PolSAR图像分类方法，其特征在于：网络整体架构过程包括如下：
1)利用散射分解模型进行特征增强；
2)扩充训练样本和鲁棒性分析后测试样本；
3)训练深度递归网络模型；
4)将测试数据输入到网络，得到得到概率图；
5)利用CRF进行空谱分析，并得到最终的分类分类结果。
基于深度递归网络下小样本极化合成孔径雷达图像分类方法
技术领域
背景技术
[0002] 合成孔径雷达(SAR)是一种全天时、全天候，具有高分辨率、高穿透性的获取地面数据的方法，具有很高的民用和商用价值。解译SAR图像能够获得很多有用的信息，因此SAR图像的解译是SAR实际应用中的重要部分。传统的机器学习和深度学习是SAR图像解译的两种主要方法。SAR成像比其他传感器更加稳定，不容易受到天气、光线和其他条件的影响。同时SAR的另一个优点是能生成大量的地面信息数据。但是手动处理如此大量的数据是很困难的。
[0003] 基于传统机器学习和深度学习的计算机视觉图像处理技术能很好的为解决数据量大的问题。传统的机器学习方法具有严密的数学理论作为支撑，对计算资源的需要低于神经网络，同时分类和识别的精度还能一定程度上满足需求。随着计算机计算能力的提升，基于神经网络的相关处理方法大放异彩，这些方法往往在分类和识别的精度上远高于机器学习的方法。但是神经网络的分类和识别方法依赖于大量的训练数据，实际应用与现实条件中往往无法获得如此海量的训练数据，这需要大量的人力成本去收集与标注。过少的训练样本最后会导致神经网络过拟合的发生，也就是在训练样本上具有很高的分类或识别的精度，但是在测试和实际使用中效果极差。深度递归网络依靠其卓越的捕捉上下文信息的能力，其复杂的网络架构能够使得网络对训练样本量的要求较小，从而更能适用于小样本极化SAR的分类任务。
[0004] 另外由于神经网络有模型可解释性差的缺点，导致在优化时难以找到指导性的方向。我们使用的样本特征融合了传统无监督学习得到的特征样本，深度递归网络则用于获取上下文序列之间的关系和深层的样本特征，从而达到更优的分类效果。这样的组合既发挥了神经网络充分利用计算资源的编码能力，又部分地规避了以往神经网络的建模结果难以解释的问题，让之后的改进和优化更加有迹可循。在现实条件下，不仅需要大量人力来标注样本，同时还面临着可能部分类别样本缺少的情况。我们提出的随机邻域像素块组合(RNBP)能够在现有训练样本的基础上，构建多种未知，可能出现的训练样本用于增强训练样本量。同时，利用测试样本空间特征的鲁棒性分析，提出了多块组合(MB)和多块组合权值(MBW)模型来消除测试数据中可能存在的离群值，以增强测试样本的测试准确度。
[0005] 最后，对于遥感图像的分类而言，由于临近的像素属于同一类别的概率往往要比不同类的概率大得多，因此能够对分类得到概率图模型进行空谱的纹理分析，能够得到更好的分类效果。条件随机场(CRF)进行能够在概率图的基础上实现纹理分析，从而达到最优的分类决策。
发明内容
[0006] 本发明的主要目的是提供一种基于深度递归网络在小样本情况下实现极化合成孔径雷达图像分类的方法。
[0007] 本发明是在对小样本目标识别的相关方向进行了充分调研后，提出的针对现实条件下极化SAR的真实数据的小样本分类。和传统深度学习方法分类时直接输入待分类样本后输出样本的预测类别不同，本发明借鉴了传统无监督散射模型的机理，不同分解模型下得到的多种特征来增强样本的特征表达。同时，本发明借鉴于临近样本的相似性，提出了随机邻域像素块组合(RNBP)的方法来人工合成新样本以补充训练样本的不完备性，同时发明了多块组合(MB)和多块组合权值(MBW)模型，来实现测试样本的鲁棒性处理。本发明创造性提出了利用深度递归网络来实现小样本的空间信息提取，增强网络对空间信息的捕捉能力，而在像素特征的学习上，鉴于无监督分解特征的高效表达能力，深度递归网络主要侧重于深层特征的提取。而深度递归网络得到的概率图再通过CRF进行空间的纹理分析，从而得到最佳分类效果。
[0008] 本发明的技术方案具体来说，主要包括如下技术内容：
[0009] 1、分解模型构建。对于小样本PolSAR而言，极化数据可能并不能足以表达样本的本质属性，因此可以通过无监督的特征散射模型来丰富样本特征，以增强不同地物类别的特征属性。
[0010] 2、小样本数据提取和样本增强。由于小样本数据集的有限性，训练样本的数量和尺寸可能都会受到限制，因此为了增强训练样本集合的表达能力，除了无监督理论丰富特征表达之外，本发明提出了随机邻域像素块组合(RNBP)的方法来人工合成新样本，以提升训练集合的表达能力，同时为了降低数据量，本发明采用了间隔采样法来选取少量样本，增加网络的训练效率。测试样本与训练样本不同，测试样本受到样本尺寸的约束较小，但由于测试样本多带有更多的不确定性，因此对测试样本进行鲁邦分析，降低离群点的干扰，以提升网络对测试样本的识别能力更为有效，因此本发明使用多块组合(MB)和多块组合权值(MBW)模型来实现测试样本的鲁棒性处理，以实现较好的样本表征能力。
[0011] 3、深度递归网络。现阶段流行的深度递归网络多侧重于浅层样本的特征挖掘，本文则通过多种散射机制的特征增强方法来表征一个像素的极化属性，而深度递归网络则用于挖掘邻域特征样本序列之间的递归关系，从而挖掘邻域特征属性和深层极化特征，以此来达到更有效的分类。
[0012] 4、概率图空间纹理分析。在深度递归网络得到的概率图模型中，每个像素点的类别属性都是通过概率值进行表达的，某个像素的类别属性概率之和为1。另外，虽然深度递归网络能够兼顾样本的空间关系，但是由于小样本的局限性，网络模型并不完善，同时也没有对样本的纹理信息进行整合，因此并不能实现最优的分类效果。利用CRF能够在概率图的基础上，将像素点的类别概率作为一元能量势团，把领域之间的关系作为二元能量势团，共同构建样本的能量属性，从而达到较好的分类效果。
[0013] 基于孪生网络的不完备训练集的SAR目标识别方法，该方法的实施流程如下：
[0014] 该方法的实施流程如下：
[0015] 步骤1、数据预处理：对四通道极化数据(HH/HV/VH/VV)利用不同的散射模型进行特征提取，并组合成三维特征图像：
[0016] 1)对于全极化数据，首先求其极化相干矩阵T与极化协方差矩阵C；
[0017] 2)然后对T矩阵和C矩阵利用LEE滤波器进行去噪；
[0018] 3)最后利用不同分解机制得到不同的分解特征，包含了：
[0019] ①基于kennaugh矩阵K的二分量分解方法(如Huynen,Barnes and Yang)；
[0020] ②基于散射模型分解协方差矩阵C3或相干矩阵T3的方法(Freeman and Durden,Yamaguchi,Dong)；
[0021] ③基于协方差矩阵C3或相干矩阵T3特征矢量或特征值分析的方法(Cloude,Holm,van Zyl,Cloude and Pottier,the multiple-component scattering model(MCSM))；
[0022] ④基于散射矩阵S相干分解的方法(Krogager,Touzi)。
[0023] 在四类目标(TD)算法中，前三类是非相干分解，通常用来处理相干矩阵[T]，协方差矩阵[C]和Kennaugh矩阵[K]，将其表示为线性组合。相干TD算法用于处理散射矩阵[S]，用于表示点目标和分布目标的极化信息。这些分解特征共同构建了PolSAR的三维特征模型(数据大小为m×n×107，其中m×n为图像大小，107为特征数目)。其中，107个特征分量如下表所示：
[0024]
[0025]
[0026] 步骤2、提取训练、测试数据数据集：
[0027] 1)对构建的三维特征模型，每个特征维度进行归一化，以消除不同特征之间的量纲干扰；
[0028] 2)在像素空间维度进行数据块划分，以每个像素为中心，选取3×3邻域块，边界超出部分复制临近行或列的值作为代替值，然后得到对应的像素特征块，大小为3×3×107；
[0029] 3)在像素块的3×3维度中选取相隔较远的5个像素点作为空间特征序列，组合成5×107的数据集合，作为标准网络输入数据集；
[0030] 4)标准数据集中随机选取不超过0.5％且每一类样本数不少于6个，来作为训练样本，其它作为测试样本。
[0031] 步骤3、样本增强，用于增强样本的表达能力：
[0032] 1)由于相邻地物之间为同一类的概率大于异类的特点，我们提出了随机邻域像素块组合(RNBP)的方法来扩充训练样本，模型架构如图1所示。
[0033] 同一类标签的样本中心被提取出来，然后对序列随机自由组合，得到新的训练样本，同时样本标签也是已知的。新的训练样本扩充训练数据集，也被一起用于训练深度递归网络模型。具体地，假设某类训练样本量为n，其中n>5，则可通过合成样本随机自由组合的方法得到 种。
[0034] 2)测试样本的标签是未知的，不能使用上述方法进行样本增强。但测试样本通过与周围样本之间的权值来调整中心样本值，抑制测试样本的奇异值误差，增强数据鲁棒性、提升分类效果。输入测试样本中心可通过以下公式计算：
[0035]
[0036] 式中，对于3×3的像素块，m为9，对于如果 为均值，则
[0037] 而如果利用权值来调整相似样本的比例，降低不同样本的影响，则[0038] 其中 处理流程如图2所示。
[0039] 步骤4、构建深度递归学习模型，并利用训练样本及扩充训练样本训练神经网络：
[0041] 网络模型由两部分组成：深度递归网络层层和全连接层。其中，深度递归网络中，网络的单元是LSTM架构，网络基本架构如图3所示。
[0042] LSTM单元包含了一个输入门、一个遗忘门和一个输出门。首先当前时间的特征输入xt和上一个时刻输入的LSTM输出值ht-1分别通过全连接层进行信息整合并相加后，输入到激活函数σ(·)和tanh(·)中，得到输入数据it和It，计算方式为：
[0043] InputGate:
[0044] it＝σ(Wix·xt+Wih·ht-1+bi) (1)
[0045] It＝tanh(WIx·xt+WIh·ht-1+bI) (2)
[0046] 式中，Wix,Wih,WIx,WIh为全连接权值，bi,bI为偏置。以此同时，把xt和ht-1输入通过全连接整合得到的信息来决定当前信息的状态，如此以保存长时的细胞状态，即：
[0047] ForgetGate:
[0048] ft＝σ(Wfh·ht-1+Wfx·xt+bf) (3)
[0049] 式中，Wfh,Wfx为全连接权值，bf为偏置。由于遗忘门的输出ft的取值范围为[0,1]，因此可以与t-1时刻的单元状态值来共同决定长时间状态信息的取舍，即：ft*ct-1。而输入门得到的信息共同决定当前时刻状态下下信息的取舍，即：it*It。如此当前时刻的LSTM单元状态可表示为：
[0050] MemoryCell:
[0051] ct＝ft*ct-1+it*It (4)
[0052] 最后，输出值ot是由输入值参数xt和ht-1通过全连接后累加得到的，即：
[0053] ot＝σ(Wox·xt+Woh·ht-1+bo) (5)
[0054] 而LSTM单元的的输出则由LSTM单元的的状态和输出值值共同决定，即：
[0055] ht＝ot*tanh(ct) (6)
[0056] 式中，Wox,Woh为全连接权值，bo为偏置，“+”表示矩阵加，“·”表示矩阵相乘(全连接)，“*”表示点乘。ht用于传递给同层的的下一个时刻的LSTM单元和下一层同时刻的LSTM的单元中。
[0057] 本专利采用了三层LSTM递归网络和一层全连接网络共同构建了分类模型。在三层LSTM网络模型中：第一层设置的结点数为128，网络输入数据尺寸为(5，107)，输出尺寸为(5，128)；第二层设置的结点数为64，网络输入数据尺寸为(5，128)，输出尺寸为(5，64)；第三层设置的结点数为32，网络输入数据尺寸为(5，64)，输出尺寸为(1，32)。最后一层全连接层设置了与类别个数相同的结点数，同时激活函数为sigmod，以用于构建分类概率。具体地，对于11分类的PolSAR图像而言，网络参数情况如下表所示：
[0058] 网络层名称 网络层结构 输入尺寸 输出尺寸 参数量递归网络层(LSTM) 5个LSTM单元，每个单元128个结点 (5，107) (5，128) 120832递归网络层(LSTM) 5个LSTM单元，每个单元64个结点 (5，128) (5，64) 49408递归网络层(LSTM) 5个LSTM单元，每个单元32个结点 (5，64) (1，32) 12416全连接层 11个全连接结点 (1，32) (1，11) 363
[0059] 网络输入尺寸为(5，107)，其中107对应人工特征构建的特征序列维度，5对应5个空间像素。输出尺寸为(1，11)，输出对应11类样本的所属概率。
[0060] 2)深度递归网络的训练和测试
[0061] 在完成深度递归网络构建之后，大小为(5，107)的训练数据样本和扩充训练样本，都被输入到深度递归网络模型中进行训练，迭代次数设置为150，batch_size设置为8。在网络中，5个邻域像素点对应的像素特征序列分别作为LSTM的5个时间点对应的序列特征，在网络中循环递归学习。
[0062] 完成网络训练之后，将处理后的测试样本同样输入到深度递归网络中，根据网络的输出相应的概率，由各个类别的概率组成的概率图通过网络进行输出，并进行下一步的纹理分割中。
[0063] 步骤5、利用条件随机场进行纹理分析，给出最终图像分类结果
[0064] 为了进一步增强图像对图像空谱特征的特区表达能力，从而提升分类精度，在深度递归网络模型之后，得到的概率图利用条件随机场(CRF)进一步实现纹理分析，从而提升分类精度。CRF网络的基本架构如图4所示。
[0065] 图中ej和k表示中心结点yi与领域结点yj之间的能量关系，绿色部分表示距离yi较远的结点，它们对yi的影响较小；红色表示距离yi较近的结点，他们对yi影响较大。因此，中心结点与领域之间的能量函数关系表示为：
[0066]
[0068]
[0069] 其中u(xi,xj)是类别检查函数，如果xi,xj不相同则为0， 可以表示为：
[0070]
[0071] 式中， 加入了临近位置信息， 加入了颜色信息， 用于消除临近位置中不平滑的小区域。在实验中，样本各自概率信息作为一元势团，二元势团概率则通过邻域样本之间的关系来确定。最终得到的势团能量作为最终输出，以判断个点最终所属类别，从而得到最优的分类结果。
[0072] 网络整体架构图如图5所示。整体过程包括了：
[0073] 1)利用散射分解模型进行特征增强。
[0074] 2)扩充训练样本和鲁棒性分析后测试样本；
[0075] 3)训练深度递归网络模型；
[0076] 4)将测试数据输入到网络，得到得到概率图；
[0078] 图1.随机邻域像素块组合模型。
[0079] 图2.测试样本预处理模型。
[0080] 图3.LSTM单元结构。
[0081] 图4.CRF架构。
[0082] 图5.网络整体架构图
具体实施方式
[0083] 本发明的深度递归网络下小样本极化合成孔径雷达图像分类方法的基本流程如图5所示，具体包括以下步骤：
[0084] 1)PolSAR极化数据包含了HH、HV、VH、VV四个通道的极化数据，在此数据的基础上，利用多种目标分解分解的基础上构建107个人工特征，这些人工特征能够表达出地物散射特性的基本属性，将这107个特征组合成三维数据，就构成了基本的极化特征数据。
[0085] 2)极化数据可分为标记样本和非标记样本，本发明是在小样本下构建的模型，因此训练样本为总样本的0.5％，剩下的为测试样本。为了体现小样本尺寸的约束，实验中训练样本样本仅使用了3×3的邻域样本，同时为了降低数据量，仅间隔采样了5个像素来实现训练样本的构建。另一方面，为了增强训练样本的表征能力，通过RNBP的方法进行训练训练样本合成，合成的新训练样本能够能够增加样本的丰富度，从而提升网络的鲁棒性。测试样本则通过鲁棒性分析，来消除样本的离群值，以提升网络对测试样本的识别能力。
[0086] 3)在对于样本大小为(5,107)的空间特征序列，输入到三层递归网络模型中来实现训练过程，空间像素对应于递归网络的时间维度，递归网络使用的是标准LSTM模型，每层LSTM单元中全连接层设置为128，64，32；最后一层全连接层结点数设置为类别数目。在网络训练过程中，网络步长设置为8，循环训练数目数目设置为150。最后一层使用Sigmoid函数来实现概率输出。最后将概率概率换成概率图的形式传递给CRF网络中。
[0087] 4)在得到概率图后，利用CRF进行纹理分析，在CRF模型中，将迭代次数设置为5，空间大小设置为5，二元势团比例设置为20。其中，概率图单点的原始概率设置为一元势团能量，像素之间的纹理关系设置为二元势团，最终势团总和为某点的能量大小，通过能量的大小来来判断样本的类别属性。
[0088] 实施例
[0089] 基于深度递归学习网络下的小样本PolSAR图像分类方法，其特征在于：该方法的实施流程如下，
[0090] 本发明主要是针对于极化合成孔径雷达(Polarimetric Synthetic Aperture Radar，PolSAR)成像的分类研究，它是SAR(Synthetic Aperture Radar,SAR)遥感邻域一个新的研究热点。雷达极化研究的是极化电磁波在传播过程中的完全矢量特性。相比于单极化SAR系统(简称SAR)，多极化SAR除了具有单极化的所有传统优势以外，还利用电磁波的矢量特性记录地物4中极化状态(HH/HV/VH/VV)的后向散射回波信号(幅度和相位信息)，较为完整地包含了电磁波与雷达目标的状态信息，能够提供更多的目标信息和辨别特征，更加全面地记录雷达目标几何、物理特性等信息，已成为雷达遥感的研究前沿和热点。例如，同极化(HH/VV)SAR图像反映了波长与表面粗糙度有关，而交叉极化(HV/VH)SAR图像表征体散射。此外，L波段VV极化SAR图像会显示出树林密集植被处的散射特征，C波段HV极化SAR图像则反映农作物的体散射，L、C波段HH极化SAR图像主要反映出表面散射特征等。因此，在地物分类、目标检测、信息提取中PolSAR有着更大的应用潜力。本专利正是针对于全极化SAR图像而设计的分类算法。其基本步骤如下：
[0091] 步骤1、数据预处理：对四通道极化数据利用不同的散射模型进行特征提取，并组合成三维特征图像：
[0092] 5)对于全极化数据，首先求其极化相干矩阵T与极化协方差矩阵C；
[0093] 6)然后对T矩阵和C矩阵利用LEE滤波器进行去噪；
[0094] 7)最后利用不同分解机制得到不同的分解特征，包含了：
[0095] ①基于kennaugh矩阵K的二分量分解方法；
[0096] ②基于散射模型分解协方差矩阵C3或相干矩阵T3的方法；
[0097] ③基于协方差矩阵C3或相干矩阵T3特征矢量或特征值分析的方法；
[0098] ④基于散射矩阵S相干分解的方法。
[0099] 在四类目标(TD)算法中，前三类是非相干分解，通常用来处理相干矩阵[T]，协方差矩阵[C]和Kennaugh矩阵[K]，将其表示为线性组合。相干TD算法用于处理散射矩阵[S]，用于表示点目标和分布目标的极化信息。这些分解特征共同构建了PolSAR的三维特征模型；
[0100] 本步骤包含了
[0101] 输入：四个通道的极化数据，用于构建极化图像的三维特征
[0102] 输出：构建的三维特征，输入到步骤二中进行数据提取
[0103] 步骤2、提取训练、测试数据数据集：
[0104] 4)对构建的三维特征模型，每个特征维度进行归一化，以消除不同特征之间的量纲干扰；
[0105] 5)在像素空间维度进行数据块划分，以每个像素为中心，选取邻域块，边界超出部分复制临近行或列的值作为代替值，然后得到对应的像素特征块；
[0106] 6)在像素块维度中选取像素点作为空间特征序列，组合数据集合，作为标准网络输入数据集；
[0107] 8)标准数据集中随机选取不超过0.5％且每一类样本数不少于6个，来作为训练样本，其它作为测试样本。
[0108] 本步骤包含了
[0109] 输入：第一步构建的三维极化特征图像
[0110] 输出：归一化后的训练样本和测试样本集合，其中：训练样本用于第三步的构建增强样本，和第四步的网络训练；测试样本用于第三步的构建鲁棒性测试样本集。
[0111] 步骤3、样本增强，用于增强样本的表达能力：
[0112] 3)由于相邻地物之间为同一类的概率大于异类的特点，提出了随机邻域像素块组合的方法来扩充训练样本。同一类标签的样本中心被提取出来，然后对序列随机自由组合，得到新的训练样本，同时样本标签也是已知的。
[0113] 4)输入测试样本中心通过以下公式计算：
[0114]
[0115] 对于如果 为测试样本均值，则 而如果利用权值来调整相似样本的比例，降低不同样本的影响，则 其中 i表示邻域样本的序列标签、j表示特征的序列标签，m表示领域像素的总数。
[0116] 本步骤包含了
[0117] 输入：第一步构建的三维极化特征图像
[0118] 输出：归一化后的训练样本和测试样本集合，其中：训练样本用于第三步的构建增强样本，和第四步的网络训练；测试样本用于构建鲁棒性测试样本集。
[0119] 步骤4、构建深度递归学习模型，并利用训练样本及扩充训练样本训练神经网络：
[0120] 3)构建深度递归神经网络
[0121] 网络模型由两部分组成：深度递归网络层层和全连接层。其中，深度递归网络中，网络的单元是LSTM架构。
[0122] 首先当前时间的特征输入xt和上一个时刻输入的LSTM输出值ht-1分别通过全连接层进行信息整合并相加后，输入到激活函数σ(·)和tanh(·)中，得到输入数据it和It，计算方式为：
[0123] 输入门
[0124] it＝σ(Wix·xt+Wih·ht-1+bi) (1)
[0125] It＝tanh(WIx·xt+WIh·ht-1+bI) (2)
[0126] 式中，Wix,Wih,WIx,WIh为全连接权值，其中Wix为输入样本x和输出i之间的全连接权值，Wih为上个时间点的单元输出特征h和输出i之间的全连接权值，WIx为输入样本x与输出I之间的全连接权值，WIh上个时间点的单元输出特征h和输出i之间的全连接权值；bi,bI为偏置，其中bi为输入样本、上个时间单元输出特征与输出i之间的全连接偏置，bI为输入样本、上个时间单元输出特征与输出I之间的全连接偏置。同时，把xt和ht-1输入通过全连接整合得到的信息来决定当前信息的状态，如此以保存长时的细胞状态，即：
[0127] 遗忘门
[0128] ft＝σ(Wfh·ht-1+Wfx·xt+bf) (3)
[0129] 式中，Wfh,Wfx为全连接权值，其中Wfx为输入样本x和输出ft之间的全连接权值，Wfh为上个时间点的单元输出特征h和输出ft之间的全连接权值，bf为它们共同的偏置。由于遗忘门的输出ft的取值范围为[0,1]，因此与t-1时刻的单元状态值来共同决定长时间状态信息的取舍，即：ft*ct-1。而输入门得到的信息共同决定当前时刻状态信息的取舍，即：it*It。如此当前时刻的LSTM架构状态表示为：
[0130] MemoryCell:
[0131] ct＝ft*ct-1+it*It (4)
[0132] 最后，输出值ot是由输入值参数xt和ht-1通过全连接后累加得到的，即：
[0133] ot＝σ(Wox·xt+Woh·ht-1+bo) (5)
[0134] 而LSTM单元的的输出则由LSTM单元的的状态和输出值值共同决定，即：
[0135] ht＝ot*tanh(ct) (6)
[0136] 式中，Wox,Woh为全连接权值，其中Wox为输入样本x和输出ot之间的全连接权值，Woh为上个时间点的单元输出特征h和输出ot之间的全连接权值，bo为它们共同的偏置，“+”表示矩阵加，“·”表示矩阵相乘，“*”表示点乘。ht用于传递给同层的的下一个时刻的LSTM单元和下一层同时刻的LSTM的单元中。
[0137] 本步骤包含了
[0138] 输入：训练样本集、扩充训练样本集、平滑后的测试样本集
[0139] 输出：经过LSTM网络后输出的概率图
[0140] 4)深度递归网络的训练和测试
[0141] 在完成深度递归网络构建之后，训练数据样本和扩充训练样本，都被输入到深度递归网络模型中进行训练；邻域像素点对应的像素特征序列分别作为LSTM的时间点对应的序列特征，在网络中循环递归学习。
[0142] 完成网络训练之后，将处理后的测试样本同样输入到深度递归网络中，根据网络的输出相应的概率，由各个类别的概率组成的概率图通过网络进行输出，并进行下一步的纹理分割中。
[0143] 步骤5、利用条件随机场进行纹理分析，给出最终图像分类结果
[0144] 在深度递归网络模型之后，得到的概率图利用条件随机场进一步实现纹理分析，从而提升分类精度。
[0145] ej和k表示中心结点yi与领域结点yj之间的能量关系，中心结点yi与领域结点yj之间的能量函数关系E(x)表示为：
[0146]
[0147] 式中，∑iξu(xi)表示一元势函数，其结合的是图像的形状、纹理、颜色和位置信息，Σi＜jξp(xi,xj)是势团函数，其计算公式如下：
[0148]
[0149] 其中K(m)(fi,fj)为高斯核，表示像素i、j的像素向量fi与fj之间的潜在特征空间关系；u(xi,xj)是类别检查函数，如果xi,xj不相同则为0， 表示为：
[0150]
[0151] 式中， 加入了临近位置信息， 加入了颜色信息， 用于消除临近位置中不平滑的小区域。样本各自概率信息作为一元势团，二元势团概率则通过邻域样本之间的关系来确定。最终得到的势团能量作为最终输出，以判断个点最终所属类别，从而得到最优的分类结果。
[0152] 本步骤包含了
[0153] 输入：经过LSTM网络后输出的概率图
[0154] 输出：测试样本的分类标签图
[0155] 因此网络的整体架构为：数据预处理——训练样本数据扩充——测试增强——LSTM训练和测试——CRF概率图分割——分类最终的结果标签图
[0156] 网络整体架构过程包括如下：
[0157] 6)利用散射分解模型进行特征增强。
[0158] 7)扩充训练样本和鲁棒性分析后测试样本；
[0159] 8)训练深度递归网络模型；
[0160] 9)将测试数据输入到网络，得到得到概率图；
[0161] 10)利用CRF进行空谱分析，并得到最终的分类分类结果。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种图像生成方法及其移动终端 | 2020-05-08 | 780 |
| 应用在沉浸式显示设备中倾斜摄影建模数据生成方法 | 2020-05-11 | 315 |
| 一种基于多通道图像融合的全景图像拼接方法 | 2020-05-11 | 937 |
| 体纹理合成方法、装置与设备 | 2020-05-08 | 731 |
| 一种实物标本3D打印方法 | 2020-05-08 | 349 |
| 用于交互式图形流传输的方法和系统 | 2020-05-12 | 866 |
| 一种三维模型生成方法 | 2020-05-08 | 1029 |
| 用于萜类化合物产物的微生物生产的代谢工程化 | 2020-05-12 | 508 |
| 显示控制方法、显示控制装置及计算机可读存储介质 | 2020-05-08 | 73 |
| 一种基于NPP/VIIRS夜间灯光遥感数据的经济发展研究方法 | 2020-05-08 | 238 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈