基于半监督深度距离度量网络的极化SAR图像分类方法
阅读：440发布：2020-05-16
专利汇可以提供基于半监督深度距离度量网络的极化SAR图像分类方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于半监督深度距离度量网络的极化SAR图像分类方法。解决了传统 深度学习 只考虑样本特征的非线性关系及在有标记样本较少时分类 精度 不高的技术问题，其步骤包括：输入待分类的极化SAR图像数据；求有标记样本的近邻样本；构建半监督大边界近邻 算法 的损失函数；初始化网络的参数；对网络预训练；对网络微调；对无标记样本进行类别预测；输出待分类的极化SAR图像分类结果图和分类精度。本发明通过构建深度距离度量网络，在大边界近邻算法中添加流行学习正则项，克服了有标记样本不足影响分类精度及大量无标记样本的信息浪费问题，本发明学习到的特征充分刻画样本内在属性，可用于地球资源勘测和军事系统等技术领域。，下面是基于半监督深度距离度量网络的极化SAR图像分类方法专利的具体信息内容。
1.一种基于半监督深度距离度量网络的极化SAR图像分类方法，其特征在于，包括有如下步骤：
(1)输入待分类的极化SAR图像数据：即极化SAR图像的相干矩阵T，根据极化SAR图像的地物分布信息得到标签矩阵Y，同一种地物的分布由同样的类别标号表示，不能确定类别的地物分布在标签矩阵Y中用0表示，根据极化SAR图像的相干矩阵T生成样本矩阵 N是样本的总个数，xm表示第m个样本；
(2)选择有标记样本和无标记样本：根据极化SAR图像的样本数据X和标签矩阵Y，每类随机选取1％的样本作为有标记样本，其余的为无标记样本；
(3)求有标记样本的近邻样本：在所有的样本数据中，求取每个有标记样本的K1个有标记Wishart同类近邻样本和K2个无标记Wishart近邻样本；
(4)构建半监督大边界近邻算法的损失函数：在大边界近邻算法的基础上增加流行学习正则项，将有监督的大边界近邻算法改进为半监督的大边界近邻算法，得到半监督大边界近邻算法的损失函数；构建半监督大边界近邻算法的损失函数的过程包括：
在大边界近邻算法的损失函数中添加流行学习正则项，正则项的使用增加了对部分无标记样本的利用，将有监督的大边界近邻算法改进为半监督学习方法，该流行学习正则项JR的目的在于惩罚有标记样本xi与无标记样本xp之间的大间隔，也就是减小有标记样本xi与无标记样本xp之间的间隔：
其中，符号 表示有标记样本xi与其无标记近邻样本xp之间的相似
度，则半监督大边界近邻算法的损失函数ε2(L)为：
其中，||·||F是Frobenius范数，用来保证最大边界，λ为Frobenius范数正则项系数，通常取λ＝1，γ为半监督正则项参数，yil表示有标记样本xi和有标记样本xl的类别关系，yil＝
1当且仅当yi＝yl时成立，即xi和xl为同类样本，否则，yil＝0；[z]+＝max(z,0)是标准的铰链函数；损失参数μ∈[0,1]，符号ξijl＝[1+||L(xi-xj)||2-||L(xi-xl)||2]+；
(5)初始化深度网络的基本参数：随机初始化深度距离度量网络的权重参数W和偏置单元b，设定深度距离度量网络每层的节点数，确定深度距离度量网络的整体结构；
(6)对深度距离度量网络预训练：将有标记样本及其对应的Wishart近邻样本送入到深度距离度量网络中进行预训练，利用半监督大边界近邻算法，采用逐层贪婪的预训练方法，前一层的输出作为后一层的输入，直到训练完最后一个隐层，优化网络的权重，深度距离度量网络的权重得到初步优化；
(7)对深度距离度量网络微调：利用有标签样本及其标签信息，结合Softmax分类器对深度距离度量网络进行微调，进一步优化网络的权重，使网络变得更稳定，完成深度距离度量网络优化；
(8)对无标记样本进行类别预测：将无标记样本送入到深度距离度量网络，利用Softmax分类器对无标记样本的类别标签进行预测，得到每个无标记样本的预测类别；
(9)输出待分类的极化SAR图像的分类结果图和分类精度：根据有标记样本和预测出类别的无标记样本，输出待分类的极化SAR图像的最终分类结果并计算本次分类的精度。
2.根据权利要求1所述的基于半监督深度距离度量网络的极化SAR图像分类方法，其特征在于，步骤(3)所述的求每个有标记样本的Wishart近邻样本，包括有如下步骤：
3a、有标记样本矩阵为 l表示有标记样本个数，利用下面的公式求取每个有标记样本和其余样本之间的Wishart距离：
d(xi,xg)＝ln((xi)-1xg)+Tr((xg)-1xi)-q，
其中，Tr()表示矩阵的迹，其余样本表示为xg，即g为其余样本的序号，对于发送与接收是一体的雷达，由于互易性，常数q＝3；对于发送与接收不是一体的雷达，常数q＝4；
3b、利用MATLAB中的sort函数，将求得的Wishart距离d(xi,xj)按绝对值升序排列，取前K1个有标记的同类近邻样本xj(j＝1,2,…,K1)，K2个无标记的近邻样本xp(p＝1,2,…,K2)，作为有标记样本xi的Wishart近邻样本。
3.根据权利要求1所述的基于半监督深度距离度量网络的极化SAR图像分类方法，其特征在于，步骤(5)中所述初始化深度网络的参数为：
5a、深度距离度量网络的隐层数为3，每层的节点数分别为：150，100，50；
5b、随机初始化深度稀疏滤波网络的权重参数W和偏置单元b,每个隐层的节点数分别为Nk， t是输入信号的维数，N1是网络第一个隐层的节点数， 表示网
络的第k个隐层与第k-1个隐层之间的权重矩阵， 为第k个隐层的偏置单元。
4.根据权利要求1所述的基于半监督深度距离度量网络的极化SAR图像分类方法，其特征在于，其中步骤(6)所述的对深度距离度量网络的预训练过程为：
6a、输入深度稀疏滤波网络的预训练样本，将无标记样本xg及其对应的有标记和无标记Wishart近邻样本作为预训练样本输入到深度网络中，g＝1,2,...,l；
6b、设xe∈Rt×1是输入向量，e＝1,2,...,n，n表示预训练输入样本个数，t是输入信号的维数，则第一个隐层的输出可以表示为：
其中，s(·)表示非线性的sigmoid函数，N1为网络第一个隐层的节点数，b为偏置单元；
令z＝W1xe+b1，则s(z)＝(1+exp(-z))-1，将 输入到网络的第二个隐层，得到第二个隐层的输出为：
其中N2为网络第二个隐层的节点数；依次逐层贪婪的训练下去，则第k个隐层的输出为：
其中Nk为网络第k个隐层的节点数；
6c、优化网络权重W，利用大边界近邻算法，将线性转换矩阵L等效为深度网络的权重W，第k个隐层的优化目标函数为：
其中，j为标记的同类近邻样本， 整个优
化目标通过传统的梯度下降算法来求解。
基于半监督深度距离度量网络的极化SAR图像分类方法
技术领域
背景技术
[0002] 机器学习(Machine Learning,ML)作为计算机科学的子领域，是从人工智能、计算机学习理论和模式识别的研究出发，构建了一种可以从数据中学习知识并对相似数据进行预测的算法。机器学习可以从原始数据学习其各种属性从而拥有处理各种相似问题的能力，就是如何使计算机在经验学习中自动获取新知识新能力。在极化SAR图像的分类识别领域，机器学习已经有了许多突破性的进展，一些有效地分类方法相继被提出。例如Wishartmaximumlikelihood(WML)，支持矢量机(support vector machines，SVM)等。
[0003] 常见的机器学习方法大都运用人工提取特征的方法，费时费力，且不一定能够取得有利于极化SAR图像分类的特征。深度学习是机器学习中迅速发展的一个新领域，是在人工神经网络的基础上发展而来的一种全新的特征提取方法。深度学习有着独有的特征提取机制，能够通过多层的网络结构模型自主地学习数据的层次特征。避免了传统机器学习方法人工提取特征的繁琐，同时学习到的层次特征更能够表达数据的内在属性和特性。这些抽象的特征能够提高各种分类任务的分类精度。对于极化SAR图像而言，深度学习能够自主地从极化SAR图像数据中学习到表征其内在属性的抽象层次特征，这些提取出来的特征可以十分方便有效地应用于地物分类、环境监测、目标识别等。
[0004] 对于极化SAR图像分类任务，合适的距离度量选择是十分重要的，分类器的判别性能很大程度上依赖于距离度量函数的选择。例如最常见欧氏距离，就只是简单的考虑了数据之间的真实距离，没有考虑到样本的内部结构和具体属性，对于某些数据，类似欧式距离这样的度量方式并不能保证其可靠性，即求得的距离较近的数据并不是很相似或者说为同类数据，这样的距离度量结果在KNN、SVM等分类器的作用下就可能取得不太理想的结果。距离度量学习的目的就在于通过对数据的内在结构和属性进行学习，得到一种适宜的距离度量方式，在这种距离度量方式下，具有相同类别标签的样本间距会相应减少，而不具有相同标签的样本间距会相应增大，得到一个新的特征空间，从而使数据变得更为有利于分类。
[0005] 传统的机器学习方法需要人工提取特征且得到的浅层特征不能充分体现数据的内在属性。而现有的深度学习方法如自编码器、深度置信网等采用无监督的预训练方法，没有标签的样本指导，预训练效果不太理想，还是需要大量有标签样本对网络参数进行反向传播微调。对于有监督的卷积神经网络等方法，在标签样本较少时，网络性能得不到保障，分类结果往往不太理想。
发明内容
[0006] 本发明的目的在于针对上述已有技术的不足，提出了一种即使在标签样本较少时也能获得分类精度较高的基于半监督深度距离度量网络的极化SAR图像分类方法，用于提高图像分类精度。
[0007] 本发明是一种基于半监督深度距离度量网络的极化SAR图像分类方法，其特征在于，包括有如下步骤：
[0008] (1)输入待分类的极化SAR图像数据：即极化SAR图像的相干矩阵T，根据极化SAR图像的地物分布信息得到标签矩阵Y，同一种地物的分布由同样的类别标号表示，不能确定类别的地物分布在标签矩阵Y中用0表示，根据极化SAR图像的相干矩阵T生成样本矩阵N是样本的总个数，xi表示第i个样本；
[0009] (2)选择有标记样本和无标记样本：根据极化SAR图像的样本数据X和标签矩阵Y，每类随机选取1％的样本作为有标记样本，其余的为无标记样本；
[0010] (3)求有标记样本的近邻样本：在所有的样本数据中，求取每个有标记样本的K1个有标记Wishart同类近邻样本和K2个无标记Wishart近邻样本；
[0011] (4)构建半监督大边界近邻算法的损失函数：在大边界近邻算法(LMNN)的基础上增加流行学习正则项，将有监督的大边界近邻算法改进为半监督的大边界近邻算法，得到半监督大边界近邻算法的损失函数；
[0012] (5)初始化深度网络的基本参数：随机初始化深度距离度量网络的权重参数W和偏置单元b，设定深度距离度量网络每层的节点数，确定深度距离度量网络的整体结构；
[0013] (6)对深度距离度量网络预训练：将有标记样本及其对应的Wishart近邻样本送入到深度距离度量网络中进行预训练，利用半监督大边界近邻算法，采用逐层贪婪的预训练方法，前一层的输出作为后一层的输入，直到训练完最后一个隐层，优化网络的权重，深度距离度量网络的权重得到初步优化；
[0014] (7)对深度距离度量网络微调：利用有标签样本及其标签信息，结合Softmax分类器对深度距离度量网络进行微调，进一步优化网络的权重，使网络变得更稳定，完成深度距离度量网络的权优化；
[0015] (8)对无标记样本进行类别预测：将无标记样本送入到深度距离度量网络，利用Softmax分类器对无标记样本的类别标签进行预测，得到每个无标记样本的预测类别；
[0016] (9)输出待分类的极化SAR图像的分类结果图和分类精度：根据有标记样本和预测出类别的无标记样本，输出待分类的极化SAR图像的最终分类结果并计算本次分类的精度。
[0017] 本发明将大边界近邻算法与深度学习方法相结合，提出了一种基于半监督深度距离度量网络的极化SAR图像分类方法。利用深度学习的方法来避免传统机器学习方法人工提取特征的繁琐。
[0018] 本发明具有如下优点：
[0019] 1、本发明由于采用了深度学习的方法，利用深度距离度量网络来自主地学习极化SAR图像的特征，因而避免了传统方法中人工学习特征的繁琐，利用深度距离度量网络学习到极化SAR图像更为丰富的内在层次特征，这些特征更加有利于极化SAR图像的分类，有效提高极化SAR图像的分类精度。
[0020] 2、本发明在大边界近邻算法的基础上，通过添加流行学习正则项得到了半监督大边界近邻算法，改善了在标记样本较少的情况下分类器分类正确率较低，以及大量无标记样本造成的信息浪费的问题。
[0021] 3、本发明将半监督距离度量方法与深度学习方法相结合，得到了深度距离度量网络，此深度网络能够同时学习样本的线性及非线性特征，充分刻画了样本的内在属性，因而学习到的特征能够明显提高分类精度。附图说明
[0022] 图1是本发明的实现流程示意图；
[0023] 图2是对荷兰Flevoland地区的极化SAR图像的实验结果图，其中图2(a)是极化SAR图像的Pauli分解图，图2(b)是标签图，图2(c)是采用对比方法WDSN的分类结果图，图2(d)是采用对比方法WDBN的分类结果图，图2(e)是采用对比方法DSFN的分类结果图，图2(f)是采用本发明方法的分类结果图；
[0024] 图3是半监督大边界近邻算法的原理图。
具体实施方式
[0025] 下面结合附图对本发明详细说明：
[0026] 实施例1
[0027] 因遥感技术的发展，在环境监测、地球资源勘测、军事系统等领域有着广泛的应用，对极化SAR图像处理的需求也不断加大，深度学习在机器学习方法中有着较为明显的优势。而传统的深度学习网络多为无监督或者有监督的学习方法，在标记样本较少时，无监督的深度学习方法如果只依靠无监督的预训练可能出现欠拟合情况，而少量的标记样本微调并不能有效的提升网络性能；对于有监督的深度学习方法更是会出现网络训练不充分，网络性能较差的情况。传统的深度学习方法没有同时考虑到样本的线性和非线性特征，学习得到的特征不能充分体现样本的内在属性。针对这些现状本发明展开了研究与创新，提出一种基于半监督深度距离度量网络的极化SAR图像分类方法，参见图1，包括有如下步骤：
[0028] (1)输入待分类的极化SAR图像数据：即极化SAR图像的相干矩阵T，根据极化SAR图像的地物分布信息得到标签矩阵Y，同一种地物的分布由同样的类别标号表示，不能确定类别的地物分布在标签矩阵Y中用0表示，根据极化SAR图像的相干矩阵T生成样本矩阵N是样本的总个数，xi表示第i个样本。
[0029] (2)选择有标记样本和无标记样本：根据极化SAR图像的样本数据X和标签矩阵Y，每类随机选取1％的样本作为有标记样本，其余的为无标记样本。
[0030] (3)求有标记样本的近邻样本：在所有的样本数据中，求取每个有标记样本的K1个有标记Wishart同类近邻样本和K2个无标记Wishart近邻样本，每个有标记样本均有K1+K2个Wishart近邻样本，至此，基本的数据处理完成。
[0031] (4)构建半监督大边界近邻算法的损失函数：在大边界近邻算法的基础上增加流行学习正则项，将有监督的大边界近邻算法改进为半监督的大边界近邻算法，得到半监督大边界近邻算法的损失函数，半监督的大边界近邻算法有效利用了部分无标记样本，减少了对有标记样本的需求，使得算法在只有少量有标记样本的情况下也能够保证性能。
[0032] (5)初始化深度网络的基本参数：随机初始化深度距离度量网络的权重参数W和偏置单元b，设定深度距离度量网络每层的节点数，确定深度距离度量网络的整体结构。
[0033] (6)对深度距离度量网络预训练：将有标记样本及其对应的Wishart近邻样本送入到深度距离度量网络中进行预训练。利用半监督大边界近邻算法，采用逐层贪婪的预训练方法，前一层的输出作为后一层的输入，直到训练完最后一个隐层，优化网络的权重，深度距离度量网络的权重得到初步优化。
[0034] (7)对深度距离度量网络微调：利用有标签样本及其标签信息，结合Softmax分类器对深度距离度量网络进行微调，进一步优化网络的权重，使网络变得更稳定，至此，完成深度距离度量网络优化。
[0035] (8)对无标记样本进行类别预测：将无标记样本送入到深度距离度量网络，利用Softmax分类器对无标记样本的类别标签进行预测，得到每个无标记样本的预测类别。
[0036] (9)输出待分类的极化SAR图像的分类结果图和分类精度：根据有标记样本和步骤(8)中已预测出类别的无标记样本，输出待分类的极化SAR图像的最终分类结果并计算本次分类的精度。
[0037] 本发明的技术思路是：将大边界近邻算法在流行正则项的作用下得到半监督大边界近邻算法，与深度学习方法相结合得到深度距离度量网络，在拥有少量标记样本的情况下，对极化SAR数据进行特征学习，通过分类器实现图像分类，提高分类精度。
[0038] 实施例2
[0039] 基于半监督深度距离度量网络的极化SAR图像分类方法同实施例1，步骤(3)中的求每个有标记样本的Wishart近邻样本，包括有如下步骤：
[0040] 3a、有标记样本矩阵为 表示有标记样本个数，利用下面的公式求取每个有标记样本和其余样本之间的Wishart距离：
[0041] d(xi,xj)＝ln((xi)-1xj)+Tr((xj)-1xi)-q，
[0042] 其中，Tr()表示矩阵的迹，对于发送与接收是一体的雷达，由于互易性，常数q＝3；对于发送与接收不是一体的雷达，常数q＝4；
[0043] 3b、利用MATLAB中的sort函数，将3a中求得的Wishart距离d(xi,xj)按绝对值升序排列，取前K1个有标记的同类近邻样本xj(j＝1,2,···,K1)，K2个无标记的近邻样本xp(p＝1,2,···,K2)，作为有标记样本xi的Wishart近邻样本。
[0044] 实施例3
[0045] 基于半监督深度距离度量网络的极化SAR图像分类方法同实施例1-2，步骤(4)中所述的构建半监督大边界近邻算法的损失函数的过程包括：
[0046] 4a、求取大边界近邻算法的损失函数：
[0047] 大边界近邻算法的距离平方公式为：
[0048]
[0049] 其中，L为线性变化矩阵，xj是xi的同类有标记样本。如果存在有标记样本xi的非同类样本的xl，满足如下公式：
[0050] ||L(xi-xl)||2≤||L(xi-xj)||2+1，
[0051] 则，xl被称为“冒充者”。
[0052] 大边界近邻算法可以表示为两部分：同类样本之间的损失函数εpull(L)和非同类样本之间的损失函数εpush(L)，εpull(L)是用来惩罚有标记样本与其同类别的近邻之间的大间距，即减少同类样本之间的距离；εpush(L)是用来惩罚有标记样本与“冒充者”之间的小间距，即增加非同类样本之间的距离：
[0053]
[0054]
[0055] 其中，符号yil表示有标记样本xi和有标记样本xl的类别关系，yil＝1当且仅当yi＝yl时成立，即xi和xl为同类样本；否则，yil＝0。[z]+＝max(z,0)是标准的铰链函数。
[0056] 所以，大边界近邻算法的损失函数ε1(L)为：
[0057] ε1(L)＝(1-μ)εpull(L)+μεpush(L)，
[0058] 其中，损失参数μ∈[0,1]，令符号ξijl＝[1+||L(xi-xj)||2-||L(xi-xl)||2]+，则：
[0059]
[0060] 4b、求取半监督大边界近邻算法的损失函数：
[0061] 在大边界近邻算法的损失函数中添加流行学习正则项，正则项的使用增加了对部分无标记样本的利用，将有监督的大边界近邻算法改进为半监督学习方法，添加该流行学习正则项JR的目的在于惩罚有标记样本xi与无标记样本xp之间的大间隔，也就是减小有标记样本xi与无标记样本xp之间的间隔：
[0062]
[0063] 其中，符号 表示有标记样本xi与其无标记近邻样本xp之间的相似度，则半监督大边界近邻算法的损失函数ε2(L)为：
[0064]
[0065] 其中，||·||F是Frobenius范数，用来保证最大边界，λ为Frobenius范数正则项系数，通常取λ＝1，γ为半监督正则项参数。
[0066] 本发明在大边界近邻算法的基础上，通过添加流行学习正则项得到了半监督大边界近邻算法，改善了在标记样本较少的情况下分类器分类正确率较低，以及大量无标记样本造成的信息浪费的问题，半监督大边界近邻算法对样本的作用原理可见图3所示。
[0067] 实施例4
[0068] 基于半监督深度距离度量网络的极化SAR图像分类方法同实施例1-3，步骤(5)中所述初始化深度网络的参数为：
[0069] 5a、深度距离度量网络的隐层数为3，每层的节点数分别为：150，100，50；
[0070] 5b、随机初始化深度稀疏滤波网络的权重参数W和偏置单元b,每个隐层的节点数分为Nk， t是输入信号的维数，N1是网络第一个隐层的节点数， 表示网络的第k个隐层与第k-1个隐层之间的权重矩阵， 为第k个隐层的偏置单元。
[0071] 实施例5
[0072] 基于半监督深度距离度量网络的极化SAR图像分类方法同实施例1-4，步骤(6)中的对深度距离度量网络的预训练过程为：
[0073] 6a、输入深度稀疏滤波网络的预训练样本，将无标记样本xi及其对应的有标记和无标记Wishart近邻样本作为预训练样本输入到深度网络中，
[0074] 6b、设xi∈Rt×1是输入向量，i＝1,2,...,n。n表示输入样本个数，则第一个隐层的输出可以表示为：
[0075]
[0076] 其中，s(·)表示非线性的sigmoid函数，令z＝W1xi+b1，则s(z)＝(1+exp(-z))-1，将输入到网络的第二个隐层，得到第二个隐层的输出为：
[0077]
[0078] 依次逐层贪婪的训练下去，则第k个隐层的输出为：
[0079]
[0080] 6c、优化网络权重W，利用大边界近邻算法，将线性转换矩阵L等效为深度网络的权重W，第k个隐层的优化目标函数为：
[0081]
[0082] 其中， 整个优化目标函数可以通过传统的梯度下降算法、L-BFGS等方法来求解。
[0083] 本发明通过半监督的大边界近邻算法来进行深度网络预训练，利用距离度量学习的方法使得样本进行特征变换，将同类样本之间的距离减小，非同类样本之间的距离增加，深度距离度量网络通过距离度量学习和深度学习来同时学习样本的线性和非线性特征，最终得到的特征有利于提高极化SAR图像的分类精度。
[0084] 下面给出一个更加详尽的例子，对本发明进一步说明:
[0085] 实施例6
[0086] 基于半监督深度距离度量网络的极化SAR图像分类方法同实施例1-5，参照图1，本发明的具体实施步骤如下：
[0087] 步骤1、输入待分类的极化SAR图像数据,参见图2(a),图2(a)是荷兰Flevoland地区的极化SAR图像的Pauli分解图，输入该极化SAR图像的相干矩阵T,根据极化SAR图像的地物分布信息得到标签矩阵Y，参见图2(b)，图2(b)就是由标签矩阵Y直接生成的图像，图像中不同的色块代表不同的地物，同一种地物的分布在标签矩阵中由同样的类别标号表示，不能确定类别的地物分布在标签矩阵中用0表示，根据极化SAR图像的相干矩阵T生成样本矩阵 N是样本的总个数，xi表示第i个样本。
[0088] 本实例使用荷兰Flevoland地区的极化SAR图像。该图像是由NASA/JPLAIRSAR系统获取，图像大小为300×270，图像中包含了6种不同的地物类别。由于极化SAR数据的极化相干矩阵T是哈密顿半正定矩阵，所以可以提取维数为3×3的极化相干矩阵T的上三角位置的6个元素的模值作为每个像素点的原始特征，利用MATLAB软件中的reshape函数将T矩阵转化为二维的样本矩阵，每一列表示一个样本，每个样本的维数为6维。每个样本对应极化SAR图像上的一个像素点。
[0089] 步骤2、选择有标记样本和无标记样本，根据极化SAR图像的样本数据X和标签矩阵Y，将样本数据按类别随机提取出 个有标记样本，其余的为无标记样本，每类的有标记样本占该类总数的1％。
[0090] 步骤3、求有标记样本的近邻样本，在所有的样本数据中，求取每个有标记样本的K1个有标记Wishart同类近邻样本和K2个无标记Wishart近邻样本。
[0091] 3a、有标记样本矩阵为 按照改进的Wishart距离公式，求它和其它样本之间的Wishart距离：d(xi,xj)＝ln((xi)-1xj)+Tr((xj)-1xi)-q，
[0092] 其中，Tr()表示矩阵的迹，对于发送与接收是一体的雷达，由于互易性，常数q＝3，对于发送与接收不是一体的雷达，常数q＝4，本实例使用的荷兰Flevoland地区极化SAR图像数据是由发送与接收一体的雷达系统获取生成，q取3。
[0093] 3b、利用MATLAB中的sort函数，将3a中求得的Wishart距离d(xi,xj)按绝对值升序排列，取前K1个有标记的同类近邻样本xj(j＝1,2,···,K1)，K2个无标记的近邻样本xp(p＝1,2,···,K2)，作为有标记样本xi的Wishart近邻样本。
[0094] 由于极化SAR数据服从Wishart分布，所以有标记样本xi的无标记Wishart近邻样本xp也很有可能是同类样本，在本发明半监督大边界近邻算法中将xi和xp之间的距离进行惩罚，可以有效地利用部分无标记样本，减少对有标记样本的需求。
[0095] 步骤4、构建半监督大边界近邻算法的损失函数，在大边界近邻算法的基础上增加流行学习正则项，将有监督的大边界近邻算法改进为半监督的大边界近邻算法，得到半监督大边界近邻算法的损失函数。
[0096] 4a、首先求取大边界近邻算法的损失函数ε1(L)：
[0097] 大边界近邻算法的距离平方公式为：
[0098]
[0099] 其中，L为线性变化矩阵，xj是xi的同类有标记样本。如果存在有标记样本xi的非同类样本的xl，满足如下公式：
[0100] ||L(xi-xl)||2≤||L(xi-xj)||2+1，
[0101] 则，xl被称为“冒充者”。
[0102] 大边界近邻算法可以表示为两部分：同类样本之间的损失函数εpull(L)和非同类样本之间的损失函数εpush(L)，εpull(L)是用来惩罚有标记样本与其同类别的近邻之间的大间距，即减少同类样本之间的距离；εpush(L)是用来惩罚有标记样本与“冒充者”之间的小间距，即增加非同类样本之间的距离：
[0103]
[0104]
[0105] 所以，大边界近邻算法的损失函数ε1(L)为：
[0106] ε1(L)＝(1-μ)εpull(L)+μεpush(L)，
[0107] 其中，损失参数μ∈[0,1]，令符号ξijl＝[1+||L(xi-xj)||2-||L(xi-xl)||2]+，则得到大边界近邻算法的损失函数ε1(L)：
[0108]
[0109] 4b、求取半监督大边界近邻算法的损失函数ε2(L)：
[0110] 在大边界近邻算法的损失函数中添加流行学习正则项，正则项的使用增加了对部分无标记样本的利用，将有监督的大边界近邻算法改进为半监督学习方法，添加该流行学习正则项JR的目的在于惩罚有标记样本xi与无标记样本xp之间的大间隔，也就是减小有标记样本xi与无标记样本xp之间的间隔：
[0111]
[0112] 其中，符号 表示有标记样本xi与其无标记近邻样本xp之间的相似度，则半监督大边界近邻算法的损失函数ε2(L)为：
[0113]
[0114] 其中，||·||F是Frobenius范数，用来保证最大边界，λ为Frobenius范数正则项系数，通常取λ＝1，γ为半监督正则项参数。
[0115] 半监督大边界近邻算法将有标记样本和部分无标记样本相结合，克服了有标记样本不足时算法性能较低的情况。
[0116] 步骤5、初始化深度网络的基本参数：随机初始化深度距离度量网络的权重参数W和偏置单元b，设定深度距离度量网络每层的节点数，确定深度距离度量网络的整体结构；
[0117] 5a、深度距离度量网络的隐层数为3，每层的节点数分别为：150，100，50；
[0118] 5b、随机初始化深度稀疏滤波网络的权重参数W和偏置单元b,每个隐层的节点数分为Nk， t是输入信号的维数，N1是网络第一个隐层的节点数， 表示网络的第k个隐层与第k-1个隐层之间的权重矩阵， 为第k个隐层的偏置单元。
[0119] 步骤6、对深度距离度量网络预训练。
[0120] 6a、输入深度稀疏滤波网络的预训练样本，将无标记样本xi及其对应的有标记和无标记Wishart近邻样本作为预训练样本输入到深度网络中，
[0121] 6b、设xi∈Rt×1是输入向量，i＝1,2,...,n。n表示输入样本个数，则第一个隐层的输出可以表示为：
[0122]
[0123] 其中，s(·)表示非线性的sigmoid函数，令z＝W1xi+b1，则s(z)＝(1+exp(-z))-1，将输入到网络的第二个隐层，得到第二个隐层的输出为：
[0124]
[0125] 依次逐层贪婪的训练下去，则第k个隐层的输出为：
[0126]
[0127] 6c、优化网络权重W，利用大边界近邻算法，将线性转换矩阵L等效为深度网络的权重W，第k个隐层的优化目标函数为：
[0128]
[0129] 其中， 整个优化目标通过传统的梯度下降算法来求解。
[0130] 本发明通过半监督的大边界近邻算法进行深度网络预训练，根据度量学习的思想将原始数据映射到新的特征空间，在新的特征空间，同类样本之间的距离减少，非同类样本之间的距离增大。网络能够同时学习样本数据的线性以及非线性特征，学习到的特征能够有效地用于极化SAR图像的分类，提高分类精度。
[0131] 步骤7、对深度距离度量网络微调。
[0132] 预训练完成后，网络的权重W已经收敛到合理的范围，进一步利用有标记样本和其对应类别标签信息，结合Softmax分类器对网络进行微调，微调部分的目标函数Φ(W)可以表示为：
[0133]
[0134] 其中，前一项是均方误差项，后一项是权重衰减项，权重衰减项的目的在于减少权重的幅度，防止过拟合，yi表示训练样本xi对应的类别标签，y(xi)是将有标记样本xi深度距离度量网络后得到的预测类别，β＝3e-3为权重衰减参数，Φ(W)可以根据梯度下降算法来求解。
[0135] 步骤8、对无标记样本进行类别预测，将无标记样本送入到深度距离度量网络，利用Softmax分类器对无标记样本的类别标签进行预测，得到每个无标记样本的预测类别。
[0136] 7a、将所有的无标记样本xu输入到已经构建好的深度距离度量网络中，得到最终的激励输出特征 也就是网络第三个隐层的输出特征；
[0137] 7b、将7a中学习到的特征送到Softmax分类器中进行类别预测：
[0138] Softmax分类器的输出是y∈RP×1，P表示为类别数，无标记样本xu的预测类别可以表示为：
[0139]
[0140] 其中α是样本xu的预测类别置信度。
[0141] 步骤9、输出待分类的极化SAR图像的分类结果图和分类精度，根据有标记样本和已预测出类别的无标记样本，输出待分类的极化SAR图像的最终分类结果并计算本次分类的精度。
[0142] 9a、根据有标记样本的类别标签和无标记样本的预测类别标签，将红色、绿色、蓝色作为三基色，按照三基色上色法为每个像素点上色，输出结果图，参见图2(f)。
[0143] 9b、将无标记样本的预测类别标号与其真实的类别标号进行对比，参见表1，得出分类精度。
[0144] 本发明深度距离度量网络能够同时学习样本的线性及非线性特征，提高了极化SAR图像分类的精度。
[0145] 下面结合仿真实验再对本发明的技术效果详细说明：
[0146] 实施例7
[0147] 基于半监督深度距离度量网络的极化SAR图像分类方法同实施例1-6，[0148] 实验条件：
[0150] 软件平台为：MATLAB R2016a；
[0151] 实验选用荷兰Flevoland地区的极化SAR图像进行测试，图像大小为300×270，每个样本点的维数为6维，类别数为6。实验中，每类随机选取1％的样本作为有标记样本，其余的为无标记样本。
[0152] 实验内容与结果：
[0153] 本发明结合Softmax分类器对真实的极化SAR图像进行分类，在同样实验设置的前提下与其它深度学习方法进行比较，其中WDSN为一种训练速度较快的深度网络模型，图2(c)是由WDSN对图2(a)进行分类的结果图；第二个对比方法为WDBN，是将Wishart距离应用于传统的深度置信网中，图2(d)用WDBN方法对图2(a)进行分类的结果图；DSFN为深度稀疏滤波网络，是将稀疏滤波进行拓展得到的一种深度网络模型，图2(e)是DSFN对图2(a)进行分类的结果图；图2(f)是本发明方法SDMLN对图2(a)进行分类的结果图。表1为采用上述4种方法分别得到的极化SAR图像的地物分类精度和总体分类精度。
[0154] 表1、各种方法在Flevoland地区图上的地物分类精度(％)和总体分类精度(％)[0155]
[0156] 从表1中可以看出，在有标记样本均为1％的情况下，本发明在Bare soil、potato、wheat和barley类都有着最高的分类精度，总分类精度为97.35％也比其它的对比方法要高。本发明采用了距离度量的方法，对分布较为工整的块状数据而言，有着较好的分类精度，该方法可以学习样本数据的线性及非线性特征，并且保持近邻样本的近邻关系，这些都促使了本发明有着较高的分类正确率。
[0157] 实施例8
[0158] 基于半监督深度距离度量网络的极化SAR图像分类方法同实施例1-6，仿真条件和仿真内容同实施例7，
[0159] 参见仿真实验结果图2，图2(c)到图2(f)都是在只有1％的有标记样本的情况下获得的分类结果图，相比之下，本发明具有更好的可视性。将各方法与标签图对比，可以明显看出，本发明最终的分类结果较好，图2(f)拥有更少的噪点，每个噪点表示一个分类错误的样本点，说明本发明方法有这更高的分类精度，从表1也可以看出。图2(c)为WDSN的实验结果图，该算法重点在于训练速度，因而在较少有标记样本的情况下出现了较多的噪点，呈现出较差的分类结果。图2(d)和图2(e)为目前较为新颖的深度网络模型，在只有1％有标记样本的情况下，分类结果的可视性也是要明显低于本发明方法。说明本发明方法利用半监督方法，将距离度量与深度学习方法相结合，学习到的特征有利于对极化SAR图像进行分类，在有标记样本较少的情况下，也能够相对的提高分类精度。
[0160] 参见图3，图3是本发明半监督大边界近邻算法的原理图。图中的三角形和圆形分别代表两种不同类别的样本，其中每个类别的样本中包含有标记样本和部分无标记样本，有标记样本用彩色表示，无标记样本用白色表示，图中同类样本之间互为近邻关系。本发明半监督大边界近邻算法在距离度量和流行学习正则项的共同作用下使得样本数据从一个特征空间映射到新的特征空间。在映射过程中，距离度量方法使得有标记的同类近邻样本之间的距离减小，非同类有标记样本之间的距离增大。而流行学习正则项使得有标记样本与其部分无标记的近邻样本之间的距离减小，充分利用了部分无标记的信息，避免了信息浪费并且减少了算法对有标记样本的需求。半监督大边界近邻算法最终将同类样本与非同类样本适当分割开来，映射后的样本在分类器的作用下更容易进行分类，能够有效提高分类精度。
[0161] 本发明提出的基于半监督深度距离度量网络的极化SAR图像分类方法将距离度量学习和深度学习方法结合，能够有效地提取样本数据的线性以及非线性特征，本发明改善了传统深度学习方法对有标记样本需求较大的问题，在只有较少有标记样本的情况下，也能够适当提高极化SAR图像的分类精度。
[0162] 综上所述，本发明公开的一种基于半监督深度距离度量网络的极化SAR图像分类方法。解决了传统深度学习只考虑样本特征的非线性关系及在有标记样本较少时分类精度不高的技术问题，其步骤包括：1、输入待分类的极化SAR图像数据，极化SAR图像的相干矩阵T生成样本矩阵X；2、选择有标记样本和无标记样本，根据极化SAR图像的样本数据X和标签矩阵Y，每类随机选取1％的样本作为有标记样本，其余的为无标记样本；3、求有标记样本的近邻样本，在所有的样本数据中，求取每个有标记样本的K1个有标记Wishart同类近邻样本和K2个无标记Wishart近邻样本；4、构建半监督大边界近邻算法的损失函数，在大边界近邻算法的基础上增加流行学习正则项，将有监督的大边界近邻算法改进为半监督的大边界近邻算法，得到半监督大边界近邻算法的损失函数；5、初始化深度距离度量网络的参数，随机初始化深度距离度量网络的权重参数W和偏置单元b，设定深度距离度量网络每层的节点数；6、对深度距离度量网络预训练，将有标记样本及其对应的Wishart近邻样本送入到深度距离度量网络中进行预训练，利用半监督大边界近邻算法，采用逐层贪婪的预训练方法，前一层的输出作为后一层的输入，直到训练完最后一个隐层，优化网络的权重；7、对深度距离度量网络微调，用有标签样本及其标签信息，结合Softmax分类器对深度距离度量网络进行微调，进一步优化网络的权重；8、对无标记样本进行类别预测；输出待分类的极化SAR图像的分类结果图和分类精度。
[0163] 本发明通过构建深度距离度量网络模型，在大边界近邻算法中加入了流行学习正则项的方法，得到了半监督的大边界近邻算法，利用深度学习方法来进行深层次的距离度量学习，可以有效地描述样本的线性及非线性结构，能够使最终训练得到的深度网络有着比传统深度网络更为优秀的特征提取性能，该深度网络提取到的特征易于满足同类样本间距小于非同类样本间距增大的性质，因而在分类器的作用下可以有效地提高最终的分类精度。本发明克服了有标记样本不足而影响分类精度及大量无标记样本的信息浪费问题，学习到的特征充分刻画了样本内在属性，可用于环境监测、地球资源勘测和军事系统等技术领域。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种移动式供热机组故障诊断方法 | 2020-05-17 | 576 |
| 一种基于Triple-GAN的分类方法 | 2020-05-11 | 545 |
| 一种基于层次注意力机制的半监督网络表示学习模型 | 2020-05-13 | 599 |
| 一种资产配置方法、装置、电子设备及存储介质 | 2020-05-11 | 647 |
| 一种特征权重自学习的睡眠质量检测关键脑区判定方法 | 2020-05-08 | 88 |
| 一种基于对抗训练和对抗学习网络的半监督文本分类方法 | 2020-05-18 | 681 |
| 一种基于卷积神经网络的自动驾驶汽车前方物体检测方法 | 2020-05-17 | 945 |
| 一种基于半监督学习的多标签语料库文本分类方法 | 2020-05-13 | 481 |
| 一种图片标记方法、装置、设备及存储介质 | 2020-05-08 | 967 |
| 一种融合半监督学习和主动学习的搜索引擎用户满意度评估方法 | 2020-05-13 | 482 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
半监督学习热门专利
QQ群二维码
意见反馈
意见反馈