基于特征随机抽样集成超限学习机的高光谱图像分类方法专利检索-集成学习机器学习人工智能专利检索查询-专利查询网

基于特征随机抽样集成超限学习机的高光谱图像分类方法

阅读：701发布：2020-05-12

专利汇可以提供基于特征随机抽样集成超限学习机的高光谱图像分类方法专利检索，专利查询，专利分析的服务。并且本发明公开基于特征随机抽样集成超限学习机的高光谱图像分类方法。现有高光谱图像具有图谱合一、光谱分辨率高、光谱范围宽、光谱相关性强等特点，本发明针对高光谱图像分类方法过程复杂且难以实时化的问题，提出基于邻域光谱信息提取空谱特征，为降低算法设计的复杂度，考虑到空谱特征相邻波段间的相关性，先对原始空谱特征向量进行平均分组，然后从每个区间随机选择若干个特征进行组合，利用超限学习机的快速学习能力来训练弱分类器，最后通过投票表决法实现高光谱图像分类。测试表明，该方法无需复杂的优化过程，训练速度快，分类精度高，能够满足高光谱图像分类精度和实时性两方面的需求。，下面是基于特征随机抽样集成超限学习机的高光谱图像分类方法专利的具体信息内容。

权利要求

1.基于特征随机抽样集成超限学习机的高光谱图像分类方法，其特征在于该方法的具体步骤是：
步骤(1)、结合空域信息提取高光谱图像的空-谱特征向量；
步骤(2)、融合特征随机抽样、超限学习机与集成学习思想进行分类器训练；
步骤(2)具体包括以下步骤：
2.1采用随机抽样方法对空-谱特征进行降维处理
首先对步骤(1)原始空-谱特征向量进行平均分组，得到S个子波段；然后从每个子波段区间随机选择若干个子特征进行组合，以达到特征降维的目的；将上述随机获得的子特征对应的索引记为indexk，k＝1…C为抽样次数，C为采用的弱分类器数目；故第k个分类器经过随机抽样后的特征矩阵为F(indexk，:)；
2.2采用具有快速学习能力的超限学习机训练弱分类器
超限学习机ELM的分类模型为
其中，hi(x)＝G(ai，bi，x)为第i个隐层节点输出响应值，G为隐层节点采用的激活函数，x∈Rd，为d维实数域输入子特征向量，ai∈Rd，为输入层与第i个隐层节点的随机连接权重，bi∈R，为第i个隐层节点的偏移值；L为隐层节点个数，β为输出权重向量；
设训练样本数目为N，目标类别数目为B，ELM优化的目标函数为
其中，δ1＞0,δ2＞0,p,q＝0,1,2…,+∞，λ为正则化参数，H为所有训练样本经过L个隐层节点输出的变换矩阵，其维数为N×L；T为目标类别矩阵，如式(3)所示，每一行中，目标真实类别位置为1，其余位置为-1；
当δ1＝2,δ2＝2,p＝2,q＝2时，式(2)具有闭环解，具体如式(4)和式(5)所示；
当N≤L时，
当N＞L时，
其中，I为单位矩阵；
采用超限学习机进行训练时，按照式(6)生成输入层与隐层间的连接矩阵Wk，按照式(7)生成偏置向量Biask；
Wk＝2×rand(L,size(indexk,1))-1                                   式(6)Biask＝rand(L,1)                                                  式(7)其中，rand()函数为产生均匀分布且位于区间[0 1]的随机数，size(v,1)函数用于获取矩阵或向量的行数；则第k个分类器对应的变换矩阵为
Hk＝(G(Wk·F(indexk,:)+Biask))T                                  式(8)根据式(8)，利用式(4)或式(5)求得输出权重向量βk；经过超限学习机得到的弱分类器classifierk包含{Wk，Biask，indexk，βk，G}等参数；
2.3使用集成学习思想，通过投票表决法将弱分类器组合成强分类器
对于一个待测样本，设经过步骤(1)提取的特征向量为ft，根据式(8)进行特征降维与映射，利用式(1)求解得到一个1×B的向量vk，向量中的每个值代表属于某一类别的概率，通过式(9)求得最大位置处的索引即为目标的类别Labelk；
[～,Labelk]＝max(classifierk(ft(indexk,:)))                       式(9)根据Bagging 算法思想，对所有C个分类器的结果进行投票表决，从而确定目标的最终估计类别，如式(10)所示；
Label＝MajorityVote(Labelk)k＝1…C       式(10)。
2.根据权利要求1所述的基于特征随机抽样集成超限学习机的高光谱图像分类方法，其特征在于步骤(1)具体包括以下步骤：
利用空间目标领域的光谱特性具有一定相似性，或属于同一类物质的假设，选择空间领域内一定区域的样本均值作为特征向量f；
对所有的训练样本，进行上述特征提取，得到样本对应的特征向量fS，s为样本的标号；
然后将所有样本的特征向量按列进行排列，构成特征矩阵F，F＝[f1，……，fN]，N为样本个数。

说明书全文

基于特征随机抽样集成超限学习机的高光谱图像分类方法

技术领域

[0001] 本发明属于高光谱遥感图像分类技术领域，涉及一种基于特征随机抽样集成超限学习机的高光谱图像分类方法。

背景技术

[0002] 高光谱遥感将成像技术与细分光谱技术结合在一起，在对目标的空间特征成像的同时，对每个空间像元经过色散形成几十乃至几百个窄波段以进行连续的光谱覆盖，所获取的高光谱图像包含丰富的辐射、空间和光谱三重信息，是多种信息的综合载体。

[0003] 高光谱图像具有图谱合一、光谱分辨率高、光谱范围宽、光谱相关性强等特点，使得它在目标侦察、地质勘查，海洋环境监测、农业生态调查、植被保护等领域发挥重要的作用。高光谱图像较高的光谱维数和光谱分辨率为地物分类带来巨大的机遇，然而在训练样本有限的情况下，高光谱图像分类处理过程中会遇到Hughes现象，即随着光谱维数的增加，分类精度先增加后降低，存在高的光谱维数和小的样本数目之间的矛盾。

[0004] 为解决这一问题，可采用特征提取和波段选择等手段对高光谱图像数据进行降维处理。其中特征提取是指根据某种映射规则将高光谱数据投影到一个新的低维特征空间，例如主成分分析(PCA)，独立成分分析(ICA)，流形学习等。波段选择是指按照一定的准则选择具有代表性的波段用于分类，常用的波段分组准则包括波段相关系数、灰度差异、互信息等。此外对分类器进行优化设计也有助于提高高光谱图像数据处理的效率和精度。高光谱图像分类采用的分类器主要包括支持向量机(SVM)、稀疏表示方法、深度学习方法等。

发明内容

[0005] 本发明的目的是为了解决高光谱图像分类方法过程复杂且难以实时化的问题，提出一种基于特征向量平均分组、随机抽样，与集成超限学习机的高光谱图像分类方法，本方法能够快速地完成高光谱图像分类，能够满足高光谱图像分类精度的需求。

[0006] 为解决上述技术问题，本发明采用的技术方案包括以下步骤：

[0007] 步骤(1).结合空域信息提取高光谱图像的空-谱联合特征；

[0008] 步骤(2).融合特征随机抽样、超限学习机与集成学习思想进行分类器训练。

[0009] 2.1采用随机抽样方法对空-谱特征进行降维处理；

[0010] 2.2采用具有快速学习能力的超限学习机训练弱分类器；

[0011] 2.3使用集成学习思想，通过投票表决法将弱分类器组合成强分类器。

[0012] 利用空间目标邻域的光谱特性具有一定相似性，或属于同一类物质的假设，本发明首先基于目标邻域光谱特征提取特征向量，然后采用集成学习思想设计分类器实现目标类别判定。与传统的集成学习不同，本发明对提取的空-谱特征向量随机抽样重新构建新的特征，利用超限学习机的快速学习能力来训练弱分类器，然后通过投票表决法实现高光谱图像分类。本发明与现有技术相比，其显著优点为：(1)结合空-谱特征能够极大地提高目标识别的准确率。(2)对空-谱特征向量进行平均分组与随机抽样实现特征降维，与基于优化的特征选择方法相比降低了算法设计的复杂度。(3)超限学习机具有可调参数少、训练速度快等优点，采用集成学习思想提高了分类算法的泛化能力和分类精度。附图说明

[0013] 图1为基于特征随机抽样和集成超限学习机的高光谱图像快速分类方法流程图；

[0014] 图2为使用本发明用于Indian Pines高光谱数据库的分类结果；其中(a)为各方法的平均分类精度随样本数变化的结果，(b)为各方法的总体分类精度随样本数变化，(c)为各方法的kappa系数随样本数变化的结果。

[0015] 图3为使用本发明用于Pavia University高光谱数据库的分类结果；其中(a)为各方法的平均分类精度随样本数变化的结果，(b)为各方法的总体分类精度随样本数变化，(c)为各方法的kappa系数随样本数变化的结果。图4为使用本发明用于Salinas高光谱数据库的分类结果。其中(a)为各方法的平均分类精度随样本数变化的结果，(b)为各方法的总体分类精度随样本数变化，(c)为各方法的kappa系数随样本数变化的结果。

具体实施方式

[0016] 以下结合附图对本发明作进一步说明。

[0017] 由图1所示，本发明具体实施步骤如下：

[0018] 步骤(1).结合空域信息提取高光谱图像的空-谱联合特征。具体如下：

[0019] 大量实验结果表明，采用空-谱特征能够极大地提高目标的识别准确率。Zhou yicong等人的研究表明，当采用5％的样本作为训练样本数时，采用支持向量机、超限学习机和基于核映射的超限学习机作为分类器，与仅采用谱特征相比，基于空-谱特征的总体分类精度分别由75.5％，67.6％，76.2％提升至92.4％，95.2％，95.％9。因此结合高光谱成像特点，采用有效的空-谱特征能极大地提高分类精度。利用空间目标邻域的光谱特性具有一定相似性，或属于同一类物质的假设，选择空间领域内一定区域(例如7×7的邻域)的样本均值作为特征向量f。

[0020] 步骤(2).融合特征随机抽样、超限学习机与集成学习思想进行分类器训练。具体如下：

[0021] 2.1采用随机抽样方法对空-谱特征进行降维处理。

[0022] 为从高光谱图像中选择有效的光谱特征进行目标分类，一方面可采用波段相关系数、波段一次差异和二次差异系数、互信息等作为准则，通过前向搜索和后向搜索算法等选择合适的光谱特征或其组合，另一方面可通过数学变换的手段对光谱维数进行降维。

[0023] 为降低算法设计的复杂度，考虑到空-谱特征相邻波段间具有一定的相关性，为保留原始特征光谱维度所包含的有效信息，拟首先对原始空-谱特征向量进行平均分组，如将原始特征向量等间距分成10个子波段，然后从每个区间随机选择若干个波段进行组合，以达到特征降维的目的。将随机获得的特征向量在原特征中的索引记做indexk，k＝1…C为抽样次数，C为采用的弱分类器数目。

[0024] 2.2采用具有快速学习能力的超限学习机训练弱分类器。具体如下：

[0025] 超限学习机(ELM)是单隐层前馈神经网络，通过对输入层与隐层间的权重进行随机化处理，使得该算法在目标分类、特征学习等方面具有良好的泛化能力。因不需要在线更新权重，故训练速度非常快。ELM算法具有泛化能力好，可调参数少和计算速度快等优点，其分类模型为

[0026]

[0027] 其中，hi(x)＝G(ai，bi，x)为第i个隐层节点输出响应值，G为隐层节点采用的激活函数，x∈Rd，为d维实数域输入特征向量，ai∈Rd，为输入层与第i个隐层节点的随机连接权重，bi∈R，为第i个隐层节点的偏移值。L为隐层节点个数，β为输出权重向量。设训练样本数目为N，目标类别数目为B，ELM优化的目标函数为

[0028]

[0029] 其中，δ1＞0,δ2＞0,p,q＝0,1,2…,+∞，λ为正则化参数，H为所有训练样本经过L个隐层节点输出的变换矩阵，其维数为N×L。T为目标类别矩阵，如式(3)所示，每一行中，目标真实类别位置为1，其余位置为-1。

[0030]

[0031] 当δ1＝2,δ2＝2,p＝2,q＝2时，式(2)具有闭环解，具体如式(4)和式(5)所示。

[0032] 当N≤L时，

[0033]

[0034] 当N＞L时，

[0035]

[0036] 其中，I为单位矩阵。

[0037] 对所有的训练样本，按照步骤(1)进行特征提取，得到每个样本对应的特征向量，记做fi，i为样本的标号。然后将所有样本的特征向量按列进行排列，构成特征矩阵F，F＝[f1，……，fN]，N为样本个数。设总计需要训练得到C个弱分类器，对于第k个分类器而言，经过随机抽样后的特征矩阵为F(indexk，:)。

[0038] 采用超限学习机进行训练时，按照式(6)生成输入层与隐层间的连接矩阵，按照式(7)生成偏置向量。

[0039] Wk＝2×rand(L,size(indexk,1))-1 式(6)

[0040] Biask＝rand(L,1) 式(7)

[0041] 其中，rand()函数产生均匀分布且位于区间[0 1]的随机数，size(v,1)函数用于获取矩阵或向量的行数。第k个分类器对应的变换矩阵为

[0042] Hk＝(G(Wk·F(indexk,:)+Biask))T 式(8)

[0043] 根据式(8)，利用式(4)或式(5)求得输出权重向量βk。经过超限学习机得到的弱分类器classifierk包含{Wk，Biask，indexk，βk，G}等参数。

[0044] 2.3使用集成学习思想，通过投票表决法将弱分类器组合成强分类器。

[0045] 弱分类器是指分类性能仅好于随机猜测的一类分类器，而强分类器的分类结果在最大程度上符合实际情况。集成学习算法通过合并一组弱分类器来提高分类器的性能，训练得到的强分类器性能优于任何一个弱分类器。Bagging算法通过对样本进行重采样训练得到弱分类器集合，这些弱分类器通过投票表决的方式确定分类标签。通过集成学习算法，能够降低分类算法的误差，提高算法的泛化能力。本发明通过对提取的特征进行平均分组和随机抽样实现特征降维，然后用超限学习机训练弱分类器。得到弱分类器后，采用投票表决法得到强分类器。

[0046] 对于一个测试样本，设经过步骤(1)提取的特征向量为ft，根据式(8)进行特征降维与映射，利用式(1)求解得到一个1×B的向量vk，向量中的每个值代表属于某一类别的概率，通过式(9)求得最大位置处的索引即为目标的类别Labelk。

[0047] [～,Labelk]＝max(classifierk(ft(indexk,:))) 式(9)[0048] 根据Bagging算法思想，对所有C个分类器的结果进行投票表决，从而确定目标的最终估计类别，如式(10)所示。

[0049] Label＝MajorityVote(Labelk)k＝1…C 式(10)

[0050] 为验证本发明的有效性，将该方法(EELM)应用于Indian Pines、PaviaUniversity、Salinas三个典型的高光谱数据库，采用的训练样本数分别设定为10，
20，30，40，50，由于训练样本和测试样本是随机划分，故做了5次蒙特卡洛测试，评价准则选用平均分类精度、总体分类精度和Kappa系数。用于特征提取的邻域范围设定为9×9，将高光谱所有谱段平均分为10组，从每个子波段选择的波段数目设定为5。弱分类器个数设定为C＝10，超限学习机隐层节点个数L＝500，激活函数G()为sin()函数，正则项系数λ＝1e5。
采用步骤(1)提出的空-谱联合特征，分别用支持向量机(SVM)、超限学习机(ELM)、稀疏表示(SR)作为分类器进行分类实验，同时与基于协同表示和支持向量机决策级融合(JCRSVM)的分类结果进行比较，实验结果如图2～4所示。从图2～4中可以分析得出，在使用较少的训练样本情况下，提出的基于特征随机抽样和集成超限学习机的高光谱图像快速分类方法在总体分类精度上取得了最优的分类结果。对于Indian Pines数据，设计的方法性能与JCRSVM性能相当，当训练样本数为50时，本发明设计的方法三个指标性能最优。对于Pavia University数据，当样本数大于10后，本发明设计的方法性能最优。对于Salinas数据，设计的方法与不进行特征随机抽样的超限学习机算法(ELM)性能相当，优于JCRSVM算法。因此，从总体性能上看，本发明设计的方法，通过采用集成学习算法思想，对得到的空-谱特征进行平均分组与随机抽样，提高了分类器的泛化能力，总体性能最优。由于采用了超限学习机作为分类器进行训练与测试，故算法实时性优于没有采用超限学习机的算法的实时性。

[0051] 本发明在将超限学习机算法用于高光谱图像分类时，综合利用了目标空-谱特征、波段分组与随机选择和集成学习三种手段，解决了传统高光谱图像分类方法过程复杂、难以实时化等问题，提高了分类速度和精度，具有一定的实际应用意义。本发明实现了一种基于特征随机抽样和集成超限学习机的高光谱图像快速分类方法，分类结果较为理想。

标题	发布/更新时间	阅读量
一种基于倾向性异质装袋算法的钢材质量预测方法	2020-05-08	500
一种基于医疗服务的集成信息管理方法	2020-05-08	729
一种声乐转换钢琴曲的钢琴学习方法	2020-05-08	807
构建基于PU学习的恶意流量检测模型的方法及装置	2020-05-12	149
一种汽车无线充电的方法及系统	2020-05-12	743
基于长短期记忆网络的梯级水电站发电量预测方法	2020-05-13	794
一种基于深度学习的多时相SAR图像变化检测方法	2020-05-08	459
一种声乐转换钢琴曲的钢琴学习系统	2020-05-08	467
软件众包的任务型对话系统及方法	2020-05-11	468
一种基于心率变异性的睡眠分期方法	2020-05-11	316

基于特征随机抽样集成超限学习机的高光谱图像分类方法

基于特征随机抽样集成超限学习机的高光谱图像分类方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：