一种基于混合受限玻尔兹曼机的深度网络高光谱遥感分类
方法
技术领域
[0001] 本
发明属于遥感
数据处理技术领域，尤其涉及
一种基于混合受限玻尔兹曼机的深度网络高光谱遥感分类方法。
背景技术
[0002] 高光谱遥感是指具有高光谱
分辨率特征的成像光谱技术，其能够利用地物的分子光谱吸收和微粒散射特性，探测和识别地表和大气的物质种类、评价和测量光谱所反映的物质含量、确定一个光谱混合的空间单元内各组成的面积比、描绘各类地物的空间分布。高光谱遥感影像地物分类技术是实现精准农业、林业、
水质监测、大气污染、生态环境监测、地质调查和城市调查的重要技术手段。
[0003] 现有的高光谱遥感分类方法主要有：k近邻法、贝叶斯分类器、高斯过程分类器、神经网络分类器以及
支持向量机(Support Vector Machine，SVM)分类器等。但是，这些分类方法在进行高光谱影像分类过程中存在诸多
缺陷：
[0004] 1)伴随高光谱遥感影像光谱分辨率的提高，特征空间的维数越来越高，高光谱影像的光谱信息也存在极大的冗余性，该冗余特性也使高光谱遥感影像处理的复杂程度不断增加。而高光谱遥感数据的分类样本具有不易获得且代价非常高的特点，使得高光谱遥感分类问题往往面临Hughes现象。
[0005] 2)为实现有效地高光谱遥感影像地物识别与分类，往往需要复杂的特征过程，特征提取与分类是两个独立的过程，不能在单一系统内有效地集成。
[0006]
深度神经网络可通过一个具有多个隐含层的神经网络结构，从现有特征集合中提取高阶的特征，在单一系统内完成特征提取和分类任务，是处理地物识别与分类问题的新思路。目前，深层神经网络已经在图像分类、
语音识别等领域取得了一定的应用并获得良好的识别效果，针对高光谱遥感影像的深度神经网络方法尚属空白。采用受限玻尔兹曼机构建深度神经网络模型进行分类是一种常见的思路，但是通常具有如下的缺陷：
[0007] 1)受限玻尔兹曼机模型仅能够对二元分布的数据进行建模，因此，当面对高光谱遥感影像光谱数据连续的特征时，其不能有效地建立模型进行特征提取。
[0008] 2)基于受限玻尔兹曼机的深度神经网络通常不能独立作为一个分类模型使用，需要配合其他分类方法实现整个分类系统。
[0009] 综上所述，如何解决高光谱遥感影像的准确分类问题，尚缺乏有效的解决方案。
发明内容
[0010] 为了解决
现有技术的不足，本发明的目的是提供一种基于混合受限玻尔兹曼机的深度网络高光谱遥感分类方法，该方法使用生成式受限玻尔兹曼机和判别式受限玻尔兹曼机结合，既提升了光谱特征的高阶可分性，又保证了同系网络的训练
稳定性和有效性，从而提升高光谱遥感影像的分类
精度。
[0011] 实现本发明目的的具体技术方案是：
[0012] 一种基于混合受限玻尔兹曼机的深度网络高光谱遥感分类方法，特点是该方法包括以下具体步骤：
[0013] 步骤1：对高光谱遥感影像进行监督标记，标记的样本集分为分类
训练数据集和分类测试数据集；
[0014] 步骤2：构建生成式受限玻尔兹曼机，实现高光谱遥感影像的特征提取；
[0015] 步骤3：构建判别式受限玻尔兹曼机，输出高光谱遥感影像对应地物类别；
[0016] 步骤4：组合生成式受限玻尔兹曼机和判别式受限玻尔兹曼机，得到混合受限玻尔兹曼机；
[0017] 步骤5：使用分类训练数据集对混合受限玻尔兹曼机进行训练，使用分类测试数据集对混合受限玻尔兹曼机进行测试，直至输出的预测分类精度达到预设精度，完成最终的基于混合式受限玻尔兹曼机的参数训练；
[0018] 步骤6：将待分类的高光谱数据输入至训练完成的分类器中，输出预测分类结果。
[0019] 步骤1所述对高光谱遥感影像进行监督标记，具体是：首先挑选高光谱影像中的像元进行监督式标记，将标记好的样本按照1∶9划分为分类训练数据集与分类测试数据集；其中分类训练数据集用于混合受限玻尔兹曼机的训练，分类测试数据集用于对混合受限玻尔兹曼机分类精度的验证。
[0020] 步骤2所述构建生成式受限玻尔兹曼机，具体为：
输入层采用高斯-伯努利受限玻尔兹曼机(Gaussian Bernoulli Restricted Boltzmann Machine，GBRBM)模型；GBRBM之后
叠加两层由普通的受限玻尔兹曼机组成的隐含层，三层受限玻尔兹曼机组成堆叠的生成式受限玻尔兹曼机，然后对其进行训练，完成构建；生成式受限玻尔兹曼机用于高光谱遥感影像的特征提取。
[0021] 所述训练方式为：逐层地从输入层开始进行训练，每次仅对一层神经网络进行训练；训练的过程从输入层的GBRBM模型开始，GBRBM训练完成后，将该层GBRBM模型的隐含层作为上一层受限玻尔兹曼机模型的输入，继续对新的受限玻尔兹曼机模型进行训练，重复该训练过程，直至达到预设训练次数。
[0022] 所述步骤3中的判别式受限玻尔兹曼机，又称分类受限玻尔兹曼机(Classification Restricted Boltzmann Machine，CRBM)是通过调整受限玻尔兹曼机的
能量方程得到，具体为：
[0023] 1)在受限玻尔兹曼机中引入新的类别标签层y∈{1,2,3,...,C}，C为类别总数，并将其与隐含层神经元连接，使该机具有对输入数据x和类别标签y的联合概率进行建模的能
力；
[0024] 2)对联合概率的似然函数进行分解：
[0025]
[0026] 式中，likehoodgenerative()为基于生成式模型的受限玻尔兹曼机的似然函数，Dtraining为训练数据集，p(x,y)为样本x与其对应标签y的联合分布概率，p(y|x)为样本x的后验概率，t代表(x,y)来自分类训练样本集；
[0027] 3)选择忽略生成的部分，只关注监督分类部分，由此得到新的训练目标函数：
[0028]
[0029] 式中，likehooddiscriminative()为基于判别的受限玻尔兹曼机的似然函数；采用该训练目标函数的分类器构成判别式玻尔兹曼机。
[0030] 所述步骤4中的组合生成式受限玻尔兹曼机和判别式受限玻尔兹曼机，是通过堆叠基于生成式受限玻尔兹曼机和判别式受限玻尔兹曼得到的；混合受限玻尔兹曼机的输入层为GBRBM，紧接两层普通受限玻尔兹曼机，最后
输出层为判别式受限玻尔兹曼机，混合受限玻尔兹曼机的层数为四层，前三层为生成式受限玻尔兹曼机，最后一层为判别式受限玻尔兹曼机。
[0031] 本发明的有益效果是：采用多个堆叠的生成式受限玻尔兹曼机进行特征提取，并且通过在输入层引入高斯受限玻尔兹曼机，使其具有了处理高光谱遥感影像的能力；使用生成式受限玻尔兹曼机和判别式受限玻尔兹曼机结合，既提升了光谱特征的高阶可分性，又保证了同系网络的训练稳定性和有效性，从而提升高光谱遥感影像的分类精度。
附图说明
[0033] 图2是本发明采用的混合受限玻尔兹曼机的构示意图；
[0034] 图3是高光谱遥感影像数据与分类结果对比图；
[0035] 图4是分类受限玻尔兹曼机示意图。
具体实施方式
[0036] 下面结合附图及
实施例对本发明进行详细描述。
[0037] 实施例
[0038] 如图1所示，本发明的一种基于混合受限限玻尔兹曼机的深度网络高光谱遥感分类方法，本实施例所用计算机的相关
硬件配置为：Intel(R)酷睿i7 7700，物理内存为：16.00GB。GPU为GTX1070，1.5GHz主频，8GB显存。实验
操作系统为Ubuntu14.04，使用基于python的
深度学习框架Theano。具体的实施步骤如下：
[0039] 步骤1：高光谱影像监督标记，形成高光谱影像分类训练数据集和测试数据集[0040] 具体地，本实施例的数据为通用高光谱遥感影像数据Pavia University数据集数据示意图，如图3(a)所示。
[0041] ROSIS高光谱遥感数据集由ROSIS
传感器于2013年获取自某大学。ROSIS传感器获取的数据包含113个波段，
覆盖光谱范围为430nm-860nm。本实施例对该传感器获取的数据进行噪
声波段和水汽波段进行去除，共103个波段将用于本实施例。Pavia University数据集包含一景采集自Pavia大学及其周围区域的高光谱遥感影像，该数据集包含可用于分类模型训练和测试的标记样本集合。该训练-测试样本集合包含9种地物类别，分别为：Asphalt,Meadow,Gravel,Trees,Metal Sheet,Bare soil,Bitumen,Bricks,and Shadow。
影像格式为.img。
[0042] 步骤2：构建生成式受限玻尔兹曼机，实现高光谱遥感影像的特征提取；
[0043] 本实施例的特征提取和分类过程采用的是混合式受限玻尔兹曼机，实验平台是基于python的Theano平台。
[0044] 为解决受限玻尔兹曼机不适用于需要对连续数值进行建模的应用场景，使用高斯受限玻尔兹曼机作为输入层对连续数值进行建模，该模型的提出有效地扩展了受限玻尔兹曼机模型对实数值输入神经元的建模能力。高斯受限玻尔兹曼机之后叠加两层由普通的受限玻尔兹曼机组成的隐含层，三层受限玻尔兹曼机组成堆叠的生成式受限玻尔兹曼机，然后对其进行逐层训练，每一层训练步骤包括：
[0045] 步骤2.1初始化模型参数；
[0046] 步骤2.2设定高斯分布标准差初始化参数及
采样步数k；
[0047] 步骤2.3计算隐含层神经元激活状态；
[0048] 步骤2.4进行k步Gibbs采样；
[0049] 步骤2.5更新参数集合；
[0050] 完成每层训练时，即完成生成式受限玻尔兹曼机构建。然后实现对高光谱遥感影像的特征提取。当输入数据为数据集中的光谱值时，通过输入层神经元与隐含层神经元之间的变换，隐含层神经元实现了输入数据的特征提取。
[0051] 步骤3：构建判别式受限玻尔兹曼机，输出高光谱遥感影像对应地物类别；
[0052] 具体地，本发明的混合受限玻尔兹曼机的结构示意图如图2所示，由多层生成式受限玻尔兹曼机和判别式受限玻尔兹曼机组成。本发明构建的多层混合受限玻尔兹曼机，在模型的输入层采用了高斯受限玻尔兹曼机模型；采用堆叠的受限玻尔兹曼机构建多层神经网络模型对数据进行特征提取，随后采用判别式的分类受限玻尔兹曼机进行分类，建立了一种完全基于受限玻尔兹曼机的深度神经网络。
[0053] 分类受限玻尔兹曼机：分类受限玻尔兹曼机是对受限玻尔兹曼机的一种扩展，模型结构如图4所示，除了输入数据x之外，在模型中引入新的类别标签层y，并将其与隐含层神经元连接，使该模型具有对输入数据和类别标签的联合概率进行建模的能力，实现了一种包含了特征变换和分类过程的监督分类方法。
[0054] 模型训练过程中，依据能量方程对模型进行改进：
[0055] 1)在模型中引入新的类别标签层y∈{1,2,3,...,C}，C为类别总数，并将其与隐含层神经元连接，使该模型具有对输入数据x和类别标签y的联合概率进行建模的能力；
[0056] 2)对联合概率的似然函数进行分解：
[0057]
[0058] 式中，likehoodgenerative()为基于生成式模型的受限玻尔兹曼机的似然函数，Dtraining为训练数据集，p(x,y)为样本x与其对应标签y的联合分布概率，p(y|x)为样本x的后验概率。
[0059] 3)忽略生成式模型的部分，只关注监督分类部分，由此得到新的模型训练目标函数：
[0060]
[0061] 式中，likehooddiscriminative()为基于判别模型的受限玻尔兹曼机的似然函数。采用该训练目标函数的RBM分类器构成基于判别式受限玻尔兹曼机分类器。
[0062] 4)采用该训练目标函数的RBM即为判别式玻尔兹曼机分类器。
[0063] 具体地，该神经网络通过逐层贪婪的方法进行训练，逐层地从网络的底端开始训练，每次仅对一层神经网络进行训练。从最底端的高斯受限玻尔兹曼机模型开始训练，高斯受限玻尔兹曼机训练完成后，将该层高斯受限玻尔兹曼机模型的隐含层作为上一层受限玻尔兹曼机模型的输入，继续对新的受限玻尔兹曼机模型进行训练，重复该训练过程，直至网络顶端的分类受限玻尔兹曼机分类器。然后采用最后一层的输出作为分类受限玻尔兹曼机模型的输入，训练判别式受限玻尔兹曼机模型。
[0064] 步骤4：组合生成式受限玻尔兹曼机和判别式受限玻尔兹曼机，得到混合受限玻尔兹曼机。
[0065] 步骤5：使用分类训练数据集对混合受限玻尔兹曼机进行训练，使用分类测试数据集对混合受限玻尔兹曼机进行测试，直至输出的预测分类精度达到预设精度，完成最终的基于混合式受限玻尔兹曼机的参数训练。
[0066] 步骤6：将待分类的高光谱数据输入至训练完成的分类器中，输出预测分类结果，如图3(b)所示。
[0067] 本发明是一个自包含的模型，不依赖其他模型即可完成特征提取和分类的功能，消除了传统分类系统中依赖组合不同特征提取和分类系统的不足，采用多个堆叠受限玻尔兹曼机模型能够获得良好的特征提取效果从而提升分类精度。
[0068] 本发明的模型自成系统，采用了多个堆叠的混合受限玻尔兹曼机模型进行特征提取，并采用分类受限玻尔兹曼机对特征提取后的数据进行分类，实现了单一系统内特征提取和分类过程的自包含。与传统的地物识别方法相比，本发明不仅仅提供了一种不同于现有分类系统的新的解决方案，同时其在单一系统内集成了特征提取和分类的过程也有效地减少了模型的复杂程度。
