首页 / 专利库 / 人工智能 / 机器学习 / 半监督学习 / 基于流形正则和范数正则的领域迁移极限学习机方法

基于流形正则和范数正则的领域迁移极限学习机方法

阅读:636发布:2020-05-11

专利汇可以提供基于流形正则和范数正则的领域迁移极限学习机方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于流形正则和范数正则的领域迁移极限学习机方法。在传统的极限学习机 基础 上,引入半 监督学习 和迁移学习的思想,构造了一种新的极限学习机模型,由3部分组成:能够挖掘有标签和无标签数据样本的几何分布形状实现 半监督学习 的流形正则项;同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项;约束权值空间的范数正则子。本发明结合源领域来处理目标领域的预测问题,提高了极限学习机的泛化能 力 和应用范围。其中,流行正则项的引入也使得本发明提出的方法能够在带标签的数据较少时依然能够保持较好的学习效果,克服了传统 机器学习 方法需要大量有标签数据的限制,同时也提高了预测的准确性和鲁棒性。,下面是基于流形正则和范数正则的领域迁移极限学习机方法专利的具体信息内容。

1.一种基于领域迁移极限学习机方法的气体识别方法,其特征在于,包括以下步骤:
步骤1:取第1,2个月445个气体样本数据作为无传感器漂移现象的源领域数据,记为DS={XS},取其中100个样本作为无漂移的源领域有标签气体样本数据,记为 TS是相应的类别标签,其余样本作为无漂移的源领域无标签气体样本数据,记为取第3-10个月1244个气体样本数据作为存在传感器漂移现象的目标领域数据,记为DT={XT},取其中200个样本作为有漂移的目标领域有标签气体样本数据,记为 TT是相应的类别标签,其余样本作为有漂移的目标领域无标签气体样本数据,记为把第i个气体样本表示成xi=[xi1,xi2,…,xin]T,n是每个气体样本数据的特征维度,在此n=128;
步骤2:本发明的极限学习机模型:事先设定好隐层节点个数L,利用随机函数随机产生隐层节点参数(ai,bi),i=1,2,...,L,其中ai=[ai1,ai2,…,ain]T是连接第i个隐层节点和输入神经元的输入权重,n是输入神经元的个数,bi是第i个隐层节点的偏置;
步骤3:对于N个输入的气体样本数据X={x1,x2,...,xN},计算其相应的隐层输出矩阵:
其中g(·)表示激活函数,采用sigmoid函数作为激励函数;对XS, XT和 分别计算它们相对应的隐层输出矩阵,分别记为 HS, 和HT;
步骤4:结合半监督学习、迁移学习,引入流形正则项并同时考虑源领域和目标领域误差最小化,构建本发明方法的优化模型:
其中||β||p是用来约束权值空间的范数正则子,考虑了L1范数||β||1,L2范数 为了方便求解,使用的是0.5倍的L2范数平方的形式和包络范数 (介于L1范数和L2范数之间)三种范数正则子;CS,CT,λS和λT都是惩罚参数,LS和LT分别是源领域数据和目标领域数据的拉普拉斯算子,Tr(·)表示矩阵的迹;
步骤5:设定步骤中的4个惩罚参数CS,CT,λS和λT;
步骤6:分别计算不存在漂移现象的源领域气体样本数据和存在漂移现象的目标领域气体样本数据的拉普拉斯矩阵LS和LT;
步骤7:根据步骤4所述优化模型,求解最优的连接隐层节点和输出神经元的输出权值β,不同的范数正则子本发明采用不同的求解方式,具体如下:
7-1.当采用L1范数||β||1时,令
则 随机初始
化输出权值β,设置迭代终止条件,然后由前向后向分裂算法(FOBOS)得到模型迭代形式的解: k是迭代次数;
令 由迭代软阈值收缩算法(ISTA)得,
当满足迭代终止条件时,迭代停止,得到模型L1范数下的输出权值;
7-2.当采用L2范数 时,模型写成:
NS是 中气体样本的个数,NT是 中气体样本的个数; 分别表示无飘移的
源领域第i个气体样本的隐层输出,类别标签,实际输出与理想输出之间的误差;同样,分别表示有漂移的目标领域第j个气体样本的隐层输出,类别标签,实际输出与理想输出之间的误差;
利用拉格朗日乘子,写成:
对上式求偏导:
当NS令 可得:

方程式简化为:
然后解得αS,αT:
解得模型L2范数下的输出权值:
当NS>L时,
由偏导式方程可得:
解得模型L2范数下的输出权值:
7-3.当采用包络范数 时,令

随机初始化输出权值β,设置迭代终止条件,然后由前向后向分裂算法得到模型迭代形式的解:
令 由迭代软阈值收缩算法得,
当满足迭代终止条件时,迭代停止,得到模型包络范数 下的输出权值;
步骤8:根据步骤7得到的输出权值矩阵β,得到基于流形正则项和Lp范数正则子的领域迁移极限学习机模型f(x)并将此模型应用到电子鼻系统的气体识别中。

说明书全文

基于流形正则和范数正则的领域迁移极限学习机方法

技术领域

[0001] 本发明涉及一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法,属于机器学习模式识别技术领域。

背景技术

[0002] 人工神经网络因其强大的自适应、自组织、自学习和非线性映射能,已广泛应用于生物、化学、医学、经济、海洋等各种领域。但是传统的神经网络,如反向传播(Back Propagation,BP)网络,需要人为设置大量的网络训练参数,训练速度慢、很容易产生局部最优解。针对以上问题,Huang提出一种叫做极限学习机(Extreme Learning Machine,ELM)的单隐层前馈神经网络(Single-hidden Layer Feedforward Neural Networks,SLFNs)新算法。该算法的核心主要是两个部分:一是随机产生输入权重和隐层偏置,避免了迭代调节参数;二是将神经网络的训练问题变化成求解最小二乘的问题,产生唯一的最优解,避免了人工神经网络需要人为的调整参数和易于陷入局部最优解的缺陷。ELM算法因其简单易实现、学习速度快、泛化能力强等特点,近年来受到越来越多的关注。然而,传统ELM需要大量的有标签数据来训练分类器,要求训练数据和待识别目标具有相同的分布特性即不具备领域迁移能力等。而在现实生活中,给数据打上标签会耗费大量的人力、物力,而且待识别目标与训练数据不一定满足分布相同这一条件,例如AUV进行海底环境探索的实际过程中,受环境(光线,浊度,地质特点等)等因素影响,AUV在海底两个不同海域采集到的图像会存在数据偏移现象并且具有先验知识的(有标签数据)训练样本数据往往是少量的。

发明内容

[0003] 本发明将半监督学习、迁移学习、极限学习机有机结合,提出了一种基于流形正则项和Lp范数正则子的领域迁移极限学习机算法,以弥补现有技术的不足。
[0004] 为达到上述目的,本发明采取的具体技术方案为:
[0005] 步骤1:设源领域数据为DS={XS},其中源领域有标签数据 TS是相应的类别标签,源领域无标签数据 目标领域数据为DT={XT},其中目标领域有标签数据 TT是相应的类别标签,目标领域无标签数据 把第i个数据样本表示成xi=[xi1,xi2,…,xin]T,n是每个数据的特征维度;
[0006] 步骤2:随机产生极限学习机的隐层节点参数(ai,bi),i=1,2,...,L,其中ai=[ai1,ai2,…,ain]T是连接第i个隐层节点和输入神经元的输入权重,n是输入神经元的个数,即等于数据的特征维度,bi是第i个隐层节点的偏置,L是隐层节点个数;
[0007] 步骤3:对于N个输入样本X={x1,x2,...,xN},计算相应的隐层输出矩阵:
[0008]
[0009] 其中g(g)表示激活函数;同样的地对XS, XT和 分别计算它们相对应的隐层输出矩阵,分别用 HS, 和HT来表示;
[0010] 步骤4:结合半监督学习、迁移学习,同时为使得结构险最小化,构建出如下优化模型:
[0011]
[0012] 其中||β||p是用来约束权值空间的范数正则子,取三种范数正则子:L1范数||β||1,L2范数 和包络范数 其介于L1范数和L2范数之间;CS,CT,λS和λT都是惩罚参数,LS和LT分别是源领域数据和目标领域数据的拉普拉斯算子,Tr(g)表示矩阵的迹;
[0013] 步骤5:设定上述步骤4中的4个惩罚参数;
[0014] 步骤6:根据源领域所有数据XS和目标领域所有数据XT分别计算LS和LT;
[0015] 步骤7:根据步骤4所述优化模型,求解最优的连接隐层节点和输出神经元的输出权值β,在此步骤中,不同的范数正则子采用不同的求解方式,具体如下:
[0016] 7-1.当采用L1范数||β||1时,令
[0017]
[0018] 则
[0019] 随机初始化输出权值β,然后使用前向后向分裂算法得:
[0020] 其中k是迭代次数;
[0021] 令Uk=βk-m▽F(βk),此时利用迭代软阈值收缩算法得:
[0022]
[0023] 7-2.当采用L2范数 时,利用拉格朗日乘子求解可得:
[0024] 令 中样本的个数为NS,
[0025]
[0026]
[0027] 当NS<L时,
[0028]
[0029] 当NS>L时,
[0030]
[0031] 7-3.当采用包络范数 时,令
[0032]
[0033] 则
[0034] 随机初始化输出权值β,然后利用前向后向分裂算法得:
[0035] k是迭代次数;
[0036] 令Uk=βk-m▽F(βk),利用迭代软阈值收缩算法得:
[0037]
[0038] 步骤8:根据步骤7得到的三个不同输出权值β,相应形成三个不同的基于流形正则项和Lp范数正则子的领域迁移极限学习机模型,然后根据训练误差的大小取其中训练误差最小的一个模型并将其应用到后续新数据的预测问题中。
[0039] 其中g(g)表示激活函数,主要包括sigmoid函数,sin函数,hardlim函数,radbas函数,tridbas函数等等。
[0040] 另外,上述步骤4中的优化模型包含了:1.能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项,2.同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项,3.约束权值空间的范数正则子
[0041] 本发明的优点:本发明在传统的极限学习机基础上,引入半监督学习和迁移学习的思想,构造了一种新的极限学习机模型。该模型由3部分组成,包含:1.能够挖掘有标签和无标签数据样本的几何分布形状实现半监督学习的流形正则项,2.同时考虑源领域数据和目标领域数据误差最小化以实现迁移学习的损失函数项,3.约束权值空间的范数正则子。
[0042] 另外,本发明提出了3种范数正则子来约束权值空间,L1范数正则子的主要作用是使权值具有稀疏性,使得模型排除冗余特征的干扰,实现特征筛选功能;L2范数正则子使得权值的每一个分量都很小,约束每一个特征分量对结果有一个合适的影响力度,这样不仅可以防止模型过拟合,也可以使得模型比较稳定,泛化能力较强。包络范数正则子的优点在与其可调整性,它是一个L1范数和L2范数之间的弹性网络,兼具L1范数和L2范数的优点;使得本发明提出的模型在经验风险最小化的同时也能够保持结构风险最小化;本方法分别对3种范数正则子情况进行了求解,进一步充实了极限学习机的理论框架,探索了不同范数正则子下模型的性能以便从其中确定一个最优预测效果下的模型,从而进一步有效的提升了本发明方法预测结果的精度稳定性
[0043] 本发明结合源领域来处理目标领域的预测问题,如回归问题与分类问题,提高了极限学习机的泛化能力和应用范围。其中,流行正则项的引入也使得本发明提出的方法能够在带标签的数据较少时依然能够保持较好的学习效果,克服了传统机器学习方法需要大量有标签数据的限制,同时也提高了预测的准确性和鲁棒性。附图说明
[0044] 图1是本发明方法的流程图
[0045] 图2是本发明的极限学习机模型示意图。

具体实施方式

[0046] 为更好地理解本发明,下面结合具体实施例对本发明做进一步地详细说明,但是以下描述仅作为示范和解释,并不对本发明作任何形式上的限制。
[0047] 本实施例采用的数据来自UCI机器学习数据库。数据库包含一个电子鼻系统在一个输气平台采集到的6种气体连续36个月共13910个气体样本的数据资料。本实施例中每个样本提取一个128维的特征来表征。由于电子鼻系统的气体探测传感器随着时间的变化会有传感器漂移现象,因此采集到的这些气体数据在不同的时间段也会存在数据偏移现象。本发明方法的流程如图1所示。
[0048] 步骤1:取第1,2个月445个气体样本数据作为无传感器漂移现象的源领域数据,记为DS={XS},取其中100个样本作为无漂移的源领域有标签气体样本数据,记为TS是相应的类别标签,其余样本作为无漂移的源领域无标签气体样本数据,记为 取第3-10个月1244个气体样本数据作为存在传感器漂移现象的目标领域数据,记为DT={XT},取其中200个样本作为有漂移的目标领域有标签气体样本数据,记为TT是相应的类别标签,其余样本作为有漂移的目标领域无标签气体样本数据,记为 把第i个气体样本表示成xi=[xi1,xi2,…,xin]T,n是每个气体样本数据的特征维度,在此n=128;
[0049] 步骤2:本发明的极限学习机模型如图2所示:事先设定好隐层节点个数L,利用随机函数随机产生隐层节点参数(ai,bi),i=1,2,...,L,其中ai=[ai1,ai2,…,ain]T是连接第i个隐层节点和输入神经元的输入权重,n是输入神经元的个数(它等于气体样本的特征维度,即为128),bi是第i个隐层节点的偏置;
[0050] 步骤3:对于N个输入的气体样本数据X={x1,x2,…,xN},计算其相应的隐层输出矩阵:
[0051]
[0052] 其中g(g)表示激活函数,本实施例采用sigmoid函数作为激励函数;对XS, XT和 分别计算它们相对应的隐层输出矩阵,分别记为 HS, 和HT;
[0053] 步骤4:结合半监督学习、迁移学习,我们引入流形正则项并同时考虑源领域和目标领域误差最小化,构建本发明方法的优化模型:
[0054]
[0055] 其中||β||p是用来约束权值空间的范数正则子,我们在本发明中考虑了L1范数||β||1,L2范数 (为了方便求解,使用的是0.5倍的L2范数平方的形式)和包络范数(介于L1范数和L2范数之间,)三种范数正则子;CS,CT,λS和λT都是惩罚参数,LS和LT分别是源领域数据和目标领域数据的拉普拉斯算子,Tr(g)表示矩阵的迹;
[0056] 步骤5:设定上述步骤中的4个惩罚参数CS,CT,λS和λT;
[0057] 步骤6:分别计算不存在漂移现象的源领域气体样本数据和存在漂移现象的目标领域气体样本数据的拉普拉斯矩阵LS和LT;
[0058] 步骤7:根据步骤4所述优化模型,求解最优的连接隐层节点和输出神经元的输出权值β,不同的范数正则子本发明采用不同的求解方式,具体如下:
[0059] 7-1.当采用L1范数||β||1时,令
[0060]
[0061] 则 随机初始化输出权值β,设置迭代终止条件,然后由前向后向分裂算法(FOBOS)得到模型迭代形式的解: k是迭代次数;
[0062] 令Uk=βk-m▽F(βk),由迭代软阈值收缩算法(ISTA)得,
[0063]
[0064] 当满足迭代终止条件时,迭代停止,得到模型L1范数下的输出权值;
[0065] 7-2.当采用L2范数 时,模型可以写成:
[0066]
[0067]
[0068] NS是 中气体样本的个数,NT是 中气体样本的个数; 分别表示无飘移的源领域第i个气体样本的隐层输出,类别标签(理想输出),实际输出与理想输出之间的误差;同样, 分别表示有漂移的目标领域第j个气体样本的隐层输出,类别标签(理想输出),实际输出与理想输出之间的误差;
[0069] 利用拉格朗日乘子,上述问题可以写成:
[0070]
[0071] 对上式求偏导:
[0072]
[0073] 当NS<L时,
[0074] 令 由上述方程式可得:
[0075]
[0076] 令
[0077]
[0078] 方程式可以简化为:
[0079]
[0080] 然后解得αS,αT:
[0081]
[0082] 解得模型L2范数下的输出权值:
[0083]
[0084] 当NS>L时,
[0085] 由偏导式方程可得:
[0086]
[0087] 解得模型L2范数下的输出权值:
[0088]
[0089] 7-3.当采用包络范数 时,令
[0090]
[0091] 则
[0092] 随机初始化输出权值β,设置迭代终止条件,然后由前向后向分裂算法(FOBOS)得到模型迭代形式的解:
[0093] 令Uk=βk-m▽F(βk),由迭代软阈值收缩算法(ISTA)得,
[0094]
[0095] 当满足迭代终止条件时,迭代停止,得到模型包络范数 下的输出权值;
[0096] 步骤8:根据步骤7得到的输出权值矩阵β,得到本发明的基于流形正则项和Lp范数正则子的领域迁移极限学习机模型f(x)并将此模型应用到电子鼻系统的气体识别中。
[0097] 实验表明,本发明方法对电子鼻系统采集到的气体样本识别率可达98%,此结果远高于使用传统ELM方法的82%的识别率,从而证明了本方法的有效性。
[0098] 以上所述,仅是本发明的实施例之一,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属本发明技术方案的保护范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈