首页 / 专利库 / 人工智能 / 机器学习 / 人工神经网络 / 玻尔兹曼机 / 受限玻尔兹曼机 / 一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法

一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机强化学习的故障分类模型及方法

阅读:988发布:2020-05-11

专利汇可以提供一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机强化学习的故障分类模型及方法专利检索,专利查询,专利分析的服务。并且本 发明 公开了一种基于堆叠稀疏高斯伯努利受限 玻尔兹曼机 和 强化学习 的故障分类模型及方法,它由强化学习Q‑learning方法和稀疏 深度信念网络 模型组成;通过逐层无监督预训练SDBN网络,之后结合强化学习Q‑learning方法对整个网络进行梯度下降训练,调整网络权重,充分考虑样本之间相邻 采样 点的相关性以及过程数据在时序上的动态性特点,进一步提升模型对过程非线性、动态性数据的特征提取能 力 ,从而提升故障分类的准确度;本发明可以有效地解决因过程数据的非线性和故障数据动态性等特点导致的故障分类准确率低的问题。,下面是一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机强化学习的故障分类模型及方法专利的具体信息内容。

1.一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机强化学习的故障分类模型的故障分类方法,其特征在于,
所述的堆叠稀疏高斯伯努利受限玻尔兹曼机分为四层,第一层为输入层,第二、三层为隐藏层,第四层为类别层,其中第一层和第二层构成一个稀疏高斯伯努利受限玻尔兹曼机,即SGRBM,第二层又和第三、四层构成一个稀疏类别高斯伯努利受限玻尔兹曼机,即SCGRBM,经过堆叠共同构成稀疏深度信念网络;故障分类模型相关的参数包括:输入层和隐藏层1的连接权重为W1,隐藏层1和隐藏层2的连接权重为W2,隐藏层2和类别层的连接权重为U,输入层、隐藏层1、隐藏层2和类别层的偏置分别为a、b1、b2、c;该模型对应数据的输入变量为X,输出变量为Y;
所述的故障分类模型训练过程包括预训练和微调两步,其中,所述的预训练的过程如下:
应用CD算法更新参数θ1={W1,a,b1},更新隐藏层偏置b1使之满足稀疏约束条件,不断重复更新θ1和b1直至收敛;在SGRBM训练完成后,即可从输入数据中提取出隐藏层1的特征h1=σ(W1X+b1),其中,σ(·)表示非线性激活函数;再将提取出来的特征h1作为SCGRBM网络的输入,结合类别标签信息,进行SCGRBM的训练,包括双向吉布斯采样梯度下降法更新参数并使优化函数满足稀疏性约束条件;
所述的微调为通过Q-learning方法对整个稀疏深度信念网络的权重进行微调,过程如下:
(1)将输入数据按照采样时间序列化,使相邻样本的采样时间也相邻,假设状态和动作序列是:St=X1,a1,X2,a2,…,at-1,Xt,其中,Xt表示t时刻下的状态,对应于t时刻下的输入数据,at表示t时刻下采取的动作,对应于t时刻稀疏深度信念网络输出的类别,基于动作at,得到一个对应的奖励rt,rt表示对样本拟合程度;
(2)经过轮次t,得到累计奖励为 其中T为完成训练的轮次,γ为折
扣系数,最大化每个序列轮次的累计奖励,即Q-learning的训练目标,从而实现对整个稀疏深度信念网络的权重的微调,得到训练好的Q-SDBN模型;
所述的故障分类方法包括如下步骤:
步骤一:收集历史工业过程的离线数据组成建模用的训练数据集,所述的训练数据集为含有故障类别标签的有标签数据集D={(xi,yi)},其中yi∈{1,2,…,C},i=1,2,…,n,n表示有标签数据集的样本个数,C代表类别个数;
步骤二:将步骤一中收集到的训练数据集标准化,将过程变量化成均值为0,方差为1的新的数据集 并通过one-hot编码将表示类别的标量转化为一维向量;
步骤三:将有标签样本集 作为输入,对所述的堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型进行训练,从而得到训练好的基于Q-learning方法的稀疏深度信念网络,即Q-SDBN网络;
步骤四:收集新的未知故障类别的工业过程数据,将过程变量标准化得到数据集步骤五:将数据集 输入到步骤三训练好的Q-SDBN网络中,通过两层隐藏层的特征提取并计算动作值函数,根据最大的动作值函数判断故障的类别。
2.根据权利要求1所述的基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型的故障分类方法,其中在提取隐藏层的特征时所用的非线性激活函数σ(·)为sigmoid函数。
3.根据权利要求1所述的基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型的故障分类方法,所述的稀疏深度信念网络的训练过程中的学习率指数衰减的衰减系数为0.01-0.1,隐藏层的稀疏概率值为0.85-0.95,Q-learning的折扣系数为0.95-
0.99。
4.根据权利要求1所述的基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型的故障分类方法,采用的分类准确率的计算公式为:
其中,S为实际标签为其所属类故障的样本数,CT为实际标签为其所属类故障的样本被正确分为该类的样本数。

说明书全文

一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机强化学习

故障分类模型及方法

技术领域

[0001] 本发明属于工业过程故障诊断和分类领域,涉及一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法

背景技术

[0002] 在过程监测中,当检测到故障发生时,根据异常的过程传感数据,及时准确的识别并判断故障类别,对于保障工业过程的安全运行和产品的优质产出具有至关重要的意义。精确的故障分类可以帮助操作人员进一步定位故障发生的环节和引发故障的过程变量,有助于故障清除和过程恢复,因此故障分类在工业生产中有不容忽视的地位。
[0003] 随着现代工业规模日趋庞大,过程数据也越来越复杂,过程变量之间往往存在较强的非线性关系,传统基于线性假设的建模方法在工业数据的故障分类中往往会造成故障的错分或者无法准确识别故障发生的种类,传统的线性建模因此具有很大的局限性,不再能适应数据特性越趋复杂的实际工业背景。近年来,随着深度学习的方法被广泛的研究和应用,基于神经网络的方法在处理非线性数据上具有优良的表现,其中基于堆叠的受限玻尔兹曼机构成的深度信念网络由于能够针对不同概念的粒度大小进行特征提取,从而在很多领域得到广泛的应用。
[0004] 在传统的深度信念网络的训练过程中,都需要假设数据样本是独立的,即训练需要大量的有标签的数据样本并且样本间相互没有关系。然而由于过程的反馈,自相关的噪声干扰等,导致数据的动态性,也称为自相关性,成为工业过程故障数据不容忽视的重要特征。因此在实际建模中同时也需要一个动态模型来克服数据的动态性问题,有效地引入动态方法对于区分故障是十分有效的。

发明内容

[0005] 针对目前工业过程中有标签样本少、相关性强等问题,本发明提出了一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型及方法,该模型和方法将强化学习思想和深度信念网络模型相结合,实现了对工业过程中故障的精确分类。
[0006] 本发明具体技术方案如下:
[0007] 一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型,其特征在于,所述的堆叠稀疏高斯伯努利受限玻尔兹曼机模型分为四层,第一层为输入层,第二、三层为隐藏层,第四层为类别层,其中第一层和第二层构成一个稀疏高斯伯努利受限玻尔兹曼机,即SGRBM,第二层又和第三、四层构成一个稀疏类别高斯伯努利受限玻尔兹曼机,即SCGRBM,经过堆叠共同构成稀疏深度信念网络;模型相关的参数包括:输入层和隐藏层1的连接权重为W1,隐藏层1和隐藏层2的连接权重为W2,隐藏层2和类别层的连接权重为U,输入层、隐藏层1、隐藏层2和类别层的偏置分别为a、b1、b2、c;该模型对应数据的输入变量为X,输出变量为Y;
[0008] 所述的模型训练过程包括预训练和微调两步,其中,所述的预训练的过程如下:
[0009] 应用CD算法更新参数θ1={W1,a,b1},更新隐藏层偏置b1使之满足稀疏约束条件,不断重复更新θ1和b1直至收敛;在SGRBM训练完成后,即可从输入数据中提取出隐藏层1的特征h1=σ(W1X+b1),其中,σ(·)表示非线性激活函数;再将提取出来的特征h1作为SCGRBM网络的输入,结合类别标签信息,进行SCGRBM的训练,包括双向吉布斯采样梯度下降法更新参数并使优化函数满足稀疏性约束条件;
[0010] 所述的微调为通过Q-learning方法对整个稀疏深度信念网络的权重进行微调,过程如下:
[0011] (1)将输入数据按照采样时间序列化,使相邻样本的采样时间也相邻,假设状态和动作序列是:St=X1,a1,X2,a2,...,at-1,Xt,其中,Xt表示t时刻下的状态,对应于t时刻下的输入数据,at表示t时刻下采取的动作,对应于t时刻稀疏深度信念网络输出的类别,基于动作at,得到一个对应的奖励rt,rt表示对样本拟合程度;
[0012] (2)经过轮次t,得到累计奖励为 其中T为完成训练的轮次,γ为折扣系数,最大化每个序列轮次的累计奖励,即Q-learning的训练目标,从而实现对整个稀疏深度信念网络的权重的微调,得到训练好的Q-SDBN模型。
[0013] 优选地,其中在提取隐藏层的特征时所用的非线性激活函数σ(·)为sigmoid函数。
[0014] 优选地,所述的稀疏深度信念网络的训练过程中学习率指数衰减的衰减系数为0.01-0.1,隐藏层的稀疏概率值为0.85-0.95,Q-learning的折扣系数为0.95-0.99。
[0015] 一种基于所述的堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型的故障分类方法,其特征在于,该方法包括如下步骤:
[0016] 步骤一:收集历史工业过程的离线数据组成建模用的训练数据集,所述的训练数据集为含有故障类别标签的有标签数据集D={(xi,yi)},其中yi∈{1,2,...,C},i=1,2,...,n,n表示有标签数据集的样本个数,C代表类别个数;
[0017] 步骤二:将步骤一中收集到的训练数据集标准化,将过程变量化成均值为0,方差为1的新的数据集 并通过one-hot编码将表示类别的标量转化为一维向量;
[0018] 步骤三:将有标签样本集 作为输入,对所述的堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类模型进行训练,从而得到训练好的基于Q-learning方法的稀疏深度信念网络,即Q-SDBN网络;
[0019] 步骤四:收集新的未知故障类别的工业过程数据,将过程变量标准化得到数据集[0020] 步骤五:将数据集 输入到步骤三训练好的Q-SDBN网络中,通过两层隐藏层的特征提取并计算动作值函数,根据最大的动作值函数判断故障的类别。
[0021] 优选地,采用的分类准确率的计算公式为:
[0022]
[0023] 其中,S为实际标签为该类故障的样本数,CT为实际标签为该类故障的样本被正确分为该类的样本数。
[0024] 本发明的有益效果是,本发明可以充分考虑样本之间相邻采样点的相关性以及过程数据在时序上的动态性特点,进一步提升模型对过程非线性、动态性数据的特征提取能,从而有效提升故障分类的精度附图说明
[0025] 图1是稀疏深度信念网络的其中一个示例的结构示意图;
[0026] 图2是Tennessee Eastman(TE)过程流程图
[0027] 图3是22类测试样本(含正常工况)的真实故障标签示意图;
[0028] 图4是Q-SDBN模型得到的故障分类结果;
[0029] 图5是相同训练和测试数据集下4种不同的网络模型对22类TE过程故障情况(含正常工况)的平均准确率对比图。

具体实施方式

[0030] 下面结合具体实施方式对本发明基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类方法作进一步的详述。
[0031] 一种基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类方法,其中,
[0032] 所述的堆叠稀疏高斯伯努利受限玻尔兹曼机模型分为四层,第一层为输入层,第二、三层为隐藏层,第四层为类别层,其中第一层和第二层构成一个稀疏高斯伯努利受限玻尔兹曼机,即SGRBM,第二层又和第三、四层构成一个稀疏类别高斯伯努利受限玻尔兹曼机,即SCGRBM,经过堆叠共同构成稀疏深度信念网络;模型相关的参数包括:输入层和隐藏层1的连接权重为W1,隐藏层1和隐藏层2的连接权重为W2,隐藏层2和类别层的连接权重为U,输入层、隐藏层1、隐藏层2和类别层的偏置分别为a、b1、b2、c;该模型对应数据的输入变量为X,输出变量为Y;
[0033] 所述的基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类方法建模步骤如下:
[0034] 步骤一:收集历史工业过程的离线数据组成建模用的训练数据集,所述的训练数据集为含有故障类别标签的有标签数据集D={(xi,yi)},其中yi∈{1,2,...,C},i=1,2,...,n,n表示有标签数据集的样本个数,C代表类别个数;
[0035] 步骤二:将步骤一中收集到的训练数据集标准化,将过程变量化成均值为0,方差为1的新的数据集 并通过one-hot编码将表示类别的标量转化为一维向量;
[0036] 步骤三:将有标签样本集 作为输入,对稀疏深度信念网络进行训练,从而得到训练好的基于Q-learning方法的稀疏深度信念网络,即Q-SDBN网络;所述的训练包括预训练和微调两步,其中,所述的预训练的过程如下:
[0037] 应用CD算法更新参数θ1={W1,a,b1},更新隐藏层偏置b1使之满足稀疏约束条件,不断重复更新θ1和b1直至收敛;在SGRBM训练完成后,即可从输入数据中提取出隐藏层1的特征h1=σ(W1X+b1),其中,σ(·)表示非线性激活函数,这里采用的是sigmoid函数;再将提取出来的特征h1作为SCGRBM网络的输入,结合类别标签信息,进行SCGRBM的训练,包括双向吉布斯采样、梯度下降法更新参数并使优化函数满足稀疏性约束条件;
[0038] 所述的微调为通过Q-learning方法对整个稀疏深度信念网络的权重进行微调,过程如下:
[0039] (1)将输入数据按照采样时间序列化,使相邻样本的采样时间也相邻,假设状态和动作序列是:St=X1,a1,X2,a2,...,at-1,Xt,其中,Xt表示t时刻下的状态,对应于t时刻下的输入数据,at表示t时刻下采取的动作,对应于t时刻稀疏深度信念网络输出的类别,基于动作at,得到一个对应的奖励rt,rt表示对样本拟合程度;
[0040] (2)经过轮次t,得到累计奖励为 其中T为完成训练的轮次,γ为折扣系数,最大化每个序列轮次的累计奖励,即Q-learning的训练目标,从而实现对整个稀疏深度信念网络的权重的微调,得到训练好的Q-SDBN网络;
[0041] 步骤四:收集新的未知故障类别的工业过程数据,将过程变量标准化得到数据集[0042] 步骤五:将数据集 输入到步骤三训练好的Q-SDBN网络中,通过两层隐藏层的特征提取并计算动作值函数,根据最大的动作值函数判断故障的类别。
[0043] 为了评价该故障分类模型的分类效果,定义某类故障对应的分类准确率accuracy,计算公式如下:
[0044]
[0045] 其中,S为实际标签为该类故障的样本数,CT为实际标签为该类故障的样本被正确分为该类的样本数。
[0046] 优选地,所述的稀疏深度信念网络的训练过程中学习率指数衰减的衰减系数为0.01-0.1,隐藏层的稀疏概率值为0.85-0.95,Q-learning的折扣系数为0.95-0.99。
[0047] 为了更好的说明堆叠稀疏高斯伯努利受限玻尔兹曼机的结构,假设输入变量为X,输入层神经元个数4,第一个隐藏层和第二个隐藏层的神经元个数都为6,输出层神经元个数为3,堆叠稀疏高斯伯努利受限玻尔兹曼机结构图如图1所示。在实际应用过程中输入、输出神经元个数由数据集决定,隐层神经元个数经过经验调试得到。
[0048] 以下结合一个具体的TE过程的例子来说明基于堆叠稀疏高斯伯努利受限玻尔兹曼机和强化学习的故障分类方法的性能。TE过程是故障诊断与故障分类领域常用的标准数据集,整个数据集包括53个过程变量,其工艺流程如图2所示。该流程由气液分离塔、连续搅拌式反应釜、分凝器、离心式压缩机再沸器等5个操作单元组成,该过程可以由多个代数和微分方程来表示,非线性和强耦合性是该过程传感数据的主要特点。
[0049] TE过程可人为设置21类故障,在这21类故障中,包括16类已知故障,5类未知故障,故障的种类包括流量的阶跃变化、缓慢斜坡增大、的粘滞等等,包含典型的非线性故障和动态故障,表1给出了21类故障的具体介绍。
[0050] 表1 TE过程故障列表
[0051]
[0052]
[0053] 针对该过程,将所有53个过程变量作为建模变量,在所有21类故障工况加上正常工况总共22类数据上测试分类性能。从TE标准数据集中采用正常工况和每个故障类别前720个采样点作为训练集,第721-800个采样点为测试集。
[0054] Q-SDBN网络的输入节点数为53,隐层1的节点数为100,隐层2的节点数为200,输出层的节点数为22。所有网络在训练时的初始学习率设置为1e-3,每次选取一个批次数据进行随机梯度下降,批次大小256,一次迭代周期满足遍历完所有训练样本,总共迭代200次,学习率随着迭代次数指数衰减,衰减系数为0.1,隐藏层的稀疏概率值为0.9,Q-learning的折扣系数为0.99。
[0055] 图3是所有测试集的正确工况类别标签。通过与图3的对比,可以从图4看出Q-SDBN方法对不同的故障类别都能较好的区分出来。
[0056] 图5展示了在网络结构和参数统一的情况下,Q-SDBN与其他神经网络模型的故障分类平均精度相比,本发明的Q-SDBN模型可以更有效地区分TE过程的21类故障,平均精度可以达到85.11%,较传统的DNN模型提升了近20%。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈