基于伪标签方法和弱监督学习的过程数据故障分类方法
专利汇可以提供基于伪标签方法和弱监督学习的过程数据故障分类方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于伪标签方法和弱 监督学习 的工业过程数据故障分类方法，它由多层 感知 器，BatchNormalization层，Dropout层和Softmax 输出层 组成的有监督分类网络和用于获取伪标签不准确情况的高斯混合模型组成； 多层感知器 能够从有标签数据中学习数据的特征表示，BatchNormalization层用于 加速 多层感知器模型的收敛，Dropout层用于防止多层感知器训练过拟合，Softmax输出层根据多层感知器提取的故障样本特征进行故障分类。本发明可以在获得有标签样本标签不准确且存在无标签样本场景进行建模，通过对有标签样本标签及基于伪标签方法给无标签样本预测的伪标签进行标签概率转移矩阵评估，并用于修正分类网络的损失函数，完成弱监督学习，从而提升模型对样本的分类 精度 。，下面是基于伪标签方法和弱监督学习的过程数据故障分类方法专利的具体信息内容。
1.一种基于伪标签方法和弱监督学习的故障分类方法，其特征在于，包括如下步骤：
步骤一：收集历史工业过程的有标签数据集和无标签数据集作为训练数据集，其中有标签数据集为含有故障类别标签的有标签数据集 无
标签数据集 其中，xr为有标签数据样本，yr为该样本的标
签，yr∈{1,2,...,K}，Nl表示有标签数据集的样本个数,Nu表示无标签数据集的样本个数，K为样本类别数。
步骤二：将步骤一中收集到的有标签数据集Dl标准化，即将有标签样本集Xl每个变量映射为均值为0，方差为1的样本集Xl_std，并通过one-hot编码将标签集Yl每个样本转化为一维向量，得到标准化有标签数据集 无标签样本集
Du也进行同样的标准化，得到标准化无标签数据集
步骤三：根据伪标签方法，将标准化有标签数据集Dl_std作为输入，对MLP网络进行第一次有监督训练，训练好的网络对标准化无标签样本集Du_std推理得到无标签样本的伪标签集Yul，与无标签样本集Xu构成含伪标签集的无标签数据集；
步骤四：把有标签数据集和步骤三得到的含伪标签集的无标签数据集合并，得到Dn＝{[Xl,Xu],[Yl,Yul]}，按照步骤二的标准化方法将合并的数据集[Xl,Xu]标准化，并且通过one-hot编码将合并的标签集[Yl,Yul]的每个样本转化为一维向量，得到
再使用步骤三训练得
到的MLP网络推理得到样本集X属于其标签 的后验概率；
步骤五：将步骤四得到的后验概率作为高斯混合模型的输入，对高斯混合模型进行弱监督学习训练，并用训练完成后高斯混合模型参数 来估计标签概率转移矩阵T，得到估计矩阵
步骤六：根据 修正步骤三得到的MLP网络的损失函数，以步骤四得到的数据集Dn_std作为输入，第二次有监督训练步骤三得到的MLP网络，完成弱监督学习，得到训练好的WS-MLP网络；
步骤七：收集新的未知故障类别的工业过程数据，按照步骤二的方法将过程数据标准化，得到标准化数据集dstd,输入到步骤六训练好的WS-MLP网络，求取样本对应每个故障类别的后验概率，把后验概率最大的类别，作为该样本类别，实现样本的故障分类。
2.根据权利要求1所述的故障分类方法，其特征在于，所述步骤三具体包括如下步骤：
(3.1)构建MLP网络，所述MLP网络由依次连接的第一层隐层、BatchNormalization层、Dropout层、第二层隐层、BatchNormalization层、Dropout层和Softmax层组成。其中，第一层隐层和第二层隐层的权重矩阵和偏置向量分别为W1,b1,W2,b2,第二层隐层到Softmax层的权重矩阵和偏置向量分别为W3,b3，将这些网络参数表示为θ＝{W1,b1,W2,b2,W3,b3}。
(3.2)有标签样本集Dl_std作为输入，对MLP网络进行有监督训练，其中使用交叉熵损失函数：
其中，(.)T代表转置操作， 是MLP网络的最后一层的表示。
损失函数通过反向传播算法(BP)对整个MLP网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的较优参数，完成训练。
(3.3)用步骤(3.2)训练好的MLP网络对无标签样本集预测其类别，得到的标签称为伪标签：
c
其中，e ,c∈{1,2,…,K}表示在 空间上，第c个元素为1，其他元素为0的向量。
每个样本预测的伪标签 组合构成伪标签集Yul。
(3.4)将得到的伪标签集Yul与无标签样本集Xu构成含伪标签集的无标签数据集。
3.根据权利要求1所述的故障分类方法，其特征在于，所述步骤五具体包括如下步骤：
(5.1)MLP网络对无标签样本预测的伪标签存在预测错误的情况，因此每类样本是由标签准确的样本和标签错误的样本组成。作出以下假设：假设不准确标签的产生与输入独立，即某类样本标记成其他类别的概率相同。并且假设MLP网络具有感知一致性，即MLP网络对每个类别中标签准确的样本和标签错误的样本的特征表示分别服从高斯分布。
根据假设，可以得到：
其中， 是样本集Dn_std的一个样本表示，y是该样本潜在的真实标签，p(·)表示概率，ei,i∈{1,2,…,K}表示在 空间上，第i个元素为1，其他元素为0的向量，θ表示MLP网络中所有的权重矩阵和偏置向量参数，μ,Σ分别表示高斯分布未知的均值向量和协方差矩阵， 和 分别表示所有样本和类别为i样本的高斯分布密度，T表示标签概率转移矩阵，并且定义
(5.2)对于不同类别样本子集 使用高斯混合模型建模：
其中，xi表示属于数据集 的样本数据， 表示 表示除类别i外的
其他类别。
(5.3)建立两组分的高斯混合模型，使用最大期望化(EM)算法完成高斯混合模型的参数估计，求解出 即
期望步(E步)时，计算Q函数：
其中t为迭代次数。
计算模型对于观测数据 的责任度
其中， 表示xi的第n个样本。
极大步(M步)时，估计高斯分布平均值μm和混合系数αm。
其中，Si表示 样本个数。
E步和M步交替迭代到模型参数收敛或者预设的最大迭代次数。求解出 即
(5.4)根据公式 求解得到混合系数 并用此来得到标签概
率转移矩阵T的估计值
其中， 表示估计矩阵 的第i行第k列的元素。
4.根据权利要求1所述的故障分类方法，其特征在于，所述步骤六中，MLP第二次训练使用修正损失函数为：
其中，T代表真实的标签概率转移矩阵，并且真实训练时使用估计矩阵 代替式中T。通过损失通过反向传播算法(BP)对整个MLP网络进行参数调整，经过多次迭代损失收敛后，得到整个网络的较优参数，完成训练。
基于伪标签方法和弱监督学习的过程数据故障分类方法
技术领域
背景技术
发明内容
标签，yr∈{1,2,...,K}，Nl表示有标签数据集的样本个数,Nu表示无标签数据集的样本个数，K为样本类别数。
到的MLP网络推理得到样本集X属于其标签 的后验概率；
具体实施方式
标签，yr∈{1,2,...,K}，Nl表示有标签数据集的样本个数,Nu表示无标签数据集的样本个数，K为样本类别数。
到的MLP网络推理得到样本集X属于其标签 的后验概率；
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于安全态势感知的传感云双层网络防御系统及方法 | 2020-05-15 | 506 |
| 预测自动语音识别系统中的短语识别质量 | 2020-05-19 | 561 |
| 一种GIS隔离开关触头温度预测方法、装置及可读存储介质 | 2020-05-16 | 873 |
| 一种基于三维空间时序建模的深度视频人体行为识别方法 | 2020-05-19 | 456 |
| 基于伪标签方法和弱监督学习的过程数据故障分类方法 | 2020-05-08 | 385 |
| 一种三维点云的处理方法、装置及设备 | 2020-05-11 | 190 |
| 一种基于三维立体视觉和点云深度学习的机器人上料系统 | 2020-05-12 | 653 |
| 一种文本分类方法及系统 | 2020-05-13 | 822 |
| 一种基于对抗生成网络的人脑效应连接识别方法 | 2020-05-16 | 365 |
| 用于监测车辆盲区的方法和装置 | 2020-05-12 | 964 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
-
10 寬域空燃比感知器
