一种基于深度学习模型融合的电压暂降原因识别方法
专利汇可以提供一种基于深度学习模型融合的电压暂降原因识别方法专利检索，专利查询，专利分析的服务。并且一种基于 深度学习 模型融合的 电压 暂降原因识别方法，属于 电能 质量 分析方法技术领域。方法包括对电压暂降录波及其暂降原因标签进行数据预处理；搭建 卷积神经网络 ；对卷积神经网络进行有监督预训练；用深度置信网络替换卷积神经网络的全连接层；对深度置信网络进行无监督预训练；添加softmax层；对整个网络进行有监督训练；对生成的模型进行准确率的验证；对融合模型输出的各类别概率进行判断，自动识别输入对应的暂降原因类型。本 发明 利用历史电压暂降录波及其暂降原因标签对网络进行 迭代 训练，生成融合后的模型。将监测点可能出现的电压暂降录波输入模型，就可以得到对应的暂降原因类型。本发明对现有的电能质量监测系统是一大补充，具有十分重要的现实意义。，下面是一种基于深度学习模型融合的电压暂降原因识别方法专利的具体信息内容。
1.一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，该方法包括以下步骤：
步骤1：对电能质量监测点的电压暂降录波及其电压暂降原因标签进行数据预处理；
步骤2：搭建传统的卷积神经网络；
步骤3：用训练集数据对步骤2搭建好的网络进行有监督预训练；
步骤4：保留卷积神经网络的参数，用深度置信网络替换卷积神经网络的全连接层；
步骤5：用训练集数据对深度置信网络进行无监督预训练；
步骤6：保留深度置信网络的参数，在现有网络的输出层后面添加softmax层；
步骤7：用训练集数据对整个网络进行有监督训练并保存模型；
步骤8：用测试集数据对步骤7生成的模型进行准确率的验证；
步骤9：用户输入电压暂降录波数据，模型自动识别其对应的电压暂降原因类型。
2.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤1所述数据预处理包括对电压暂降录波数据的连续采样、对采样电压值的归一化处理、对电压暂降原因标签的向量化，最后将预处理后的数据和标签划分为训练集和测试集。
3.根据权利要求1所述的基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤2所述卷积神经网络的组件包括卷积层、池化层、全连接层，每层均使用非饱和非线性的Relu激活函数，每层均加入批标准化处理。
4.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤3所述有监督预训练为：采用步骤1处理后的连续电压值及其对应的电压暂降原因标签对步骤2搭建好的网络进行迭代训练，训练过程中将网络输出和对应标签的平分误差作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。
5.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤4所述深度置信网络由多个传统的受限玻尔兹曼机层串联堆叠而成。
6.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤5所述无监督预训练为：将步骤1处理后的连续电压值输入步骤3预训练好的卷积神经网络，利用其池化层的输出对步骤4搭建好的深度置信网络的第一个受限玻尔兹曼机进行无监督预训练，利用第一个受限玻尔兹曼机的隐含层输出对下一个受限玻尔兹曼机继续进行无监督预训练，以此类推。
7.根据权利要求6所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，受限玻尔兹曼机的无监督预训练为：引入能量函数，训练目标是使网络的能量函数达到最低值状态；训练过程中，先从受限玻尔兹曼机的显层获取输入数据，再用能量函数推导出显层和隐层的条件概率，接着推导得到隐层单元和显层单元被激活的概率，从而得到网络偏置的求解结果，最后依据隐层单元和显层单元之间的相关性差异，通过反向传播算法迭代更新网络的权重和偏置，最终实现网络的最佳稳定状态。
8.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤6所述softmax层调用softmax函数将网络的输出映射到(0，1)区间内，从而获得网络输入数据属于各电压暂降原因类别的概率。
9.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤7所述有监督训练为：采用步骤1处理后的连续电压值及其对应的电压暂降原因标签对步骤6搭建好的网络进行迭代训练，训练过程中将softmax层输出和对应标签的交叉熵作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。
10.根据权利要求1所述的一种基于深度学习模型融合的电压暂降原因识别方法，其特征在于，步骤8所述准确率的验证为：将步骤1处理后的连续电压值输入步骤7训练生成的模型，对模型softmax层输出的各类别概率进行判断，当某类别概率大于0.5时，认定输入的测试数据属于该电压暂降原因类别，最后将判断的类别或类别组合与对应电压暂降原因标签进行匹配，从而测试模型的识别准确率。
一种基于深度学习模型融合的电压暂降原因识别方法
技术领域
背景技术
发明内容
具体实施方式
步骤1：对电能质量监测点的电压暂降录波及其电压暂降原因标签进行数据预处理；
本专利的数据预处理包括对电压暂降录波数据的连续采样、对采样电压值的归一化处理、对电压暂降原因标签的向量化，最后将预处理后的数据和标签划分为训练集和测试集；
步骤2：搭建传统的卷积神经网络；
所述卷积神经网络的组件包括卷积层、池化层、全连接层。如图2所示，卷积神经网络每层均使用非饱和非线性的Relu激活函数，从而提升网络的表达能力，每个池化层后均加入批标准化处理，从而加快网络的学习速率；
步骤3：用训练集数据对步骤2搭建好的网络进行有监督预训练；
所述有监督预训练包含前向传播和反向传播两个过程：采用步骤1处理后的连续电压值及其对应的电压暂降原因标签对步骤2搭建好的网络进行迭代训练，训练过程中将网络输出和对应标签的平分误差作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。
其中λ为权重衰减参数，nl为网络总层数，sl为网络第l层节点数。反向传播时，用批量梯度下降法对每层的参数wij(l)和bi(l)进行更新，使整体代价函数最小化。更新公式如下：
其中，α为学习速率。当网络结构的代价误差最小时，就得到预训练好的网络模型；
步骤4：保留卷积神经网络的参数，用深度置信网络替换卷积神经网络的全连接层；
所述深度置信网络由多个传统的受限玻尔兹曼机层串联堆叠而成，一个典型的受限玻尔兹曼机结构如图3所示。显层v作为输入层，隐层h作为输出层，偏置w用来控制显层和隐层中单元的激活状态，层内单元相互独立[16]。其中，网络的显层第i个单元与隐层第j个单元之间的权重用参数wij表示，显层的偏置为参数b = (b1，b2，…，bm)，隐层的偏置为参数c = (c1，c2，…，cn)；
步骤5：用训练集数据对深度置信网络进行无监督预训练；
所述无监督预训练为：将步骤1处理后的连续电压值输入步骤3预训练好的卷积神经网络，利用其池化层的输出对步骤4搭建好的深度置信网络的第一个受限玻尔兹曼机进行无监督预训练，利用第一个受限玻尔兹曼机的隐含层输出对下一个受限玻尔兹曼机继续进行无监督预训练，以此类推，如图4所示。其中，受限玻尔兹曼机的无监督预训练为：引入能量函数，训练目标是使网络的能量函数达到最低值状态，即网络的最佳稳定状态。训练过程中，先从受限玻尔兹曼机的显层获取输入数据，再用能量函数推导出显层和隐层的条件概率，接着推导得到隐层单元和显层单元被激活的概率，从而得到网络偏置的求解结果。最后依据隐层单元和显层单元之间的相关性差异来更新权重w和偏置b，更新公式如下：
式中的上标代表取样步骤，(v(0)hj(0))代表基于显层和隐层的第一次取样，反复多次后便可以得到合适的w，从而确定显层输入所对应的隐层输出信息；
步骤6：保留深度置信网络的参数，在现有网络的输出层后面添加softmax层；
所述softmax层调用softmax函数用于多标签分类。假设有K个类别，Si代表的是第i个单元的输出，softmax层的计算过程为：
softmax层将网络的输出映射到(0，1)区间内，从而获得网络输入数据属于各电压暂降原因类别的概率。添加softmax层后的整体网络如图1所示；
步骤7：用训练集数据对整个网络进行有监督训练并保存模型；
所述有监督训练为：采用步骤1处理后的连续电压值及其对应的电压暂降原因标签对步骤6搭建好的网络进行迭代训练，训练过程中将softmax层输出和对应标签的交叉熵作为损失函数c，假设yi表示真实的分类结果，c的计算过程为：
通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标；
步骤8：用测试集数据对步骤7生成的模型进行准确率的验证；
所述准确率的验证为：将步骤1处理后的连续电压值输入步骤7训练生成的模型，对模型softmax层输出的各类别概率进行判断，当某类别概率大于0.5时，认定输入的测试数据属于该电压暂降原因类别。最后将判断的类别或类别组合与对应电压暂降原因标签进行匹配，从而测试模型的识别准确率；
步骤9：用户输入电压暂降录波数据，模型自动识别其对应的电压暂降原因类型。
300组样本数据。通过搭建深度神经网络并迭代训练，可以学习到不同电压暂降原因对应的录波数据的抽象化特征参数并生成融合后的模型。假定几组电压暂降录波数据，输入融合模型可以得到相应的电压暂降原因类型。
2.在深度学习框架TensorFlow上搭建传统的卷积神经网络：主要由两个卷积层C1-C2、两个池化层P1-P2和三个全连接层FC1-FC3组成，用于处理25px*25px*3大小的输入数据。卷积层C1使用32个5px*5px*3的卷积核，卷积层C2使用64个5px*5px*3的卷积核，滑动步长均为
1px。池化层P1-P2均使用SAME边缘填充的方式进行最大值池化处理，滑动步长均为2px。全连接层FC1-FC3神经元个数依次为1024、256和3。在搭建的卷积神经网络中，每层均使用非饱和非线性的Relu激活函数，从而提升网络的表达能力。每个池化层后均加入批标准化处理，从而加快网络的学习速率。同时，在池化层P2和全连接层FC1之间通过Flatten函数将三维特征向量变换成一维特征向量，从而保证网络中维度的一致性；
3.用训练集数据对卷积神经网络进行有监督预训练：分为前向传播和反向传播两个过程。训练过程中输入训练集数据，将前向传播的网络输出和对应标签的平分误差作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。随着迭代次数的增加，网络的损失逐渐下降并趋于稳定，生成模型的准确率逐渐上升，并趋于93%；
4.用深度置信网络替换卷积神经网络的全连接层：深度置信网络由三个受限玻尔兹曼机串联堆叠而成，受限玻尔兹曼机的隐层单元个数依次为1024、256和3；
5.用训练集数据对深度置信网络进行无监督预训练：分为前向传播和反向传播两个过程。深度置信网络首先训练第一个受限玻尔兹曼机得到合适的隐层，将隐层单元的激活概率作为第二个受限玻尔兹曼机的显层输入，第二个和第三个受限玻尔兹曼机的训练过程以此类推。在受限玻尔兹曼机的无监督预训练过程中，先从显层获取训练集的输入数据，再用能量函数推导出显层和隐层的条件概率，接着推导得到隐层和显层单元被激活的概率，从而得到偏置的求解结果。最后依据隐层单元和显层单元之间的相关性差异来更新网络的权重和偏置，反复多次后便可以使能量函数达到最低值状态，即网络的最佳稳定状态，从而确定显层输入所对应的隐层输出信息。随着迭代次数的增加，网络的损失逐渐下降并趋于稳定，生成模型的准确率逐渐上升，并趋于97%；
6.在网络的输出层后面添加softmax层：softmax函数将最后一个受限玻尔兹曼机的隐层输出映射到(0，1)区间内，获得各类别的概率，从而进行多标签分类；
7.用训练集数据对整个网络进行有监督训练并保存模型：分为前向传播和反向传播两个过程。训练过程中输入训练集数据，将softmax层输出和对应标签的交叉熵作为损失函数，通过反向传播算法迭代更新网络参数，实现网络损失函数的最小化目标。随迭代次数的增加，网络的损失继续下降并趋于稳定，生成模型的准确率逐渐上升，并趋于99%；
8.用测试集数据对生成的模型进行准确率的验证：将测试集数据的连续电压值输入训练生成的模型，对模型softmax层输出的各类别概率进行判断，当某类别概率大于0.5时，认定输入的测试数据属于该电压暂降原因类别。最后将判断的类别或类别组合与对应电压暂降原因标签进行匹配，从而测试模型的识别准确率。结果中各电压暂降原因类别的识别准确率：
单相接地故障C1：100%；
大型感应电动机启动C2：98.3%；
变压器投切C3：99.4%；
短路故障引起的多级电压暂降C4：100%；
单相接地与大型感应电动机启动的复合C5：98%；
单相接地与变压器投切的复合C6：99.3%；
大型感应电动机启动与变压器投切的复合：98.7%；
9.输入电压暂降录波数据，模型自动识别其对应的电压暂降原因类型并输出。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于领域自适应神经网络的自动驾驶转向角度预测方法 | 2020-05-13 | 506 |
| 一种水泥熟料游离钙含量测量方法及系统 | 2020-05-15 | 107 |
| 一种Web攻击检测方法、系统、介质和设备 | 2020-05-17 | 440 |
| 用于生成模型的方法和装置 | 2020-05-13 | 509 |
| 基于长短时记忆网络的水泥成品比表面积预测方法及系统 | 2020-05-08 | 599 |
| 基于局部动态能量函数FCN-CRF模型的生态变化监测方法 | 2020-05-12 | 517 |
| 基于无标签数据的神经网络模型量化方法及装置 | 2020-05-15 | 292 |
| 胶凝砂砾石配合比关键指标预测抗压强度的BP神经网络分析方法 | 2020-05-11 | 764 |
| 基于深度学习的无源人体运动识别方法 | 2020-05-13 | 755 |
| 一种基于LSTM的海洋平台空气压缩机故障诊断方法 | 2020-05-11 | 286 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
