一种基于改进型长短期记忆LSTM神经网络的污水处理水质预
测方法
技术领域
背景技术
[0002] 循环神经网络(Recurrent Neural Network，RNN)是一种用于处理序列数据的神经网络。相比一般的神经网络来说，他能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义，RNN就能够很好地解决这类问题。它的特性是不仅可以对空间维度进行操作，还能对时序维度进行操作，其自身结构特性是在
隐藏层多了一步反馈操作，这种结构可使得RNN的输入内容不仅包含
输入层的数据，还包含来自上一时刻隐藏层所反馈出的数据，这也是其有时序特性的主要原因。但是这种结构有一个比较致命的问题，就是伴随着自身梯度异常的问题；因为自反馈回路的应用
加速了梯度消失现象的发生，而为了避免此现象，开发了长短期记忆网络(Long Short Term Memory Network, LSTM)。
[0003] LSTM网络能有效的解决RNN网络因自身网络
缺陷而导致的梯度消失问题，即无法记录长时间内容，而LSTM网络通过增加遗忘
门以及改良的输入门、更新门、输出门等结构，实现了可较长时间记录内容的特质。但是即使有这些特性还是无法使其应用在污水处理分析上，因为污水处理过程是一个大型流程工业过程，具有大时变、强耦合、大时滞以及干扰严重等特点；同时，污水处理过程生化反应复杂，运行过程中涉及到变量众多，导致其在分析数据时对大时间跨度的数据有大量记忆需求，而这时LSTM就无法满足应用需求，所以需要对LSTM神经网络进行改良调整以适应污水处理过程中数据分析的需求。
发明内容
[0004] 针对现有污水处理工艺特性和现有污水处理水质分析方法缺陷，本发明旨在提供一种以神经网络分析为
基础的高
精度分析方法，即一种基于改进型长短期记忆LSTM神经网络的污水处理水质预测方法。
[0005] 为了达到上述的目的，本发明所采用的技术方案是：
[0006] 一种基于改进型长短期记忆LSTM神经网络的污水处理水质预测方法，包括以下步骤：
[0008] 对污水处理上报数据进行预处理，接着对预处理的数据进行PCA
降维，得到结果数据，然后利用
决策树以及
剪枝操作，选出结果数据的主要参量对应关系，建立参量映射关系表；
[0009] 2)建立并训练改进型长短期记忆LSTM神经网络
预测模型：
[0010] 根据参量映射关系表确定改进型长短期记忆LSTM神经网络的输入与输出参量，建立改进型长短期记忆LSTM神经网络预测模型，并经过训练得到整体改进型长短期记忆LSTM神经网络预测模型；
[0011] 所述改进型长短期记忆LSTM神经网络包括输入层、前端网络并行层、LSTM 网络层、后端网络串行层和
输出层；
[0012] 3)将待预测数据导入整体改进型长短期记忆LSTM神经网络预测模型，输出得到预测水质数值。
[0013] 优选的，所述预处理为去除污水处理上报数据中不合理限值外数据，然后对上报数据数据进行3倍标准差处理，去除上报数据的最大值或最小值与均值的差超过3倍标准差的数据，并对
整理后的数据进行整体降维操作，去除数据中的冗余信息得到结果数据。
[0014] 优选的，所述LSTM改进型神经网络模型中输入层为数据参量输入网络的对接
接口，根据数据包含时间长度，将数据集合X分为n个部分，即：
[0015] X＝[x(1),x(2),...,x(n)]
[0016] 即将长时间跨度的一个数据分为相对短时间跨度的n个数据，并且需要注意的是当数据集时间跨度越长，网络将数据集分割的分数n值越大。
[0017] 优选的，所述前端网络并行层包括多组全连接神经网络和dropout层的并联形式，多组全连接神经网络中网络
节点i和网络节点j之间的权值为wij，节点j 的
阀值为bj，每个节点的输出值为xj，而每个节点的输出值是根据上层所有节点的输出值、当前节点与上一层所有节点的权值与偏置经过激活函数f共同决定的，效果如下所示：
[0018]
[0019] xj＝f(Sj)
[0020]
[0021]
[0022] 在全连接网络输出完成后，进入dropout网络层级结构进行处理，具体如下：
[0023]
[0024]
[0025] 上面公式中Bernoulli函数，是以概率p，随机生成一个0、1的向量。
[0026] 优选的，其特征在于，所述LSTM网络层是整个改进型LSTM神经网络中主要的数据处理层级，它由多个LSTM网络并联组成，其中当前输入xt和上一个状态传递下来的ct-1、ht-1共同决定，具体如下：
[0027]
[0028]
[0029]
[0030]
[0031] 其中,zf,zi,z0是由拼接向量乘以权重矩阵之后，再通过一个sigmoid激活函数转换成0到1之间的数值，来作为一种门控状态，而z则是将结果通过一个 tanh激活函数将转换成-1到1之间的值：
[0032]
[0033]
[0034] yt＝δ(W'ht)
[0035] yseq＝yt
[0036] 是矩阵中对应元素相乘，是进行矩阵相加。
[0037] 优选的，其特征在于，所述后端网络串行层包括多组全连接神经网络和 dropout层，后端网络串行层接收LSTM网络层结果后，需要将这些并行结果进行累加求和得到唯一解，再送入后边的全连接与dropout网络结构层中进行处理，具体效果如下所示:
[0038]
[0039] 本发明先对污水处理上报数据进行数值限值处理，去除不合理限值外数据。而且需要注意的是，由于污水数据是以时间逻辑顺序上报的，所以同一时间戳下数据代表了这个时间的水质情况，也就是说当水质中一个指标因不合格被去除后，这个时刻的其它数据也应当被去除，以保证数据时间逻辑的准确性。限值处理后，还需要对数据进行3倍标准差处理，因为污水处理上报数据分布情况是以正太分布的，所以超过3倍标准差的数值存在的概率大约为0.3％，而当这些上报数据的最大值(或最小值)与均值的差超过3倍标准差时，这些极值很可能存在问题，所以去除这些大概率有问题的极值，以提高数据
质量。
[0040] 由于污水处理过程具有大时变、强耦合、大时滞、干扰严重以及生化反应复杂等特点，所以其上报数据质量差，水质预测难度较大，而本方法就可以很好的克服这些问题。本方法先对数据源进行有效清洗及梳理，去除干扰因素及噪点并明晰数据间关系，为数据分析做好前期工作。数据分析时，改进型LSTM网络可以很好对大时滞以及强耦合类数据进行分析，可以准确的映射出长时间跨度的数值关系，为污水水质预测提供了极大的便利。
[0041] 本发明的有益效果：
[0042] 1)改进型长短期记忆LSTM网络可以很好对大时滞以及强耦合类数据进行分析，可以准确的映射出长时间跨度的数值关系，为污水水质预测提供了极大的便利；
[0044] 图1污水预测方法架构图；
[0045] 图2决策树关系分辨图，分别为剪枝后树形图、决策树整体图以及剪枝后误差效果对应图；
[0046] 图3改进型长短期记忆LSTM神经网络图；
[0047] 图4污水水质NH4、COD预测效果图。
具体实施方式
[0048] 为了进一步说明本发明的技术效果，下面通过
实施例对本发明进行具体描述。
[0049] 实施例1
[0050] 一种基于改进型长短期记忆LSTM神经网络的污水处理水质预测方法，本发明操作时总体步骤如图1所示，总共有两大方面，五个部分组成。现以CAST污水处理工艺为例，CAST污水处理工艺上报数据众多，如进水流量、进水PH值、进水COD、进水
氨氮、进水
温度、cast池ss、cast池do值、cast池总体
风量、cast池风机
电流总量、输出水质氨氮、输出水质ss、输出水质COD、输出水质总磷、输出水质总氮等。对这些污水处理系统上报数据进行总体预处理，具体操作步骤如下。
[0051] 步骤1：先对污水处理上报数据进行数值限值处理，去除不合理限值外数据。而且需要注意的是，由于污水数据是以时间逻辑顺序上报的，所以同一时间戳下数据代表了这个时间的水质情况，也就是说当水质中一个指标因不合格被去除后，这个时刻的其它数据也应当被去除，以保证数据时间逻辑的准确性。
[0052] 步骤2：限值处理后，还需要对数据进行3倍标准差处理，因为污水处理上报数据分布情况是以正太分布的，所以超过3倍标准差的数值存在的概率大约为 0.3％，而当这些上报数据的最大值(或最小值)与均值的差超过3倍标准差时，这些极值很可能存在问题，所以去除这些大概率有问题的极值，以提高数据质量。
[0053] 步骤3：将处理后的数据进行PCA降维，去除数据中的冗余信息，降维方法为先建立数据矩阵X，如下所示：
[0054]
[0055] 先对X矩阵进行标准化处理：
[0056]
[0057] 其中，
[0058] 之后计算相关系数矩阵，方法如下所示：
[0059]
[0060]
[0061] 计算相关系数矩阵R的特征值(λ1,λ2,...,λp)和相应的
特征向量：
[0062] ai＝(ai1,ai2,Λ,aip),i＝1,2,Λ,p
[0063] 选择重要主成分，按照实际总信息量的95％选取前k个主成分，去除5％的小概率事件成分，选取方式为某个特征值占全部特征值合计的比重概率，现在剩余的k个主成分即为PCA降维后的所得矩阵。
[0064] 步骤4：做完数据处理后，还需要对数据间因果关系进行梳理，因为污水工艺原因，某些结果水质指标反而是另一些结果参量的导致因素，所以为得到清晰的数据因果关系。利用决策树以及剪枝操作，选出结果数据的主要参量对应关系，建立参量映射关系表。
[0065] 在决策树运行前，需要先将充当分类的结果参量进行聚类，即根据其值域分布情况，将结果参量聚为5类。
[0066] 再利用信息增益率对数据进行分类，并求出分类能涵盖的结果概率，其中信息增益率公式由信息增益和分裂信息量求得，如下所示：
[0067]
[0068] 其中信息增益G(S,A)定义为：
[0069]
[0070]
[0071] E(S)是数据集S的熵，Pi为子集合中第i个属性值的样本数所占的比例，Sv是集合S中特征A取第v个值得样本子集。
[0072] 分裂信息量定义为：
[0073]
[0074] Si为S中属于第i类的样本子集。
[0075] 最后利用决策树的后剪枝操作，删除节点分支，并用叶子
子节点进行替换，叶子节点一般用子集中最大概率类别替换标记，这样来找出该类别的主要决定因素，并编制出参量映射关系表，结果形式如图2所示。
[0076] 步骤5：根据建立的参量映射关系表确认改进型LSTM神经网络的输入与输出参量放入网络中。其中改进型LSTM神经网络由多个网络层级组成，分别是输入层、前端网络并行层、LSTM网络层、后端网络串行层以及输出层组成。其中输入层X代表输入数据参量数据集合，Y代表输出结果参量，具体形式如图3所示。
[0077] 1)输入层为数据参量输入网络的对接接口，先根据数据包含时间长度，将数据集合X分为n个部分，即为：
[0078] X＝[x(1),x(2),...,x(n)]
[0079] 将长时间跨度的一个数据分为相对短时间跨度的n个数据，并且需要注意的是当数据集时间跨度越长，网络将数据集分割的分数n值越大。在本次实际操作时根据上报数据集大小以及利用水质分析可知，水厂上报数据为一年且一年中四季变化可使水质参数有较大跃变，所以将整体输入值分为4份，即设n值为4。
[0080] 2)前端网络并行层主要由多组全连接神经网络以及dropout层组成的并联形式，其中设网络节点i和网络节点j之间的权值为wij，节点j的阀值为bj，每个节点的输出值为xj，而每个节点的输出值是根据上层所有节点的输出值、当前节点与上一层所有节点的权值与偏置经过激活函数f(Relu型激活函数)共同决定的，效果如下所示：
[0081]
[0082] xj＝f(Sj)
[0083] 其中激活函数ReLU为如下所下所示：
[0084]
[0085] 在全连接网络输出完成后，还需要进入dropout网络层级结构进行处理，具体如下：
[0086]
[0087]
[0088]
[0089]
[0090] 上面公式中Bernoulli函数，是以概率p，随机生成一个0、1的向量。
[0091] 3)LSTM网络层是整个网络中主要的数据处理层级，它由多个LSTM网络并联组成，其中当前输入xt和上一个状态传递下来的ct-1、ht-1共同决定，具体如下：
[0092]
[0093]
[0094]
[0095]
[0096] 其中,zf,zi,z0是由拼接向量乘以权重矩阵之后，再通过一个sigmoid激活函数转换成0到1之间的数值，来作为一种门控状态。而z则是将结果通过一个 tanh激活函数将转换成-1到1之间的值(这里使用tanh是因为这里是将其做为输入数据，而不是门控
信号)。
[0097]
[0098]
[0099] yt＝δ(W'ht)
[0100] yseq＝yt
[0101] 是矩阵中对应元素相乘，是进行矩阵相加。
[0102] 4)后端网络串行层与前端网络并行层内容结构上十分类似，只是其接收 LSTM网络层结果后需要将这些并行结果进行累加求和得到唯一解再送入后边的全连接与dropout网络结构层中进行处理，具体效果如下所示:
[0103]
[0104] 5)还需要说明的是这个网络结果中的一些超参设计，在这个网络结构中初始学习率定为0.01，Mini batch size定为400，优化器选择adam，梯度
阈值为 1，前后端全连接层定为3层。
[0105] 6)最后上述网络通过训练后能得到整体预测网络，这时再预测下一时刻输出水质数值，将已知数据复制分为n份放入网络进行数据预测，最后得到预测水质数值，效果如图4所示。
[0106] 最后需要说明的是，以上实施例仅用于说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明的技术方案进行了详细说明，本领域技术人员应当理解，可以对本发明的技术方案进行
修改或者等同替换，而不脱离本发明的宗旨和范围，其均应涵盖在本发明的保护范围当中。
