一种基于交互式多尺度循环神经网络的时间序列预测方法
专利汇可以提供一种基于交互式多尺度循环神经网络的时间序列预测方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于交互式多尺度循环神经网络的时间序列预测方法，包括：(1)对待预测的时序序列进行异常值消除处理、归一化处理以及滑动 时间窗 口划分后，获得时序序列段；(2)将时间序列段输入时间序列 预测模型 中，利用多级小波分解网络进行n级分解，得到多尺度子序列集合；将多尺度子序列集合输入到跨尺度交互的循环神经网络中，采用截断、初始化和消息传递三种策略对多尺度子序列进行跨尺度交互过程，输出为表示相邻尺度子序列之间的相关性的多尺度表示；利用利用两级注意 力 机制对多尺度表示进行融合，得到融合表示；将融合表示输入至 单层 的全连接层映射得到预测的时间序列。该方法提升了时间序列预测更加准确。，下面是一种基于交互式多尺度循环神经网络的时间序列预测方法专利的具体信息内容。
1.一种基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，所述方法包括以下步骤：
(1)对待预测的时间序列进行异常值消除处理、归一化处理以及滑动时间窗口划分后，获得时间序列段；
(2)将时间序列段输入时间序列预测模型中，所述时间序列预测模型包括多级小波分解网络、跨尺度交互的RNNs、以及两级注意力机制单元、以及单层的全连接层，利用时间序列预测模型对时间序列段进行时间序列预测，具体过程为：
(2-1)利用多级小波分解网络对时间序列段进行n级分解，得到多尺度子序列集合；
(2-2)将多尺度子序列集合输入到跨尺度交互的循环神经网络中，采用截断、初始化和消息传递三种策略对多尺度子序列进行跨尺度交互过程，输出为表示相邻尺度子序列之间的相关性的多尺度表示；
(2-3)利用第一级注意力机制对多尺度表示进行加权，得到每一个尺度的加权表示；利用第二级注意力机制融合所有加权表示，得到融合表示；
(2-4)将融合表示输入至单层的全连接层映射得到预测的时间序列。
2.如权利要求1所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，小波分解的过程通过神经网络实现，即时间序列和滤波器做卷积操作，通过如下函数实现：
ai+1＝σ(Wi(l)xi(l)+bi(l))
di+1＝σ(Wi(h)xi(l)+bi(h))
其中，xi(l)为第i级分解得到的低频子序列，bi(l)和bi(h)是第i级的偏差向量，σ(·)是激活函数，Wi(l)和Wi(h)是滤波矩阵，填充滤波器对应的值。对ai+1和di+1通过一个平均池化层，即可得到第i+1级分解的结果，计算公式如下：
其中， 和 分别表示ai+1、di+1、xi+1(l)和xi+1(h)中第j个元
素。
通过n级分解，最终得到多尺度子序列集合 其中x0表示原始的时
间序列，xi表示第i(0
第一步，针对输入的多尺度子序列集合 利用截断策略得到不同时间窗口大小的子序列；
第二步，利用初始化策略赋值每一个尺度RNNs的初始隐状态，即一个尺度RNNs的初始隐状态由相邻更大尺度RNNs的隐状态初始化得到；
第三步，利用消息传递策略来建模两个相邻尺度子序列之间的相关性，最终得到多尺度表示Hi(i∈{0,1,…,n})。
4.如权利要求3所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，所述截断策略即对每个子序列只保留近期的值，对于越低尺度的子序列，其被保留的时间窗口越小，第i个尺度截断后的子序列 表示为：
其中ki表示第i个尺度截断后的起始索引。随着i的增加，被截断的长度更短，即满足k0>k1>...>kn。在本发明中，从最大尺度到最小尺度，依次截断为上一个尺度的一半长度。
5.如权利要求3所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，针对初始化策略，大尺度RNNs的隐状态包含小尺度子序列被截断值中隐含的信息，一个尺度RNNs的初始隐状态由相邻更大尺度RNNs的隐状态初始化得到，计算公式如下：
其中 表示第i个尺度RNNs的初始隐状态。
6.如权利要求3所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，所述消息传递策略为将大尺度子序列中的信息层次化的传递到小尺度子序列中；对于第i个尺度RNNs，通过计算前一个时刻隐状态 和第i+1个尺度RNNs中的隐状态之间的相似性得到t时刻的消息
其中σ(·)表示sigmoid激活函数， 表示权重分配矩阵，其在所有时刻
之间共享，m表示隐状态的大小。隐状态 的定义如下：
将消息 和当前时刻的数值 拼接，得到真实输入
其中 在所有时刻之间共享，将所有时刻的真实输入送入RNNs中，采用
GRU循环神经网络，每个GRU单元包括更新门z、重置门r和隐状态h；对于第i个尺度，假设当前时刻为t，各个部分的计算公式如下：
其中W和U表示不同的权重矩阵，b表示不同的偏置参数， 表示哈达玛积，σ表示激活函数，GRU单元中使用到了两种激活函数，σg表示sigmoid函数，σh表示tanh函数即双曲正切函数，GRU的输出即为多尺度表示
7.如权利要求1所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，在第一级注意力机制中，对于第i个尺度的表示 t时刻
的权重 计算如下：
其中 AttScore函数为点乘。根据权重计算得到上下文
向量ci：
将上下文向量ci和最后一个时刻的隐状态 分别做线性转换后再拼接，即可得到第i个尺度加权表示Atti：
在第二级注意力机制中，学习出每一个尺度加权表示的权重，得到表示Atts：
i i
u＝σ(WwAtt+bw)
其中Ww为权重矩阵，bw为偏置参数。
8.如权利要求1所述的基于交互式多尺度循环神经网络的时间序列预测方法，其特征在于，时间序列预测模型的训练过程采用的损失函数为预测损失 和权重约束损失之和，其中，以样本对应的真实值yt+h和模型输出的预测值 之间的误差作为预测损失
以小波分解网络中权重矩阵中当前值和初始化值之间的2范数差异作为权重约束损失i i
其中， 和 为小波分解网络中权重矩阵初始值，W (l)和W (h)为小波分解网络中权重矩阵当前值，λ为权衡参数；
则整体损失 为：
一种基于交互式多尺度循环神经网络的时间序列预测方法
技术领域
背景技术
发明内容
具体实施方式
表示原始的时间序列，x表示第i(0
列和一个低频子序列，再将低频子序列送入下一级分解，同样得到一个高频子序列和一个低频子序列。每一次分解得到的子序列长度是输入序列长度的一半。通过逐级分解，可以得到多个不同尺度的子序列。小尺度子序列可以保留数据中细粒度的细节信息，大尺度子序列可以捕捉缓慢变化的趋势信息。图3示例性地给出了三级小波分解过程。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种亮脉冲和暗脉冲可切换输出的双波长光纤激光器及方法 | 2020-05-08 | 504 |
| 声音产生设备 | 2020-05-08 | 38 |
| 微波光子雷达探测与测频一体化实现方法及装置 | 2020-05-08 | 497 |
| 一种图像采样方法及装置 | 2020-05-08 | 476 |
| 一种微电网有源电力滤波器动态性能优化控制方法 | 2020-05-08 | 439 |
| 一种抗瞬态脉冲干扰装置及方法 | 2020-05-11 | 653 |
| 预测并且减少振动计量器中的噪声 | 2020-05-11 | 144 |
| 一种指纹图像增强方法 | 2020-05-08 | 288 |
| 低通滤波器、锁相环以及雷达系统 | 2020-05-11 | 226 |
| 一种水下鱼类图像的超分辨率重建方法、系统及装置 | 2020-05-08 | 777 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
