一种外汇时间序列预测的训练优化方法
阅读：424发布：2020-05-16
专利汇可以提供一种外汇时间序列预测的训练优化方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种外汇时间序列预测的训练优化方法，具体涉及外汇时间序列数据领域。该训练优化方法使用 卷积神经网络 和长短期记忆网络相结合的 深度学习 算法 C-LSTM，分析预测外汇时间序列数据，对构建的外汇时间序列预测方法进行优化。该训练优化方法首先基于主成分分析法构建了输入特征 优化算法 ，通过对比不同特征值组合 选定 最优的输入特征，然后实验分析并优化滞后期数，基于网格搜索算法的思想，优化网络结构，最后使用GPU 高性能计算 技术 加速 网络的训练，最终构建了高 精度 的外汇时间序列预测的训练优化方法。，下面是一种外汇时间序列预测的训练优化方法专利的具体信息内容。
1.一种外汇时间序列预测的训练优化方法，其特征在于，包括以下步骤：
从输入特征、网络结构和训练方法三个方面对构建的基于卷积神经网络和长短期记忆网络相结合的C-LSTM的外汇时间序列预测方法进行训练优化，训练优化项目包括：
主成分分析的特征优化；
卷积神经网络和长短期记忆网络相结合的C-LSTM滞后期数优化；
卷积神经网络和长短期记忆网络相结合的C-LSTM网络结构优化；
卷积神经网络和长短期记忆网络相结合的C-LSTM训练方法优化；
基于GPU的并行优化；
输入特征方面，选取18个指标数据作为输入特征，18个指标数据分为四大类：基本交易数据、技术指标数据、美元指数和国家经济指标，将这四类指标进行组合，并基于主成分分析法进行输入特征的优化，研究不同指标对预测精度的影响并选取最佳的输入特征，然后实验研究滞后期数对预测精度的影响，从而选择最佳的滞后期数；
网络结构方面，根据网格搜索算法研究最佳的隐藏层结构大小，通过改变不同的卷积神经网络和长短期记忆网络的结合方式，研究不同的算法结合方式对预测精度的影响，选择最佳的隐藏层大小和算法结合方式；
训练方法方面，采用Adam、SGD以及RMSProp方法进行网络的训练，通过对比训练后的算法预测精度以及在训练过程中，损失函数随迭代次数的变化情况和收敛速度，研究不同的训练方法对训练效果和预测精度的影响，最终选择合适的训练方法。
2.如权利要求1所述的一种外汇时间序列预测的训练优化方法，其特征在于，基于PCA构建特征优化算法，对输入特征进行降维除燥。
3.如权利要求2所述的一种外汇时间序列预测的训练优化方法，其特征在于，基于PCA构建特征优化算法步骤具体为：
对输入的n维特征矩阵D进行中心化处理，即每列数据均减去该列均值μ；
计算中心化后的输入特征矩阵的协方差矩阵S；
对计算出的协方差矩阵的特征值λ及其对应的特征向量ω，并将特征值从大到小排序λ1,λ2,…,λn；
取前k大特征值λ1,λ2,…,λk对应的特征向量ω1,ω2,…,ωk，通过式(1)将n维特征映射到k维
新的xi'的第k维就是xi在第k个主成分ωk方向上的投影，通过选取最大的k个特征值对应的特征向量，将方差较小的特征丢弃，使得每个n维列向量被映射为k维列向量xi'，得到k维的特征矩阵D′。
4.如权利要求1所述的一种外汇时间序列预测的训练优化方法，其特征在于，卷积神经网络和长短期记忆网络相结合的C-LSTM滞后期数优化在主成分分析的特征优化的基础上，选取5、10、20、30、40、50、60不同的滞后期数，研究滞后期数n对预测精度的影响，以选取最佳的滞后期数n。
5.如权利要求1所述的一种外汇时间序列预测的训练优化方法，其特征在于，卷积神经网络和长短期记忆网络相结合的C-LSTM网络结构优化包括以下部分：
长短期记忆网络循环层超参数优化，将卷积层层数、卷积核大小和个数均设置为1，先实验研究LSTM循环层的大小取值对预测精度的影响，以选定最优的循环层的大小取值，设置隐藏层层数分别为1，2，3，4，5，每层神经元数量设置为8，16，32，64，128，256；
卷积层超参数优化，选择好循环层大小后，继续实验研究卷积层大小对预测精度的影响，设置卷积层层数分别为1，2，3，4，5，卷积核大小分别为1×1，3×3，5×5，7×7，卷积核个数和卷积滑动步长均设置为1，以保证卷积层的输出维度与输入维度保持一致；
算法结合方式优化，卷积神经网络和长短期记忆网络的结合方式包括：
先卷积神经网络后长短期记忆网络，卷积神经网络层的输出作为长短期记忆网络层的输入；
先长短期记忆网络后卷积神经网络，长短期记忆网络层的输出作为卷积神经网络层的输入；
卷积神经网络后长短期记忆网络分别进行，结合两种算法的输出做最终的预测。
6.如权利要求1所述的一种外汇时间序列预测的训练优化方法，其特征在于，采用Adam、SGD以及RMSProp方法进行网络的训练，选择使用RMSProp训练优化方法。
7.如权利要求1所述的一种外汇时间序列预测的训练优化方法，其特征在于，使用多个GPU进行训练过程的加速，每次迭代中，根据当前参数的取值，利用前向传播算法算出一部分训练数据集上的预测值，根据预测值跟真实值的差，然后反向传播算法根据损失函数计算出参数梯度后对参数进行更新，并行化深度学习模型方法有两种：同步并行模式与异步并行模式。
8.如权利要求7所述的一种外汇时间序列预测的训练优化方法，其特征在于，同步并行模式算法在每一次迭代时，不同设备读取相同参数，反向传播算法后，取参数更新梯度的平均值更新参数，最后统一更新参数。
9.如权利要求7所述的一种外汇时间序列预测的训练优化方法，其特征在于，异步并行模式算法在每一次迭代时，不同设备读取最新参数，然后获取一小部分训练数据进行训练，独立运行反向传播过程并独自更新参数。
一种外汇时间序列预测的训练优化方法
技术领域
[0001] 本发明涉及外汇时间序列数据领域，具体涉及一种外汇时间序列预测的训练优化方法。
背景技术
[0002] 外汇市场对世界经济的健康发展起到关键作用，外汇时间序列数据波动剧烈，影响其波动的因素众多，是金融市场中最难分析预测的金融衍生品之一，传统的分析预测方法早已力不从心。在大数据时代，随着数据量的不断增长和计算力的迅速提高，深度学习技术在图像识别、自然语言处理、语音识别等领域取得了重大突破，许多学者开始将深度学习技术应用到外汇时间序列分析中，并已取得一定的研究成果，但由于外汇时间序列数据噪声大，随机性强，影响其波动的因素众多，因此，深度学习技术在外汇时间序列分析中的应用研究还需不断探究和完善。
[0003] 目前，外汇时间序列主要有两类分析方法：
[0004] (1)传统统计学方法
[0005] 传统统计学方法通过统计学方法建立数学模型，拟合历史外汇时间序列数据，然后通过所建模型预测未来外汇时间序列。常见的方法有MA(Moving Average，移动平均)模型，ARIMA(AutoRegressive Integrated Moving Average，自回归移动平均)模型和GARCH(Generalized AutoRegressive Conditional Heteroskedasticity，广义自回归条件异方差模型)模型等[1]。传统统计学方法对数据依赖较小，只需历史外汇时间序列的趋势曲线即可构建模型，具有很强的通用性。但其存在滞后性问题，预测值晚于真实值，而且对于复杂性较高的系统，传统统计学方法无法有效的挖掘系统的内在规律，使得传统的统计学方法对于金融时间序列的分析预测效果并不理想。
[0006] (2)神经网络方法
[0007] 神经网络可以较好的拟合复杂的非线性系统，因此对于外汇时间序列的分析预测有着巨大潜力，因此，许多学者利用神经网络方法对外汇时间序列进行分析预测，并取得了大量的研究成果。常见的方法有BP神经网络、径向基神经网络、小波神经网络等[2]。但是浅层的神经网络方法学习能力有限，无法较好的拟合外汇时间序列数据，分析预测效果虽然优于传统的统计学方法，但仍有很大的提升空间。
[0008] 深度学习技术很好的弥补了浅层神经网络学习能力不足的问题，因此在外汇时间序列分析中有更好的应用前景，但深度学习算法结构复杂，影响其预测精度的因素众多，样本特征、算法结构、训练优化方法等主观性因素对模型预测精度有重要的影响，研究这些因素对于提高深度学习算法在外汇时间序列中的预测精度有重要意义。此外，目前深度学习算法在外汇时间序列分析中的应用以单一结构为主，如何将不同深度学习算法进行有效结合，优势互补，以进一步提高深度学习算法的预测精度，还需不断探究与完善。
[0009] 早在20世纪末，MarkStaley和PcterKim已将简单的人工神经网络成功应用于外汇时间序列分析，通过分析预测加拿大即期汇率，证明了神经网络方法在外汇时间序列分析中的有效性。之后，惠晓峰和胡运权等使用人工神经网络预测人民币对美元汇率，并与传统的统计分析方法进行实验对比，实验数据表明，神经网络方法优于传统的统计分析方法。Jingtao Yao和Chew Lim Tan使用神经网络方法分析预测了美元与其他五种主要货币对之间的汇率时间序列，充分证明了神经网络算法在外汇时间序列分析中的良好适用性，但也指出，仅依靠神经网络算法难以在外汇市场中获取高额收益。因此，许多研究者开始采用组合模型的方式提升对外汇时间序列的预测效果。如欧阳亮将小波分析方法融合到神经网络算法中，构建了小波神经网络预测方法，提高了神经网络的泛化能力。He Ni和Yin Hujun组合多种回归神经网络构建混合预测模型，并使用遗传算法对模型进行优化，实验表明，该混合预测模型有较高的利润回报率。Georgios Sermpinis和Konstantinos Theofilatos等基于自适应径向基神经网络构建外汇时间序列分析模型，并使用粒子群优化算法进行优化，实验数据表明，该模型在精度和速度方面均有较大提升。Lukas F等基于径向基神经网络，组合遗传算法和移动平均线构建了外汇时间序列预测模型，并在美元兑加元高频时间序列数据上进行实验分析，实验数据表明，该模型比自回归模型和BP神经网络模型具有更高的预测精度。Kristjanpoller W和Minutolo M C通过使用神经网络和GARCH的混合模型，并纳入多个金融变量来预测油价的波动性，实验表明，该混合模型较以前的模型提高了30％的预测精度。Petropoulos A等智能结合各种机器学习模型，研究开发了自动外汇投资组合交易系统，该系统使用支持向量机、随机森林、贝叶斯回归树、全连接神经网络和朴素贝叶斯分类器来模拟主要货币对之间的依赖模式，根据这些模型的输出产生汇率波动的隐含信号，最终通过多数投票，遗传算法优化和回归加权技术将这些隐含信号组合成聚合预测波形。在实际交易中测试该系统，测试结果表明，该系统可以显著提高交易绩效。Dash Rajashree提出了一种进化框架，使用改进的混合蛙跳算法和人工神经网络来预测外汇时间序列数据。并与混合蛙跳算法和粒子群优化算法进行实验对比，实验表明，文中提出的模型更适用于外汇时间序列分析。
[0010] 以上研究多基于浅层神经网络算法，但外汇时间序列波动大，随机性强，浅层神经网络算法难以充分挖掘外汇时间序列的内在规律。随着深度学习技术的快速发展，深度学习技术在图像识别，语音识别，自然语音处理等领域取得了重大突破，因此，深度学习技术在金融时间序列分析中的应用研究也受到众多学者的关注。
[0011] Jing Chao等使用一种改进的深度信念网络(DBN)分析预测外汇时间序列数据，文中通过使用连续的受限玻尔兹曼机来构建DBN，并改进了经典的DBN模型来预测连续数据，使用共轭梯度下降法加速DBN的训练。在实验中，采用六种评估标准，对三种外汇序列数据进行测试，实验数据表明，该预测方法优于前馈神经网络等预测方法。Korczak Jerzy和HernesMarcin基于CNN深度学习算法构建了支持外汇市场交易决策的模型，实验表明，深度卷积神经网络对外汇时间序列数据的预测误差显著下降。Galeshchuk S和Mukherjee S基于深度学习算法对新兴市场的外汇时间序列数据进行预测，提出了基于货币集群的新颖输入特征，实验表明，该输入特征有助于提高深度学习算法的预测准确率。Dadabada Pradeepkumar和Vadlamani Ravi提出了一种新颖的粒子群优化的分位数递归神经网络算法用于分析预测外汇时间序列等金融数据，文中使用八种金融时间序列数据进行实验分析，实验数据表明，该算法优于广义自回归条件异方差(GARCH)、多层感知器(MLP)、广义回归神经网络(GRNN)、随机森林(RF)等模型。Fischer T和Krauss C基于长短期记忆(LSTM)深度神经网络预测金融时间序列数据，实验表明，长短期记忆网络的预测效果优于逻辑回归、随机森林和传统RNN算法。Troiano L和Villa E M等基于LSTM构建交易机器人，识别技术指标给出的市场情绪和投资决策之间的逻辑，实验结果证明了该方案的可行性。
[0012] 目前，对于基于卷积神经网络和长短期记忆网络有效结合形成的预测方法的训练学习过程中具体的输入特征选择、网络结构、训练方法对预测精度的影响并没有进行系统的研究。
发明内容
[0013] 本发明的目的是针对上述不足，提出了一种以多种外汇货币数据为研究样本，对基于卷积神经网络和长短期记忆网络相结合的C-LSTM构建的外汇时间序列短期预测方法从输入特征选择、网络结构、训练方法等方面，对影响预测精度的因素进行系统地研究，并运用主成分分析以及dropout、L2正则化方法进行优化的外汇时间序列预测的训练优化方法。
[0014] 本发明具体采用如下技术方案：
[0015] 一种外汇时间序列预测的训练优化方法，包括以下步骤：
[0016] 从输入特征、网络结构和训练方法三个方面对构建的基于卷积神经网络和长短期记忆网络相结合的C-LSTM的外汇时间序列预测方法进行训练优化，训练优化项目包括：
[0017] 主成分分析的特征优化；
[0018] 卷积神经网络和长短期记忆网络相结合的C-LSTM滞后期数优化；
[0019] 卷积神经网络和长短期记忆网络网络相结合的C-LSTM结构优化；
[0020] 卷积神经网络和长短期记忆网络相结合的C-LSTM训练方法优化；
[0021] 基于GPU的并行优化；
[0022] 输入特征方面，选取18个指标数据作为输入特征，18个指标数据分为四大类：基本交易数据、技术指标数据、美元指数和国家经济指标，将这四类指标进行组合，并基于主成分分析法进行输入特征的优化，研究不同指标对预测精度的影响并选取最佳的输入特征，然后实验研究滞后期数对预测精度的影响，从而选择最佳的滞后期数；
[0023] 网络结构方面，根据网格搜索算法研究最佳的隐藏层结构大小，通过改变不同的卷积神经网络和长短期记忆网络的结合方式，研究不同的算法结合方式对预测精度的影响，选择最佳的隐藏层大小和算法结合方式；
[0024] 训练方法方面，采用Adam、SGD以及RMSProp方法进行网络的训练，通过对比训练后的算法预测精度以及在训练过程中，损失函数随迭代次数的变化情况和收敛速度，研究不同的训练方法对训练效果和预测精度的影响，最终选择合适的训练方法。
[0025] 优选地，步骤2中，基于PCA构建特征优化算法，对输入特征进行降维除燥。
[0026] 优选地，基于PCA构建特征优化算法步骤具体为：
[0027] 对输入的n维特征矩阵D进行中心化处理，即每列数据均减去该列均值μ；
[0028] 计算中心化后的输入特征矩阵的协方差矩阵S；
[0029] 对计算出的协方差矩阵的特征值λ及其对应的特征向量ω，并将特征值从大到小排序λ1,λ2,…,λn；
[0030] 取前k大特征值λ1,λ2,…,λk对应的特征向量ω1,ω2,…,ωk，通过式(15)将n维特征映射到k维
[0031]
[0032] 新的x′i的第k维就是xi在第k个主成分ωk方向上的投影，通过选取最大的k个特征值对应的特征向量，将方差较小的特征丢弃，使得每个n维列向量被映射为k维列向量x′i，得到k维的特征矩阵D′。
[0033] 优选地，卷积神经网络和长短期记忆网络滞后期数优化在主成分分析的特征优化的基础上，选取5、10、20、30、40、50、60不同的滞后期数，研究滞后期数n对预测精度的影响，以选取最佳的滞后期数n。
[0034] 优选地，卷积神经网络和长短期记忆网络网络相结合的C-LSTM结构优化包括以下部分：
[0035] 长短期记忆网络循环层超参数优化，将卷积层层数、卷积核大小和个数均设置为1，先实验研究LSTM循环层的大小取值对预测精度的影响，以选定最优的循环层的大小取值，设置隐藏层层数分别为1，2，3，4，5，每层神经元数量设置为8，16，32，64，128，256；
[0036] 卷积层超参数优化，选择好循环层大小后，继续实验研究卷积层大小对预测精度的影响，设置卷积层层数分别为1，2，3，4，5，卷积核大小分别为1×1，3×3，5×5，7×7，卷积核个数和卷积滑动步长均设置为1，以保证卷积层的输出维度与输入维度保持一致；
[0037] 算法结合方式优化，卷积神经网络和长短期记忆网络的结合方式包括：
[0038] 先卷积神经网络后长短期记忆网络，卷积神经网络层的输出作为长短期记忆网络层的输入；
[0039] 先长短期记忆网络后卷积神经网络，长短期记忆网络层的输出作为卷积神经网络层的输入；
[0040] 卷积神经网络后长短期记忆网络分别进行，结合两种算法的输出做最终的预测。
[0041] 优选地，采用Adam、SGD以及RMSProp方法进行网络的训练，选择使用RMSProp训练优化方法。
[0042] 优选地，使用多个GPU进行训练过程的加速，每次迭代中，根据当前参数的取值，利用前向传播算法算出一部分训练数据集上的预测值，根据预测值跟真实值的差，然后反向传播算法根据损失函数计算出参数梯度后对参数进行更新，并行化深度学习模型方法有两种：同步并行模式与异步并行模式。
[0043] 优选地，同步并行模式算法在每一次迭代时，不同设备读取相同参数，反向传播算法后，取参数更新梯度的平均值更新参数，最后统一更新参数。
[0044] 优选地，异步并行模式算法在每一次迭代时，不同设备读取最新参数，然后获取一小部分训练数据进行训练，独立运行反向传播过程并独自更新参数。
[0045] 本发明具有如下有益效果：
[0046] 该训练优化方法基于CNN和LSTM两种深度神经网络算法对外汇时间序列数据进行分析预测，提出并构建了C-LSTM外汇时间序列短期预测的训练优化方法。
[0047] 在训练样本方面，针对输入特征，综合考虑影响汇价波动的各种因素，从中提取出4类特征：基本交易数据、技术指标、美元指数和国家经济指标，将这4类特征及其不同组合作为输入特征，同时基于PCA构建输入特征的优化算法，研究得出基本交易数据、技术指标和美元指数组合作为输入变量时的预测精度最高；针对滞后期数，选择不同的滞后期数进行训练，研究发现滞后期数过短，深度学习算法无法完全学习时间序列中的本质规律，会导致精度降低；滞后期数过长，序列中包含的噪声增大，也会影响深度学习算法时间序列本质规律的挖掘，而且训练时间也会大大增加，因此针对不同的问题，选择合适的滞后期数才能取得较好的预测效果。
[0048] 在网络结构方面，对不同隐藏层层数和每层神经元数量的预测精度进行对比分析，研究发现隐藏层层数和每层的神经元数量过多或者过少都会降低预测精度，隐藏层层数和每层的神经元数量过少，无法完全学习到时间序列中的本质规律，出现欠拟合问题，而当隐藏层层数和每层的神经元数量过多时，会出现过拟合的问题，导致预测精度的下降。不同的深度学习算法结合方式对预测精度也会产生影响，通过实验对比三种不同的结合方式，最终选用先CNN后LSTM的串行结合方式。
[0049] 在训练方法方面，分别采用Adam、SGD和RMSProp优化方法对网络训练优化，研究发现Adam和RMSProp这两种优化方法的预测精度相差不大，RMSProp优化方法比Adam优化方法的训练优化过程更加稳定，收敛速度更快，因此RMSProp训练优化效果更好。SGD优化方法相比于另外两种方法，其收敛速度较慢，因此该优化方法的训练优化效果较差。因此，选用RMSProp的优化方法。由于外汇市场对时效性要求较高，交易机会转瞬即逝，使用GPU高性能计算机技术可以有效加速网络的训练速度，有助于提高预测方法在实际应用场景中的可用性。
[0050] 最后，在9种不同的外汇货币对上与BP、CNN、RNN和LSTM等不同神经网络算法进行对比实验，实验数据表明，基于两种深度神经网络算法构建的C-LSTM外汇时间序列短期预测方法在9种货币对上的预测精度均高于其对比方法，充分证明了构建的C-LSTM外汇时间序列短期预测方法在外汇市场分析预测中的有效性和适用性。附图说明
[0051] 图1为C-LSTM预测方法的网络结构示意图；
[0052] 图2为C-LSTM预测方法训练集结构示意图；
[0053] 图3为tanh、sigmoid和relu激活函数示意图；
[0054] 图4为C-LSTM预测方法训练过程中损失函数值变化情况示意图；
[0055] 图5为不同输入特征对均方根误差的影响示意图；
[0056] 图6为滞后期数n与均方根误差的关系；
[0057] 图7为LSTM隐藏层大小与RMSE之间的关系图；
[0058] 图8为RMSE随卷积层大小变化关系图；
[0059] 图9为使用Adam训练优化方法时loss值随迭代次数的变化情况；
[0060] 图10为使用RMSProp训练优化方法时loss值随迭代次数的变化情况；
[0061] 图11为使用SGD训练优化方法时loss值随迭代次数的变化情况；
[0062] 图12为异步模式的并行优化算法流程图；
[0063] 图13为同步模式的并行优化算法流程图；
[0064] 图14为训练速度随GPU数量增加的变化趋势图；
[0065] 图15为C-LSTM预测方法的数据流图；
[0066] 图16为不同预测方法预测不同货币对时的RMSE值；
[0067] 图17为C-LSTM预测方法预测效果拟合图；
[0068] 图18为RNN预测方法预测效果拟合图；
[0069] 图19为LSTM预测方法预测效果拟合图；
[0070] 图20为CNN预测方法预测效果拟合图；
[0071] 图21为预测方法预测效果拟合图。
具体实施方式
[0072] 下面结合附图和具体实施例对本发明的具体实施方式做进一步说明：
[0073] 该外汇时间序列预测的训练优化方法，对通过外汇时间序列预测构建方法构建的模型进行优化，使外汇时间序列预测构建方法经过优化训练，更加的完善，预测结果更加准确，下面给出了基于外汇时间序列预测构建方法构建的方法的训练优化过程。
[0074] 一种外汇时间序列预测方法，包括以下步骤：
[0075] 步骤1，构建基于卷积神经网络和长短期记忆网络相结合的C-LSTM的预测方法，具体包括：
[0076] 1-1，构建基于卷积神经网络和长短期记忆网络相结合的C-LSTM的网络模型，具体包括：
[0078] 输入层。首先将经过预处理和归一化的25万个汇率数据以4:1的比例划分为训练集和测试集，训练输入是一段时滞的汇率历史数据和相关特征数据，输出为训练输入滞后一定时间的预测收盘价，训练集结构如图2所示。图2中，n为滞后期数，从t时刻开始，输入前n个时刻的历史汇率数据和相关特征，对应的训练输出为t时刻一步向前预测值yt+1，根据前n个时刻的历史汇率数据和相关特征，预测下一时刻的外汇收盘价。
[0079] 隐藏层。隐藏层的大小即隐藏层中神经元的数目，对算法的学习能力有重要影响。数目过少会导致学习不够充分，数目过多则会导致过拟合。因此在确定隐藏层数和每层神经元数量时，既要保证网络能够学习到训练数据序列的隐含的本质规律，又要防止因网络过于复杂而导致的过拟合问题。
[0080] 输出层。输出神经元个数是由输出变量数目决定，学术界一致认为，当算法只有一个输出神经元时，输出结果将达到最优。因此输出神经元数目定为1。
[0081] 网络训练。根据批量梯度下降法，将训练数据集Dtrain按批次划分，每个批次大小为m。然后根据滞后期数n划分数据窗口，输入隐藏层。划分后隐藏层的输入为X＝{X1,X2,…,Xn}，X经过隐藏层后的输出表示为H＝{H1,H2,…,Hn}，对应的理论输出为Y，预测输出为 其中Hi＝C-LSTMforward(Xi,Si-1,Pi-1)，Si-1和Pi-1分别为前一个LSTM循环体的状态和输出，C-LSTMforward为CNN和LSTM循环神经网络的前向计算方法。 W为输出层的权重矩阵，b为输出层的偏置。
[0082] 选用均误差作为损失函数，损失函数定义为 以损失函数取得最小值为优化目标，给定初始学习率η为0.01，学习率衰减系数α为0.99，训练步数steps以及网络初始化随机数种子seed，隐藏层大小size和隐藏层层数layers。使用RMSProp优化算法不断优化更新网络权重，达到训练步数或者损失函数达到既定阈值时停止网络训练，将训练好的网络存储到硬盘中以供网络预测使用。
[0083] 网络预测。应用训练好的网络进行预测。采用迭代的方法，预测每个时刻的预测值。预测过程只涉及网络的前向计算过程，与网络训练的前向计算过程类似。将测试集输入训练好的网络中得出预测值，将预测值与真实值计算均方根误差(Root Mean Square Error,RMSE)作为评测网络预测效果的标准，均方根误差越小，预测精度越高。
[0084] 1-1-2，构建基于卷积神经网络和长短期记忆网络相结合的C-LSTM的外汇时间序列短期预测方法的训练和预测算法；
[0085] 1-2，选择卷积神经网络和长短期记忆网络相结合的C-LSTM的激活函数，选择relu函数作为卷积神经网络和长短期记忆网络的激活函数，网络结构中加入激活函数后，神经网络具有非线性系统的拟合能力。
[0086] tanh、sigmoid和relu激活函数示意图如图3所示。当自变量大于0时，relu函数使梯度变化更加稳定，因此算法的训练也更加平稳有效。
[0087] 1-3，定义卷积神经网络和长短期记忆网络的损失函数，选用均方误差作为损失函数，损失函数为式(1)所示，
[0088]
[0089] 其中，yi为batch中第i个数据所对应的正确答案，为第i个数据所对应的神经网络预测值。均方误差将误差进行放大，可以较好的衡量预测误差的细微差别，是预测数据与实际数据之间差异的一个重要信号。损失函数值随训练迭代次数增加的变化趋势如图4所示，由图4可知，预测方法在训练过程中，随着迭代次数的增加，损失函数值在快速稳定减小，说明预测方法训练效果较好。
[0090] 1-4，选择交易类指标和基本面数据作为卷积神经网络和长短期记忆网络的输入特征。外汇汇率当日的开盘价、最高价、最低价和收盘价是当前市场情况的最好最直接的反映。
[0091] 技术指标通过基本交易数据计算得来，主要用来辅助判断汇价变动的趋势，常用的技术指标主要有以下几种：MA(移动平均线)和MACD(平滑异同移动平均线)等趋势型指标主要用于反映当前汇价变动的趋势，是上升趋势还是下降趋势或者震荡趋势。另一类则是反趋势指标，或者说超买超卖型指标，主要用来判断趋势的转折点，该类指标常用的有KDJ(随机指标)、BIAS(乖离率)、RSI(相对强弱指标)和ROC(价格变动率)等。在汇市整体行情方面，用美元指数代表整个市场的情况，这是因为该指数代表汇市主流货币对的波动状况。
[0092] 通过交易类指标计算得出技术指标，常用的技术指标包括移动平行线和平滑异同移动平行线，移动平行线和平滑异同移动平行线用于反映当前汇价变动的趋势，通过反趋势指标判断趋势转折点，反趋势指标包括随机指标、乖离率、相对强弱指标和价格变动率。
[0093] 移动平行线标是计算某段时期内汇率收盘价的平均值，以该平均值作为判断趋势变化的依据，具体计算公式如式(2)所示，
[0094]
[0095] 其中，N代表时间周期，closei代表第i天收盘价；
[0096] 选取快速移动平均线和慢速移动平均线，再求出DIF的平滑移动平均线DEA，最后得出平滑异同移动平均线，具体计算如式(3)-(7)所示，
[0097]
[0098]
[0099]
[0100]
[0101] BAR＝2×(DIF-DEA) (7)
[0102] 在式(3)-(7)中，EMA-1为前一日的指数移动平均值，Close为今日收盘价，BAR即为MACD柱状图的高度值。
[0103] 随机指标的具体计算式如式(8)-(11)所示，
[0104] RSVN＝(Close(N)-Low(N))÷(High(N)-Low(N))×100％ (8)
[0105]
[0106]
[0107] J＝3×K-2×D (11)
[0108] 其中，Close(N)为N日内收盘价平均值，Low(N)为N日内的最低价，High(N)为N日内的最高价，K-1为前一日K值，D-1为前一日D值，根据KDJ的不同取值，可以将其划分为超买、超卖和震荡区。一般的划分标准为：当KDJ值在80以上为超买区，可以考虑进行卖出操作；KDJ值在20以下为超卖区，可以考虑进行买入操作；当KDJ值在20-80之间时为震荡区，应继续观望，不宜交易。
[0109] 乖离率的具体计算式如式(12)，
[0110]
[0111] 其中，Close为当日收盘价，N为时间周期，取值为12；
[0112] 相对强弱指标的计算式如式(13)，
[0113]
[0114] 其中，Risei是第i日收盘价涨幅，Falli是第i日收盘价跌幅；价格变动率的计算公式为式(14)，
[0115] ROC＝Close÷Close-N (14)
[0116] 其中，Close是当日收盘价，Close-N前N日的收盘价。
[0117] 综上所述，交易类指标汇总如表1所示，
[0118] 表1
[0119]
[0120] 经济类指标
[0121] 利率
[0122] 利率是指一定时期内利息额与借贷资金额即本金的比率。企业的资金成本高低主要受利率的影响，同时利率还决定着企业的筹资、投资，利率的现况以及变化发展动向务必被关注在金融市场的研究中。是指借款、存入或借入金额(称为本金总额)中每个期间到期的利息金额与票面价值的比率。
[0123] 本金总额、利率、复利频率以及借出、存入或借入的时间长度等因素决定借出或借入资金的所有利息总和。利率是借款人向所借本金或提前消费付出的报酬，需向其所借金钱所支付的代价，也是放款人推迟消费将资金借给借款人收到的酬报。利率一般指一年期获得的利息占本金的百分比。
[0124] GDP
[0125] GDP(国内生产总值)：指一个国家(或地区)在一定时期内，在其境内生产出的全部最终产品和劳务市场价值的总和，是衡量一个国家(或地区)综合实力、衡量国家(或地区)经济发展状况的重要指标，是国民经济核算的核心指标，GDP不能用于衡量一个地区或城市的经济状况，根据国家或上级单位对不同城市每年需要征收的量有差异性，所以每个城市所剩余的财富也不相同。
[0126] 步骤2，从输入特征、网络结构和训练方法三个方面对步骤1构建的方法进行训练优化，训练优化项目包括主成分分析的特征优化、卷积神经网络和长短期记忆网络滞后期数优化、卷积神经网络和长短期记忆网络网络结构优化、卷积神经网络和长短期记忆网络训练方法优化、基于GPU的并行优化；
[0127] 输入特征方面，选取18个指标数据作为输入特征，18个指标数据分为四大类：基本交易数据、技术指标数据、美元指数和国家经济指标，将这四类指标进行组合，并基于主成分分析法进行输入特征的优化，研究不同指标对预测精度的影响并选取最佳的输入特征，然后实验研究滞后期数对预测精度的影响，从而选择最佳的滞后期数；
[0128] 网络结构方面，根据网格搜索算法研究最佳的隐藏层结构大小，通过改变不同的卷积神经网络和长短期记忆网络的结合方式，研究不同的算法结合方式对预测精度的影响，选择最佳的隐藏层大小和算法结合方式；
[0129] 训练方法方面，采用Adam、SGD以及RMSProp方法进行网络的训练，通过对比训练后的算法预测精度以及在训练过程中，损失函数随迭代次数的变化情况和收敛速度，研究不同的训练方法对训练效果和预测精度的影响，最终选择使用RMSProp训练优化方法，RMSProp训练优化方法收敛速度快，训练过程最稳定，训练优化效果最好。
[0130] 基于PCA构建特征优化算法，对输入特征进行降维除燥，PCA(Principal Components Analysis，主成分分析)是降维中最经典的方法，它是一种线性、非监督、全局的降维算法，旨在找到数据中的主成分，并利用这些主成分表示原始数据特征，从而达到降维的目的。
[0131] PCA的主要思想是将n维输入特征向量映射到k维上，这k维特征向量是全新的正交特征(即主成分)，是在原有n维特征的基础上重新构造出来的k维特征。PCA的主要工作就是从原始输入数据的特征空间中顺序地找一组相互正交的坐标轴，第一个新坐标轴是根据原始数据中方差最大的方向选择的，第二个新坐标轴选择是与第一个坐标轴正交的平面中使得方差最大的，第三个轴是与前两个坐标轴轴正交的平面中方差最大的。依次类推，可以得到n个这样的坐标轴。
[0132] 大部分方差都包含在前面k个坐标轴中，后面的坐标轴所含的方差值非常小，因此，我们可以只保留前面k个含有绝大部分方差的坐标轴，这相当于只保留包含绝大部分方差的维度特征，从而在保留数据大部分特征的前提下，实现对原始输入数据的特征降维。
[0133] 研究问题时，我们经常引入多个自变量，这多自变量组合成比较高维的特征向量，这些向量所处的高维空间中，常常包含很多信息冗余和噪声，而且输入变量的维度的过高会增加问题的复杂性。因此，我们希望在保留主要信息的前提下尽可能降低输入变量的维度，从而提升特征表达能力，降低训练的复杂度。
[0134] 该方法总共选取4类指标数据，一类为与外汇交易直接相关的基本交易数据，一类为由交易数据计算出来的技术指标数据，一类为与汇市整体情况相关的美元指数，一类为反映国家经济状况的国家经济指标。这4类指标数据内部有可能存在相关性，而且过多的输入也会影响深度学习算的法收敛速度和泛化能力，因此基于主成分分析法对输入指标进行降维。在降维的同时，除去了数据中的部分噪声数据。
[0135] 基于PCA构建特征优化算法步骤具体为：
[0136] 对输入的n维特征矩阵D进行中心化处理，即每列数据均减去该列均值μ；
[0137] 计算中心化后的输入特征矩阵的协方差矩阵S；
[0138] 对计算出的协方差矩阵的特征值λ及其对应的特征向量ω，并将特征值从大到小排序λ1,λ2,…,λn；
[0139] 取前k大特征值λ1,λ2,…,λk对应的特征向量ω1,ω2,…,ωk，通过式(15)将n维特征映射到k维
[0140]
[0141] 新的x′i的第k维就是xi在第k个主成分ωk方向上的投影，通过选取最大的k个特征值对应的特征向量，将方差较小的特征丢弃，使得每个n维列向量被映射为k维列向量x′i，得到k维的特征矩阵D′。
[0142] 影响汇价变动的因素众多，该方法将影响因素主要分为四类：基本交易数据、技术指标数据、美元指数和国家经济指标。基于PCA降维算法，将四类影响因素建立以下6种对比方法，通过实验研究来选取降维除噪后的最佳输入特征组合。表2分析了输入特征对预测精度的影响。
[0143] 表2
[0144]
[0145] 从图5中可以直观看出，第4种输入特征组合得到的均方根误差最小，预测精度最高。第3种输入特征组合次之，说明美元指数对该汇价具有大的影响。第1种输入特征组合的均方根误差仅略高于第3种，说明基于基本交易数据计算得出的指标数据还有较多冗余信息，对于汇价的分析预测价值不大。第6种输入特征组合的均方根误差最高，说明仅使用美元指数和国家经济指标无法对汇价进行较好的预测，第7种输入特征组合的均方根误差高于第1、3、4种输入特征组合，说明使用所有四类输入特征，训练样本的噪声增加，冗余信息增多，不利于对于汇价的分析预测。
[0146] 综上，对外汇预测影响最大的输入特征是基本交易数据，通过基本交易数据计算得出技术指标时，信息有所损失。当输入数据维度较少时，适当增加有效的信息可以提高预测精度，但是增加的信息冗余，噪声大，反而会影响预测效果，因此针对具体问题要选择合适的输入特征，输入特征过少，容易导致欠拟合，输入特征过多，会使数据的噪声增加，反而降低了学习效果和训练速率。因此，选择第4种输入特征组合：基本交易数据、技术指标和美元指数作为最佳输入特征组合。
[0147] 滞后期数n是指分析预测的时间序列长度，即用前n天的数据对第n+1天进行预测。滞后期数的不同可能会对预测精度产生重要的影响。在4.1节优化的基础上，选取5、10、20、
30、40、50、60不同的滞后期数，研究滞后期数n对预测精度的影响，以选取最佳的滞后期数n。详细实验室数据如表3所示，将表3的数据可视化得到图6.
30、40、50、60不同的滞后期数，研究滞后期数n对预测精度的影响，以选取最佳的滞后期数n。详细实验室数据如表3所示，将表3的数据可视化得到图6.
[0148] 表3
[0149]
[0150] 图6可以明显看出，随着滞后期数的增加，均方根误差先减小后增大，当滞后期数为30时预测精度最高。说明当滞后期数小于30时，序列长度过短，无法充分反映序列的变化情况，算法无法学习到训练样本中的本质规律，当滞后期数大于30时，序列长度过长，序列中包含了较多的噪声数据，影响了算法的学习训练，说明离预测值较远的数据，对其影响较小。因此将滞后期数设置为30。
[0151] 深度学习算法的网络结构对预测精度有重要的影响，由于输入神经元数量和输出神经元数量由问题本身决定，因此网络结构的选择就是指隐藏层大小的选择。由4.1节可知，最佳输入特征为12维，因此输入神经元个数为12，由于的预测结果是一个数值，因此输出神经元的数量为1。隐藏层的大小包括卷积层层数，卷积核大小，卷积核个数，循环层层数和循环层大小。
[0152] 先将卷积层层数、卷积核大小和个数均设置为1，先实验研究LSTM循环层的大小取值对预测精度的影响，以选定最优的循环层的大小取值。设置隐藏层层数分别为1，2，3，4，5，每层神经元数量设置为8，16，32，64，128，256，详细实验数据如表4所示。
[0153] 表4
[0154]
[0155] 将表4可视化得到图7，由图7可以直观看出，均方根误差RMSE随着神经元个数的增加和隐藏层层数的增大而减少，但当增加到一定量时，RMSE不降反增，此时网络结构过大，神经元数量过大，出现过拟合的现象。当神经元数量过少时，RMSE较大，是由于网络规模过小，无法有效拟合训练数据，出现欠拟合的问题。因此神经元的数量过多过少都会降低预测精度，针对不同的问题，需要设置合适的网络规模，因此将LSTM隐藏层层数设置为3，每层神经元数量为128个。
[0156] 选择好循环层大小后，继续实验研究卷积层大小对预测精度的影响。设置卷积层层数分别为1，2，3，4，5，卷积核大小分别为1×1，3×3，5×5，7×7，卷积核个数和卷积滑动步长均设置为1，以保证卷积层的输出维度与输入维度保持一致。具体实验结果如表5所示，表5可视化得到图8所示。
[0157] 表5
[0158]
[0159] 由图8可以直观看出，当卷积层层数为2，卷积核大小为3×3时，RMSE值最小，预测精度最高。当卷积层层数为1时，对数据的抽象程度不够，数据还存在较多噪声，当卷积层层数大于2时，对数据过于抽象，损失了数据的原有特征，因此抽象不够或者过度抽象都会降低算法的预测精度。当卷积核为1×1时，仅对数据做了非线性的变化，但是没有抽象出数据周围的空间特征，而当卷积核大于3×3时，对数据周围的空间特征采集过多，反而影响了预测精度，这说明离数据较远的位置与当前数据的关联性较小。综上所述，当卷积层层数为2，卷积和大小为3×3时，较好的抽象了数据的空间特征，因此将卷积层层数定为2，卷积核大小定为3×3。
[0160] 卷积神经网络和长短期记忆网络网络结构优化包括以下部分：
[0161] 长短期记忆网络循环层超参数优化；
[0162] 卷积层超参数优化；
[0163] 算法结合方式优化，卷积神经网络和长短期记忆网络的结合方式包括：
[0164] 先卷积神经网络后长短期记忆网络，卷积神经网络层的输出作为长短期记忆网络层的输入；
[0165] 先长短期记忆网络后卷积神经网络，长短期记忆网络层的输出作为卷积神经网络层的输入；
[0166] 卷积神经网络后长短期记忆网络分别进行，结合两种算法的输出做最终的预测。
[0167] 在选定上述超参数的基础上，分别使用这三种不同的结合方法进行实验研究。实验结果表明，第(1)种算法结合方式的预测精度最高，因此使用先CNN后LSTM的串行结合方式。深度学习算法的迭代训练的方法一直是研究的重点问题，训练方法的效果会直接影响到预测的精度。其中，解决训练优化问题最常用的方法就是基于梯度下降的方法，其重点是如何用最少的训练次数使训练效果最优，并同时防止过拟合问题的出现。对Adam、SGD和RMSProp三种训练优化方法进行对比分析，根据实验结果选择最优的训练方法。实验结果如表6所示。由表6可知，使用SGD优化方法后，预测精度均低于另外两种优化方法，RMSProp优化方法与Adam优化方法对预测精度的影响相当。
[0168] 表6
[0169]
[0170] 由图9-11可以看出，Adam优化方法训练过程不稳定，loss值随着迭代次数的增加出现了明显震荡。RMSProp优化方法收敛速度比Adam优化方法快，而且训练过程稳定，loss值随着迭代次数的增加稳步下降，训练优化效果较好。SGD优化方法收敛速度较慢，且训练过程中loss值出现了震荡，训练效果不如RMSProp的训练效果好。
[0171] 综上所述，RMSProp训练优化方法收敛速度快，训练过程最稳定，训练优化效果最好，
[0172] 因此选择使用RMSProp训练优化方法。
[0173] 金融市场对时效性要求较高，深度学习算法训练所需计算量大，耗时较多，难以满足金融市场的高时效性需要，因此需要使用GPU高性能计算技术进行训练过程的并行优化。使用多个GPU进行训练过程的加速，有效提高了训练速度，进一步提升了预测方法在外汇市场中的可用性。
[0174] 深度学习模型是一个迭代过程，为更快的训练模型，选用常用的并行化深度学习模型训练方法对模型进行训练。为保证模型在实际应用中的时效性，因此，需使用多GPU并行加速模型的训练过程。
[0175] 每次迭代中，根据当前参数的取值，利用前向传播算法算出一部分训练数据集上的预测值，根据预测值跟真实值的差，然后反向传播算法根据损失函数计算出参数梯度后对参数进行更新。并行化深度学习模型方法有两种：同步并行模式与异步并行模式。
[0176] 异步训练模式流程图如图12，可以看出，异步并行模式算法在每一次迭代时，不同设备读取最新参数，然后获取一小部分训练数据进行训练，独立运行反向传播过程并独自更新参数。
[0177] 同步并行模式与异步并行模式算法区别在于同步并行模式算法流程中所有设备获取同一个参数，如下图13所示，根据图13可以看出，同步并行模式算法在每一次迭代时，不同设备读取相同参数，反向传播算法后，取参数更新梯度的平均值更新参数，最后统一更新参数。两种方式算法的训练过程。
[0178] 基于GPU的同步模式并行训练优化算法描述如下。n为GPU的个数，Dtrain为训练数据集，batch-size为每个批次的训练数据集大小，将不同批次的数据集同时分发到不同GPU上进行训练，计算得出不同GPU上的梯度值▽gi，然后计算所有GPU上的梯度平均值得到使用 作为本次训练的梯度更新量。
[0179] 最多使用4块GPU设备进行实验分析使用不同数量的GPU对算法训练过程进行加速，训练过程的加速效果如图14所示，由图14可以清晰地看出，随着GPU数量的增加，训练速度呈近乎线性的稳步提升趋势，但也会增加相应的开销如数据通信等。由于训练过程所需计算量非常大，相比较单个GPU训练速度成倍增加，为了能更好的满足外汇市场的高时效性需求，所以适当增加GPU数量会有效提升预测方法的训练速度和在实际应用场景下的可用性。
[0180] 该预测方法的实验环境如下表7所示。
[0181] 表7
[0182]
[0183] 使用Python3作为主要编程语言，深度学习框架选用谷歌的TensorFlow。TensorFlow是目前最流行的深度学习框架，可以快速实现各种深度学习算法，有可移植性强、方便灵活、性能好等优点。使用Tensorboard可视化工具，得到预测方法的数据流图如图
15所示。图15中，输入数据首先从输入层流入第一个卷积层layer1-conv1，然后再流入第二个卷积层layer2-conv2，经过两层卷积层的卷积计算后流入LSTM循环层layers-lstm，最后流入全连接层计算得出前向传播的预测值，然后根据反向传播算法，使用RMSProp训练优化算法，训练更新每层的参数，最终将训练好的网络保存到硬盘中，以供新数据的预测分析使用。
15所示。图15中，输入数据首先从输入层流入第一个卷积层layer1-conv1，然后再流入第二个卷积层layer2-conv2，经过两层卷积层的卷积计算后流入LSTM循环层layers-lstm，最后流入全连接层计算得出前向传播的预测值，然后根据反向传播算法，使用RMSProp训练优化算法，训练更新每层的参数，最终将训练好的网络保存到硬盘中，以供新数据的预测分析使用。
[0184] 该预测方法选取2008年1月3日-2018年1月3日的EURUSD(欧元兑美元)、AUDUSD(澳元兑美元)、XAUUSD(黄金兑美元)、GBPJPY(英镑兑日元)、EURJPY(欧元兑日元)、GBPUSD(英镑兑美元)、USDCHF(美元兑瑞郎)、USDJPY(美元兑日元)、USDCAD(美元兑加元)等9种交易活跃货币对的15分钟数据，原始交易数据从MT4交易平台上下载，美元指数和美国经济指标从金十数据网站[62]采集。EURUSD(欧元兑美元)的原始数据示例如表8所示，其他货币对数据格式与此类似，文章篇幅有限，不再一一展示。
[0185] 表8
[0186]
[0187] 由于原始数据只有基本交易数据和经济指标数据，技术指标数据需要根据基本交易数据计算得出。通过对原始数据进行统计分析发现，原始数据存在缺失问题，而且还存在较强的噪音，特征维度直接单位不一致。针对上述问题，对缺失数据进行了弥补，以前一时刻的数据弥补缺失的数据，以此类推。弥补缺失数据后，对特征做零均值归一化，将原始数据映射到均值为0，标准差为1的分布上，归一化的计算公式为：
[0188]
[0189] 式(16)中，μ为原始特征的均值，σ为标准差。通过对原始数据弥补和归一化，保证了原始数据的完整性和规范性。选择前80％数据作为训练集，剩余20％数据作为测试集。构建对比方法，首先初始化必要的超参数值：滞后期数设定为30，隐藏层数设置为三层，隐藏层节点数设置为128，损失函数选用均方误差，优化方法选用RMSProp，batch_size设置为300，训练迭代次数设置为1000。
[0190] 由于该算法为回归算法，因此预测效果评价标准选用RMSE(Root Mean Square Error，均方根误差)。RMSE对序列的预测误差非常敏感，能够很好的反应出算法的预测精度，RMSE值越小，算法的预测精度越高，RMSE的计算公式如下：
[0191]
[0192] 式(17)中，yi为第i个真实值， 为第i个预测值，n为预测序列及真实序列的长度。在设定好超参数值的基础上，分别基于BP、CNN、RNN、LSTM神经网络构建对比预测方法，与构建的C-LSTM预测方法进行实验对比分析，根据不同预测方法的均方根误差来评判各种预测方法的预测精度，如果构建的预测方法其均方根误差最小，其预测精度优于其对比预测方法，则可证明基于两种深度学习算法所构建的预测方法在外汇时间序列分析中的有效性和适用性。
[0193] 基于CNN和LSTM两种深度学习算法构建了C-LSTM外汇时间序列短期预测方法，并选择出了相对最优的输入特征组合、最佳滞后期数、最优的隐藏层大小和算法结合方式以及效果最好的训练方法，进一步提高了C-LSTM预测方法的预测精度。
[0194] 为了验证构建的C-LSTM外汇时间序列短期预测方法在外汇市场分析预测中的有效性和适用性，分别使用BP、CNN、RNN|和LSTM等不同的神经网络算法构建了多个对比预测方法，对比分析多个预测方法的预测效果，预测方法在测试集数据中得出的RMSE值越低，其预测效果越好。具体实验结果如下表9所示，将表9可视化得到图16所示。
[0195] 表9
[0196]
[0197] EURUSD(欧元兑美元)货币对部分测试数据预测效果拟合图如下所示，限于文章篇幅，所有货币对的测试数据预测效果拟合图不在此全部展示，根据其他货币对的测试数据预测效果拟合图可得出一致的结论。
[0198] 由图16-21可以直观看出，所构建的C-LSTM预测方法在9种不同货币上的RMSE值均最低，预测效果拟合图的拟合效果最好，因此，根据实验数据可知，构建的预测方法的预测效果优于全部对比预测方法，充分证明了构建的C-LSTM外汇时间序列短期预测方法在外汇时间序列分析中的有效性和适用性。
[0199] 进一步分析，RNN预测方法的预测效果最差，随着迭代次数的增加，RNN预测效果没有改善，出现了梯度消失问题，对应的LSTM预测方法的预测效果有较大提升，证明了LSTM网络结构可以有效解决梯度消失问题。其中BP神经网络算法也取得了相对不错的预测效果，但是对于较为复杂的问题来说，BP神经网络的预测效果低于CNN、LSTM等深度神经网络的预测效果。CNN神经网络的预测效果虽然优于BP和、RNN神经网络，但是由于其对于难以有效挖掘数据中的时间先后特征，因此其预测效果低于LSTM的预测效果。构建的C-LSTM预测方法，将LSTM和CNN的优势特性进行有效结合，充分挖掘了外汇时间序列数据的时空特征，提高了预测方法的预测精度。
[0200] 综上所述，结合CNN和LSTM两种深度学习算法构建了C-LSTM外汇时间序列短期预测方法，其预测效果均优于两种算法单独使用的效果和BP、RNN神经网络的预测效果，充分证明了对两种深度学习算法结合的有效性以及该预测方法在外汇时间序列分析中的适用性。可以为提高深度学习算法的预测精度提供一定的参考，同时对深度学习技术在外汇时间序列分析中的应用提供一定的理论和实践价值。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种基于无线自组网的分布式计算方法及其系统 | 2020-05-14 | 723 |
| 一种基于云计算的云端信息管理控制系统及控制方法 | 2020-05-15 | 645 |
| 面向高可用物联网计算服务管理技术 | 2020-05-18 | 936 |
| 一种GPU资源使用方法、装置及存储介质 | 2020-05-13 | 810 |
| 一种基于侵入式BCI的人脑意念识别系统 | 2020-05-11 | 570 |
| 一种高性能计算集群动态节点作业方法 | 2020-05-15 | 428 |
| 一种外汇时间序列预测方法 | 2020-05-16 | 499 |
| 人工智能CNN、LSTM神经网络语音识别系统 | 2020-05-16 | 1017 |
| 一种智能型高性能计算中心 | 2020-05-17 | 513 |
| 一种定位系统及定位信号的生成和发送方法 | 2020-05-16 | 937 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
高性能计算热门专利
QQ群二维码
意见反馈
意见反馈