首页 / 专利库 / 空气动力学 / 起飞 / 一种基于Skip-LSTM网络的机场群延误预测方法

一种基于Skip-LSTM网络的机场群延误预测方法

阅读:218发布:2020-05-08

专利汇可以提供一种基于Skip-LSTM网络的机场群延误预测方法专利检索,专利查询,专利分析的服务。并且本 发明 提供了一种基于Skip-LSTM网络的机场群延误预测方法,包括如下步骤:数据预处理:将两个机场群的数据集进行对比,并分别对数据进行均衡处理,数据均衡处理后,对数据进行融合、特征选择和数据编码;特征提取:将数据预处理中得到的数据编码输入到Skip-LSTM网络,提取数据在时间维度上的依赖关系,得到最终的特征矩阵;分类预测:将特征提取中得到的最终特征矩阵,输入到全连接层转换为一维矩阵,并利用softmax分类器对一维特征矩阵进行分类,得到机场延误预测的结果。本发明所述的基于Skip-LSTM网络的机场群延误预测方法,充分提取了机场群数据信息的时间相关性,获得更高的预测准确率。,下面是一种基于Skip-LSTM网络的机场群延误预测方法专利的具体信息内容。

1.一种基于Skip-LSTM网络的机场群延误预测方法,其特征在于:包括如下步骤:
数据预处理:将两个机场群的数据集进行对比,并分别对数据进行均衡处理,数据均衡处理后,对数据进行融合、特征选择和数据编码;
特征提取:将数据预处理中得到的数据编码输入到Skip-LSTM网络,提取数据在时间维度上的依赖关系,得到最终的特征矩阵;
分类预测:将特征提取中得到的最终特征矩阵,输入到全连接层转换为一维矩阵,并利用softmax分类器对一维特征矩阵进行分类,得到机场延误预测的结果。
2.根据权利要求1所述的一种基于Skip-LSTM网络的机场群延误预测方法,其特征在于:数据预处理中两个机场群的数据集主要包括:
机场数据定义为DA:包括日期,时间,机场名称;
航班数据定义为DF:包括执行日期,时间,航班号,二次雷达编号,计起时间,计达时间,计划起站,计划达站,计划机型,计划机号,巡航速度,巡航高度,保障种类,任务类型,保障等级,执行状态,全国SARB,军方批号。
3.根据权利要求1所述的一种基于Skip-LSTM网络的机场群延误预测方法,其特征在于:所述数据预处理的具体方法为:
数据均衡处理:增加数据集,使得数据均衡;
特征选择:根据天气数据集,删除重复和干扰的特征;
数据融合:提取机场群中所有的起降航班数据和天气数据,选择航班的计划起飞或降落时间为关联主键1,选择观测站的观测时间为关联主键2,融合具有相同键值的数据,保证机场群的航班数据和相同时间的天气数据进行融合;
数据编码:将融合后的数据特征分为离散型特征和连续型特征,对离散型特征进行了平数据编码,对连续性特征进行min-max编码。
4.根据权利要求1所述的一种基于Skip-LSTM网络的机场群延误预测方法,其特征在于:所述特征提取中Skip-LSTM前向传播过程为:
ft=σ(wfht-1+ufxt+bf)                           (1)
it=σ(wiht-1+uixt+bi)                            (2)
at=tanh(waht-1+uaxt+ba)                         (3)
ct=ct-1⊙ft+it⊙at                  (4)
yt=σ(woht-1+uoxt+bo)                           (5)
ht=ut·S(ht-1,xt)+(1-ut)·ht-1                       (7)
其中xt是t时刻的输入,ft是t时刻遗忘的输出,it和at是t时刻输入门的输出,ct是t时刻的细胞状态,yt是t时刻输出门的输出, 是t时刻Skip门的输出,ht是t时刻的隐藏状态,σ和tanh为神经元内的激活函数,fbinarize将输入值二值化的函数;⊙为Hadamard积;wf是t-1时刻遗忘门的权重矩阵;ht-1是t-1时刻的隐藏状态;uf是t时刻遗忘门的权重矩阵;bf是遗忘门的偏置;wi是t-1时刻输入门的权重矩阵;ui是t时刻输入门的权重矩阵;bi是输入门的偏置;wa是t-1时刻输入门的权重矩阵;ua是t时刻输入门的权重矩阵;ba是输入门的偏置;ct-1是t-1时刻的细胞状态;wo是输出门的权重矩阵;uo是t时刻输出门的权重矩阵;bo是输出门的偏置;ut是 二值化处理的值;S是参数状态转换模型; 是t时刻离散化的概率变化;wp是t-1时刻skip门的权重矩阵;bp是skip门的偏置; 是t+时刻Skip门的输出;Mix函数是取最小值。
5.根据权利要求4所述的一种基于Skip-LSTM网络的机场群延误预测方法,其特征在于:Skip-LSTM反向传播过程通过梯度下降法迭代更新所有的参数,在本文中有两个隐藏状态ht和ct,所以定义两个δ,即δht和δct,Skip-LSTM反向传播过程式如下所示,Skip-LSTM的反向传播是沿时间维度的反向传播,即从当前的时刻反向传播计算前一个时刻的梯度值、损失值,由δct+1,δht+1反向推导δct,δht,
其中δht是t时刻隐藏状态的梯度;l是损失函数;lt是t时刻的损失值;lt+1是t+1时刻的t
损失;ht是t时刻的隐藏状态;ht+1是t+1时刻的隐藏状态;δc是t时刻细胞状态的梯度;ct是t时刻的隐藏状态;ft是t时刻遗忘门的输出; 是t+1时刻细胞状态的梯度;ft+1是t+1时刻遗忘门的输出;⊙是Hadamard积;δht是t时刻隐藏状态的梯度;yt是t时刻输出门的输出;
t t
tanh是神经元内的激活函数;通过计算出δh 和δc ,可以计算神经元中各个参数的梯度,即参数对于损失函数的偏导数,例如wf的梯度计算过程如下:
其中,wf代表t时刻遗忘门的权重矩阵;Ct-1代表t-1时刻的细胞状态;ht-1代表t-1时刻的隐藏状态。
6.根据权利要求1所述的一种基于Skip-LSTM网络的机场群延误预测方法,其特征在于:所述分类预测的具体方法为:将特征提取得到的空间特征矩阵输入全连接层,全连接层中每个神经元分别对特征矩阵中的数据进行非线性变换得到一维特征矩阵;然后将一维特征矩阵输入到softmax分类器进行分类,得到机场群延误预测的结果。
7.根据权利要求6所述的一种基于Skip-LSTM网络的机场群延误预测方法,其特征在于:softmax分类器计算出输入的数据属于概率值P,并且概率值最大的类别被判定为最终所属的类别,用softmax将输入x分类为y类别的概率为:
8.根据权利要求1所述的一种基于Skip-LSTM网络的机场群延误预测方法,其特征在于:分类预测所用的评价准则为:
其中N为测试集中所有的数据量,C代表模型预测的延误状态和真实的延误状态相同的数量,precision为模型的准确率。

说明书全文

一种基于Skip-LSTM网络的机场群延误预测方法

技术领域

[0001] 本发明属于大数据以及深度学习技术领域,尤其是涉及一种基于 Skip-LSTM网络的机场群延误预测方法。

背景技术

[0002] 随着航空运输业的发展,国内外形成了诸多机场群。例如国内的京津冀 机场群,长三机场群,国外的纽约机场群,巴黎机场群等。但是同国外机 场群相比,国内机场群存在着延误情况严重,资源分配不均衡,发展不平衡 的问题,给机场群的健康发展带来严峻的挑战。机场群的延误预测算法,可 以预测机场群在未来某段时间的延误状况,为机场群工作人员的排班提供参 考,从而促进机场群地区的协调发展。
[0003] 近年来机场群一直是研究热点,国内外的学者已经对机场群展开了一定 的研究。文献“张莉,高超,胡华清.我国三大机场群与城市群协调发展比较 与建议[J].综合运输,
2015(9):4-10.Zhang L,Gao C,Hu H Q.Comparison and Suggestions on the Coordinated Development of Three Biggest Airport Groups and City Groups of China[J].China Transportation Review,2015(9):4-10.(in Chinese)”研究了机场群的发展特征,根据机场 群与城市群协同发展的特点,针对我国机场群与城市群发展不协调的问题, 提出了机场群与城市群协调发展的建议。文献“杨依莹,陈子怡,杨新湦.珠 三角机场群协同发展定位分析[J]航空计算技术,2016,46(1):53-55.Yang Y Y,Chen Z Y,Yang X S.Analysis on Positioning of Collaborative Development of Airport Group around Pearl River Delta Area[J]. Aeronautical Computing Technique,2016,46(1):53-55.(in Chinese)”研 究了珠三角机场群中各个机场的定位问题,避免了机场群中各个机场的恶性 竞争,促进机场群的良性发展。文献“Ayyalasomayajula S,Delaurentis D.Developing Strategies for Improved Management of Airport Metroplex Resources[C]//Aiaa  Aviation Technology,Integration,&Operations 
Conference.2009.”通过研究机场群中各个机场的依赖关系来确定机场群中 的资源分配,以此来降低机场群的拥堵和延误。文献“Bolanos M E,Murphy D.How Much Delay does New York Inject into the National Airspace SystemA Graph Theory Analysis[C]//Aviation Technology,Integration,& Operations Conference.2013.”分析了纽约机场群的延误对美国空域系统 延误的影响,指出了美国空域系统中有40%的延误是由纽约机场群产生或扩 散的。文献“Sidiropoulos S,Majumdar A,Han K.A Framework for the Optimization of Terminal AirspaceOperations in Multi-AirportSystems[J].Transportation Research Part B: Methodological,2018,110:160-187.”提出了多机场系统终端机动区动态到 达和离开航线设计框架,从而减少机场群整体延误,充分的利用机场群中各 个机场的资源。文献“Capozzi B J,Atkins S C,Choi S.Towards Optimal Routing and Scheduling of Metroplex Operations[C]//Aiaa Aviation Technology,Integration,&Operations Conference.2009.”研究了机场 群中的航班调度和空域因素等,协调分配了机场群的资源。虽然国内外的研 究学者已经对机场群进行了一定的研究,但是鲜少有人对机场群的延误状况 进行过预测,本文尝试对机场群未来的某段时间的延误状况进行预测,从而 优化机场群的排班,充分利用机场群中的资源,促进机场群地区的协调发展。
[0004] 面向大数据的深度学习算法在计算机视觉自然语言处理等方面得到了 广泛的应用,其性能普遍优于传统的算法。因此本文尝试使用深度学习算法 预测机场群的延误状况。因为机场群的延误状态具有时间相关性,前一刻的 延误状态会直接影响到后面时刻的延误状态,所以本文尝试使用循环神经网 络(RNN,Recurrent Neural Network)系列的网络对机场群的延误状态进行 预测。文献“Hochreiter S,Schmidhuber J.LongShort-Term Memory[J].Neural Computation,1997,9(8):1735-1780.”提出的LSTM网络 能够学习到长距离的时序信息,同时避免传统RNN梯度消失的问题。但是由 于LSTM在每一个时刻中所有的神经元都需要更新状态,所以训练时间较长, 且预测精度也无法继续提高。

发明内容

[0005] 有鉴于此,本发明旨在提出一种基于Skip-LSTM网络的机场群延误预测 方法,以提供一种能有效保证原始数据的时序性,预测结构准确性高的基于 Skip-LSTM网络的机场群延误预测方法。
[0006] 为达到上述目的,本发明的技术方案是这样实现的:
[0007] 一种基于Skip-LSTM网络的机场群延误预测方法,包括如下步骤:
[0008] 数据预处理:将两个机场群的数据集进行对比,并分别对数据进行均衡 处理,数据均衡处理后,对数据进行融合、特征选择和数据编码;
[0009] 特征提取:将数据预处理中得到的数据编码输入到Skip-LSTM网络,提 取数据在时间维度上的依赖关系,得到最终的特征矩阵;
[0010] 分类预测:将特征提取中得到的最终特征矩阵,输入到全连接层转换为 一维矩阵,并利用softmax分类器对一维特征矩阵进行分类,得到机场延误 预测的结果。
[0011] 进一步的,所述数据预处理中两个机场群的数据集主要包括:
[0012] 机场数据定义为DA:包括日期,时间,机场名称;
[0013] 航班数据定义为DF:包括执行日期,时间,航班号,二次雷达编号,计 起时间,计达时间,计划起站,计划达站,计划机型,计划机号,巡航速度, 巡航高度,保障种类,任务类型,保障等级,执行状态,全国SARB,军方批 号。
[0014] 进一步的,所述数据预处理的具体方法为:
[0015] 数据均衡处理:增加数据集,使得数据均衡;
[0016] 特征选择:根据天气数据集,删除重复和干扰的特征;
[0017] 数据融合:提取机场群中所有的起降航班数据和天气数据,选择航班的 计划起飞或降落时间为关联主键1,选择观测站的观测时间为关联主键2, 融合具有相同键值的数据,保证机场群的航班数据和相同时间的天气数据进 行融合;
[0018] 数据编码:将融合后的数据特征分为离散型特征和连续型特征,对离散 型特征进行了平数据编码,对连续性特征进行min-max编码。
[0019] 进一步的,所述特征提取中Skip-LSTM前向传播过程为:
[0020] ft=σ(wfht-1+ufxt+bf)                          (1)
[0021] it=σ(wiht-1+uixt+bi)                           (2)
[0022] at=tanh(waht-1+uaxt+ba)                         (3)
[0023] ct=ct-1⊙ft+it⊙at                              (4)
[0024] yt=σ(woht-1+uoxt+bo)                           (5)
[0025]
[0026] ht=ut·S(ht-1,xt)+(1-ut)·ht-1                       (7)
[0027]
[0028]
[0029] 其中xt是t时刻的输入,ft是t时刻遗忘的输出,it和at是t时刻输入 门的输出,ct是t时刻的细胞状态,yt是t时刻输出门的输出, 是t时刻 Skip门的输出,ht是t时刻的隐藏状态,σ和tanh为神经元内的激活函数, fbinarize将输入值二值化的函数;⊙为Hadamard积;wf是t-1时刻遗忘门的权 重矩阵;ht-1是t-1时刻的隐藏状态;uf是t时刻遗忘门的权重矩阵;
bf是 遗忘门的偏置;wi是t-1时刻输入门的权重矩阵;ui是t时刻输入门的权重 矩阵;bi是输入门的偏置;wa是t-1时刻输入门的权重矩阵;ua是t时刻输 入门的权重矩阵;ba是输入门的偏置;ct-1是t-1时刻的细胞状态;wo是输 出门的权重矩阵;uo是t时刻输出门的权重矩阵;
bo是输出门的偏置;ut是  二值化处理的值;S是参数状态转换模型; 是t时刻离散化的概率变化; wp是t-1时刻skip门的权重矩阵;bp是skip门的偏置; 是t+时刻Skip 门的输出;Mix函数是取最小值。
[0030] 进一步的,所述Skip-LSTM反向传播过程通过梯度下降法迭代更新所有 的参数,在本文中有两个隐藏状态ht和ct,所以定义两个δ,即δht和δct, Skip-LSTM反向传播过程式如下所示,Skip-LSTM的反向传播是沿时间维度 的反向传播,即从当前的时刻反向传播计算前一个时刻的梯度值、损失值, 由δct+1,δht+1反向推导δct,δht,[0031]
[0032]
[0033] 其中δht是t时刻隐藏状态的梯度;l是损失函数;lt是t时刻的损失值; lt+1是t+1时刻的损失;ht是t时刻的隐藏状态;ht+1是t+1时刻的隐藏状态; δct是t时刻细胞状态的梯度;ct是t时刻的隐藏状态;ft是t时刻遗忘门的 输出; 是t+1时刻细胞状态的梯度;ft+1是t+
1时刻遗忘门的输出;⊙ 是Hadamard积;δht是t时刻隐藏状态的梯度;yt是t时刻输出门的输出; tanh是神经元内的激活函数;通过计算出δht和δct,可以计算神经元中各个参 数的梯度,即参数对于损失函数的偏导数,例如wf的梯度计算过程如下:
[0034]
[0035] 其中,wf代表t时刻遗忘门的权重矩阵;Ct-1代表t-1时刻的细胞状态; ht-1代表t-1时刻的隐藏状态。
[0036] 进一步的,所述所述分类预测的具体方法为:将特征提取得到的空间特 征矩阵输入全连接层,全连接层中每个神经元分别对特征矩阵中的数据进行 非线性变换得到一维特征矩阵;然后将一维特征矩阵输入到softmax分类器 进行分类,得到机场群延误预测的结果。
[0037] 进一步的,所述softmax分类器计算出输入的数据属于某种类型的概率 值P,并且概率值最大的类别被判定为最终所属的类别,用softmax将输入 x分类为y类别的概率为:
[0038]
[0039] 进一步的,所述分类预测所用的评价准则为:
[0040]
[0041] 其中N为测试集中所有的数据量,C代表模型预测的延误状态和真实的 延误状态相同的数量,precision为模型的准确率。
[0042] 相对于现有技术,本发明所述的基于Skip-LSTM网络的机场群延误预测 方法具有以下优势:
[0043] (1)本发明所述的基于Skip-LSTM网络的机场群延误预测方法,利用Skip-LSTM网络充分地提取机场群延误状态的时间相关性,有效的预测机场 群的延误状况,并且在LSTM的基础上增加了Skip门,通过Skip门控制神 经元状态的更新,从而有效地解决LSTM训练速度慢,预测精度低的问题。
[0044] (2)本发明所述的基于Skip-LSTM网络的机场群延误预测方法,采用 了Skip-LSTM网络对特征矩阵进行特征提取,提取了融合数据的时间相关性, 充分利用了机场状态的时间相关性,使得机场延误预测更加精准。附图说明
[0045] 构成本发明的一部分的附图用来提供对本发明的进一步理解,本发明的 示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在 附图中:
[0046] 图1为本发明实施例所述的基于Skip-LSTM网络的机场群延误预测方法 的流程图
[0047] 图2为本发明实施例所述的传统的LSTM神经元的结构图;
[0048] 图3为本发明实施例所述的Skip-LSTM神经元的结构图;
[0049] 图4为天气特征对结果的影响数据对比图;
[0050] 图5为机场群延误预测准确率对比图;
[0051] 图6为航班延误等级划分;
[0052] 图7为特征选择对结果的影响。

具体实施方式

[0053] 需要说明的是,在不冲突的情况下,本发明中的实施例及实施例中的特 征可以相互组合。
[0054] 名词解释:
[0055] Skip-LSTM:Long Short-Term Memory网络。
[0056] 下面将参考附图并结合实施例来详细说明本发明。
[0057] 一种基于Skip-LSTM网络的机场群延误预测方法,如图1和图3所示, 包括步骤一:数据预处理:在对比中美机场群的数据集的基础上,分别对数 据进行均衡处理,数据融合,特征选择和数据编码;
[0058] 本文采用的美国机场群数据为美国交通运输局(Bureau of Transportation Statistics,BTS)提供的2016年,2017年及2018年的航 班数据和美国国家海洋和大气管理局(National Oceanic and Atmospheric Administration,NOAA)提供的本地气候质量监控数据(Quality Controlled Local Climatological Data,QCLCD)。
[0059] <1>机场数据定义为DA:具体包括日期(Date),时间(Time),机场ID 号,机场所在城市的ID号,机场所在州的ID号。
[0060] <2>航班数据定义为DF:具体包括年(Year),月(Month),日期 (DayofMonth),季度(Quarter),星期数(DayofWeek),航班号(FlightNum), 航线号(AirlineID),飞机尾号(TailNum),承运人(Carrier),起飞/ 降落机场的ID号(Origin/DestAirportID),起飞/降落城市的ID号 (Origin/DestCityMarketID),起飞降落城市所在州的ID号 (Origin/DestStateFips),计划起飞/降落的时间 (CRSDepTime/CRSArrTime),起轮/放轮的时间(WheelsOff/WheelsOn), 航程(Distance)。
[0061] <3>气象数据的定义为DW:具体包括日期(Date),时间(Time),观测 站类型(StationType),机场的天气状况(SkyCondition),湿度 (RelativeHumidity),速(WindSpeed),风向(WindDirection),能  见度(Visibility),观测站气压(StationPressure),海平面气压(SeaLevelPressure),记录类型(RecordType),高度(Altimeter)。
[0062] 本文采用的京津冀机场群数据为国内空管局提供的2018年3月到2019 年2月的航班数据。
[0063] 机场数据定义为DA:包括日期,时间,机场名称。
[0064] 航班数据定义为DF:包括执行日期,时间,航班号,二次雷达编号,计 起时间,计达时间,计划起站,计划达站,计划机型,计划机号,巡航速度, 巡航高度,保障种类,任务类型,保障等级,执行状态,全国SARB,军方批 号。
[0065] 数据预处理的步骤为:
[0066] 数据均衡处理:本文对机场群的航班延误等级的分类如图6所示。从图 6中可以看出,在数据均衡处理之前各个延误等级的航班量所占的比重存在 着很大的偏差,其中75%的航班是准时的航班,延误的航班只占了25%。为 了使模型充分学习延误航班的特征,增强模型的适用性,本文针对美国延误 航班数据,通过增加2018年的延误航班数据,扩大了延误航班的数据集。 数据均衡以后,准点的航班所占比重为60%,延误的航班的比重由25%增加 到了40%。
[0067] 特征选择:根据得到的机场群的天气数据集,对天气特征进行了筛选, 删除了重复和干扰的特征。加入天气特征对准确率的影响如图4所示,特征 选取对准确率的影响如图7所示。
[0068] 数据融合:首先提取机场群中所有的起降航班数据,以及提取机场群中 观测站的天气数据。然后选择航班的计划起飞或降落时间为关联主键1,选 择观测站的观测时间为关联主键2。最后融合具有相同键值的数据,保证机 场群的航班数据和相同时间的天气数据进行融合。在本文中融合了纽约机场 群的航班数据和天气数据。
[0069] 数据编码:本文将数据特征分为离散型特征和连续型特征,对离散型特 征进行了平数据编码,对连续性特征进行了min-max编码。
[0070] 步骤二:特征提取,将步骤一得到的预处理后的数据输入到Skip-LSTM 网络,提取数据在时间维度上的依赖关系,得到最终的特征矩阵;
[0071] 传统的LSTM神经元的结构如图2中的所示,每个神经元包含三个门单 元,分别是输入门,遗忘门和输出门。本文采用的Skip-LSTM在传统的LSTM 神经元中增加了Skip门,如图2所示,Skip门的输出将决定LSTM神经元在 该时刻是否执行状态更新。当Skip门的输出为0时,在该时刻神经元不进 行状态更新,保留上一时刻的状态。当Skip门的输出为1时,在该时刻神 经元的状态需要进行更新,生成新的神经元状态。因此增加Skip门之后, 神经元将跳过某些时刻的状态更新,减少神经元更新的次数,获得更高的预 测准确率,LSTM与Skip-LSTM的准确率如图5所示。
[0072] Skip门是一个控制状态更新的门,结构如图2所示。Skip-LSTM前向传 播过程式(1)-(9)所示:
[0073] ft=σ(wfht-1+ufxt+bf)                           (1)
[0074] it=σ(wiht-1+uixt+bi)                           (2)
[0075] at=tanh(waht-1+uaxt+ba)                         (3)
[0076] ct=ct-1⊙ft+it⊙at                              (4)
[0077] yt=σ(woht-1+uoxt+bo)                           (5)
[0078]
[0079] ht=ut·S(ht-1,xt)+(1-ut)·ht-1                       (7)
[0080]
[0081]
[0082] 其中xt是t时刻的输入,ft是t时刻遗忘门的输出,it和at是t时刻输入 门的输出,ct是t时刻的细胞状态,yt是t时刻输出门的输出, 是t时刻 Skip门的输出,ht是t时刻的隐藏状态,σ和tanh为神经元内的激活函数, fbinarize将输入值二值化的函数;⊙为Hadamard积;wf是t-1时刻遗忘门的权 重矩阵;ht-1是t-1时刻的隐藏状态;uf是t时刻遗忘门的权重矩阵;
bf是 遗忘门的偏置;wi是t-1时刻输入门的权重矩阵;ui是t时刻输入门的权重 矩阵;bi是输入门的偏置;wa是t-1时刻输入门的权重矩阵;ua是t时刻输 入门的权重矩阵;ba是输入门的偏置;ct-1是t-1时刻的细胞状态;wo是输 出门的权重矩阵;uo是t时刻输出门的权重矩阵;
bo是输出门的偏置;ut是  二值化处理的值;S是参数状态转换模型; 是t时刻离散化的概率变化; wp是t-1时刻skip门的权重矩阵;bp是skip门的偏置; 是t+时刻Skip 门的输出;Mix函数是取最小值。
[0083] Skip-LSTM反向传播过程通过梯度下降法迭代更新所有的参数。在本文 中有两个隐藏状态ht和ct,所以定义两个δ,即δht和δct。根据过程式(1)-(9) 代入Skip-LSTM反向传播过程式(10)-(11),Skip-LSTM的反向传播是沿时间 维度的反向传播,即从当前的时刻反向传播计算前一个时刻的梯度值、损失 值由δct+1,δht+1反向推导δct,δht[0084]
[0085]
[0086] 其中δht是t时刻隐藏状态的梯度;l是损失函数;lt是t时刻的损失值; lt+1是t+1时刻的损失;ht是t时刻的隐藏状态;ht+1是t+1时刻的隐藏状态; δct是t时刻细胞状态的梯度;ct是t时刻的隐藏状态;ft是t时刻遗忘门的 输出; 是t+1时刻细胞状态的梯度;ft+1是t+
1时刻遗忘门的输出;⊙ 是Hadamard积;δht是t时刻隐藏状态的梯度;yt是t时刻输出门的输出; tanh是神经元内的激活函数;通过计算出δht和δct,可以计算神经元中各个参 数的梯度,即参数对于损失函数的偏导数,例如wf的梯度计算过程如计算过 程式(12)所示:
[0087]
[0088] 其中,wf代表t时刻遗忘门的权重矩阵;Ct-1代表t-1时刻的细胞状态;ht-1代表t-1时刻的隐藏状态。
[0089] 步骤三:分类预测,将步骤二得到的最终特征矩阵输入到全连接层转换 为一维矩阵,并利用softmax分类器对一维特征矩阵进行分类,得到机场群 延误预测的结果。如图5所示;
[0090] 分类预测步骤包括全连接层和Softmax分类器,其中Softmax分类器可 以计算出输入的数据类型的概率值P,并且概率值最大的类别被判定为最终 所属的类别。用Softmax将输入x分类为y类别的概率为:
[0091]
[0092] 为了评估Skip-LSTM和LSTM网络模型在机场群延误预测问题上的准确 率,分类预测所用的评价准则为:
[0093]
[0094] 其中N为测试集中所有的数据量,C代表模型预测的延误状态和真实的 延误状态相同的数量。precision为模型的准确率。
[0095] 以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本 发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在 本发明的保护范围之内。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈