基于注意力机制的CliqueNet航班延误预测方法
专利汇可以提供基于注意力机制的CliqueNet航班延误预测方法专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种基于注意 力 机制的CliqueNet航班延误预测方法，包括1)对航班数据做预处理，对连续数据和离散数据分别进行Min-Max和Mean-Encoder,构建输入矩阵R；2)利用随机连接团簇和双重标定对1)中数据特征提取；3)重复1)、2)得到最终特征矩阵；4)将3)得到的特征矩阵进行全局平均 池化 ，利用分类器进行分类，并计算此次网络训练的损失值；5)利用误差反向传播 算法 ，计算各层误差项和权值梯度；6)根据4)中数据判断网络是否收敛，若不收敛，则重复5)。本发明所述的基于注意力机制的CliqueNet航班延误预测方法，通过随机团簇连接可以更好的进行特征图之间的信息传递并且降低网络的连接参数。，下面是基于注意力机制的CliqueNet航班延误预测方法专利的具体信息内容。
1.基于注意力机制的CliqueNet航班延误预测方法，其特征在于：包括按顺序进行的下列步骤：
步骤一：对航班数据做数据预处理，对连续数据和离散数据分别进行Min-Max编码和Mean-Encoder编码,构建输入矩阵R；
步骤二：利用随机连接团簇和双重标定对步骤一中预处理的数据进行特征提取；
步骤三：重复步骤一、步骤二，得到最终特征矩阵；
步骤四：将上述步骤三得到的最终特征矩阵进行全局平均池化，并输入全连接层变为一维特征矩阵，利用softmax分类器对一维特征矩阵进行分类，并使用交叉熵损失函数计算此次网络训练的损失值；
步骤五：利用误差反向传播算法进行梯度计算，计算各层误差项和权值梯度；
步骤六：根据步骤四中所得损失值判断网络是否收敛，如判定结果为不收敛，则重复所述步骤五，直到网络收敛为止。
2.根据权利要求1所述的基于注意力机制的CliqueNet航班延误预测方法，其特征在于：所述步骤一的具体方法为：对航班数据预处理，预处理主要为对航班数据进行清洗和编码，对异常值使用SQL语句直接进行删除；较少比例的缺省值，直接采用均值进行填充，并对连续性特征和高基数离散特征的数据分别采用Min-Max和Mean-Encoder编码，构建输出矩阵R。
3.根据权利要求1所述的基于注意力机制的CliqueNet航班延误预测方法，其特征在于：所述步骤二的具体的方法为：对航班延误数据进行数据预处理之后，输入到神经网络模型当中，然后经过改进的随机连接团簇，随即连接团簇在第一阶段输入层X0对所有层进行初始化，每个更新层与下一层相连，准备更新下一层，在第二阶段，各层的网络之间进行随机的传递，按照以下公式进行计算：
其中 分别表示相对于第i层Xi(k)的前、后层的特征，k值表示第几阶段，Wli和Whi依次表示和前后层做卷积操作的参数，本文中卷积操作均用*表示，g(θ,s)表示算计函数，参数θ表示输入特征值，参数s表示随机种子，使用随机团簇连接时，将s从2计数，即保证每层输入至少来自其它2层的输入，最大取值为团簇中设置的层数，即s＝range[2,layer_num]，f(·)表示非线性激活函数，用与参数传递的非线性映射；将第一个团簇提取得到的特征图输入到转换层，进行双重标定。
4.根据权利要求1所述的基于注意力机制的CliqueNet航班延误预测方法，其特征在于：所述步骤四的具体方法为：将所述步骤三的特征矩阵输入到全局平均池化层，同时输入到全连接层当中，得到一维输入矩阵，提取的最终特征由全局池化层将维度大小为n×n×c的矩阵转换为一维向量V＝[v1,v2,…,vc]，全连接后经过Softmax分类器，按照以下公式计算，后输出loss交叉熵损失数值函数，
将V映射成si一维概率向量并取对数与标签值{y(i)＝j}做交叉熵运算，即得到向量空间中两个向量空间的距离，并根据结果中概率最大值做出预测。
5.根据权利要求1所述的基于注意力机制的CliqueNet航班延误预测方法，其特征在于：所述步骤五的具体方法为：定义标签和预测值之间的误差函数，通过随机梯度下降不断调整网络的权重和偏置，使网络不断拟合目标函数。
6.根据权利要求1所述的基于注意力机制的CliqueNet航班延误预测方法，其特征在于：所述步骤六的具体方法为：根据步骤五对网络的初始化参数进行调整，并进行神经网络的训练不断调整参数，将分类结果和实际值比对并计算差值而作为损失值，然后将损失值和实现设定的分类阈值做比较，如果损失值小于分类阈值则判定网络收敛，否则判定为不收敛；当判定结果为收敛时，输出网络结果，当判定结果为不收敛时，则根据公式调整卷积神经网络初始化参数，其中，Wl表示第l层的输出权重， 表
示损失函数对权重的导数，η为学习率。
基于注意力机制的CliqueNet航班延误预测方法
技术领域
背景技术
的深度、结构等方面来提升性能。循环的环状网络，是神经网络一个重要的网络结构研究方
向。
法。支持向量机、线性回归和神经网络等预测模型只是作为单一数据样本的预测模型。这些
较为传统的统计分析方法算法得到的准确率相对较低。此外，上述算法针对的数据样本较
小，面对高维度样本不能对背后的数据规律进行很好的拟合。
法。其中，卷积神经网络(Convolutional Neural Networks，CNN)取得了较大突破。提出一
种更高效的随机连接CliqueNet的仿生人脑注意力机制网络模型，并针对不同的
Transition层进行讨论，充分结合注意力机制的优势，在融合气象信息的航班数据上进行
验证。
发明内容
行填充，并对连续性特征和高基数离散特征的数据分别采用Min-Max和Mean-Encoder编码，
构建输出矩阵R。
所有层进行初始化，每个更新层与下一层相连，准备更新下一层，在第二阶段，各层的网络
之间进行随机的传递，按照以下公式进行计算：
计函数，参数θ表示输入特征值，参数s表示随机种子，使用随机团簇连接时，将s从2计数，即保证每层输入至少来自其它2层的输入，最大取值为团簇中设置的层数，即s＝range[2,
layer_num]，f(·)表示非线性激活函数，用与参数传递的非线性映射；将第一个团簇提取
得到的特征图输入到转换层进行双重标定；
度大小为n×n×c的矩阵转换为一维向量V＝[v1,v2,···,vc]，全连接后经过Softmax分
类器，按照以下公式计算，后输出loss交叉熵损失数值函数，
值，然后将损失值和实现设定的分类阈值做比较，如果损失值小于分类阈值则判定网络收
敛，否则判定为不收敛；当判定结果为收敛时，输出网络结果，当判定结果为不收敛时，则根
据公式 调整卷积神经网络初始化参数，其中，Wl表示第l层的输出权重，
表示损失函数对权重的导数，η为学习率。
具体实施方式
本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”
的含义是两个或两个以上。
在本发明中的具体含义。
编码和Mean-Encoder编码，构建输入矩阵R；将数据集整理为航班数据、机场数据、气象数据
三个数据集并给出定义：F、A、W；为了保持三部分数据集时间和空间上的一致性，在空间维
度上通过机场ID、航班起飞/到达机场ID和观测站所在机场ID进行关联，并通过各个数据集
的时间戳进行关联确保三部分的数据集保持时间上的一致性。并使用SQL语句对数据进行
清理。分别设置关联键值，得到＜flight_key,f＞；＜airport_key,a＞；＜weather_key,w
＞；将上述数据中具有相同key的数据执行merge操作，即相同主键的数据进行连接，得到融
合后的数据集r。
较少比例的缺省值，直接采用均值进行填充，并对连续性特征和高基数离散特征的数据分
别采用Min-Max和Mean-Encoder编码，构建输出矩阵R。
图进行特征提取。
递，随机传递的图层取值范围是：s＝range[2,layer_num]。转换层中使用CSARblock进行特
征重新标定，得到输出矩阵。将得到的输出矩阵，输入到预测模型中经过卷积神经网络得到
初始特征图，经过随机连接的团簇进行特征提取，并且有转换层的双重标定进而提高准确
率。
图6给出不同连接方式的比较结果。随即连接团簇在第一阶段输入层X0对所有层进行初始
化，每个更新层与下一层相连，准备更新下一层。在第二阶段，各层的网络之间进行随机的
传递，按照以下公式进行计算：
递的优势，将s从2计数，即保证每层输入至少来自其它2层的输入，最大取值为团簇中设置
的层数。即s＝range[2,layer_num]。f(·)表示非线性激活函数，用与参数传递的非线性映
射。
C×1×1
中对每个特征通道进行全局池化，得到信道描述符zc∈R ，uc(i,j)表示通道uc第(i,j)
位置上的数值，如公式(2)所示；σ(·)和δ(·)分别表示sigmoid和ReLU函数；作为门控机制
在传播过程中学习特征通道间的非线性交互得到特征图α， 为第一层卷积运算的权
重矩阵和偏置参数矩阵，z为与之卷积的信道描述符。 为第二层卷积运算的权重矩
阵和偏置参数矩阵。
1×H×W
向结构设计中，将输入特征U经过两层卷积神经网络得到空间标定因子β∈R ； 为
第一层卷积运算的权重矩阵和偏置参数矩阵。 为第二层卷积运算的权重矩阵和偏
置参数矩阵。做两次卷积运算后使用sigmoid函数σ(·)对第一层网络产生的特征图元素映
射到区间[0,1]中，得到空间标定因子β，如公式(5)所示。
卷积操作得到最终输出特征UO＝[u1,u2,...,uC']，其中Wφ，bφ分别表示权重和偏置参数，如公式(7)。
此次网络训练的损失函数最小值；
向量V＝[v1,v2,···,vc]，全连接后经过Softmax分类器，按照以下公式计算，后输出loss
交叉熵损失数值函数。
合目标函数，进而得到学习的目的。反向传播中，主要为梯度值和误差项的计算，梯度由误
差项推导得出。以下对CliqueNet中一个4层随机连接团簇的实例进行梯度计算推导。首先，
依据BP算法，隐藏层的误差项，由第l层第i幅特征图的误差导出，然后利用误差项公式计算
出隐藏层梯度；
f'(·)表示为该层激活函数的导数， 表示损失函数对l卷积层中第i幅响应特征图的导
数。 表示l-1的输出特征图； 表示损失函数对对隐藏层权值的导数。“*”和 分
别表示卷积和反卷积操作，同理可以求出中的隐藏层的误差项迭代关系：
同理类推，可以得出Stage-II的各隐藏层的误差项计算：
程中可以看出，由于团簇随机连接方式，在计算激活函数导数时候，其特征值输入不仅仅来
自前面级联网络层，也会随机包含其它网络层传入的特征数值。各隐藏层梯度计算完成之
后需要调用随机梯度下降函数， 表示t状态下的第一层权重， 表示由公式(19)得出
的误差项导数，η表示学习率， 表示t+1状态的权重矩阵。以不断更新权重参数，直到网
络收敛。
设定的分类阈值做比较，如小于分类阈值则判定网络收敛，否则不收敛；最后，如收敛输出
网络结果，否则根据公式， 调整卷积神经网络初始化参数，Wl表示第l层
的输出权重， 表示损失函数对权重的导数；η为学习率。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 一种降雨预测方法、系统及电子设备 | 2020-05-13 | 779 |
| 基于深度神经网络的超像素级SAR图像变化检测方法 | 2020-05-13 | 326 |
| 一种Web攻击检测方法、系统、介质和设备 | 2020-05-17 | 440 |
| 一种基于BP神经网络的过渡电阻预测方法 | 2020-05-11 | 880 |
| 一种基于数据融合和BP神经网络的跌倒检测系统及方法 | 2020-05-16 | 611 |
| 基于自样例增强的超分辨率图像重建方法 | 2020-05-08 | 548 |
| 基于脑机接口的智能家居控制方法及系统 | 2020-05-16 | 281 |
| 一种基于批次图像化的卷积自编码故障监测方法 | 2020-05-17 | 34 |
| 基于多卷积核残差网络的行为识别系统、方法、介质及设备 | 2020-05-11 | 705 |
| 胶凝砂砾石配合比关键指标预测抗压强度的BP神经网络分析方法 | 2020-05-11 | 764 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
