基于Hadoop数据挖掘航空器经验轨迹模型关键因子的提取
方法
技术领域
[0001] 本
专利属于计算机应用程序的
发明专利，涉及到民用航空
空中交通管制和流量管理方面航空器飞行轨迹预测领域。
背景技术
[0002] 飞机轨迹预测的概念可以追溯到Boeing公司在七十年代提出了一种战略控制方案。其基本思想为：扩展对飞机进行交通管制的范围，当其还远离机场，甚至刚刚
起飞时，就为其
指定一个4D
飞行计划，使其在整个飞行中沿优化飞行剖面，按预计的时间表到达中途点或终端机场，用时间间隔来调整其进场和着陆次序。这样，就可以使ATC人员能从全局出发，在较大范围(或整个
空域)内调度飞机的飞行。该战略控制方案迅速得到了美国以及欧洲各国的大
力支持。相关的研究工作逐渐开展开来。
[0003] 当前我国航空运输蓬勃发展，机场航班延误率持续增高，空中管制容流矛盾突出，伴随空管信息化的快速发展，海量的航空运行数据的积累，传统的系统架构和运算方法已经难以满足全国或地区级空中管制部
门运行策略相关应用的计算。
[0004] 一方面，航空运输数据种类，
接口方式众多，而且具有封闭性，安全性要求高的特点。如何在不影响空中管制运行安全的情况下采集各类数据，是航空运输运行
大数据建设的关键点；另一方面，运行数据具有数据量大，数据类型多元，数据分布特征多样的特点。数据体量非常庞大，例如就拿全国航迹数据来说，一天记录下来经过数据清洗有效数据就有5亿条，实现高效解析研究非常必要；此外，包括空域流量分析、飞行计划轨迹预测以及管制指挥预案等关键业务所需要的管制意图序列信息、特征点高度、速度等信息、经验航线等信息大多还是依靠人工经验，缺少通过分析历史信息体现相关运行数据的价值。
[0005] 现有空域流量分析、飞行计划轨迹预测以及管制指挥预案等关键业务所需要的管制意图序列信息、特征点高度、速度等信息、经验航线等信息大多还是依靠人工经验，缺少通过分析历史信息体现相关运行数据的价值；并且
飞行器性能对轨迹预测影响相当大，不同型号的飞机都应有各自的一套数据模型，人工经验基本采用的参数只有一套，所以航迹预测的飞行器性能模型中采用的属性指标不区别实际使用的航空器类型，采用这样的数据对飞行轨迹预测误差大，预测结果偏离高，数据可用性不强。因此构建完整航迹
预测模型，实现更为准确的4D航迹静态预测，并使用实际航迹数据对航迹预测结果进行实时修正，进一步提升航迹预测准确度，为航迹预测的工程应用提供技术保证势在必行。
发明内容
[0006] 发明目的：本发明的目的在于结合航空器动力和
运动学模型，并通过基于Hadoop的海量雷达轨迹数据，分析航空器在离场、巡航、进近等全航行阶段中的速度、高度等信息，构建航空器经验轨迹模型，模型涉及的主要关键因子包括航班实际航程、航线报告点实际航程、
巡航高度和速度等，并在真实场景使用本发明的经验轨迹模型对航迹预测数据进行实时修正。
[0007] 技术方案：为实现上述发明目的，本发明可采用以下技术方案：
[0008] 一种
基于Hadoop数据挖掘航空器经验轨迹模型关键因子的提取方法，包括：基于Hadoop数据获得航班实际航程、基于Hadoop的航线报告点计算航班实际航程、基于Hadoop数据计算航班的巡航高度和巡航速度；其中，
[0009] 基于Hadoop数据获得航班实际航程包括：
[0010] (a1)、建立航空器飞行航程记录信息：在关系型
数据库的海量航空器飞行航程记录表中，将每一条航程记录中的航班号、机型、序列号、实际起飞时间、起飞机场、降落机场、航迹点、经纬度、过点时间记录迁移到Hadoop集群的分布式数据库HBase中；
[0011] (a2)、利用同一航班中按序列号排序相近两个航迹点的航程记录信息构建数据文件的映射模型，在映射模型的Map阶段，Map过程将存储于HBase中的原始数据映射为航班两个航迹点相关航程记录信息；
[0012] (a3)、建立航班航迹点之间距离
算法模型，获得整个航班的实际航程距离；
[0013] 基于Hadoop的航线报告点计算航班实际航程包括：
[0014] (b1)、将每一条航程记录中的航班号、机型、航路、实际起飞时间、起飞机场、降落机场、航迹点、经纬度、过点时间迁移到Hadoop集群的分布式数据库HBase中；
[0015] (b2)、根据航线启用时间建立全国航线模型参数库，包含航线号、启用时间、终止时间、航路报告点、经纬度；
[0016] (b3)、利用航程记录和全国航线模型参数库构建数据文件的映射模型，在映射模型的Map阶段，Map过程将存储于HBase中的原始数据映射为只包含航路报告点和航迹点的中间数据，规约模型Reduce阶段获取Map的中间数据，使用k-means，利用“航班实际航程计算方法”中“两经纬度点之间距离公式”，得出报告点与航迹点小于预设
阈值时保留为结果信息；
[0017] (b4)、保存Reduce阶段结果数据作为航迹替代报告点计算过程信息，按距离逆向排序，取最小距离的航迹点替代报告点进行航路报告点实际航程计算，然后采用“两经纬度点之间距离公式”，得出同一航线相近两报告点之间距离，即为航线报告点实际航程；建立航线报告点实际航程信息表，具体记录信息包括航线点、序列号、报告点1、报告点2、机型、航班号、实际起飞时间、起飞机场、降落机场、报告点间距离、报告点间飞行时间；
[0018] 基于Hadoop数据计算航班的巡航高度和巡航速度包括：
[0019] (c1)、将每一条航程记录中的航班号、机型、序列号、实际起飞时间、起飞机场、降落机场、航迹点、经纬度、过点时间、过点高度迁移到Hadoop集群的分布式数据库HBase中；
[0020] (c2)、建立高度层参数库，包含高度层序号、高度层低度、高度层高度；
[0021] (c3)、利用航程记录和全国航线模型参数库构建数据文件的映射模型，在映射模型的Map阶段，Map过程将存储于HBase中的原始数据映射为只包含航路高度层和航迹点的中间数据，规约模型Reduce阶段获取Map的中间数据，使用k-means，把同一航班相近航迹点的航程记录进行聚类，得出整个航班不同航程段信息；同步骤(a3)中“航班实际航程计算方法”计算出整个航班不同航段实际距离和飞行时间，并保留为结果信息
[0022] (c4)、保存Reduce阶段结果数据作为巡航高度和巡航速度计算过程信息，从中获取持续时间最长高度的航段数据开展本次航班巡航高度和巡航速度计算，巡航高度即为本航路段高度，巡航速度即为本航段实际距离除以飞行时间，并建立航路巡航高度和巡航速度信息表，具体记录信息包括机型、航班号、起飞时间、起飞机场、降落机场、起始点、结束点，实际距离、巡航高度、飞行时间、巡航速度。
[0023] 有益效果：本发明的采用Hadoop的MapReduce计算
框架，MapReduce技术是非关系数据管理和分析技术的典型代表，它在系统层面解决了扩展性和容错性等问题，通过接受用户编写的Map函数和Reduce函数，自动地运用空管运行数据挖掘航空器经验轨迹模型关键因子提取方法在可收缩的大规模集群上并行执行，从而可以处理和分析大规模的空中交通流数据。
[0024] 本发明应用于航空器4D轨迹预测后，体现了如下优点：
[0025] 1、采用大数据分布式体系架构替代传统体系架构，解决了传统体系架构对海量数据难以运算的问题，高效的获得运算结果；
[0026] 2、通过大数据
支撑获得的经验轨迹替代人工经验，细化了各种类型航空器参数属性，减少了运算因子单一性，提高航空器4D轨迹预测的精确性；
[0027] 3、采用
人工智能方法，根据实际数据对经验轨迹模型不断实时修正，进一步提升航迹预测准确度，为下一工作提早做好规划，大大提高管制的效率；
[0028] 4、空中交通安全
水平和运行服务效率水平有效的提高，在一定程度上也会提升飞行流量，减轻管制员的工作负荷，提升航空运输服务能力。
[0029] 进一步的，步骤(a3)中，规约模型Reduce阶段获取Map的中间数据，航班中相近的两个航迹点A和B,设第一点A的经纬度：B1,L1,第二点B的经纬度：B2,L2；计算A,B两点之间经度差a和纬度差b
[0030] a＝B1-B2
[0031] b＝L1-L2
[0032] 然后计算出A,B两点之间距离si(i＝1,2,3,…,+n)，并作为Reduce阶段结果数据保存；
[0033]
[0034] 保存Reduce阶段结果数据作为航班航迹点之间距离信息，将航班号和实际起飞时间作为KEY值，获取各
航路点对应航程信息，
[0035] 最后依次累加各雷达航迹点之间的距离，获得整个航班的实际航程距离为[0036]
[0037] 飞行时间＝航班实际降落时间-实际起飞时间。
[0038] 进一步的，步骤(a3)中，最后建立航班实际航程信息表，具体记录信息包括机型、航班号、实际起飞时间、起飞机场、降落机场、实际航程距离、飞行时间。
[0039] 进一步的，步骤(a1)中，对全国飞行航空器航迹点记录的航迹数据作融合处理，清洗过后的数据与相应的飞行计划数据匹配，建立航空器飞行航程记录信息；在关系型数据库的海量航空器飞行航程记录表中，每一条航程记录包括机型、航班号、计划起飞时间、计划降落时间、实际起飞时间、实际降落时间、起飞机场、降落机场、航迹点、经纬度、过点时间、过点速度、过点高度，并删除航班号为空的无效记录；增加序列号字段，填写数值从一班航班本次起飞时间到降落时间过程中按过点时间排序。
[0040] 进一步的，步骤(c2)中，设600米至8400米，每隔300米为一个高度层；8400米至8900米，隔500米为一个高度层；8900米至12500米，每隔300米为一个高度层；12500米以上，每隔600米为一个高度层，其中8900米至12500米定义为RVSM空域；根据上述数据建立高度层参数库。
附图说明
[0041] 图1为航线报告点实际航程功能
流程图。
具体实施方式
[0042] 对本文中所用的专用术语和常用缩写进行定义：
[0043] ATC：Air traffic control空中交通管制。
[0044] ATFM：Air traffic flow management空中交通流量管理。
[0045] 4D航迹：飞行器在从起飞至降落的整个过程中所经历的各点
时空四维坐标，三维空间
位置及相应过点时间。
[0046] 4D航迹预测：在一个架次的飞行未发生时，依据经验信息和初始计划信息对该架次飞行将要产生的4D航迹点列进行预测计算。
[0047] 下面，结合附图对本发明做进一步详细说明。
[0048] 本发明基于雷达航迹数据和飞行计划等运行数据，采用大数据Hadoop分布式运算架构，根据城市对、航空器机型等特征属性开展航班经验航路模型分析，主要关键因子为航班实际航程、航线报告点实际航程、巡航高度和速度等，相关分析所需要的运行数据包括机型、航班号、计划起飞时间、计划降落时间、实际起飞时间、实际降落时间、起飞机场、降落机场、航路点、航迹点、经纬度、过点时间、过点速度、过点高度等信息。
[0049] 一、航班实际航程
[0050] 基于Hadoop的航班实际航程计算方法，具体包括以下步骤:
[0051] 步骤1:对全国飞行航空器航迹点记录的航迹数据作融合处理，清洗过后的数据与相应的飞行计划数据匹配，建立航空器飞行航程记录信息。在关系型数据库的海量航空器飞行航程记录表中，每一条航程记录由机型、航班号、计划起飞时间、计划降落时间、实际起飞时间、实际降落时间、起飞机场、降落机场、航迹点、经纬度、过点时间、过点速度、过点高度等属性组成。删除航班号为空的无效记录；增加序列号字段，填写数值从一班航班本次起飞时间到降落时间过程中按过点时间排序。将航班号、机型、序列号、实际起飞时间、起飞机场、降落机场、航迹点、经纬度、过点时间九个维度的航程记录迁移到Hadoop集群的分布式数据库HBase中；
[0052] 步骤2:利用同一航班中按序列号排序相近两个航迹点的航程记录信息构建数据文件的映射模型。
[0053]
[0054] 在映射模型的Map阶段，Map过程将存储于HBase中的原始数据映射为航班两个航迹点相关航程记录信息，Map的中间数据具体信息项如下表。
[0055]
[0056]
[0057] 步骤3:建立航班航迹点之间距离算法模型(两经纬度点之间距离公式)。我们假设地球是一个完美的球体，那么它的平均半径记为R＝6378.137；规约模型Reduce阶段获取Map的中间数据，航班中相近的两个航迹点A和B,设第一点A的经纬度(B1,L1),第二点B的经纬度(B2,L2)。计算A,B两点之间经度差a和纬度差b
[0058] a＝B1-B2
[0059] b＝L1-L2
[0060] 然后计算出A,B两点之间距离si(i＝1,2,3,…,+n)，并作为Reduce阶段结果数据保存。
[0061]
[0062] 步骤4:保存Reduce阶段结果数据作为航班航迹点之间距离信息，将航班号和实际起飞时间作为KEY值，获取各航路点对应航程信息，
[0063] 最后依次累加各雷达航迹点之间的距离，获得整个航班的实际航程距离。
[0064]
[0065] 飞行时间＝航班实际降落时间-实际起飞时间。
[0066] 建立航班实际航程信息表，具体记录信息包括机型、航班号、实际起飞时间、起飞机场、降落机场、实际航程距离、飞行时间等。
[0067] 二、航线报告点实际航程
[0068] 基于Hadoop的航线报告点实际航程计算方法，具体包括以下步骤:
[0069] 步骤1:对全国飞行航空器航迹点记录的航迹数据作融合处理，清洗过后的数据与相应的飞行计划数据匹配，建立航空器飞行航程记录信息。在关系型数据库的海量航空器飞行航程记录表中，每一条航程记录由机型、航班号、航路、计划起飞时间、计划降落时间、实际起飞时间、实际降落时间、起飞机场、降落机场、航迹点、经纬度、过点时间、过点速度、过点高度等属性组成。删除航班号为空的无效记录,将航班号、机型、航路、实际起飞时间、起飞机场、降落机场、航迹点、经纬度、过点时间九个维度的航程记录迁移到Hadoop集群的分布式数据库HBase中；
[0070] 步骤2:根据航线启用时间建立全国航线模型参数库，主要包含5个属性，分别为航线号、启用时间、终止时间、航路报告点、经纬度；
[0071] 步骤3:利用航程记录(关联字段航路)和全国航线模型参数库(关联字段航线号)构建数据文件的映射模型，在映射模型的Map阶段，Map过程将存储于HBase中的原始数据映射为只包含航路报告点和航迹点的中间数据，规约模型Reduce阶段获取Map的中间数据，使用k-means(硬
聚类算法)，利用“航班实际航程计算方法”中“两经纬度点之间距离公式”，得出报告点与航迹点小于一定阈值(初定20km)时保留为结果信息。
[0072] 步骤4:保存Reduce阶段结果数据作为航迹替代报告点计算过程信息，按距离逆向排序。取最小距离的航迹点替代报告点进行航路报告点实际航程计算，然后采用“两经纬度点之间距离公式”，得出同一航线相近两报告点之间距离，即为航线报告点实际航程。建立航线报告点实际航程信息表，具体记录信息包括航线点、序列号、报告点1、报告点2、机型、航班号、实际起飞时间、起飞机场、降落机场、报告点间距离、报告点间飞行时间等。
[0073] 三、巡航高度和巡航速度
[0074] 基于Hadoop的巡航高度和巡航速度计算方法，具体包括以下步骤:
[0075] 步骤1:对全国飞行航空器航迹点记录的航迹数据作融合处理，清洗过后的数据与相应的飞行计划数据匹配，建立航空器飞行航程记录信息。在关系型数据库的海量航空器飞行航程记录表中，每一条航程记录由机型、航班号、计划起飞时间、计划降落时间、实际起飞时间、实际降落时间、起飞机场、降落机场、航迹点、经纬度、过点时间、过点速度、过点高度等属性组成。删除航班号为空的无效记录；增加序列号字段，填写数值从一班航班本次起飞时间到降落时间过程中按过点时间排序；削减掉过点高度小于最低巡航高度(暂定6000m)的无关数据。将航班号、机型、序列号、实际起飞时间、起飞机场、降落机场、航迹点、经纬度、过点时间、过点高度十个维度的航程记录迁移到Hadoop集群的分布式数据库HBase中；
[0076] 步骤2:我国最小垂直间隔(RVSM)实施以后，600米至8400米，每隔300米为一个高度层；8400米至8900米，隔500米为一个高度层；8900米至12500米，每隔300米为一个高度层；12500米以上，每隔600米为一个高度层。其中8900米至12500米定义为RVSM空域。根据我国标准规范建立高度层参数库，主要包含3个属性，分别为高度层序号、高度层低度、高度层高度；
[0077] 步骤3:利用航程记录(关联字段过点高度)和全国航线模型参数库(关联字段高度层低度、高度层高度)构建数据文件的映射模型，在映射模型的Map阶段，Map过程将存储于HBase中的原始数据映射为只包含航路高度层和航迹点的中间数据，规约模型Reduce阶段获取Map的中间数据，使用k-means(硬聚类算法)，把同一航班相近航迹点(序列号字段)的航程记录进行聚类，得出整个航班不同航程段信息。同“航班实际航程计算方法”计算出整个航班不同航段实际距离和飞行时间(以各航段起始点、结束点作为计算依据)，并保留为结果信息。
[0078] 步骤4:保存Reduce阶段结果数据作为巡航高度和巡航速度计算过程信息，删除掉飞行时间持续时间低于一定范围(暂定10min)的信息。然后从中获取持续时间最长高度的航段数据开展本次航班巡航高度和巡航速度计算，巡航高度即为本航路段高度，巡航速度即为本航段实际距离除以飞行时间。并建立航路巡航高度和巡航速度信息表，具体记录信息包括机型、航班号、起飞时间、起飞机场、降落机场、起始点、结束点，实际距离、巡航高度、飞行时间、巡航速度等。
