一种基于K次控制深度强化学习的空管防冲突方法
专利汇可以提供一种基于K次控制深度强化学习的空管防冲突方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于K次控制深度 强化学习 的空管防冲突方法，包括下述步骤：首先设置使用场景中扇区内飞机的数量，并设置防冲突过程中的控制次数K；然后，在训练模式下，进行K次控制，在前K‑1次控制中，通过神经网络的作用，按照二维正态分布的方法，确定下一个 位置 点，并按照强化学习的方法，神经网络参数进行更新，在第K次控制中，将目的地作为下一个位置点，如此循环，完成神经网络的训练；最后，在应用模式下，使用训练完成的神经网络，可以得到不发生冲突的最 短路 径。本发明的方法可以应用在现有空中交通管理系统中，在不与扇区内其他飞机发生冲突的前提下，得到到达目的地的最短路径，对空管路径规划有实践意义。，下面是一种基于K次控制深度强化学习的空管防冲突方法专利的具体信息内容。
1.一种基于K次控制深度强化学习的空管防冲突方法，其特征在于，包括以下步骤：
(1)对扇区内已有飞机进行编号，根据已有飞机的既有飞行计划，按照时间步长，生成从当前时刻到飞机飞出扇区时刻的坐标矩阵P；
(2)利用K次控制深度强化学习的方法，训练深度神经网络，根据控制飞机的当前位置和扇区内飞机的坐标矩阵P，生成控制飞机的路径；
K次控制深度强化学习算法的计算过程为：设置控制次数K；构建深度神经网络，输入为控制飞机当前位置、已有飞机的坐标矩阵P，输出为控制飞机的下一个位置点极坐标如果不是第K次控制，按照二维正态分布的方法，得到下一个位置点极坐标，并根据引导结果按照强化学习的方法更新深度神经网络参数；如果是第K次控制，将飞机的目的地作为下一个位置点，并结束这次训练，进入下次训练；
(3)经过海量训练后，根据输入的控制飞机位置和已有飞机坐标矩阵，快速为控制飞机生成不与其他飞机发生冲突，并到达目的地的最短路径；
(4)在实际使用中，根据实际空情训练多个不同K值的深度神经网络，针对具体问题快速生成引导路径，供空管员使用。
2.根据权利要求1所述的基于K次控制深度强化学习的空管防冲突方法，其特征在于，步骤(1)中，扇区内已有飞机的坐标矩阵P不仅包含当前飞机的坐标，同时包括了按照飞行计划的未来坐标。
3.根据权利要求1所述的基于K次控制深度强化学习的空管防冲突方法，其特征在于，步骤(2)中，控制次数通过参数K调节，在空管引导中灵活设置控制次数；通过二维正态分布选取下一位置点的极角和极径，选点公式如下：
其中，μρ，σρ代表极径的正态分布均值和标准差， 代表极角的正态分布均值和标准差；
采用actor-critic的双神经网络结构，critic神经网络的更新公式如下：
actor神经网络的更新公式如下：
其中，αw，αθ为神经网络的学习率，δ＝Rt+γV(St+1，w)-V(St，w)，Rt为强化学习回报函数，V(St,w)为t时刻状态值函数，γ为折扣因子。
4.根据权利要求1所述的基于K次控制深度强化学习的空管防冲突方法，其特征在于，步骤(3)中，依据神经网络特征识别的特性，根据状态输入快速生成不冲突的K个位置点，控制飞机依次飞过K个控制点，形成不冲突的最短路径。
5.根据权利要求1所述的基于K次控制深度强化学习的空管防冲突方法，其特征在于，步骤(4)中，同时生成多个备选方案，供空管员根据空情灵活选择。
一种基于K次控制深度强化学习的空管防冲突方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于大华嵌入式安防设备的数据提取方法 | 2020-05-11 | 65 |
| 用于辅助飞行器进行着陆的系统和方法以及对应的飞行器 | 2020-05-11 | 154 |
| 带有转盘的中口径弹药供应装置 | 2020-05-13 | 735 |
| 具有用于双重利用燃气涡轮发动机的燃烧器部段中的冷却流体的导管布置结构的系统 | 2020-05-14 | 862 |
| 数据存储设备的信息检测平台及方法 | 2020-05-15 | 45 |
| 成像质谱仪 | 2020-05-12 | 235 |
| 用于中央轨道引导运载工具的菱形交叉的操作和锁定机构 | 2020-05-13 | 936 |
| 感应加热装置、用于操作感应加热装置的方法以及感应灶具 | 2020-05-12 | 738 |
| 一种数据安全加密存储方法及存储装置 | 2020-05-08 | 556 |
| 一种虚拟化平台服务器的可信启动方法及系统 | 2020-05-13 | 479 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
