一种基于奖励重塑强化学习的飞行器智能引导方法
专利汇可以提供一种基于奖励重塑强化学习的飞行器智能引导方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于奖励重塑 强化学习 的 飞行器 智能引导方法，包括下述步骤：首先设置使用 空域 范围，以及飞行器和目的地的动态模型；然后，构建深度强化学习智能体，并重塑奖励函数，包括终止条件奖励、引导平滑性奖励、飞行器 姿态 奖励；之后，在训练模式下，设置飞行器初始姿态，目的地初始 位置 、朝向，并使用强化学习方法训练引导智能体；最后，在应用模式下，使用训练完成的引导智能体，引导飞行器沿着特定方向到达移动的目的地。本发明的方法可以应用在现有飞行器指挥引导系统中，采用预先规划或实时指挥的方式，引导飞行器从任意姿态开始，沿着特定方向到达移动目的地。，下面是一种基于奖励重塑强化学习的飞行器智能引导方法专利的具体信息内容。
1.一种基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，包括以下步骤：
（1）根据飞行任务确定使用空域范围，设置飞行器的动态模型及可移动目的地的动态模型；
（2）依据飞行器特性，构建基于深度强化学习的引导智能体，智能体的输入是飞行器姿态和目的地信息，输出是对飞行器的引导指令；
（3）根据飞行任务，从终止条件、引导平稳性、飞行器与目的地相对姿态等方面重塑强化学习奖励函数；
（4）在训练模式下，设置飞行器初始姿态，包括三维坐标、俯仰角、朝向角、速度、剩余油量，设置目的地三维坐标、速度和朝向角，设置训练终止条件；
（5）利用深度强化学习的方法，训练引导智能体深度神经网络，在每个训练步长内，根据飞行器当前姿态，生成引导指令，根据指令质量给出重塑后的奖励值，最终引导飞行器沿特定方向到达按动态模型移动的目的地；
（6）经过海量训练后，在应用模式下，根据输入的飞行器姿态和目的地信息，准确地生成引导指令，引导飞行器沿特定方向到达移动目的地。
2.根据权利要求1所述的基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，步骤（1）中，目的地是移动的，具备动态模型。
3.根据权利要求1所述的基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，步骤（3）中，重塑奖励函数的具体计算过程如下：
其中， 为t时刻的强化学习状态， 为t时刻的引导指令， 为t+1时刻的强化学习状态， 是重塑后的奖励函数， 是终止条件奖励函数， 是引
导平滑性奖励函数， 是飞行器姿态重塑奖励函数；如果引导成功，终止条件奖励为正奖励，否则为负奖励；如果引导指令变化，平滑性奖励为负奖励，否则为非负奖励；飞行器姿态重塑奖励计算公式如下：
其中， 是关于飞行器在t时刻状态的函数，其计算公式如下：
其中， 为水平距离评价函数， 朝向评价函数， 为高度评价函数， ，
， 为权重。
4.根据权利要求1所述的基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，步骤（4）中，目的地初始信息不仅包含三维坐标信息，还包括朝向信息，目的地在训练中依据其动态模型，位置和朝向不断变化，智能体引导飞行器沿特定方向到达移动目的地。
5.根据权利要求1所述的基于奖励重塑强化学习的飞行器智能引导方法，其特征在于，步骤（6）中，对于计划模式，在飞行任务开始时，根据飞行器初始姿态，生成一系列引导指令进行开环控制；对于实时模式，在飞行器飞行过程中，实时生成引导指令，进行闭环控制。
一种基于奖励重塑强化学习的飞行器智能引导方法
技术领域
背景技术
发明内容
（1）根据飞行任务确定使用空域范围，设置飞行器的动态模型及可移动目的地的动态模型；
（2）依据飞行器特性，构建基于深度强化学习的引导智能体，智能体的输入是飞行器姿态和目的地信息，输出是对飞行器的引导指令；
（3）根据飞行任务，从终止条件、引导平稳性、飞行器与目的地相对姿态等方面重塑强化学习奖励函数；
（4）在训练模式下，设置飞行器初始姿态，包括三维坐标、俯仰角、朝向角、速度、剩余油量，设置目的地三维坐标、速度和朝向角，设置训练终止条件；
（5）利用深度强化学习的方法，训练引导智能体深度神经网络，在每个训练步长内，根据飞行器当前姿态，生成引导指令，根据指令质量给出重塑后的奖励值，最终引导飞行器沿特定方向到达按动态模型移动的目的地；
（6）经过海量训练后，在应用模式下，根据输入的飞行器姿态和目的地信息，准确地生成引导指令，引导飞行器沿特定方向到达移动目的地。
导平滑性奖励函数， 是飞行器姿态重塑奖励函数；如果引导成功，终止条件奖励为正奖励，否则为负奖励；如果引导指令变化，平滑性奖励为负奖励，否则为非负奖励；飞行器姿态重塑奖励计算公式如下：
其中， 是关于飞行器在t时刻状态的函数，其计算公式如下：
其中， 为水平距离评价函数， 朝向评价函数， 为高度评价函数， ，
， 为权重。
图3为本实施例的一种基于奖励重塑强化学习的飞行器智能引导方法的引导智能体训练过程奖励变化图；
图4为本实施例的一种基于奖励重塑强化学习的飞行器智能引导方法的飞行器引导实例航迹图。
具体实施方式
在本实施例中，空域范围是水平面横坐标 ，水平面纵坐标
，高度 ；飞机动态模型如下：
其中， 为飞行器三维坐标， 为飞行器在水平面横坐标、水平面
纵坐标、高度的变化率， 为飞行器俯仰角， 为飞行器朝向角， 为飞行器速度；目的地动态模型如下：
其中， 为目的地水平面内坐标，目的地高度 固定， 为目的地在水平
面横坐标、水平面纵坐标的变化率， 为目的地朝向角， 为目的地移动速度。
在本实施例中，智能体输入的状态内容是飞行器的三维坐标、朝向角、速度、剩余油量，以及目的地的三维坐标、朝向角，输出的对飞行器的引导指令集是直飞、左转、右转、爬升、俯冲、保持当前指令不变。
引导平滑性奖励函数， 是飞行器姿态重塑奖励函数；如果引导成功，终止条件奖励为正奖励，否则为负奖励；如果引导指令变化，平滑性奖励为负奖励，否则为非负奖励；飞行器姿态重塑奖励计算公式如下：
其中， 是关于飞行器在t时刻状态的函数，其计算公式如下：
其中， 为水平距离评价函数， 朝向评价函数， 为高度评价函数， ，
， 为权重。
在本实施例中，每个步长内飞行器引导指令维持不变时引导平滑性奖励值为-0.01，飞行器引导指令发生变化使引导平滑性奖励值为-0.1；
在本实施例中，水平距离评价函数 ，朝向评价函数 ，高度评价函数
计算公式如下：
其中， 为飞行器姿态，分别代表t时刻水平面横坐标、水平面纵坐标、
高度、朝向角， 为目的地姿态，分别代表t时刻水平面横坐标、水平面纵坐标、高度、朝向角，权重 ， ， 的值分别为0.0001、0.5、0.1。
在本实施例中，引导智能体训练过程中，所获奖励不断提升，如图3所示，随着训练的进行，智能体所获得的奖励值不断提升。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于空域结构和航班流的空中交通流复杂性量化分析方法 | 2020-05-08 | 248 |
| 一种基于航班风险前置的运行控制系统及方法 | 2020-05-11 | 46 |
| 一种基于航线管理的全航线水平偏置算法 | 2020-05-11 | 345 |
| 一种航班偏离正常航迹行为在线检测方法及装置 | 2020-05-11 | 116 |
| 高尔夫球跟踪系统 | 2020-05-13 | 518 |
| 一种飞行管理系统航路点双向排序的方法 | 2020-05-08 | 201 |
| 航班运行数据融合方法、装置及设备 | 2020-05-08 | 975 |
| 民用轻微型无人机飞行自动监管审批系统及方法 | 2020-05-08 | 275 |
| 一种基于无人机红外检测的复合绝缘子劣化诊断方法 | 2020-05-12 | 728 |
| 航空遥感实时成像方法、电子设备以及存储介质 | 2020-05-12 | 540 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
