一种逆向深度强化学习的电力通信设备测试资源调度方法
专利汇可以提供一种逆向深度强化学习的电力通信设备测试资源调度方法专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种逆向深度 强化学习 的电 力 通信设备测试资源调度方法。该方法首次采用逆向深度强化学习相关理论，分析了基于边缘计算的通信设备中自动化测试资源需求，综合考虑资源调度时间和测试执行时间以及通信时间，采用深度逆向强化学习 算法 框架 ，设计了一种电力信息通信设备自动化测试移动边缘计算资源动态调度方法，提高测试资源利用率。，下面是一种逆向深度强化学习的电力通信设备测试资源调度方法专利的具体信息内容。
1.一种逆向深度强化学习的电力通信设备测试资源调度方法，其特征在于，该方法具体包括如下步骤：
步骤A，分析基于移动边缘计算的电力信息通信设备计算卸载模型。
步骤B，根据步骤A资源模型的分析，构建基于逆向深度强化学习的资源调度算法模型，并且综合利用已有较好回报值的专家决策数据作为强化学习初始的策略函数样本；
步骤C，综合分析电力信息通信设备计算卸载环境与资源调度算法方案，确定深度强化学习与测试环境交互的状态、动作、奖励等值；
步骤D，确定资源调度算法的优势函数评估策略和策略参数梯度下降更新函数，构建算法流程；
步骤E，最后设计基于逆向深度强化学习的资源分配算法具体流程，求解最优资源分配策略。
其中，步骤A具体包括：
A1，分析基于移动边缘计算的电力信息通信设备自动化计算卸载模型，若进行计算卸载，可分为3个阶段，电力信息数据上传阶段，在移动边缘服务器计算阶段，计算结果回传阶段；若未成功进行计算卸载，则需本地计算。
A2，假设当前需要服务的电力设备数为N，每个设备需要服务信息总量为Lk，其为二进制卸载，其中an表示卸载指标，an＝0表示未卸载，an＝1表示卸载到服务器。
A3，电力数据上传阶段：设模型为一个服务器，多个电力系统设备，服务器为电力设备提供边缘计算。电力系统设备n的传输速率表示为： 其中pn为用户n的
发射功率，hn为用户n到服务器的信道增益，N0表示噪声。
A4，若电力设备本地计算，则所需时间表示为： 其中，bn表示电力设备计算
1bit数据所需的CPU周期数，fn表示电力设备的CPU周期频率。计算所消耗的能量表示为：
Enloc＝μ(fn)2Lnbn若电力设备将任务上传到服务器进行边缘计算，由于结果数据量很小，忽略结果回传时间及能耗。则所需时间由上行传输时间和边缘计算时间构成，所需时间表示为： 其中bMEC表示MEC计算1bit数据所需的CPU周期数，fMEC表示MEC的CPU周期频率。消耗能量表示为：
A5，由上述步骤可知，系统的时间成本表示为：
系统的能耗成本表示为：
其中，步骤B具体包括：
B1，将基于电力通信设备的移动边缘计算的资源调度算法模型分为环境模块和逆向深度强化学习训练模块，环境模块包括任务分配、功率分配，计算资源分配等状态，逆向深度强化学习训练模块采用专家高回报示例函数与深度强化学习相结合的模式；
B2，采用逆向深度强化学习时，需要收集一些专家的数据，智能体
通过从专家示例中学习到回报函数作为深度强化学习初始数据的策略函数，训练时，智能体分别与通信设备计算卸载环境进行状态、动作和奖励的交互训练，计算优化各自的策略函数和值函数，使策略表现更加准确；
B3，智能体通过学习到的回报函数，使得该回报函数下的所得最优策略在专家的示例策略附近，其中回报函数定义为R(s)，参数化的K个特征函数φk(s,a)的和回报函数中的参数为θ。策略π的值函数表示为
B4，提供的参数更新本体策略值函数，智能体下一次与环境交互学习时，进而来更新参数来获得最优的策略，直到达到训练终止条件获得最优的专家策略。
其中，步骤C具体包括：
C1，设置状态st，指具体测试任务资源配置情况等，例如计算任务的输入位，任务n的计算需求，通信设备与基站之间的功率分配，令S定义为状态空间,在t时刻的系统状态st∈S定义为
st＝{z1(t),z2(t),…zN(t),d1(t),d2(t)…,dN(t),p1(t),p2(t)…pn(t)}
C2，设置动作at，智能体将会对如何为N个电力设备是在本地计算还是在移动边缘服务器计算,执行计算任务的多少，设置动作空间为at＝{a1(t),a2(t),…aN(t),b1(t),b2(t),…bN(t)}。
C3，设置奖励r，指资源调度系统采取深度强化学习算法下发的动作后获得的回报，为降低复杂度，本发明只考虑计算和传输任务传输时延，以及过程中所消耗的能耗，将其可表示为线性组合的方法rt＝-(ρcptcp+ρcaEcP)，其中代表电力通信设备在进行计算卸载时的总成本消耗，其中ccp为总的时间成本，Ecp为总的能耗成本，r越小表示资源利用率越高，时延越小，能耗越小，代表资源调度效果越好，训练模型获得奖励越高。
其中，步骤D具体包括：
D1，算法训练使用n步采样来加快收敛，采用优势函数评估策略，通过评论家网络产生，表示为：
A(s,t)＝Rt++γRt+1+...γn-1Rt+n-1+γnV(s′)-V(s)
其中，γ表示衰减因子，取值(0，1)；n表示状态特征维度；A表示动作集；c表示策略π的熵项熵系数；t表示时间序列；R表示每个动作总回报；V(s)表示输入状态价值函数。
D2，通过更新策略梯度函数，使总回报期望上升，寻找最优策略。策略梯度函数为：
策略参数梯度下降更新函数为：
其中，步骤E具体包括：
E1，测试人员将计算任务提交到基于移动边缘计算的软件自动化测试平台，资源调度系统提取计算任务需求Ln；
E2，智能体根据电力设备进行计算的已有的专家数据进行学习示例函数，并通过深度强化学习模型，主要包括环境等状态st和训练参数。训练参数包括表示全局神经网络策略函数和状态值函数参数参数θ、θv，线程智能体网络策略函数和状态值函数参数θ′、θ′v；
E3，执行训练。智能体与分别与环境进行状态和动作交互，实施资源分配动作，获得奖励rt和新状态st+1，生成训练数据样本(s,a,r)；
E4，根据奖励回馈，调整资源分配动作，累计n步梯度更新；
E5，异步更新全局网络参数θ←dθ、θv←dθv；
E6，循环迭代训练，直到最大迭代次数Tmax，获得最大奖励Rmax；
E7，获得最优资源分配策略。
一种逆向深度强化学习的电力通信设备测试资源调度方法
技术领域
背景技术
发明内容
周期频率。消耗能量表示为：
具体实施方式
周期频率。消耗能量表示为：
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于ELM-PID的Buck变换器输出电压控制方法 | 2020-05-08 | 810 |
| 基于强化学习和双线性卷积网络的车型识别方法 | 2020-05-08 | 761 |
| 一种基于深度强化学习的舰载机进近引导方法 | 2020-05-11 | 441 |
| 存在负载干扰情况下多电液伺服执行器分布协同控制方法 | 2020-05-12 | 449 |
| 一种中性浮力机器人姿态与轨迹自抗扰控制方法 | 2020-05-13 | 196 |
| 基于分数阶极值搜索的非线性ABS控制方法 | 2020-05-11 | 660 |
| 一种双电机伺服系统的保性能鲁棒分散控制方法 | 2020-05-12 | 60 |
| 一种基于多传感器融合的纸尿裤外置监测系统及监测方法 | 2020-05-13 | 930 |
| 基于自适应双扩展卡尔曼滤波法的锂电池SOC估算方法 | 2020-05-12 | 241 |
| 一种超级电容SOC计算方法 | 2020-05-12 | 213 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
