一种IP-光网络通信业务联合分配方法及装置
阅读：936发布：2020-05-11
专利汇可以提供一种IP-光网络通信业务联合分配方法及装置专利检索，专利查询，专利分析的服务。并且本 发明 实施例 提供一种IP-光网络通信业务联合分配方法及装置，该方法包括：获取业务信息；将所述业务信息输入预设路由分配模型，利用预设深度 强化学习 模型对所述预设路由分配模型进行分析，得到业务路由分配信息；其中，所述预设路由分配模型是由IP-光网络 风 险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。通过考虑了智能 电网 通信网效率和风险均衡两方面来构建路由分配指标，分析了电 力 通信网中业务均衡度和传输时延的具体评估方法，然后对他们进行加权分析计算，最终设计合理的预设路由分配模型，并选择了预设深度强化学习模型，求解最优路径，以保障IP-光网络的高效合理运行。，下面是一种IP-光网络通信业务联合分配方法及装置专利的具体信息内容。
1.一种IP-光网络通信业务联合分配方法，其特征在于，包括：
获取业务信息；
将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；
其中，所述预设路由分配模型是由IP-光网络风险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。
2.根据权利要求1所述IP-光网络通信业务联合分配方法，其特征在于，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
获取链路故障修复时间和无故障运行时间，同时获取节点故障修复时间和无故障运行时间；
根据所述链路故障修复时间和无故障运行时间确定链路故障概率信息，根据所述获取节点故障修复时间和无故障运行时间确定节点故障概率信息；
根据IP节点承载力信息和链路承载力信息和光网络节点承载力信息和链路承载力信息，得到节点承载力信息和链路承载力信息；
根据所述链路故障概率信息和所述链路承载力信息得到链路风险信息，根据所述节点承载力信息和节点故障概率信息得到节点风险信息，以根据所述节点风险信息和链路风险信息得到IP-光网络风险均衡度信息。
3.根据权利要求1所述IP-光网络通信业务联合分配方法，其特征在于，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
获取主用路由链路信息和备用路由链路信息，以得到主用路由和备用路由重叠链路信息；
获取主用路由节点信息和备用路由节点信息，以得到主用路由和备用路由重叠节点信息；
根据所述重叠链路信息和所述重叠节点信息得到主备路由相似度信息。
4.根据权利要求1所述IP-光网络通信业务联合分配方法，其特征在于，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
获取业务IP分组在链路中的传播时延、处理时延、排队时延和发送时延；
根据所述传播时延、处理时延、排队时延和发送时延得到网络时延信息。
5.根据权利要求1所述IP-光网络通信业务联合分配方法，其特征在于，所述利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息的步骤之前，所述方法还包括：
获取随机初始业务状态信息，重置公共网络梯度信息，并将所述公共网络梯度信息同步到每个线程神经网络中；
根据所述随机初始业务状态信息并结合动作选择策略，得到动作信息和奖励信息，并更新业务状态信息；
进行线程训练步数自增和网络迭代次数自增，当线程训练步数自增至预设步数时，计算每个线程的目标函数值，以更新公共网络梯度信息，将更新后的公共网络梯度信息同步到每个线程中，得到预设路由分配模型。
6.根据权利要求1所述IP-光网络通信业务联合分配方法，其特征在于，所述预设路由分配模型，具体为：
St.
其中， 为网络时延信息，BA(t)为IP-光网络风险均衡度信息，α和β分别为网络时延和网络风险均衡度的加权系数，Wij为链路eij最大带宽,Δij为相邻站点的电压等级差。
7.一种IP-光网络通信业务联合分配装置，其特征在于，包括：
获取模块，用于获取业务信息；
分配模块，用于将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；
其中，所述预设路由分配模型是由IP-光网络风险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述IP-光网络通信业务联合分配方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述IP-光网络通信业务联合分配方法的步骤。
一种IP-光网络通信业务联合分配方法及装置
技术领域
[0001] 本发明涉及信息处理技术领域，尤其涉及一种IP-光网络通信业务联合分配方法及装置。
背景技术
[0002] 随着智能电网、信息化建设、能源互联网的发展与普及，各种数据通信网IP业务快速兴起，如宽带视频业务，数据中心以及云计算等带宽业务。这种数据和带宽需求的爆炸增长给传统的电力通信网带来了巨大的挑战。网络的复杂度增高，节点数量的变大，使得传统粗放式的网络管理和调度越来越难以适应。
[0003] 在传统的电力通信网中，采用的是自顶向下的网络系统设计方法，IP网和光网络均有着独特的管控方法，层间信息交流少。这种相对封闭的网络层次设计使得网络整体运行效率不高，运维、保护、流量协同能力不足，对于随机性强、流量大、种类繁多的IP类业务而言，往往无法为其分配出合理高效的路由。
[0004] 在电力通信中电力通信网是至关重要的，电力通信网承载着整个电力调度以及电力公司管理工作的全部数据信息，而电力通信网中的业务路由规划和部署对于电力通信网络具有十分重要的意义。
[0005] 因此，如何实现电力通信网中的业务路由规划和补充已经成为业界亟待解决的问题。
发明内容
[0006] 本发明实施例提供一种IP-光网络通信业务联合分配方法及装置，用以解决上述背景技术中提出的技术问题，或至少部分解决上述背景技术中提出的技术问题。
[0007] 第一方面，本发明实施例提供一种IP-光网络通信业务联合分配方法，包括：
[0008] 获取业务信息；
[0009] 将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；
[0011] 更具体的，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
[0012] 获取链路故障修复时间和无故障运行时间，同时获取节点故障修复时间和无故障运行时间；
[0013] 根据所述链路故障修复时间和无故障运行时间确定链路故障概率信息，根据所述获取节点故障修复时间和无故障运行时间确定节点故障概率信息；
[0014] 根据IP节点承载力信息和链路承载力信息和光网络节点承载力信息和链路承载力信息，得到节点承载力信息和链路承载力信息；
[0015] 根据所述链路故障概率信息和所述链路承载力信息得到链路风险信息，根据所述节点承载力信息和节点故障概率信息得到节点风险信息，以根据所述节点风险信息和链路风险信息得到IP-光网络风险均衡度信息。
[0016] 更具体的，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
[0017] 获取主用路由链路信息和备用路由链路信息，以得到主用路由和备用路由重叠链路信息；
[0018] 获取主用路由节点信息和备用路由节点信息，以得到主用路由和备用路由重叠节点信息；
[0019] 根据所述重叠链路信息和所述重叠节点信息得到主备路由相似度信息。
[0020] 更具体的，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
[0021] 获取业务IP分组在链路中的传播时延、处理时延、排队时延和发送时延；
[0022] 根据所述传播时延、处理时延、排队时延和发送时延得到网络时延信息。
[0023] 更具体的，所述利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息的步骤之前，所述方法还包括：
[0024] 获取随机初始业务状态信息，重置公共网络梯度信息，并将所述公共网络梯度信息同步到每个线程神经网络中；
[0025] 根据所述随机初始业务状态信息并结合动作选择策略，得到动作信息和奖励信息，并更新业务状态信息；
[0026] 进行线程训练步数自增和网络迭代次数自增，当线程训练步数自增至预设步数时，计算每个线程的目标函数值，以更新公共网络梯度信息，将更新后的公共网络梯度信息同步到每个线程中，得到预设路由分配模型。
[0027] 更具体的，所述预设路由分配模型，具体为：
[0028]
[0029]
[0030] St.
[0031]
[0032] Δij＝|τi-τj|≤δ, j∈V,(i,j)∈E
[0033] sk∈S；
[0035] 第二方面，本发明实施例提供一种IP-光网络通信业务联合分配装置，包括：
[0036] 获取模块，用于获取业务信息；
[0037] 分配模块，用于将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；
[0038] 其中，所述预设路由分配模型是由IP-光网络风险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。
[0039] 第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述IP-光网络通信业务联合分配方法的步骤。
[0040] 第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所述IP-光网络通信业务联合分配方法的步骤。
[0041] 本发明实施例提供的一种IP-光网络通信业务联合分配方法及装置，通过考虑了智能电网通信网效率和风险均衡两方面来构建路由分配指标，并不是单一的从风险均衡方面来考虑对电力通信网的安全问题，也不是只从业务时延方面来考虑电力通信网的工作效率问题，而是兼顾了对两方面的影响。分析了电力通信网中业务均衡度和传输时延的具体评估方法，然后对他们进行加权分析计算，最终设计合理的预设路由分配模型，并选择了预设深度强化学习模型，求解最优路径，以保障IP-光网络的高效合理运行。附图说明
[0042] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0043] 图1为本发明一实施例中所描述的IP-光网络通信业务联合分配方法流程示意图；
[0045] 图3为本发明一实施例所描述的IP-光电力通信网络拓扑结构图；
[0046] 图4为本发明一实施例中所描述的业务序号1路由分配结果示意图；
[0047] 图5为本发明一实施例某随机初始状态下得到最优解过程示意图；
[0048] 图6为本发明一实施例所描述的三种算法网络时延、风险均衡和总体目标对比结果图；
[0049] 图7为本发明一实施例所描述的IP-光网络通信业务联合分配装置结构示意图；
[0050] 图8为本发明一实施例所描述的电子设备结构示意图。
具体实施方式
[0051] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052] 图1为本发明一实施例中所描述的IP-光网络通信业务联合分配方法流程示意图，如图1所示，包括：
[0053] 步骤S1，获取业务信息；
[0054] 步骤S2，将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；
[0055] 其中，所述预设路由分配模型是由IP-光网络风险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。
[0056] 具体的，本发明实施例中所描述的预设路由分配模用于在得到业务信息时，确定该业务信息的最优业务路由分配。
[0057] 本发明实施例中所描述的预设路由分配模型兼顾考虑了业务的网络时延信息和IP-光网络风险均衡度信息，同时考虑了主备路由相似度信息，进行加权计算确定预设路由分配模型。
[0058] 本发明实施例中所描述的预设路由分配模型具体为：
[0059]
[0060]
[0061] St.
[0062]
[0063] Δij＝|τi-τj|≤δ, (i,j)∈E
[0064] sk∈S；
[0065] 其中，Tln为网络时延信息，BA(t)为IP-光网络风险均衡度信息，α和β分别为网络时延和网络风险均衡度的加权系数，Wij为链路eij最大带宽,Δij为相邻站点的电压等级差。
[0066] 本发明实施例中所描述的预设深度强化学习模型对所述预设路由分配模型进行分析是指根据预设深度强化学习模型对预设路由分配模型进行求解，从而得到理想的业务路由分配信息，然后根据主用路由和备用路由分别进行分配。
[0067] 本发明实施例中所描述的获取业务信息，在实际应用场景中，业务信息往往是批量同时达到，因此往往需要对其同时分配路由，预先使用基于迪杰斯特拉的K最短路径算法对每个业务求出符合约束的所有路径。
[0068] 本发明实施例中所描述的预设深度强化学习模型，在获取随机初始业务状态信息后，输入中央网络，经过一定次数的异步训练，使强化学习模型中的中央网络到达收敛的效果，从而得到预设深度强化学习模型。
[0069] 本发明实施例通过考虑了智能电网通信网效率和风险均衡两方面来构建路由分配指标，并不是单一的从风险均衡方面来考虑对电力通信网的安全问题，也不是只从业务时延方面来考虑电力通信网的工作效率问题，而是兼顾了对两方面的影响。分析了电力通信网中业务均衡度和传输时延的具体评估方法，然后对他们进行加权分析计算，最终设计合理的预设路由分配模型，并选择了深度强化学习的路由规划方法，求解最优路径，以保障IP-光网络的高效合理运行。
[0070] 在上述实施例的基础上，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
[0071] 获取链路故障修复时间和无故障运行时间，同时获取节点故障修复时间和无故障运行时间；
[0072] 根据所述链路故障修复时间和无故障运行时间确定链路故障概率信息，根据所述获取节点故障修复时间和无故障运行时间确定节点故障概率信息；
[0073] 根据IP节点承载力信息和链路承载力信息和光网络节点承载力信息和链路承载力信息，得到节点承载力信息和链路承载力信息；
[0074] 根据所述链路故障概率信息和所述链路承载力信息得到链路风险信息，根据所述节点承载力信息和节点故障概率信息得到节点风险信息，以根据所述节点风险信息和链路风险信息得到IP-光网络风险均衡度信息。
[0075] 具体的，在IP网中，业务的带宽需求往往对路由的处理能力产生直接影响，需要针对不同节点路由，按照它们的重要度，为之分配相应可承载的流量。而在光网络中，需要尽可能使得业务数量的分配更为均匀。
[0076] 本发明实施例中所描述的链路和节点的风险和故障概率成正比，和承载力成反比。本文采用节点和链路故障次数和每次故障的修复时间来衡量故障概率，它是一个随时间变化的参量， 和 的定义如下：
[0077]
[0078]
[0079] 其中， 和 分别表示链路eij第l次故障修复时间和无故障投入运行时间，和 分别表示节点vk第l次故障修复时间和无故障投入运行时间。
[0080] 路由节点承载力由节点重要度和节点相连接的链路可承载流量能力决定，链路承载力由链路重要度，带宽可用率和承接的两个端点的承载力决定。因此，定义IP层节点承载力 和链路承载力 如下：
[0081]
[0082]
[0083] 其中， 和 分别表示节点vi和链路eij的重要度，M表示节点vi的相邻节点集合，Fij和Sij分别表示链路eij的剩余带宽和总带宽，Vip和Eip分别代表IP层节点集合和IP层链路集合。
[0084] 在光网络层，光传输设备的承载力由节点重要度，节点所承载的业务数量以及业务重要度共同决定，光链路的承载力由链路重要度，链路所承载的业务数量和业务重要度共同决定。因此，定义光网络节点承载力 和链路承载力 如下：
[0085]
[0086]
[0087] 其中， 和 分别表示节点vi和链路eij的重要度， 和 分别表示经过节点vi和链路eij的所有业务， 和 表示业务sk的业务重要度。
[0088] 链路的风险 和节点的风险 进行定义：
[0089]
[0090]
[0091] 其中， 表示t时刻链路eij的故障概率， 表示t时刻节点vk的故障概率，表示链路eij的承载力， 表示节点vk的承载力。
[0092] 综上所述，给出IP-光网络的网络风险均衡度定义为：
[0093]
[0094] 其中，网络风险均衡度采用链路风险和节点风险的方差加权和表示，m和n分别表示网络中链路和节点的个数。
[0095] 在上述实施例的基础上，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
[0096] 获取主用路由链路信息和备用路由链路信息，以得到主用路由和备用路由重叠链路信息；
[0097] 获取主用路由节点信息和备用路由节点信息，以得到主用路由和备用路由重叠节点信息；
[0098] 根据所述重叠链路信息和所述重叠节点信息得到主备路由相似度信息。
[0099] 具体的，为了保证电力通信网的安全可靠运行，在对每个业务进行路由分配的同时，需要为其分配合理的备用路由。在节点或者链路出现故障时，对业务进行及时的路由切换，保证业务传输的可靠性。因此，为了降低路由切换之后的风险，需要让主用路由和备用路由之间的链路和节点的重叠度尽可能低，在对业务进行备用路由的分配时，需要考虑主备用路由相似度指标，定义主备用路由相似度 如下：
[0100]
[0101] 其中， 和 分别表示业务sk主用路由和备用路由重叠的链路数和总链路数，和 分别表示业务sk主用路由和备用路由重叠的节点数和总节点数。
[0102] 在上述实施例的基础上，所述将所述业务信息输入预设路由分配模型的步骤之前，所述方法还包括：
[0103] 获取业务IP分组在链路中的传播时延、处理时延、排队时延和发送时延；
[0104] 根据所述传播时延、处理时延、排队时延和发送时延得到网络时延信息。
[0105] 其中，网络时延信息具体为：
[0106]
[0107] 其中， 为业务sn的第l条路径， 和 为0-1变量，他们的取值如下：
[0108]
[0109]
[0110] 其中，tr表示业务IP分组在链路中的传播时延，ts表示IP业务的发送时延， 表示业务在节点vk的处理时延， 表示业务在节点vk的排队时延，包括在输入队列中的排队等待处理时延和输出队列中等待转发的时延。对于传播时延和发送时延，他们的计算方式如下：
[0111]
[0112]
[0113] 其中，Lij表示链路(i,j)的长度，c表示信息在链路中的传播速度，n1为光纤折射率。
[0114] 本发明实施例通过考虑了智能电网通信网效率和风险均衡两方面来构建路由分配指标，并不是单一的从风险均衡方面来考虑对电力通信网的安全问题，也不是只从业务时延方面来考虑电力通信网的工作效率问题，而是兼顾了对两方面的影响。分析了电力通信网中业务均衡度和传输时延的具体评估方法，然后对他们进行加权分析计算，最终设计合理的预设路由分配模型。
[0115] 在上述实施例的基础上，所述利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息的步骤之前，所述方法还包括：
[0116] 获取随机初始业务状态信息，重置公共网络梯度信息，并将所述公共网络梯度信息同步到每个线程神经网络中；
[0117] 根据所述随机初始业务状态信息并结合动作选择策略，得到动作信息和奖励信息，并更新业务状态信息；
[0118] 进行线程训练步数自增和网络迭代次数自增，当线程训练步数自增至预设步数时，计算每个线程的目标函数值，以更新公共网络梯度信息，将更新后的公共网络梯度信息同步到每个线程中，得到预设路由分配模型。
[0119] 具体的，定义算法中状态实体为所有业务的表示集合，其状态空间如下：
[0120] S＝{p1,p2,p3,…,pl}
[0121] 其中，l为业务数，pi(i＝1,2,…,l)表示第i个业务的一个路径，对每个业务的路径空间Pi(i＝1,2,…,l)中的所有路径进行排序并建立索引，每个状态分量的索引都有+1,0,-1三个动作可选这样，整个动作空间a的大小为3l，即对于每个状态S，都有3l个可选动作可供选择。
[0122] 在每个线程学习的过程中，动作a的选择采用如下策略π(ak|sk；θ′)：以∈的概率随机选择一个动作，而以1-∈的概率选择最大的估计值V(sk；θk)对应的动作值，∈随着训练次数的增多逐渐减小。
[0123] 在每个线程学习的过程中，动作a的选择采用如下策略π(ak|sk；θ′)：以∈的概率随机选择一个动作，而以1-∈的概率选择最大的估计值V(sk；θk)对应的动作值，∈随着训练次数的增多逐渐减小。
[0124] 图2为本发明一实施例所描述的预设路由分配模型算法流程图，如图2所示，步骤201，初始化整个网络的迭代次数，K＝1；步骤202，初始化每个线程内的训练步数，k＝1，步骤203，随机初始化IP业务的业务状态sk；步骤204，重置公共网络的梯度dθ＝0和dθv＝0，并将公共网络中的参数同步到每个线程的神经网络中，θ′＝θ，θ′v＝θv；步骤205，根据策略π(ak|sk；θ′)为状态选择动作，得到奖励和新的状态；步骤206步数进行自增，k←k+1，K←K+1；
步骤207若k未达到预设的最大步数，返回步骤205继续选择动作；步骤208，计算每个线程的目标值函数 步骤209，对每个状态 以如下方式累积更新
梯度dθ和dθv；
步骤207若k未达到预设的最大步数，返回步骤205继续选择动作；步骤208，计算每个线程的目标值函数 步骤209，对每个状态 以如下方式累积更新
梯度dθ和dθv；
[0125] R←rk+γR
[0126]
[0127]
[0128] 步骤210，使用梯度dθ和dθv异步更新θ和θv；步骤211若K未达到预设的最大迭代次数返回步骤202继续执行；否则，训练结束。若K未达到预设的最大迭代次数，则进入步骤212，随机给出初始状态，输入中央网络并进行一定次数的迭代，得到路由分配结果。
[0129] 本发明实施例通过考虑了智能电网通信网效率和风险均衡两方面来构建路由分配指标，并不是单一的从风险均衡方面来考虑对电力通信网的安全问题，也不是只从业务时延方面来考虑电力通信网的工作效率问题，而是兼顾了对两方面的影响。分析了电力通信网中业务均衡度和传输时延的具体评估方法，然后对他们进行加权分析计算，最终设计合理的预设路由分配模型，并选择了深度强化学习的路由规划方法，求解最优路径，以保障IP-光网络的高效合理运行。
[0130] 本发明实施例通过预设路由分配模型对预设路由分配模型进行求解，找到了最优的路由方案来保证网络的健康高效运行，既可以保证整体时延，又可以保证网络的整体风险均衡，保障了IP-光智能电网通信网的健康、安全、可靠、高效运行。
[0131] 在本发明另一实施例中，在基于SDN控制的IP-光电力通信网的场景下，为了验证业务路由分配的可行性与有效性，本文选择某地区的IP-光电力通信网网络拓扑，进行了仿真分析。通过利用A3C算法训练并验证，为IP数据类业务分配了合适的主用路由和备用路由，图3为本发明一实施例所描述的IP-光电力通信网络拓扑结构图，如图3所示，该网络由IP路由设备和波分复用设备共同组成，SDN控制器对他们完成集中控制，并提供可编程接口。网络拓扑由三类电压等级的站点组成，分为1000kV,750kV,500kV站点，并通过相应电压等级的链路相连。其中，IP层路由设备有8个节点，光层设备有10个节点，网络中共承载8个业务。节点上的数字表示站点编号，链路上的数字表示两站点间的距离和带宽。
[0132] 采用A3C算法对模型进行训练和求解。其中，公共部分的A3C神经网络结构，对应参数为θ,ω,子线程的A3C神经网络结构，对应参数θ′,ω′,全局共享的迭代轮数K，全局最大迭代次数Kmax，线程内单次迭代最大步数kmax,状态特征维度l，动作集A,奖励为rt，折扣因子γ,学习率ε。
[0133] 算法中具体参数的设置如表1：
[0134] 表1
[0135]
[0136] 首先采用A3C算法对网络模型进行训练，然后利用该模型，对预设的8条业务进行路由分配，得到的IP-光联合路由分配结果的具体数据，如表2：
[0137] 表2深度强化学习算法各业务对应路径
[0138]
[0139] 其中，图4为本发明一实施例中所描述的业务序号1路由分配结果示意图，如图4所示，实线箭头表示主用路由的分配结果，虚线箭头表示备用路由的分配结果。
[0140] 对于A3C模型而言，在单个线程的内部设置步数为1000.每1000个状态产生的数据为一组，累计计算梯度dθ和dθv，然后利用累计梯度dθ和dθv异步更新θ和θv。迭代训练更新参数θ和θv1000次，分别得到主用路由和备用路由的分配模型。将预设的8个业务输入网络迭代测试，对初始状态随机设置，多次测试之后，均可得到较好的收敛效果。为了防止得到局部最优解，取多次测试结果中收敛后目标值函数最小的一组，认为该解为全局最优，图5为本发明一实施例某随机初始状态下得到最优解过程示意图，如图5所示，在此初始状态下，主用路由测试结果的目标值函数在迭代200次左右之后趋于收敛，备用路由测试结果的目标值函数在迭代250次左右之后趋于收敛，他们的目标函数值分别为5.19和7.98。此时便得到IP-光网络的联合路由分配方案。
[0141] 图6为本发明一实施例所描述的三种算法网络时延、风险均衡和总体目标对比结果图，如图6所示，在对主用路由的分配上，A3C算法得到的效果最好，和蚁群算法相比，网络平均时延，风险均衡度，和整体目标分别提高了2.8％，1.6％，2.6％；和模拟退火算法相比，网络平均时延，风险均衡度，和整体目标分别提高了11.0％，5.8％，8.3％。在对备用路由的分配上，和蚁群算法相比，三种指标并没有太大变化；和模拟退火算法相比，网络平均时延，风险均衡度，和整体目标分别提高了15.1％，6.7％，11.4％。
[0142] 相较于模拟退火算法而言，算法的效果有了明显的提高，这是由于模拟退火算法易陷入局部最优导致的。而和蚁群算法相比，效果提高的并不明显，备用路由分配结果甚至略低于蚁群算法。而A3C最大的优势在于，当状态规模很大的时候，模型的收敛速度有了明显的提高。
[0143] 综上所述，深度强化学习算法A3C与已有的算法相比，具有更优或者相近的效果，但效率得到了较大的提升。
[0144] 图7为本发明一实施例所描述的IP-光网络通信业务联合分配装置结构示意图，如图7所示，包括：获取模块710和分配模块720；其中，获取模块710用于获取业务信息；其中，分配模块720用于将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；其中，所述预设路由分配模型是由IP-光网络风险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。
[0145] 本发明实施例提供的装置是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
[0146] 本发明实施例通过考虑了智能电网通信网效率和风险均衡两方面来构建路由分配指标，并不是单一的从风险均衡方面来考虑对电力通信网的安全问题，也不是只从业务时延方面来考虑电力通信网的工作效率问题，而是兼顾了对两方面的影响。分析了电力通信网中业务均衡度和传输时延的具体评估方法，然后对他们进行加权分析计算，最终设计合理的预设路由分配模型，并选择了预设深度强化学习模型，求解最优路径，以保障IP-光网络的高效合理运行。
[0147] 图8为本发明一实施例所描述的电子设备结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如下方法：获取业务信息；将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；其中，所述预设路由分配模型是由IP-光网络风险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。
[0148] 此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0149] 本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取业务信息；将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；其中，所述预设路由分配模型是由IP-光网络风险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。
[0150] 本发明实施例提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：获取业务信息；将所述业务信息输入预设路由分配模型，利用预设深度强化学习模型对所述预设路由分配模型进行分析，得到业务路由分配信息；其中，所述预设路由分配模型是由IP-光网络风险均衡度信息、主备路由相似度信息和网络时延信息进行归一化加权得到的。
[0151] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0152] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0153] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 固化修复树脂 | 2020-05-08 | 520 |
| 经修饰的膜型丝氨酸蛋白酶1（MTSP-1）多肽及其使用方法 | 2020-05-08 | 573 |
| 一种钓鱼网站检测方法、装置和存储介质 | 2020-05-08 | 814 |
| 麦克风组件及电子设备 | 2020-05-08 | 656 |
| 船舶用柴油发动机 | 2020-05-08 | 722 |
| 一种电子设备用散热装置 | 2020-05-08 | 231 |
| 修改音频对象的风格的方法、以及对应电子装置、计算机可读程序产品和计算机可读存储介质 | 2020-05-08 | 578 |
| 使用横向推进和垂直移动控制飞行器的系统和方法 | 2020-05-08 | 575 |
| 暖通空调系统及其控制方法 | 2020-05-08 | 223 |
| 激光电视的滤网固定结构及激光电视机 | 2020-05-08 | 246 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈