技术领域
[0001] 本
发明属于通信技术领域，涉及容迟网络路由决策，可用于在容迟网络中对网络整体性能的提升。
背景技术
[0002] 容迟网络DTN是一种新型的网络体系结构，泛指由于
节点移动等原因而没有稳定的端到端传输路径、甚至大部分时间处于中断状态的一类网络。这一概念最早是由K.Fall在著名国际会议SIGCOMM2003上提出来的，其应用涵盖了因特网以外的许多通信网络，如星际网络、乡村网络、战争网络、野生动物监控与追踪网络、移动Ad Hoc网络和无线
传感器网络、包交换网络PSN等。对容迟网络的研究将为这些网络在拓扑动态变化的情况下提供一定品质的网络服务，被认为是实现“无处不在的网络”的一项关键技术，具有重要的研究意义。
[0003] 与传统网络相比，容迟网络的拓扑动态变化，节点间没有稳定的传输路径，甚至可能在任意时刻都没有一条完整的传输通路，这使得那些依赖于稳定传输路径的传统Ad hoc网络路由机制在容迟网络中难以发挥作用，因此，必须依据其特点设计新的路由机制。目前已有的容迟网络路由方法包含基于复制思想的泛洪
算法、传染路由算法、散发等待算法等，这些算法在解决容迟网络路由问题时可以很好地保证传输率；但由于这些算法所需的巨大网络开销与节点缓存等有限网络资源之间的矛盾严重限制了他们的使用。研究人员针对这种情况，提出了不同的数据丢弃策略，如最早丢弃DOA和最小丢弃DLE；还提出了概率扩散的概念来节省网络开销，即只向概率较高的邻居节点扩散，如概率路由算方法PROPHET；以及基于
能量约束和历史信息路由方法ERHR，等等。即便如此，传统路由方法仍然没能充分利用网络拓扑的变化历史及未来每一个
接触的调度信息，来优化报文的传输过程，从而导致网络整体性能不高。
发明内容
[0004] 本发明的目的在于克服上述已有技术的不足，针对容迟网络的特点，提供一种用于容迟网络的路由决策方法，对可预知的时延较大的移动性网络，充分利用节点自身运行规律及其与周边相邻节点的接触概率进行调节，并借助
马尔科夫决策模型形成一种新型具有学习功能的路由决策，实现容迟网络节点数据包投放机会提升，使容迟网络整体性能得到提高。
[0005] 为实现上述目的，本发明的技术方案是：首先，对时变链路容量函数进行离散化处理，构造一个三维矩阵将描述网络拓扑变化；然后，对离散的链路容量函数进行二值量化，使每条链路得到齐次马尔科夫模型；最后，将容迟网络的路由决策过程定义为一个阶段有限的离散时间决策的马尔科夫决策模型，并利用马尔科夫决策理论中全局最优方程定义及后向
迭代算法等内容，计算最优决策序列，具体实现过程如下：
[0006] (1)以离散化的链路连通特性描述网络拓扑状况：
[0007] (1a)在观测时间段内，以给定的
采样间隔Δ和平滑步长，将任意网络节点i和j间的时变链路容量函数cij(t)离散化，得到离散序列cij(t0+aΔ)。
[0008] (1b)各节点将采样所得离散序列传遍全网，使各节点整合出一个以离散的形式表征的三维矩阵：
[0009] A＝{cij(t0+aΔ)}|V|×|V|×K，
[0010] 其中，V、E分别表示所考虑网络内的节点和边，|V|、|E|分别表示节点和边的数目；i，j＝0，1，L，|V|-1；t为网络运行时间，t0为时间统计起点，a为采样的时间序列，a＝0，1，L K，K为采样序列最大值。
[0011] (2)根据已得到的三维矩阵A，采用二值量化表示链路容量，每条链路得到如下齐次马尔科夫模型为：
[0012]
[0013] 该模型体现了各链路容量为一个在“0”和“1”状态间转移的马尔科夫过程；式中，“0”表示链路连通，“1”表示断开。
[0014] (3)根据已得到的马尔科夫模型，以网络中各节点运动规律及统计得到的链路历史信息作为参考，利用随机过程参数估计方法，估计出各链路的连通状态与断开状态的到达率μ和λ。
[0015] (4)根据估计所得的连通与断开状态到达率μ、λ及Kolmogorov方程，得到如下微分方程组为：
[0016]
[0017] 求解以上微分方程组得：
[0018]
[0019]
[0020] 上式中，P0(t)、P1(t)分别表示在t时刻0状态与1状态的稳态概率，P′0(t)、P′1(t)分别表示在t时刻0状态和1状态的转出概率。
[0021] (5)根据得到的各链路马尔科夫状态模型，将容迟网络的路由决策过程定义为一个阶段有限的离散时间决策的马尔科夫决策模型：{T，S，A(i)，p(j′|i，eij)，r(i，eij)}，其中：
[0022] T表示决策时刻，T＝{0，1，L，|V|-1}，|V|-1表示路由跳数的最大允许值，即最多允许跳过除源节点之外的所有其它节点。
[0023] S表示可能的状态，S＝V，即一个节点表示一个状态。
[0024] A(i)表示可能的行动集，A(i)＝eij，eij∈E，i，j表示网络节点，eij表示连接网络节点i和节点j的边。
[0025] Pt(j′|i，eij)表示转移概率， 该式表示，i节点在t时刻采用行动eij到达节点j′的概率，p(eij)表示链路eij的连通概率，p(eij)＝P0(t)，i，j，j′∈S，eij∈E，t∈[0，|V|-1]。
[0026] rt(i，eij)表示报偿值， 该式表示，i节点在t时刻采用行动eij所得到的，其中，cij(t)是链路eij在t时刻的链路容量，i，j∈S，eij∈E，t∈T，N为结束时刻，N∈[0，|V|-1]。
[0027] (6)根据已建立的马尔科夫决策模型以及马尔科夫决策理论，定义全局最优方程如下：
[0028] 该 式 中，ut(ht)为t时刻的最优值；rt(i，eij)为t时刻i状态采用行动eij的报偿值；pt(j|i，eij)为t时刻i状态采用行动eij转移到j的概率；ht为t时刻前的轨迹向量，包括之前所经历的状态及所采取的行动。
[0029] (7)根据马尔科夫决策理论中，有限阶段模型的最优策略求解过程，在已知初始状态和终止状态的情况下，采用后向迭代递归算法计算所述全局优化方程，得到一组连接初始状态和终止状态的最优决策序列。
[0030] 本发明与
现有技术相比，具有如下优点：
[0031] 1)本发明通过对连续的信道容量函数进行离散化处理，将复杂的网络拓扑变化，转化为离散的静态拓扑，便于计算决策序列。
[0032] 2)本发明采用马尔科夫模型描述网络的连通状况，更客观、清楚的描述了链路通断状况。
[0033] 3)本发明利用节点运动规律及链路历史信息估计链路连通状态和断开状态的到达率，使路由决策过程更加可靠。
[0034] 4)本发明利用阶段有限的离散时间决策的马尔科夫决策模型解决容迟网络路由决策问题，使算法整体具有
强化学习的功能。
附图说明
[0035] 图1是本发明的流程示意图；
[0036] 图2是本发明构造的网络拓扑变化示意图；
[0037] 图3是用本发明方法与传统路由方法的数据包传输成功率性能比较图；
[0038] 图4是用本发明方法与传统路由方法的数据包平均时延性能比较图；
[0039] 图5是用本发明方法与传统路由方法的平均转发数据包副本数性能比较图。
具体实施方式
[0040] 以下参照附图对本发明的技术方案作进一步详细描述。
[0041] 参照图1，本发明的路由建立过程如下：
[0042] 步骤1，离散化时变链路容量函数。
[0043] 参照图2，在观测时间段内，以给定的采样间隔Δ和平滑步长，将任意网络节点i和j间链路eij的时变链路容量函数cij(t)离散化，得到离散序列cij(t0+aΔ)。网络拓扑的连续变化被离散为各静态拓扑图，其中，i，j＝0，1，L，|V|-1；eij∈E；V、E分别表示所考虑网络内的节点和边，|V|、|E|分别表示节点和边的数目；t为网络运行时间，t0为时间统计起点，a为采样的时间序列，a＝0，1，L K，K为采样序列最大值。
[0044] 步骤2，构造描述网络拓扑变化的三维矩阵。
[0045] 各节点将采样所得离散序列传遍全网，使各节点整合出一个以离散的形式表征的三维矩阵。
[0046] A＝{cij(t0+aΔ)|V|×|V|×K。
[0047] 上式记录了观测时间段内，网络拓扑变化的全部信息。
[0048] 步骤3，根据已得到的三维矩阵A，采用二值量化表示链路容量，每条链路得到如下齐次马尔科夫模型为：
[0049]
[0050] 该模型体现了各链路容量为一个在“0”和“1”状态间转移的马尔科夫过程，式中，“0”表示链路连通，“1”表示断开，全网络的连通特性被定义为|V|×|V|个马尔科夫过程。
[0051] 步骤4，根据已得到的马尔科夫模型，以网络中各节点运动规律及统计得到的链路历史信息作为参考，利用随机过程参数估计方法，估计出各链路的连通状态与断开状态的到达率μ和λ，该估计包括两种情况：
[0052] 一是对于运动规律未知的节点间的链路，是利用统计得到的链路历史信息，采用极大似然法或贝叶斯法估计出该链路连通状态的到达率μ与断开状态的到达率λ；
[0053] 二是对于运动规律已知的节点间的链路，是利用深空通信信道损耗模型计算，得该链路时变链路容量函数cij(t)；再对时变链路容量函数cij(t)进行离散和二值量化得到该链路连通状态的到达率μ与断开状态的到达率λ。
[0054] 步骤5，根据估计所得的连通与断开状态到达率μ、λ及Kolmogorov方程，得到如下微分方程组为：
[0055]
[0056] 求解以上微分方程组得：
[0057]
[0058]
[0059] 上式中，P0(t)、P1(t)分别表示在t时刻0状态与1状态的稳态概率，P′0(t)、P′1(t)分别表示在t时刻0状态和1状态的转出概率；通过得到的P0(t)、P1(t)可以计算出在网络运行任意时刻t的链路连通与断开概率，即将具体的离散时间点t0+aΔ带入P0(t)、P1(t)的方程式中计算出任意时刻t的链路连通与断开概率。
[0060] 步骤6，定义容迟网络路由决策模型。
[0061] 根据得到的各链路马尔科夫状态模型，将容迟网络的路由决策过程定义为一个阶段有限的离散时间决策的马尔科夫决策模型：{T，S，A(i)，p(j′|i，eij)，r(i，eij)}，其中：
[0062] T表示决策时刻，T＝{0，1，L，|V|-1}，|V|-1表示路由跳数的最大允许值，即最多允许跳过除源节点之外的所有其它节点。
[0063] S表示可能的状态，S＝V，即一个节点表示一个状态。
[0064] A(i)表示可能的行动集，A(i)＝eij，eij∈E，i，j表示网络节点，eij表示连接网络节点i和节点j的边。
[0065] Pt(j′|i，eij)表示转移概率， 该式表示，i节点在t时刻采用行动eij到达节点j′的概率，p(eij)表示链路eij的连通概率，p(eij)＝P0(t)，i，j，j′∈S，eij∈E，t∈[0，|V|-1]。
[0066] rt(i，eij)表示报偿值， 该式表示，i节点在t时刻采用行动eij所得到的，其中，cij(t)是链路eij在t时刻的链路容量，i，j∈S，eij∈E，t∈T，N为结束时刻，N∈[0，|V|-1]；
[0067] 通过马尔科夫决策模型中报偿值的变化，不断修正所采取的行动，使该路由决策过程具有强化学习的能
力。
[0068] 步骤7，定义全局最优方程。
[0069] 根据已建立的马尔科夫决策模型以及马尔科夫决策理论，定义全局最优方程如下：
[0070]
[0071] 式中，ut(ht)为t时刻的最优值；rt(i，eij)为t时刻i状态采用行动eij的报偿值；pt(j|i，eij)为t时刻i状态采用行动eij转移到j的概率；ht为t时刻前的轨迹向量，包括之前所经历的状态及所采取的行动。
[0072] 步骤8，计算最优决策序列。
[0073] 根据马尔科夫决策理论中，有限阶段模型的最优策略求解过程，在已知初始状态和终止状态的情况下，采用后向迭代递归算法计算所述全局优化方程，得到一组连接初始状态和终止状态的最优决策序列。具体步骤如下：
[0074] (1)已知初始状态为s与终止状态d，s，d∈S，令t＝0，ht＝(s)，当ht＝(s，L，s)，即回到初始状态的决策序列，ut(ht)＝∞，；当ht＝(s，L，d)，即终止时刻的决策序列，ut(ht)＝0；
[0075] (2)更新决策时刻t＝t+1，如果t∈T，则进入(3)；否则返回(1)；
[0076] (3)将任意网络节点和行动，i∈S，ut(ht)≠∞，eij∈A(it)带入全局最优方程，计算t时刻决策最优值ut(ht)，如果，ut(ht)＝0，则进入(4)；否则，更新轨迹向量ht＝(ht，i，eij)，返回(2)；
[0077] (4)存储轨迹向量ht，得到最优决策序列：ht＝(s，iL j，d)。
[0078] 本发明的效果可以通过以下仿真结果进一步说明：
[0079] 1.仿真条件
[0080] 假设
太阳系九大行星及月球为容迟网络节点，其运行轨道近似为圆形，且处于同一平面内；每个大行星拥有两个位于其拉格朗日稳定点的人造
飞行器，将该飞行器作为大行星的中继节点。信道速率为2Mbps，带宽为1Mhz，仿真时间为52周；数据包大小为1024bits；数据包发送间隔分布为5000s；允许的重传次数为2次；
位置更新间隔86410s。
[0081] 2.仿真内容
[0082] 本仿真分为以下四部分：
[0083] 1)采用本发明方法，在假设的容迟网络环境中，进行选择路由、传递数据包的仿真。在仿真中，分别统计数据包传输成功率、数据包平均时延及平均转发数据包副本数。
[0084] 2)采用传染路由方法，在假设的容迟网络环境中，进行选择路由、传递数据包的仿真。在仿真中，分别统计数据包的传输成功率、数据包平均时延及平均转发数据包副本数。
[0085] 3)采用概率路由方法，在假设的容迟网络环境中，进行选择路由、传递数据包的仿真。在仿真中，分别统计数据包传输成功率、数据包平均时延及平均转发数据包副本数。
[0086] 4)将以上三次仿真中统计所得的三组传输成功率数据，制成图3。将以上三次仿真中统计所得的三组数据包平均时延数据，制成图4。将以上三次仿真中统计所得的三组平均转发数据包副本数据，制成图5。
[0087] 3.仿真结果
[0088] 图3表明，本发明与采用传染路由方法和概率路由方法相比，能使容迟网络获得更高的数据包传输成功率。
[0089] 图4表明，本发明与采用传染路由方法和概率路由方法相比，能使容迟网络获得更低的数据包平均时延。
[0090] 图5表明，本发明与采用传染路由方法和概率路由方法相比，能使容迟网络获得更低的平均转发数据包副本数。
[0091] 综上所述，采用本发明的路由决策方法，能使容迟网络的整体性能得到提升。
[0092] 术语注释
[0093] DTN容迟网络
[0094] PSN包交换网络
[0095] DOA最早丢弃
[0096] DLE最小丢弃
[0097] PROPHET概率路由算方法
[0098] ERHR能量约束和历史信息路由方法。
