技术领域
[0001] 本
发明属于无线通信网络技术领域，具体涉及
无线传感器网络中基于多臂赌博机的弹性波束形成方法。
背景技术
[0002] 近年来，随着传感器技术、通信技术、信息处理技术和嵌入式技术的快速发展，无线传感器网络逐渐得到广泛应用。无线传感器网络能够对目标区域中的信息进行
感知和采集，最终将信息传送到用户终端，具有广泛的应用场景，目前主要应用于区域检测、医疗监测、环境监测、工业监控、军事国防等诸多领域。
[0003] 无线传感器网络由部署在监测区域内大量的廉价微型传感器
节点组成，通过无线通信方式形成的一个多跳的自组织网络系统，其目的是通过协作来感知、采集和处理网络
覆盖区域中被感知对象的信息，并发送给观察者。在现实情况中，由于恶劣和不确定的环境、
电池电量限制、噪声影响及敌方的恶意攻击等，网络中经常会存在一些具有恶意行为的传感器以干扰系统。如果这些恶意传感器未及时得到处理，则有可能导致数据不可靠，系统不稳定以及
能量损失。因此，如何设计一个策略来排除恶意传感器，从而保证所有发送
信号传感器的正确是无线传感器网络面临的一个重要问题。
[0004] 波束形成技术是提高无线传感器网络通信
质量的技术之一。波束形成是用于传感器阵列的
信号处理技术，通过使特定
角度的信号经历相长干涉，而其他信号经历相消干涉，来实现定向
信号传输或接收，从而实现增强所发送信号的功率。在无线传感器网络中，可以通过波束形成技术将节点发送的信号集中到接收端所在的方向，以此来增大接收端处接收的信号功率。同时，波束形成技术将传输信息所需的能耗均匀分担到多个参与传送信号的节点中，因此降低了节点的能耗，增强了无线传感器网络的寿命。然而，如果有故障传感器参与发送信号，那么必然会导致接收端处的信号功率无法最大化，即无法实现波束形成。
[0005] 多臂赌博机(Multi-Armed Bandit)问题属于
强化学习的一个领域，其主要思想是每次玩家根据一定的策略从分配不同资源的多个给定臂中选择一个，以便找到最佳的臂，使一系列试验中的总奖励最大化。把存在故障传感器的波束形成问题转化为多臂赌博机问题，通过构建适当的即时奖励，进行多次选取并更新选取臂的概率，使得最佳臂的选取概率增加到1，最终使得每次选取的臂只包含正常传感器节点，从而排除掉故障传感器的影响，保证了接收端接收信号功率的最大化。
[0006] 在无线传感器网络中，对数据收集的准确性要求很高，传感器节点需要将信息准确无误地传送到用户终端，所以不能有故障传感器的干扰。在无线传感器网络中，首先被提出的是集中式方法，包含一个中心节点接收所有其他节点信息，并通过分析该信息来确认其状态。Tang和Chow提出了一种称为邻域隐藏条件随机场(NHCRF)的
算法，该算法通过接收信号强度，
频率和信号延迟来判断节点是否正常。该方法可以放松隐
马尔可夫模型的独立假设，即使在不同的网络下也能有效地提供可靠的诊断结果。Chanak和Banerjee通过故障状态来检测故障传感器节点，给出了一种基于模糊规则的故障节点分类和管理办法方案。该方案不仅增强了故障节点的可重用性，克服了不确定性问题，还提高了网络的整体性能。
为了避免对中心节点的依赖，Lee和Choi提出了一种分布式故障检测算法，其中每个节点通过与其自身状态的比较来判断其邻居节点状态。该方法依赖于最小域知识的不可知诊断(AD)方法来检测故障节点，因此可以被应用于各种无线传感器网络。AD利用不断更新的相关图来描述节点的状态，从而逐渐识别出故障节点。
[0007] 因此，如何设计出一种方法用以识别和避免无线传感器网络中的故障传感器是一个很值得研究的问题。
发明内容
[0008] 基于
现有技术中存在的上述问题，本发明提供无线传感器网络中基于多臂赌博机的弹性波束形成方法。
[0009] 为了达到上述发明目的，本发明采用以下技术方案：
[0010] 无线传感器网络中基于多臂赌博机的弹性波束形成方法，包括以下步骤：
[0011] S1、无线传感器网络中有m个传感器节点；当存在故障传感器节点干扰时，将包含不同传感器的集合定义为臂，则共有K组臂，K＝2m-2；初始化每个臂被选取的次数Ni＝0，每个臂的估计值Qi(0)＝1，每个臂初始时刻被选取的概率均为pi＝1/K；
[0012] S2、根据被选取的概率随机选取一个臂，所选臂中的所有传感器节点根据随机分组分布式波束形成方法进行一次
相位更新，所选臂对应的被选取次数增加一，更新所选臂对应的reward值，并更新所选臂的估计值；
[0013] S3、对于每个臂按照玻尔兹曼分布更新其被选取的概率；
[0014] S4、重复步骤S2和S3，直至选出包含所有正常传感器节点对应的臂，并使传感器节点发送信号的功率达到最优。
[0015] 作为优选方案，所述所选臂中的所有传感器节点根据随机分组分布式波束形成方法进行一次相位更新，包括以下步骤：
[0016] S21、初始化所选臂中的所有传感器节点的相位；
[0017] S22、确定分组概率q，0＜q＜1；根据分组概率q将所有传感器节点随机分为两组G1和G2；
[0018] S23、G1组中的传感器节点分别在四个时隙内向接收端发送信号，并根据接收到的反馈信息以进行相位偏移；G2组中的传感器节点分别在四个时隙内向接收端发送信号，且在每个时隙内的相位偏移均为零。
[0019] 作为优选方案，所述根据接收到的反馈信息以进行相位偏移，包括：接收到第一个时隙内的反馈后，相位调整为π；接收到第二个时隙内的反馈后，相位调整为π/2；接收到第三个时隙内的反馈后，相位调整为-ψ(n)-3π/2；
[0020] 其中，ψ(n)＝arctan((1+α(n))/(1-α(n)))，
[0021] α(n)＝[(P(4n+2)-P(4n))/(P(4n+2)-P(4n+1))]，
[0022] P(4n),P(4n+1),P(4n+2)分别代表第一、第二、第三个时隙的接收端接收的信号功率，其中，n＝1；对于第四个时隙的相位偏移，若第四个时隙的接收端接收的功率值P(4n+3)大于或等于其所处
迭代阶段初始时刻接收的功率值P(4n)，则相位偏移为0；否则，相位偏移为π。
[0023] 作为优选方案，所述更新所选臂对应的reward值的方法为：
[0024]
[0025] 其中，Pi(old)是所选臂包含的节点没有任何相位偏移向接收端发送信号产生的信号功率；Pi(new)为所选臂包含的节点一次相位更新向接收端发送信号产生的信号功率；T′大于0，且为常数。
[0026] 作为优选方案，所述更新所选取臂的估计值的方法为：
[0027] Qi(Ni)＝Qi(Ni-1)+β[Ri(Ni)-Qi(Ni-1)]，0＜β＜1。
[0028] 作为优选方案，更新每个臂被选取的概率的方法为：
[0029]
[0030] 作为优选方案，所述步骤S4中的使传感器节点发送信号的功率达到最优的方法为：将包含所有正常传感器节点对应的臂中的传感器节点随机分组并根据接收端反馈以调整相位进行多次迭代，直至接收端接收的信号功率达到最优值。
[0031] 作为优选方案，所述步骤S4中的使传感器节点发送信号的功率达到最优的方法，具体包括以下步骤：
[0032] S41、初始化包含所有正常传感器节点对应的臂中各传感器节点的相位；
[0033] S42、确定分组概率q，0＜q＜1；根据分组概率q将所有传感器节点随机分为两组G1和G2；
[0034] S43、每次迭代包括四个时隙；G1组中的传感器节点分别在每个时隙内向接收端发送信号，并分别根据接收到的反馈信息以进行相位偏移；G2组中的传感器节点分别在每个时隙内向接收端发送信号，且在每个时隙内的相位偏移均为零；
[0035] S44、重复步骤S42和S43，直至接收端接收的信号功率达到最优值。
[0036] 作为优选方案，所述传感器节点分配至G1组的概率q，分配至G2组的概率1-q。
[0037] 作为优选方案，所述根据接收到的反馈信息以进行相位偏移，包括：接收到第一个时隙内的反馈后，相位调整为π；接收到第二个时隙内的反馈后，相位调整为π/2；接收到第三个时隙内的反馈后，相位调整为-ψ(n)-3π/2；
[0038] 其中，ψ(n)＝arctan((1+α(n))/(1-α(n)))，
[0039] α(n)＝[(P(4n+2)-P(4n))/(P(4n+2)-P(4n+1))]，
[0040] P(4n),P(4n+1),P(4n+2)分别代表在第n次迭代中第一、第二、第三个时隙的接收端接收的信号功率；对于第四个时隙的相位偏移，若第四个时隙内接收端接收的功率值P(4n+3)大于或等于其所处迭代阶段初始时刻接收的功率值P(4n)，则相位偏移为0；否则，相位偏移为π。
[0041] 本发明与现有技术相比，有益效果是：
[0042] 本发明的无线传感器网络中基于多臂赌博机的弹性波束形成方法，将不同传感器的集合作为多臂赌博机问题中的一个臂，并根据一定的概率进行选取，利用多臂赌博机问题的思想找到最优的那个臂，即所有正常传感器，从而避免故障传感器的影响，最终使所有正常传感器的信号在接收端完美耦合，从而使得传感器节点发送信号功率达到最优。该方法适用于无线传感器网络排除系统中的故障传感器，提高系统的
稳定性，并能够提高信号传输功率。
附图说明
[0043] 图1是本发明
实施例的无线传感器网络中基于多臂赌博机的弹性波束形成方法的
流程图；
[0044] 图2是本发明实施例的无线传感器网络中基于多臂赌博机的弹性波束形成方法在迭代过程中正常传感器节点被选取概率的坐标图；
[0045] 图3是本发明实施例的无线传感器网络中基于多臂赌博机的弹性波束形成方法在迭代过程中最优信号发送功率的坐标图；
[0046] 图4为本发明实施例的无线传感器网络中基于多臂赌博机的弹性波束形成方法中的RG-DB算法的流程图；
[0047] 图5为本发明实施例的无线传感器网络中基于多臂赌博机的弹性波束形成方法中RG-DB算法中一次迭代过程中每个时隙内的操作示意图。
具体实施方式
[0048] 为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0049] 本发明提供了一种无线传感器网络中基于多臂赌博机的弹性波束形成方法，旨在解决由于故障传感器的存在而导致传感器节点所发送信号功率在接收端无法达到最优值的问题，在保证网络低能耗性的前提下，找到一种能够排除故障传感器的节点策略；还采用基于随机分组的分布式波束形成方法(或算法)(Random Grouping Distributed Beamforming algorithm，简称RG-DB算法)对选取的传感器节点进行相位调整，并最终使得传感器节点发送的信号功率能最大化被接收端接收。
[0050] 本发明实施例的无线传感器网络中基于多臂赌博机的弹性波束形成方法，其主要思想是将排除故障传感器问题转化为多臂赌博机选取最佳臂的问题，通过构造合适的即时奖励，并将选取的臂(一组传感器节点)利用RG-DB算法进行相位调整，然后更新该臂被选取的概率，最终可以实现排除所有故障传感器节点，使得接收端接收的信号功率最大化。以上即为基于多臂赌博机的弹性波束形成算法(Multi-Armed Bandit based Resilient Beamforming)，简称MAB-RB算法。
[0051] 针对该类传感器网络的应用特点，本发明建立了如下的网络模型：在无线传感器网络中，共m个传感器节点，每个传感器节点都可以向接收端发送信号As(t)，其中，A代表传输信号的幅度，s(t)＝eiωt，i为虚数单位，ω为
载波频率；每个传感器节点还能根据接收端的反馈信息调整自身的相位偏移，所发送的信号向各个方向均匀扩散。
[0052] 假设系统中的每个传感器节点都有一个自身的局部
振荡器，可以同步到载波频率ω。将时间分为迭代周期为T的时间段，T＝Tx+Tr(Tx表示传感器发送信号的时间段，Tr表示节点接收反馈信息的时间段)。在RG-DB算法中，每次迭代包括四个时隙，即第n次迭代发生在时间间隔[4nT,4nT+4T]期间。进行一次迭代的操作，如图5所示。信号在传播过程中会有一定延迟，并随传播距离有一定的衰减。
[0053] RG-DB算法主要用于无线传感器网络中，在每个迭代周期内传感器节点按照分组概率q随机分为两组，在每个时隙发送信号，并根据接收端发回的反馈信息进行相位偏移。经过多次迭代，所有信号最终在接收端达到完美耦合，从而实现接收端的信号功率最大化。
当存在故障传感器节点干扰系统时，将包含不同传感器的集合定义为臂，则一共有K组臂，其中K＝2m-2(除了所有正常传感器或所有故障传感器的情形)。此时，弹性波束形成问题转化为MAB问题，目标即为选择仅包含正常传感器的最佳臂。
[0054] 为了调整所选臂对应传感器的相位偏移，采用随机分组分布式波束形成方法(RG-DB)算法。以下是RG-DB算法的详细步骤描述，如图4所示：
[0055] 步骤A、网络初始化，即初始化网络中各个节点的相位，确定分组概率q，0＜q＜1；
[0056] 步骤B、将所有的传感器节点分为两组，每个节点以q的概率分到组G1，1-q的概率分到组G2；
[0057] 步骤C、对于组G1中的每个节点，按照每个时隙对应的相位向接收端发送信号，并接收反馈信息。如图5所示，具体的相位调整策略为：在第一个时隙内的相位偏移为π，在第二个时隙内的相位偏移为π/2，在第三个时隙内的相位偏移为-ψ(n)-3π/2；
[0058] 其中，ψ(n)的计算方法为：
[0059] ψ(n)＝arctan((1+a(n))/(1-α(n)))，
[0060] a(n)＝[(P(4n+2)-P(4n))/(P(4n+2)-P(4n+1))]，(P(4n),P(4n+1),P(4n+2)分别代表在第n次迭代中，第一、二、三个时隙内接收端接收的信号功率)。并且，对于组G1的传感器节点，如果第三个时隙的接收器接收的功率值P(4n+3)大于或等于该迭代阶段初始时刻接收的功率值P(4n)，那么第四个时隙对应的相位偏移为0，否则为π。
[0061] 步骤D、组G2中的传感器节点分别在每个时隙内向接收端发送信号，且四个时隙均不做相位更新，即每个时隙内的相位偏移均为零。
[0062] 步骤E、重复上述步骤B、C、D；当进行多次循环之后，接收端的信号功率即可达到最优值。
[0063] 通过以上步骤就可以调整节点相位偏移，最终能达到接收端的信号功率最大化，从而实现最优波束形成。
[0064] 另外，MAB-RB算法主要是将不同传感器集合作为多臂赌博机问题中的一个臂，并根据一定的概率进行选取，利用多臂赌博机问题的思想找到最优的那个臂(即所有正常传感器)，从而避免故障节点的影响。
[0065] 故需要构造合适的即时奖励reward，并引入臂估计值Qi(Ni)来评估臂i的性能，其中Ni是臂i被选取的次数。具体地，如图1所示，本实施例的无线传感器网络中基于多臂赌博机的弹性波束形成方法，包括以下步骤：
[0066] 步骤一、网络初始化，在包含m个传感器节点的无线传感器网络中，当存在故障传m感器节点干扰时，则一共有K＝2-2个臂；初始化每个臂被选取的次数Ni＝0，每个臂的估计值Qi(0)＝1，且每个臂被选取的概率均为pi＝1/K；
[0067] 步骤二、根据被选取的概率随机选取一个臂，所选臂中的所有传感器节点根据随机分组分布式波束形成方法进行一次相位更新，所选臂对应的被选取次数增加1，更新所选臂对应的reward值，并更新所选臂的估计值；具体地，根据概率选取一个臂，臂中所包含的所有传感器节点根据上述RG-DB算法进行一次相位更新(即上述RG-DB算法中的步骤A-D，也称为一次迭代)，然后该臂对应的被选取次数增加一；
[0068] 利用 计算该臂对应的reward值，其中，Pi(old)是所选臂包含的节点没有任何相位偏移向接收端发送信号产生的信号功率；Pi(new)为所选臂包含的节点一次相位更新向接收端发送信号产生的信号功率；T′大于0，且为常数；
[0069] 更新所选臂的估计值的方法为：
[0070] Qi(Ni)＝Qi(Ni-1)+β[Ri(Ni)-Qi(Ni-1)]；0＜β＜1，为常数。
[0071] 步骤三、对于每个臂(即所有的臂)按照玻尔兹曼分布更新其被选取的概率，更新概率的方法为：
[0072] 为常数。
[0073] 步骤四、重复步骤二和三，经过多次迭代，即可选出包含所有正常节点的那个臂，并使传感器节点发送信号功率达到最优值。
[0074] 其中，传感器节点发送信号功率达到最优值的方法包括：
[0075] S41、初始化包含所有正常传感器节点对应的臂中各传感器节点的相位；
[0076] S42、确定分组概率q，0＜q＜1；根据分组概率q将所有传感器节点随机分为两组G1和G2；传感器节点分配至G1组的概率q，分配至G2组的概率1-q；
[0077] S43、每次迭代包括四个时隙；G1组中的传感器节点分别在每个时隙内向接收端发送信号，并分别根据接收到的反馈信息以进行相位偏移；G2组中的传感器节点分别在每个时隙内向接收端发送信号，且在每个时隙内的相位偏移均为零；其中，根据接收到的反馈信息以进行相位偏移，包括：接收到第一个时隙内的反馈后，相位调整为π；接收到第二个时隙内的反馈后，相位调整为π/2；接收到第三个时隙内的反馈后，相位调整为-ψ(n)-3π/2；
[0078] 其中，ψ(n)＝arctan((1+a(n))/(1-a(n)))，
[0079] a(n)＝[(P(4n+2)-P(4n))/(P(4n+2)-P(4n+1))]，
[0080] P(4n),P(4n+1),P(4n+2)分别代表在第n次迭代中第一、第二、第三个时隙的接收端接收的信号功率；对于第四个时隙的相位偏移，若第四个时隙内接收端接收的功率值P(4n+3)大于或等于其所处迭代阶段初始时刻接收的功率值P(4n)，则相位偏移为0；否则，相位偏移为π。
[0081] S44、重复步骤S42和S43，直至接收端接收的信号功率达到最优值。
[0082] 本发明的无线传感器网络中基于多臂赌博机的弹性波束形成方法的具体应用示例如下：
[0083] 一、网络拓扑以及参数设定，设置8个传感器，包括6个正常传感器和2个故障传感器，故障传感器的相位总是随时间变化并且是不可控的；所有传感器具有相同的衰减幅度υιA＝0.5，分组概率q＝0.4；为了简化实施例，假设故障传感器数目已知，那么臂数[0084] 二、初始化每个臂的估计值Qi(0)＝1，设置每个臂被选取的次数Ni＝0，并且每个臂的被选取的概率均为pi＝1/K；
[0085] 三、根据概率随机选取一个臂，臂中所包含节点根据RG-DB算法进行一次迭代，该臂对应的被选取次数增加一；并根据相应的公式更新该臂对应的reward、估计值以及被选取的概率；
[0086] 四、对步骤三不断进行迭代，最终可以得到所有正确传感器被选取的概率趋于1，如图2所示，并且所有正常传感器的信号功率值收敛到最大值9dB，如图3所示。
[0087] 由此可以得到，最终每次选取的都是所有的正常传感器节点，即最优的臂。此时，故障传感器被排除，且信号发送功率达到了最大。
[0088] 以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。
