技术领域
[0001] 本
发明涉及一种基于OFDM的使主用户收益最大化的认知无线电频谱分配方法，属于无线通信中认知无线电频谱资源管理相关领域。技术背景
[0002] 认知无线电(Cognitive Radio)是一种智能的频谱共享技术，它能够依靠
人工智能的支持，
感知外界无线通信环境，根据一定的学习和决策
算法，实时自适应地改变系统工作参数（如传输功率、载频、调制方式），理论上允许在时间、空间以及
频率上进行多维的频谱复用，从而极大地降低频谱和带宽的限制对无线技术发展的束缚，被预言为未来最热
门的无线技术。OFDM作为实现高速无线传输的热门技术之一，在认知无线电概念提出伊始就因为其灵活性和自适应性被认为是认知无线电传输技术的最佳选择。
[0003] 由于空闲资源频谱有限，次用户之间需要竞争使用频谱资源，且不同的次用户的优先级、QoS要求可能不一样，频谱分配的主要目的就是根据次用户不同的频谱需求，公平有效地分配一定数量的频谱资源，使得系统性能得到改善或逼近于最优状态。主次用户合作式的认知无线电频谱分配方式能够通过用户间的少量信息交流而有效的避免干扰，保证数据传输
质量。
[0004] 在实时的频谱交易市场中，主用户有权从出让自己空闲频谱的过程中获取收益，并且通过制定相应的频谱“租赁”规则，使利益在长期的频谱使用过程中达到最大化。基于主用户自主行为的认知无线电系统，将以用户个体利益驱动为出发点，以不同条件下主用户和次用户行为的研究为依据，以合理完善的认知无线电频谱接入律令保证用户收益相协调不冲突，并充分发挥用户行为决策的自主性，主用户需要在每个时隙上迅速做出频谱分配的最优决策，即在无线环境、频谱政策、干扰限制的约束条件下，从多个潜在的次用户中选出与空闲频谱数量相适应的有限用户，允许其接入使用空闲频谱。在认知无线电系统中，由于不同
子载波的
信号来自不同的用户，很难保证信号的参数一致或精确
正交，因此需要抑制载波间相互干扰。其次，还要考虑次用户误码率需求以及信道衰落因素对系统的影响，并综合各因素对模型进行了改进，在保证次用户不对相邻用户造成干扰的同时能达到最大的吞吐量。
[0005] 无休止
赌博机(Restless Bandits)是研究一系列随机序贯决策问题的理论。指在一系列离散的或连续的时刻点上做出决策，系统将获得与所处状态和所采取决策有关的回报，并影响系统在下一个决策时刻点所处的状态，并以此影响未来的最终受益。它可以通过每个项目的优先权索引值(priority-index)解决，索引值可以通过线性规划放宽(Linear Programming Relaxation)和原始双重索引探索法(Primal-dual Index Heuristic)求得。优先权索引值能在离线(off-line)状态计算并存储在索引表(index table)中，因而能显著的降低在线(on-line)运算量和实施复杂度。参考文献P.Whittle,“Restless bandits:Activity allocation in a changing world”.A Celebration of Applied Probability.1988(25):287-298， 和 D.Berstimas and J.Ni ～ no-Mora.“Restless bandits,linear programming relaxations,and a primal dual index heuristic”.Operations Research.2000,48(1):80-90。
发明内容
[0006] 本发明的主要目的是在主用户的
角度上，考虑多个次用户竞争有限频谱资源的情况，以主用户收益最大化为目标，构建实时的基于OFDM的认知无线电频谱分配系统。解决实时频谱市场中多次用户情况下的决策问题，并通过优化主用户的行为决策提高主用户收益。
[0007] 本发明所应适应的认知无线
电网络场景见图1。
[0008] 本发明技术方案中的系统运行过程原理图见图2。
[0009] 使OFDM主用户收益最大化的认知无线电频谱分配方法的技术方案是在PC机上按如下流程实现：
[0010] 步骤(1)，至少一个潜在的次用户基站向一个主用户基站发送空闲频谱的使用
请求信息，其中至少包括：各自的缓存数据量、平均数据到达速率λ、地理
位置和误码率需求，所述次用户基站和主用户基站以下简称为次用户和主用户；
[0011] 步骤(2)，主用户按以下步骤收集各个所述次用户的频谱使用请求：
[0012] 步骤(2.1)，在时隙t，主用户以各个所述次用户在时隙t下的数据缓存量为状态建立一个t时隙的次用户状态集合，简称系统状态向量，用 表示：
[0013]
[0014] Sg表示状态为g的次用户，状态用Sg(t)表示，
[0015] S0(t)表示缓存数据量为0，依次递增，
[0016] SG(t)表示所需数据缓存量已超过了该次用户数据缓存量的存储能
力，迫切需要频带传输数据以保证能正常运转，正准备转向其它主用户网络，
[0017] G+1是状态总数，
[0018] 步骤(2.2)，对应于次用户的不同状态，主用户设置每Mb数据流量价格和状态价格，随着状态递增，状态价格按设定的等量递增，从而建立下述T个时隙总收益R：
[0019]
[0020] 为时隙t单位数据流量价格，是设定值，是随时间而变的，
[0021] 为时隙t状态价格，是设定值，是随时间而变的，
[0022] 次用户发生的上述两种价格的行为统一表示为 an(t)=1表示次用户在时隙t占用主用户的空闲频谱进行数据传输，an(t)=0表示次用户没有占用主用户的空闲频谱，
[0023] 步骤(2.3)，主用户将步骤(2.2)中的上述信息形成一个短期的频谱租赁协议Spectrum Lease Protocol简称SLP，广播给其
覆盖范围内所有所述潜在次用户；
[0024] 步骤(3)，主用户按以下步骤进行频谱租赁准备：
[0025] 步骤(3.1)，若潜在的所述次用户不接受主用户在步骤(2.3)中设置的频谱租赁协议SLP，则转向其它主用户所在的网络，若接受，则向所述主用户发送接受消息，[0026] 步骤(3.2)，主用户根据接受所述频谱租赁协议的次用户数N和主用户在时隙t时的M个空闲频带，计算从N个次用户中所选择M个空闲频带的优先索引值表，M≤N，步骤如下：
[0027] 步骤(3.2.1)，主用户按以下步骤计算次用户n的行为为a时的状态转移概率矩阵[0028] 其中：
[0029] pEE为当前时隙t次用户n缓存数据量持续为0的概率，
[0030] pBK为当前时隙t次用户n因缓存数据量超过缓存
阈值而转向其它主用户网络后因为缓存数据量减少又回到当前主用户网络的概率，为设定的估计值，
[0031] pOT为当前时隙t次用户n转向其它主用户网络后仍然不在当前主用户网络中的概率，为设定的估计值，
[0032] pOT+pBK=1，
[0033] 次用户n在不接入空闲频谱a(t)=0时，从状态g转到状态g′的概率 表示为：
[0034]
[0035] 次用户n在接入空闲频谱a(t)=1时，从状态g转到状态g′的概率 表示为：
[0036]
[0037] εg是状态Sg(t)的上限，为设定值，
[0038] g=1,2,…,g,…G,g′=1,2,…,g′,…G,g≠g′，
[0039] X是一个正整数k，在k＝0,1,2,…,K间取值，K是一个有限的正整数，为设定值，[0040] λ为次用户平均数据到达速率，
[0041] vn是次用户能达到的传输速率，
[0042] 其中：
[0043] i′=1,2,…,i′…,I,I=M,j′=1,2,…,j′…,J,J=M,i′≠j′，[0044] i′，j′分别是从所述N个次用户中被选中的两个次用户的子载波的序号，在数据上等于使用的两个空闲频带的序号，
[0045] Δf是相邻两个子载波i′,j′的频率间隔，为设定值，
[0046] τn为一个常数，与次用户n的误码率BERn有关，对于加性高斯白噪声信道，τn与BERn间满足：
[0047]2
[0048] σ为加性高斯白噪声的单边
功率谱密度，为已知值，
[0049] hn为次用户n的信道增益，为已知值，
[0050] Wn是每一个次用户n的总的发送功率，
[0051] 为次用户ni的子载波i′对次用户nj的子载波j′造成的干扰， 表示为[0052] 其中：
[0053] hi′j′是子载波i′在子载波j′上的信道增益，
[0054] Wi′是子载波i′上的次用户ni的总发送功率，Wi′=Wn，
[0055] Ts是OFDM符号时长，为已知值
[0056] di′j′是两个子载波i′、j′之间的频率距离，为已知值
[0057] fi′是次用户ni所在子载波i′的频率，
[0058] 步骤(3.2.2)，按下式确定使主用户收益最大化的优化目标函数：
[0059]
[0060] 满足.
[0061] ，其中：
[0062]
[0063] i′=1,2,…,i′…M,j′=1,2,…,j′…M,i′≠j′
[0064] 折扣因子Beta用β表示，确保总折扣收益的有界并收敛，β在0<β<1间取值，[0065] i′,j′表示空闲子
载波频率，为已知值，
[0066] 是一个T×N矩阵，行是t，表示时隙，列是次用户的行为an(t)，[0067] 是次用户ni的子载波i′对次用户nj的子载波j′造成的干扰 的上限值，为设定值，
[0068] 为次用户nj最大误码率的上限阈值，为设定值，
[0069] ani′(t)表示t时隙在子载波i′上的次用户ni的行为， 表示在时隙t在子载波i′上最多只能有一个ani′(t)=1的活跃用户，
[0070] 步骤(3.2.3)，用无休止赌博机Restless Bandits求解主用户最大收益R*，根据状态转移概率矩阵 主用户空闲频带个数M，次用户个数N，折扣因子Beta=β，次用户状态数StateNumber=G+1，Alpha=zeros(N,G+1)为全零的N×(G+1)阶矩阵，下同，R0=zeros(N,G+1)，R1=ones(N,G+1)为全1的N×(G+1)阶矩阵，P0=zeros(G+1,G+1,N)，P1=P0，利用索引值函数function[Delta]=calc_index(M,N,Beta,StateNumber,Alpha,R0,R1,P0,P1)计算各次用户所对应的空闲频谱的用以表述使用顺序的索引值Delta，找出最小索引值所对应的次用户，以此最小索引值作为优先索引值，优先索引值对应的用户优先使用空闲频带，构造各次用户索引值Delta的查询表格，并全部存入主用户的
数据库中；
[0071] 步骤(4)，主用户按以下步骤分配频谱：
[0072] 步骤(4.1)主用户根据各次用户当前的状态向量{s1,s2,...,sN}查询表格，把索引值从小到大排序，并依次向所述N个次用户发送依次使用所对应的空闲频带信息，包含接入时隙，
[0073] 步骤(4.2)，如果得到允许an(t)=1，在下一时隙次用户接入相应频带传送数据，主用户基站监控整个系统的正常运行，
[0074] 步骤(4.3)，在时隙结束时，按如下步骤进行，
[0075] 步骤(4.3.1)，次用户统计自己的缓存和前一时隙发送数据的信息，如果仍然有数据需要传输并且数据量εcache没有超过阈值，则将缓存信息发送给主用户，0<εcache≤εspec，
[0076] 步骤(4.3.2)，主用户根据次用户的信息更新所有N个次用户的系统状态向量，[0077] 步骤(4.4)，重复执行第(4.1)步到第(4.3)步，直到主用户没有空闲频谱能够出租，主用户发送终止通知并收回频谱的使用权，计算每个次用户应缴纳的租金并发送租金确认的信息。
[0078] 本发明的优势在于将认知无线电系统中主用户的收益分为状态收益和流量收益两部分，次用户根据自己的实际使用情况交纳租金。将实时系统中次用户的选择过程建模成为Restless Bandits模型，一方面可以使主用户的收益得到改善，另一方面系统运行过程中索引值的计算可以贯穿多个时隙，主用户在每个时隙决策时只需要查表，提高了运行效率。
附图说明
[0079] 图1，基于OFDM的主用户收益最大化的认知无线电频谱分配方法体系图。
[0080] 图2，基于OFDM的主用户收益最大化的认知无线电频谱分配方法原理图。
[0081] 图3，
实施例中不同干扰限制时的模型算法示意图，图中 Restless Bandits算法值， 贪婪算法值， 随机算法收益值。
[0082] 图4，实施例中可用频带数量不同时的模型算法示意图，图中 Restless Bandits算法值， 贪婪算法值， 随机算法收益值。
[0083] 图5，实施例中次用户数量是可用频带数量两倍时的模型算法示意图，图中Restless Bandits算法值， 贪婪算法值， 随机算法收益值。
具体实施方式
[0084] 步骤(1)，潜在的次用户在产生频谱需求时，向主用户发送空闲频谱的使用请求，信息中包含它们的缓存数据量、平均数据到达速率λ、地理位置、误码率要求的信息；
[0085] 步骤(2)，主用户收集各个所述的频谱使用请求，按如下步骤进行，[0086] 步骤(2.1)，主用户决定状态的划分标准，系统的状态由潜在的次用户的状态组成，在时隙t次用户n的状态可以由其数据缓存量的多少决定，次用户的状态集合，简称系统状态向量可用 表示，G表示在次用户的数据缓存区有数据时 所能划分的状态数，G+1是状态的总数。状态S0(t)表示缓存数据量为 状态SG(t)表示所需缓存超过了次用户数据缓存区的承受能力( 为次用户n数据缓存区的阈值)，迫切需要频带传输数据以保证其正常运转，此时该次用户转向了其它主用户的网络。根据实际情况，次用户会在每个时隙与主用户交互发送缓存信息，sn是次用户n在时隙t的状态Sn(t)：
[0087]
[0088] 步骤(2.2)，主用户设置对应的租金，确立系统收益函数，频谱价格由两部分组成：数据流量价格和状态价格，T个时隙的总收益R表示为：
[0089]
[0090] 次用户n在时隙t的行为可以表示为 an(t)=1表示次用户n在时隙t活跃，占用空闲频谱进行数据传输，an(t)=0表示次用户没有占用空闲频谱， 是t时刻主用户对网络内所有次用户行为an(t)收取的流量租金，单个次用户单位数据流量的价格为 是t时刻主用户对网络内所有次用户行为an(t)收取的状态租金，单个次用户状态价格的集合 对应于次用户的状态集合
[0091] 步骤(2.3)，主用户将上述信息也就是短期的频谱租赁协议Spectrum Lease Protocol简称SLP，广播给其覆盖范围内所有所述潜在次用户；
[0092] 步骤(3)，按如下过程完成频谱租赁前的准备，
[0093] 步骤(3.1)，如果潜在的所述次用户不接受主用户设置的接入规则，则转向其他主用户的网络，否则向所述主用户发送接受信息，
[0094] 步骤(3.2)，主用户根据接受所述频谱租赁协议的次用户数N和主用户在时隙t时的M个空闲频带，计算从N个次用户中所选择M个空闲频带的优先索引值表，M≤N，步骤如下：
[0095] 步骤(3.2.1)，求状态转移概率矩阵，次用户n的行为为a时的状态转移概率矩阵定义为 其中
[0096]
[0097] 可以写为：
[0098]
[0099] 的元素取决于次用户的行为动作an(t)，平均数据到达速率λ，接入频带时所能达到的传输速率vn，根据泊松概率分配矩阵 k=0,1,2,…，X是当前时隙到达缓存区的数据量。在OFDM传输系统中，次用户n能达到的传输速率用下式表示，[0100]
[0101] 主用户估计次用户传输速率计算转移概率矩阵，hn是次用户n的信道增益，Wn是每一个次用户n的总的发送功率，σ2为加性高斯白噪声的单边功率谱密度， 代表次用户ni的子载波对其它子载波造成的干扰，τn为一个常数，与次用户n的误码率BERn有关，则对于加性高斯白噪信道(AWGN)表示为：
[0102]
[0103] OFDM传输系统中很难保证不同用户信号的正交，需要考虑干扰影响，次用户ni的子载波i′对次用户nj的子载波j′造成的干扰 表示为：
[0104]
[0105] 其中di′j′是两个子载波i′、j′之间的频率距离，Wi′是子载波i′上的次用户n的总发送功率，Ts是OFDM符号时长，hi′j′是子载波i′在子载波j′上的信道增益，Δf是相邻子载波的频率间隔，fi′是次用户n所在子载波i′的频率，
[0106] 步骤(3.2.2)，确定Restless Bandits模型所能解决的优化目标函数：
[0107]
[0108] 满足.
[0109]
[0110]
[0111] i′=1,2,…,i′…M,j′=1,2,…,j′…M,i′≠j′
[0112] n表示次用户，i′,j′表示空闲子频带，折扣因子β确保总折扣收益的有界并收敛，β在0<β<1间取值， 表示主用户在每个时隙做判决时所有可采取的策略集合，其中一种策略 是一个T×N阶矩阵，其中t行n列为an(t)，代表次用户n在时隙t的行为, 表示次用户ni的子载波i′对次用户nj的子载波j′造成的干扰 必须小于上限值 表示次用户nj最大误码率不能超过上限阈值
表示在子载波i′上在时隙t最多只能有一个活跃用户，
[0113] 步骤(3.2.3)，用无休止赌博机Restless Bandits求解主用户最大收益R*，根据状态转移概率矩阵 主用户空闲频带个数M，次用户个数N，折扣因子Beta=β，次用户状态数StateNumber=G+1，Alpha=zeros(N,G+1)为全零的N×(G+1)阶矩阵，下同，R0=zeros(N,G+1)，R1=ones(N,G+1)为全1的N×(G+1)阶矩阵，P0=zeros(G+1,G+1,N)，P1=P0，利用索引值函数function[Delta]=calc_index(M,N,Beta,StateNumber,Alpha,R0,R1,P0,P1)计算各次用户所对应的空闲频谱的用以表述使用顺序的索引值Delta，找出最小索引值所对应的次用户，以此最小索引值作为优先索引值，优先索引值对应的用户优先使用空闲频带，构造各次用户索引值Delta的查询表格，并全部存入主用户的数据库中；步骤(4)，主用户按以下步骤分配频谱：
[0114] 步骤(4.1)，主用户根据各次用户当前的状态向量{s1,s2,...,sN}查询表格，把索引值从小到大排序，并依次向所述N个次用户发送依次使用所对应的空闲频带信息，包含接入时隙，
[0115] 步骤(4.2)，如果得到允许an(t)=1，在下一时隙次用户接入相应频带传送数据，主用户基站监控整个系统的正常运行，
[0116] 步骤(4.3)，在时隙结束时，按如下步骤进行，
[0117] 步骤(4.3.1)，次用户统计自己的缓存和前一时隙发送数据的信息，如果仍然有数据需要传输并且数据量εcache没有超过阈值，则将缓存信息发送给主用户，0<εcache≤εspec，
[0118] 步骤(4.3.2)，主用户根据次用户的信息更新所有N个次用户的系统状态向量，[0119] 步骤(4.4)，重复执行第(4.1)步到第(4.3)步，直到主用户没有空闲频谱可以出租，主用户发送终止通知并收回频谱的使用权，计算每个次用户应缴纳的租金并发送租金确认的信息。
[0120] 结合附图和实例说明基于OFDM的主用户收益最大化的认知无线电频谱分配方法的具体实施方式。
[0121] 第一步，确定系统架构，主用户和次用户的要求。
[0122] 图1是基于OFDM的主用户收益最大化的认知无线电频谱分配方法适用的体系图，主用户和次用户的基站通过公共控制信道进行交互，次用户网络的覆盖范围涉及多个主用户的网络。
[0123] 假设待发送数据的到达速率符合泊松分布，次用户n的平均数据到达速率是λ(n)，表示次用户在每个时隙过程中的数据量的到达符合平均速率为λ(n)的泊松分布，2
OFDM的符号时间Ts=4μs，网络子载波宽度Δf=0.3125MHz。此外系统高斯白噪声方差σ，平均信道衰落增益hn，次用户对系统的误码率要求，系统中对载波间的干扰限制Ispec均为已知值。系统当前有6个空闲频带，有多个次用户
申请使用频谱。
[0124] 第二步，主用户决定状态的划分标准和频谱价格，并获得次用户同意。
[0125] 本例中次用户的状态由数据缓存量决定。在时隙t根据数据缓存量的多少将次用户状态划分为 5种，其中S0(t)表示数据量为0，次用户不需要频谱；S1(t)到S3(t)的数据量逐渐增多；S4(t)时次用户因为不能得到频谱满足而转向了其它主用户网络。设置状态价格S1(t)的租金为2，状态每高一级加2；流量价格为每Mb价格为2。
[0126] 主用户将决策广播给次用户，次用户根据自己的情况决策是否介入该网络，设有10个次用户同意接入网络使用频谱。
[0127] 第三步，主用户根据已知信息建立Restless Bandits模型，计算租赁过程开始后的索引表，索引的计算可以与主次用户的交互同时进行。
[0128] 首先计算次用户的转移概率矩阵，根据信道状况、干扰要求求解次用户发射功率上限值，
[0129]
[0130] 根据次用户的误码率需求用公式计算各个次用户使用频谱时能达到的最
大数据速率。
[0131]
[0132] 然后计算 可以写为：
[0133]
[0134] 其中pEE表示在当前时隙次用户缓存数据量持续为0的概率，可以得到关系式pBK表示次用户因为缓存数据超过阈值转向其他主用户网络后因为数据量减少又回到当前主用户网络的概率，同时pOT表示次用户转向其他主用户网络后在当前时隙仍然不在当前主用户网络中的概率，pOT+pBX=1。假设状态Ii的上界是εi，次用户在不接入频谱(a(t)=0)的情况下从状态g转换到状态g′的概率可以表示为：
[0135]
[0136] 如果a(t)=1，那么
[0137]
[0138] 其中泊松概率分配矩阵
[0139] 接下来，确立Restless Bandits模型所能解决的优化目标函数，折扣因子取Beta=β＝0.9，
[0140]
[0141] 满足.
[0142]
[0143]
[0144] i′=1,2,…,i′…M,j′=1,2,…,j′…M,i′≠j′
[0145] n表示次用户，i′,j′表示空闲子频带。在时隙t内N个次用户中的M个是活跃的，主用户取得活跃用户的租金收益 然后次用户的状态依据状态转移概率矩阵为的
马尔科夫过程变化。其它次用户交纳租金为 其状态转移概率矩阵为 收益随时间打折扣，无线频谱分配问题转化为确定最优策略 使平均折后收益R*最大化。利用索引值函数计算各次用户所对应的空闲频谱的索引值，找出最小索引值所对应的次用户，以此最小索引值作为优先索引值，优先索引值对应的用户优先使用空闲频带，构造查询表格，并全部存入主用户的数据库中；
[0146] 第四步，开始实时的频谱租赁过程。
[0147] 主用户根据各次用户当前的状态向量{s1,s2,...,sN}查询表格，把索引值从小到大排序，并依次向所述N个次用户发送依次使用所对应的空闲频带信息，包含接入时隙，得到允许的次用户在下一时隙接入相应频带传送数据，此时主用户监控整个系统的正常运行，同时可继续计算索引表；在时隙结束时，次用户统计自己的缓存和前一时隙发送的数据量，在仍然有数据需要传输并且数据量没有超过阈值，向主用户报告缓存和传输的数据量；主用户根据次用户的信息更新系统状态向量。
[0148] 上述过程重复进行直到主用户希望收回频谱或者没有次用户希望继续使用频谱，则租赁过程中止，次用户按照协议交纳租金。
[0149] 在对本发明提出的算法进行检验后，所得结果能够比较准确的对信道值环境进行监测。图3是不同干扰限制时的模型算法示意图，图4是可用频带数量不同时的模型算法示意图，图5是次用户数量是可用频带数量两倍时的模型算法示意图。此处将本发明同贪婪的和随机的方法进行了比较。
[0150] 本发明在PC机上仿真实现是使用Matlab语言进行编程。MATLAB是一种高级的矩阵语言，包含控制语句、函数、数据结构、输入和输出和面向对象编程特点，是包含大量计算算法的集合。其拥有600多个工程中要用到的数学运算函数，可以方便的实现用户所需的各种计算功能。基于OFDM的主用户收益最大化的认知无线电频谱分配方法实施例程序的自然语言如下：
[0151] 开始
[0152] 设置次用户的个数为10，序号1到10，平均数据到达速率为1.2Mbps，误码率需求为10-7到10-3间的随机数；
[0153] 设置主用户的空闲频谱个数为6，数据缓存以1.5M为间隔，设置OFDM传输和信道的相关参数；
[0154] 根据第三步中的 公式循环求解次用户的最大发射功率；
[0155] 根据第三步中的vn公式求解次用户最大的
数据速率；
[0156] 设置与状态和动作对应的收益矩阵，包括流量价格和状态价格两部分的和；
[0157] 用状态数量、数据到达速率、状态区间、次用户能达到的最大数据速率，根据第三步中 的计算方法循环计算各个次用户在不同的行为决策下的状态转移概率矩阵；
[0158] 根据状态转移概率矩阵 主用户空闲频带个数M，次用户个数N，折扣因子Beta=β，次用户状态数StateNumber=G+1，Alpha=zeros(N,G+1)为全零的N×(G+1)阶 矩 阵，下 同，R0=zeros(N,G+1)，R1=ones(N,G+1) 为 全 1的 N×(G+1) 阶 矩 阵，P0=zeros(G+1,G+1,N)，P1=P0，利用索引值计算函数即函数function[Delta]=calc_index(M,N,Beta,StateNumber,Alpha,R0,R1,P0,P1)计算{s1,s2,...,s10}所有可能的组合对应的索引表；
[0159] 将计算出的索引与状态向量{s1,s2,...,s10}对应存入表中；
[0160] 设置每个时隙的时间为1s，共仿真1000个时隙，开始仿真实时频谱租赁过程，设置初始状态向量{s1,s2,...,s10}＝{1,1...,1}，在每个时隙执行下列程序：
[0161] 循环找出当前每个次用户对应的状态，确定当前的状态向量；
[0162] 根据状态向量查表找出该状态下索引最小的6个次用户对应的序号，放在活动集合中；
[0163] 对次用户1产生一个0到1的随机数Rand，判断次用户1是否在活动集合中，若在则收益加上次用户1在当前状态和传输速率下的收益，用产生的随机数Rand按照a(t)=1时次用户1的状态转移概率矩阵判断次用户1在当前时隙结束时的状态；判断若不在活动集合中则收益加0，用Rand按照a(t)=0时次用户1的状态转移概率矩阵判断次用户1在当前时隙结束时的状态；
[0164] 循环对剩余次用户进行上面单步的操作，得到新的状态向量；
[0165] 1000个时隙结束时得到累加的主用户总收益，程序执行多次求平均总收益。
[0166] 结束
