首页 / 国际专利分类库 / 电学 / 基本电子电路 / 变分贝叶斯推理下信号自适应聚类和智能重构方法

变分贝叶斯推理信号自适应聚类和智能重构方法

申请号 CN201710664885.9 申请日 2017-08-07 公开(公告)号 CN107483056A 公开(公告)日 2017-12-15
申请人 电子科技大学; 发明人 孙晶晶; 成先涛;
摘要 本 发明 属于无线通信技术领域,具体的说是涉及变分 贝叶斯推理 下 信号 自适应聚类和智能重构方法。本发明利用Dirichlet分布的性质实现信号的自适应聚类,同时结合本发明提出的能够恰当模拟真实信号的信号模型,在变分贝叶斯原理下,推导出一种能够智能重构信号X的方法。与普通的信号重构方法相比,本发明达到理想估计性能的训练开销大大降低,同时重构信号和真实信号之间的误差较小。本发明的有益效果是:与传统方法相比,本发明简化了运算量,提高了运算速度和运算 精度 ,提高了信道估计的准确性。
权利要求

1.变分贝叶斯推理信号自适应聚类和智能重构方法,该方法采用的信号模型为:
Yf=AfXf+Nf,f=1,2…F
其中,Yf为M×1维压缩信号,Xf为N×1维的稀疏信号,M<<N,其稀疏度为s且s<<N,即Xf中只有s个元素非零,其余元素全部为0,测量矩阵 由 构成,噪声Nf用M×1维高斯信号表示;
其特征在于,包括以下步骤:
S1、设定F个任务信号稀疏支持的迭代误差ε和最大迭代次数N_iter;
S2、给定初始值:
信号X的行矢量Xf中的每个元素都由均值为0,方差为 的复高斯分布随机生成;测量矩阵 由 构成, 服从[0,2π)的随机独立均匀分布,噪声 中每
个元素都服从均值为0,方差为β的复高斯分布,β服从Gamma分布β~Gamma(a,b);
S3、通过变分贝叶斯推理得到各参数的更新公式:
S31、由变分贝叶斯推理得到信号Xf后验概率的方差 和均值uf的更新公式如下:
其中, 表示Af的共轭转置,diag表示对矢量 对化;
S32、由变分贝叶斯推理得到 服从参数为 的Gamma分布,更新公式如下:
其中,Ψ(·)表示digamma函数;
S33、由变分贝叶斯推理得到αf服从参数为 的Gamma分布,更新公式如下:
S34、噪声β服从参数为 的Gamma分布,更新公式如下:
S35、由变分贝叶斯推理得到中间量ρf的更新,更新公式如下:
S36、由变分贝叶斯推理得到πk服从参数为τ1,k、τ2,k的Beta分布,更新公式如下:
S361、k=1,2…K-1时:
k=K时,q(πK=1)=1,lnq(πK)=0;
S362、通过步骤S361得到:
S37、由变分贝叶斯推理得到γ服从参数为 的Gamma分布,更新公式如下:
S38、由变分贝叶斯推理得到参数φf,k的更新,更新公式如下:
其中,
S4、循环步骤S3,直到满足误差ε或最大迭代次数N_iter;此时在已知观测值Y的条件下,信号X的后验分布的均值和方差将收敛于一个稳定的值;根据最大后验准则,将X的后验分布的均值作为信号X的估计值。

说明书全文

变分贝叶斯推理信号自适应聚类和智能重构方法

技术领域

[0001] 本发明属于无线通信技术领域,具体的说是涉及一种基于狄利克雷先验和变分贝叶斯理论下的一种信号的智能分类和估计的方法。

背景技术

[0002] 压缩感知(Compressive Sampling或者Compressed Sensing)简称CS是最近十年在信号处理领域兴起的一个具有变革意义的技术。传统信号处理理论认为,如果要从采样到的信号无失真的恢复原始信号,那么采样率必须大于信号的两倍带宽。随着技术的进步,以及人类对数据的需求更加的渴望,尤其是在大数据时代下的今天,我们关心的信号往往具有非常大的带宽,例如,在认知无线电领域,为了较为高效的利用无线频谱资源,我们需要对GHz带宽的信号做监听;在图像领域,深空探测器具有上亿分辨率像素;在生物医学领域,高质量的MRI(核磁共振)图像才能得到足够分辨率的器官组织成像。现在这些需求都对信号的采集方法提出的新的要求,一方面既要能够得到高质量的目标信号,另一方面要求能够尽低成本地采集得到感兴趣的信号。压缩感知即是这种需求下产生的技术。
[0003] 压缩感知利用信号的稀疏性,在远小于奈奎斯特速率的情况下,用随机采样获取信号的离散样本,利用原始信号的在某些基下面的稀疏的特性,将其投影到很少的测量矩阵下,然后通过非线性重建算法完美的重建信号。压缩感知理论能够通过最少的测量保留最大的信号信息,在信息论、图像处理地球科学、光学、微波成像、模式识别、无线通信、大气、地质等领域受到高度关注。
[0004] 贝叶斯压缩感知恢复算法最早由Tipping在其相关向量机文献中出现,而后随着随着压缩感知的发展,贝叶斯的方法重新得到了发展,2008Duke大学的研究小组将相关向量机模型引入到压缩感知信号恢复中。由于贝叶斯方法具有很大的灵活性,尤其是贝叶斯使用概率的方法可以吸收很大一部分先验知识,这样就可以充分挖掘信号的先验知识,得到更好的信号恢复效果。
[0005] 贝叶斯压缩感知是利用的概率的方法,给信号添加稀疏先验,通过贝叶斯统计推断的方法,推导出信号恢复的算法。由于贝叶斯灵活性高,可以通过改变概率先验形式,以适应多种不同的信号先验,例如,有限字符集的通信信号、非负的信号、随机的高斯噪声信号。贝叶斯框架提供了很多有用的推断方法,例如Expectation Maximization(EM)、Variational Expectation Maximization(VEM)、Maximal Likelihood(ML)、Type2 Maximal Likelihood(Type2 ML)。针对我们所遇到的具体问题,利用这些算法一般能够得到比较有效的推断算法。
[0006] 变分贝叶斯推断最早由Beal提出,在贝叶斯估计和机器学习领域中被用于近似计算复杂积分。变分贝叶斯推断主要应用于复杂的统计模型,这种模型一般包括观测变量和不可观测变量(包含未知参数和潜变量)。

发明内容

[0007] 本发明的目的是提出一种自适应的信号分类和重构方法。本发明在已有的信号分类和重构算法的基础上,提出一种新的更接近真实信号分布的模型,利用压缩感知原理、Dirichlet Process先验和稀疏贝叶斯学习方法,得到一种信号自适应聚类和智能重构方法。本方法是一种通用算法,可广泛应用于人工智能领域。
[0008] 为了便于本领域内技术人员对本发明技术方案的理解,首先对本发明采用的系统模型和信号模型进行说明。
[0009] 本发明采用的压缩信号模型为:
[0010] Yf=AfXf+Nf,f=1,2…F
[0011] 其中,Yf为M×1维压缩信号,Xf为N×1维的稀疏信号(M<<N),其稀疏度为s且s<<N,即Xf中只有s个元素非零,其余元素全部为0。测量矩阵 由 构成。噪声Nf用M×1维高斯信号表示。
[0012] Xf的概率分布模型如下:
[0013]
[0014] 其中,Xf,n代表 的第n个位置的元素;ρf,n={0,1}服从伯努利分布,决定Xf的第n个稀疏位置是共有的还是私有的;当ρf,n=1时,Xf,n是共有的,服从均值为0,方差为的复高斯分布;当ρf,n=0时,Xf,n是私有的,服从均值为0,方差为 的复高斯分布,Tαc=[αc,1,αc,2…αc,N]服从Dirichlet分布,如下所示:
[0015] αc~DP(γ,G)
[0016]
[0017]
[0018]
[0019] πk~Beta(1,γ)
[0020] γ~Gamma(e,h)
[0021] 其中,δ(·)是Dirac delta函数, 是G中元素,权重0≤wk≤1且, 通常,取较大的K代表∞; 服从参数为c、d的Gamma分布,πk服从参数为γ的Beta分布,γ服从参数为e、h的Gamma分布;推导得 φf,k是和wk对应的权重。综上所述,Xf的概率分布模型如下:
[0022]
[0023] 本发明通过如下步骤实现:
[0024] S1、设定F个任务信号稀疏支持的迭代误差ε和最大迭代次数N_iter;
[0025] S2、给定初始值:
[0026] 信号X的行矢量Xf中的每个元素都由均值为0,方差为 的复高斯分布随机生成;测量矩阵 由 构成, 服从[0,2π)的随机独立均匀分布。噪声
中每个元素都服从均值为0,方差为β的复高斯分布,β服从Gamma分布β~Gamma(a,b)。
[0027] S3、我们通过变分贝叶斯推理得到各参数的更新公式:
[0028] S31、由变分贝叶斯推理得到信号Xf后验概率的方差 和均值uf的更新公式如下:
[0029]
[0030]
[0031] 其中, 表示Af的共轭转置,diag表示对矢量 对化;
[0032] S32、由变分贝叶斯推理得到 服从参数为 的Gamma分布,更新公式如下:
[0033]
[0034]
[0035] 其中,Ψ(·)表示digamma函数。
[0036] S33、由变分贝叶斯推理得到αf服从参数为 的Gamma分布,更新公式如下:
[0037]
[0038]
[0039] S34、噪声β服从参数为 的Gamma分布,更新公式如下:
[0040]
[0041] S35、由变分贝叶斯推理得到中间量ρf的更新,更新公式如下:
[0042]
[0043] S36、由变分贝叶斯推理得到πk服从参数为τ1,k、τ2,k的Beta分布,更新公式如下:1)、k=1,2…K-1时:
[0044]
[0045] 2)、k=K时,q(πK=1)=1,lnq(πK)=0
[0046] 由1)和2)得到:
[0047] =Ψ(τ1,k)-Ψ(τ1,k+τ2,k)
[0048] =Ψ(τ2,k)-Ψ(τ1,k+τ2,k)
[0049] S37、由变分贝叶斯推理得到γ服从参数为 的Gamma分布,更新公式如下:
[0050]
[0051] S38、由变分贝叶斯推理得到参数φf,k的更新,更新公式如下:
[0052]
[0053]
[0054] 其中,
[0055] S4、循环步骤S3,直到满足误差ε或最大迭代次数N_iter。此时在已知观测值Y的条件下,信号X的后验分布的均值和方差将收敛于一个稳定的值。根据最大后验准则,我们将X的后验分布的均值作为信号X的估计值。
[0056] 本发明的有益效果为,本发明提出的信号Xf的模型能够对真实信号进行贴切的模拟,信号X=[X1,X2…XF]中的每一列具有不同程度的相似性,Dirichlet先验信息能够对信号X中具有强相似性的列进行自适应分簇。每个簇中的列信号Xf具有相似的稀疏特性,包含共有稀疏和私有稀疏,本发明不仅能对每个簇的列信号的共有信息做联合估计,同时还能对列信号不同于本簇中其他列矢量的私有信息做单独的估计,最终估计出每个簇的分组情况并重构出每簇中信号包含的共有信息和私有信息。与传统的信号估计算法相比,本发明对信号的估计精确度大大提高。附图说明
[0057] 图1是信号X稀疏性示意图(白色方代表非稀疏位置);
[0058] 图2是本发明算法流程图
[0059] 图3是本发明算法和LS、DP-MT算法在不同开销M下的性能对比图;

具体实施方式

[0060] 下面结合具体附图和实施例,对本发明作进一步地详细描述:
[0061] 图1为信号X稀疏性示意图。
[0062] 假设信号X的包含F个行矢量Xf;每个列矢量Xf的维度Nx1,包含S个稀疏度,取N=100,S=10。假设信号X被分成4个不同的簇,不同簇中的稀疏位置无重合,相同簇中的信号矢量Xf的S个稀疏度中有Sc个共同稀疏,S-Sc个私有稀疏,信号X中私有稀疏的位置完全不同,取Sc=7。Dirichlet分布先验中参数K取30。
[0063] 图2为本发明算法流程图,根据流程图,使用上述参数可对算法进行仿真。
[0064] S1、设定F=20,即信号X的包含20个行矢量Xf;步骤S3中的迭代误差ε=10-3和最大迭代次数N_iter=20;
[0065] S2、给定初始值:
[0066] 信号X的行矢量Xf中的每个元素都由均值为0,方差为 的复高斯分布随机生成,初始α=100;测量矩阵 由 构成, 服从[0,2π)的随机独立均匀分布。噪声 中每个元素都服从均值为0,方差为β的复高斯分布,β服从Gamma分布β~Gamma(a,b),初始化a=10-4,b=10-6,c=10-3,d=10-5,e=0.02,h=0.01。
[0067] S3、我们通过变分贝叶斯推理得到各参数的更新公式:
[0068] S31、由变分贝叶斯推理得到信号Xf后验概率的方差 和均值uf的更新公式如下:
[0069]
[0070]
[0071] 其中, 表示Af的共轭转置,diag表示对矢量 对角化;
[0072] S32、由变分贝叶斯推理得到 服从参数为 的Gamma分布,更新公式如下:
[0073]
[0074]
[0075] 其中,Ψ(·)表示digamma函数。
[0076] S33、由变分贝叶斯推理得到αf服从参数为 的Gamma分布,更新公式如下:
[0077]
[0078]
[0079] S34、噪声β服从参数为 的Gamma分布,更新公式如下:
[0080]
[0081] S35、由变分贝叶斯推理得到中间量ρf的更新,更新公式如下:
[0082]
[0083] S36、由变分贝叶斯推理得到πk服从参数为τ1,k、τ2,k的Beta分布,更新公式如下:
[0084] 1)、k=1,2…K-1时:
[0085]
[0086] 2)、k=K时,q(πK=1)=1,lnq(πK)=0
[0087] 由1)和2)得到:
[0088] =Ψ(τ1,k)-Ψ(τ1,k+τ2,k)
[0089] =Ψ(τ2,k)-Ψ(τ1,k+τ2,k)
[0090] S37、由变分贝叶斯推理得到γ服从参数为 的Gamma分布,更新公式如下:
[0091]
[0092] S38、由变分贝叶斯推理得到参数φf,k的更新,更新公式如下:
[0093]
[0094]
[0095] 其中,
[0096] S4、循环步骤S3,直到满足误差ε或最大迭代次数N_iter。此时在已知观测值Y的条件下,信号X的后验分布的均值和方差将收敛于一个稳定的值。根据最大后验准则,我们将X的后验分布的均值作为信号X的估计值。
[0097] 图3是本发明方法对未知信号X的重构性能和已知的LS(最小二乘法)、DP-MT算法的性能对比。从图中可以看出,本发明的算法在训练开销为30的时候就达到了最优性能,与LS(最小二乘法)、DP-MT算法相比,估计误差也大幅减小,估计性能更接近理想曲线GeniusLS,其余算法要达到最优性能需要基站发送更多的导频信号。通过对比,说明了本发明的算法在减少信号估计所需要的开销方面具有明显优势,同时信号的自适应分组和信号重构性能也很好,能够在较小的误差范围内精确的估计出信号X,在人工智能上有较高的实用性。
QQ群二维码
意见反馈