一种基于深度去噪神经网络的空间调制系统的工作方法
阅读：47发布：2020-05-13
专利汇可以提供一种基于深度去噪神经网络的空间调制系统的工作方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及一种基于深度去噪神经网络的空间调制系统的工作方法，本发明首先将复 信号 和调制符号分解为实数数据，构建了一个去噪 深度神经网络 ，利用带有噪声的数据作为模型的输入，将天线的序号和调制符号进行组合，得到对应的标签，再进行模型训练。在此 基础 上提出了深度神经网络方案，仿真实验结果表明，基于深度神经网络的检测 算法 的鲁棒性强。在可靠性方面，性能远好于MRC方案。，下面是一种基于深度去噪神经网络的空间调制系统的工作方法专利的具体信息内容。
1.一种基于深度去噪神经网络的空间调制系统的工作方法，其特征在于，所述空间调制系统包括发射机、Nt根发射天线、Nr根接收天线、接收机、构建的深度去噪自编码器模型；
所述发射机使用的调制符号集合为 调制阶数为M；包括步骤如下：
(1)所述发射机将比特信息进行映射，经过串并转换的比特信息映射为相应的信号向量x，x＝ei·s， 是第i个元素为1、其余元素为0的单位向量，调制符号
表示Nt×1维的实数矩阵构成的集合；
(2)信号向量x激活第i根发射天线后发送调制符号s，经过衰落信道 后，表示Nt×Nr维的复数矩阵构成的集合；接收机得到接收信号y， ρ是接
收端的平均信噪比，x是信号向量，H是信道矩阵， 是高斯白噪声信道，服从分布是高斯分布，σn2是噪声方差，σn是噪声标准差；
(3)构建深度去噪自编码器模型；深度去噪自编码器模型包括依次连接的编码器、解码器、一个三层的前馈神经网络分类器；编码器的输出作为解码器的输入，解码器输出重构的发射信号，重构的发射信号作为三层的前馈神经网络分类器的输入，三层的前馈神经网络分类器中使用softmax分类函数为最后一层，作为三层的前馈神经网络分类器的输出层；包括步骤如下：
A、数据预处理：对接收信号y进行分解，如式(Ⅰ)所示：
式(Ⅰ)中，Re(·)表示各个元素的实部组成的矩阵，Im(·)表示各个元素的虚部组成的矩阵，H是信道矩阵，n是高斯白噪声信道；
B、将步骤A预处理后的数据训练深度去噪自编码器模型，对发射信号进行重构，计算最小化重构的信号节点与噪声干扰的信号节点的欧氏距离F1，公式如式(Ⅱ)所示：
式(Ⅱ)中，d表示编码器的输出层的层数，ad表示解码器的输出，w表示权重矩阵；
C、对步骤B重构的发射信号进行分类，采用交叉熵损失函数来度量输出层的估计输出和标签q的距离即相似程度，交叉熵损失函数如式(Ⅲ)所示：
式(Ⅲ)中，batch是指每次送入深度去噪自编码器模型训练的部分数据样本，qi是指输出层第i个样本的预测输出，α是指超参数，表示控制重构的程度；交叉熵损失函数衡量了在真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小；
D、利用反向传播算法对交叉熵损失函数进行优化，加入dropout机制对深度去噪自编码器模型进行训练；
首先，在前向传播阶段，dropout机制训练深度去噪自编码器模型，根据概率p设置，将三层的前馈神经网络分类器中隐含层的某些神经元失活，输入层和输出层的神经元保持不变；
然后，将随机抽取一个每次送入深度去噪自编码器模型训练的部分数据样本batch输入到删除神经元的深度去噪自编码器模型进行前向传播，计算出对应的损失函数值，将得到的损失函数值根据反向传播计算未删除神经元的输入层和输出层的梯度，没有被删除的神经元上按照随机梯度下降法更新对应的参数，包括权重和偏置；
最后，对所有的样本重复以下过程①至③，直至所述深度去噪自编码器模型收敛：
①恢复被删除的神经元；
②从隐含层中随机选择一半大小的子集临时删除掉；
③对一批训练样本，先前向传播然后反向传播，计算损失结果并根据随机梯度下降法更新参数；
(4)利用步骤(3)构建的深度去噪自编码器模型，利用仿真实验的形式，实现对搜索到的信号进行判断，通过对应的检测技术恢复出发射比特。
2.根据权利要求1所述的一种基于深度去噪神经网络的空间调制系统的工作方法，其特征在于，所述深度去噪自编码器模型的输出层，使用softmax分类函数对前一层的输出进行激活，softmax分类函数如式(Ⅳ)所示：
式(Ⅳ)中， 表示输出层第k个训练样本的第j个神经元的输出，x表示输出层的输入，wj表示输出层的权值矩阵的第j行，wi表示输出层的权值矩阵的第i行，C表示样本的个数。
3.根据权利要求1或2所述的一种基于深度去噪神经网络的空间调制系统的工作方法，其特征在于，利用反向传播算法来优化交叉熵损失函数，交叉熵损失函数反向传播的梯度如式(Ⅴ)所示：
式(Ⅴ)中， 表示第k个样本的softmax函数的第i维的输入，F2表示映射
q为标签， 表示输出层第k个样本的第i个神经元的真实输出、 表示输出层第k个样本的第i个神经元的预测输出。
一种基于深度去噪神经网络的空间调制系统的工作方法
技术领域
[0001] 本发明涉及一种基于深度去噪神经网络的空间调制系统的工作方法，属于无线数字传输技术领域。
背景技术
[0002] 人类社会逐渐进入信息化时代，互联网、物联网、云计算、大数据等技术不断丰富着信息通信技术的内涵，使其从早期的语音、信息等低速率业务发展到移动高清视频、移动办公、移动在线游戏等高速率业务。随着无线通信技术在无线网络应用和服务方面的广泛发展，各种智能终端接入、虚拟现实、增强现实、物联网等先进无线应用将无线通信技术推进到了5G时代，迎来了千倍容量、毫秒延迟以及海量连接的新时代。为了更好的满足无线通信中的性能要求，研究者提出了大规模多输入多输出(MIMO)、毫米波(MMWave)以及超密网络(UDN)等技术，这些技术都需要具备处理海量数据的能力。然而，现有的传统通信理论在满足复杂场景下的大数据和超高速通信需求方面存在一些固有的局限性。
[0003] R.Y.Mesleh等(参见R.Y.Mesleh,H.Haas,S.Sinanovic,C.W.Ahn and S.Yun,“Spatial modulation,”IEEE Trans.Veh.Technol.,vol.57,no.4,pp.2228–2241,Jul.2008.)探索了SM-MIMO概念下的系统模型，并通过将SM-MIMO方案与传统的Alamouti方案以及空间复用方案相比，得出其潜在的优势。
[0004] J.Jeganathan等(参见J.Jeganathan,A.Ghrayeb and L.Szczecinski“, Spatial modulation:Optimal detection and performance analysis,”IEEE Commun.Lett.,vol.12,no.8,pp.545–547,Aug.2008.)进一步研究了SM-MIMO方案下基于最大似然(ML)算法的最优解调器，并利用仿真证明了该次优解调方案的优越性。
[0005] 在调制方式识别方面，A.K.Nandi等(参见A.K.Nandi and E.E.Azzouz,“Algorithms for automatic modulation recognition of communication signals,”IEEE Transactions on Communications,vol.46,no.4,pp.431-436,April 1998.)利用人工神经网络分别对模拟调制信号、数字调制信号进行了调制方式识别，结果表明在15dB时可达到96％的准确率。
[0006] Y.Zeng等(参见Y.Zeng,M.Zhang,F.Han,Y.Gong and J.Zhang,“Spectrum Analysis and Convolutional Neural Network for Automatic Modulation Recognition,”in IEEE Wireless Communications Letters.doi:10.1109/LWC.2019.2900247)利用离散傅立叶变换将一维信号转换为频谱表征的图象，提出了基于CNN的调制识别方法。
[0007] 在接收检测方面，神经网络同样可以发挥作用，N.Samuel等(参见N.Samuel,T.Diskin and A.Wiesel,“Deep MIMO detection,”2017IEEE 18th International Workshop on Signal Processing Advances in Wireless Communications(SPAWC),Sapporo,2017,pp.1-5.)将接收信号y、信道矩阵H作为说神经网络的输入进行训练，利用梯度下降原理进行最大似然优化，从而重构信号x。
发明内容
[0009] 根据现有技术和解决方案的缺点和不足，本发明提供了一种适应性更强，性能更好的基于深度去噪神经网络的空间调制系统的工作方法。
[0010] 术语解释：
[0011] 1、dropout机制训练模型，大规模神经网络存在费时及容易过拟合两个缺点，为了防止过拟合，可以通过阻止特征检测器的共同作用来提高神经网络的性能。dropout算法是由Alex、Hinton在其论文“ImageNet Classification with Deep Convolutional Neural Networks”中提出用于防止过拟合，在训练过程中，通过忽略一半的特征检测器，可以明显地减少过拟合现象。即在前向传播的过程中，让某个神经元的激活值以一定的概率p停止工作，将一部分神经网络单元暂时从网络中丢弃，相当于从原始的网络中找到一个更精简的网络。
[0012] 2、前向传播，神经网络与普通分类器不同，是一个巨大的网络，最后一层的输出与每一层的神经元都有关系。而神经网络的每一层，与下一层之间，都存在一个参数矩阵。需通过优化算法求出每一层的参数矩阵，对于一个有K层的神经网络共需要求解出K-1个参数矩阵。于神经网络的优化算法，主要需要两步：前向传播(Forward Propagation)与反向传播(Back Propagation)，前向传播是从输入层到输出层，计算每一层每一个神经元的激活值。也就是先随机初始化每一层的参数矩阵，然后从输入层开始，依次计算下一层每个神经元的激活值，一直到最后计算输出层神经元的激活值。
[0013] 3、反向传播，反向传播是根据前向传播计算出来的激活值，来计算每一层参数的梯度，并从后往前根据梯度进行参数的求解。
[0014] 4、MRC，Maximum Ratio Combining，最大比合并检测算法，该算法将检测步骤分为两部分，先确定被激活天线序号，然后根据得到的天线序号对调制符号进行解调，该算法的复杂度相对较低，但在可靠性上弱于ML检测算法。
[0015] MRC检测算法将调制符号和激活天线序号分步进行检测，首先估算出被激活天线索引，然后根据天线索引估算出对应的调制符号，从而得到估计的发射信号。对应的方法可表示为：
[0016]
[0017] 式中， 表示估算的被激活天线序号， 表示估算的调制符号。
[0018] 5、ML，Maximum Likelihood最大似然检测算法，该算法采取联合检测的方式对被激活的天线序号以及调制符号进行检测，通过遍历穷举的方式推算出最优的情况，进而确定发送信息。
[0019] ML检测算法将被激活天线序号和符号调制共同考虑，遍历了所有可能的组合情况并比较信号之间的欧式距离，通过找到欧氏距离最小的情况，得出对应解调信号，其表达式可写为：
[0020]
[0021] 式中， 和 分别表示解调出的被激活天线索引以及调制符号，L表示被激活天线序号集合，S表示调制符号集合。
[0022] 本发明的技术方案如下：
[0023] 一种基于深度去噪神经网络的空间调制系统的工作方法，所述空间调制系统包括发射机、Nt根发射天线、Nr根接收天线、接收机、构建的深度去噪自编码器模型；所述发射机使用的调制符号集合为S，调制阶数为M；该系统空间域信息的传输仍是基于天线切换原理。根据空间调制的映射规则，包括步骤如下：
[0024] (1)所述发射机将比特信息进行映射，经过串并转换的比特信息映射为相应的信号向量x，x＝ei·s， 是第i个元素为1、其余元素为0的单位向量，调制符号表示Nt×1维的实数矩阵构成的集合；
[0025] (2)信号向量x激活第i根发射天线后发送调制符号s，经过衰落信道后， 表示Nt×Nr维的复数矩阵构成的集合；接收机得到接收信号y， ρ是接收端的平均信噪比(SNR)，x是信号向量，H是信道矩阵， 是高斯白噪声信道，服从分布 是高斯分布，σn2是噪声方差，σn是噪声标准差；
[0026] (3)构建深度去噪自编码器模型：
[0027] 深度去噪自编码器模型，包括依次连接的编码器(由三层的前馈神经网络构成)、解码器(由三层的前馈神经网络构成)、一个三层的前馈神经网络分类器；编码器的输出作为解码器的输入，解码器输出重构的发射信号，重构的发射信号作为三层的前馈神经网络分类器的输入，三层的前馈神经网络分类器中使用softmax分类函数为最后一层，作为三层的前馈神经网络分类器的输出层；
[0028] 自编码器作为一种无监督机器学习算法，是一种数据压缩算法，主要由编码器和解码器两部分组成，其中编码器主要是得出输入的另一种表示，解码器主要是把输入的另一种表示通过解码输入到原始的输入空间中，自编码器主要根据原始输入之间误差和重构结果来训练神经网络。自编码器也是神经网络的一种，包括输出层、隐含层和输入层，每层都由多个神经元构成，自编码器可以通过增加其隐含层的数量，形成深度自编码器。本模型中，信号向量x，经过信道传输后，接收信号y为发射信号经过信道衰落和噪声干扰的信号Hx+n。自编码器的作用就是学习映射 Hx+n→Hx，能够尽可能的重构未经噪声污染的发射信号。另外一方面，信号向量x由单位向量ei和发射符号s乘积得到，为了能够同时识别发射符号s和ei，模型对x使用one-hot编码构建其对应的标签q，三层的前馈神经网络分类器用于学习另一个映射 Hx→q，该分类器的作用是最小化网络输出的分布和真实标签分布的交叉熵，通过设计的损失函数，使得网络输出对应的标签。在神经网络后面添加softmax函数，真实的标签(或者是类别)就相当于真实的分布，经过softmax得出的值就是预测估计的结果。softmax函数作为最后一层可以将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量，其中向量中的每个元素取值都介于(0，1)之间，将多个输出映射成为(0，1)区间内的值，而这些值的累和为1(满足概率的性质)，可以理解为概率，在最后选取输出结点的时候，选取概率最大(也就是值对应最大的)结点作为预测的目标。包括步骤如下：
[0029] A、数据预处理
[0030] 由于深度学习模型的建立以及优化都是在实数域上进行的，因此需要将系统模型中的复数域转化至实数域。空间调制系统中存在复数相乘的运算，因此，对复信号进行分解。对接收信号y进行分解，如式(Ⅰ)所示：
[0031]
[0033] B、将步骤A预处理后的数据训练深度去噪自编码器模型，对发射信号进行重构，计算最小化重构的信号节点与噪声干扰的信号节点的欧氏距离F1，公式如式(Ⅱ)所示：
[0034]
[0035] 式(Ⅱ)中，d表示编码器的输出层的层数，ad表示解码器的输出，w表示权重矩阵；式(Ⅱ)表明了深度去噪自编码器模型的目标之一是降低重构误差，深度去噪自编码器模型的输入是经过信道传输后，带有噪声的接收信号，解码器的期望输出是没有噪声的信号向量。通过度量期望输出与解码器输出的欧几里得距离，模型在训练过程中能够比较稳定地收敛到最小值。深度去噪自编码器模型对发射向量使用one-hot编码构建了标签q，通过最小化标签与分类器真实输出的距离来训练模型。
[0036] C、对步骤B重构的发射信号进行分类，采用交叉熵损失函数来度量输出层的估计输出和标签q的距离即相似程度F2，交叉熵损失函数如式(Ⅲ)所示：
[0037]
[0038] 式(Ⅲ)中，batch是指每次送入深度去噪自编码器模型训练的部分数据样本，qi是指输出层第i个样本的预测输出，α是指超参数，表示控制重构的程度；交叉熵损失函数衡量了在真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小；
[0039] 采用交叉熵损失函数来度量输出层的估计输出和标签q的距离即相似程度F2，即由于网络结构较深，而且每一层的激活函数的导数小于等于1，在反向传播过程中，容易造成梯度接近于0的现象，而交叉熵损失函数的梯度中并不包含激活函数的导数这一项，此外交叉熵损失函数值非负，当真实输出接近于期望输出时，损失函数接近于0，加快收敛速度和收敛的稳定性，最终得到的损失函数为式(Ⅱ)和两部分的组合，即
[0040] D、利用反向传播算法交叉熵损失函数进行优化，加入dropout机制对深度去噪自编码器模型进行训练；
[0041] 首先，在前向传播阶段，dropout机制训练深度去噪自编码器模型，根据概率p设置，将三层的前馈神经网络分类器中隐含层的某些神经元失活，输入层和输出层的神经元保持不变；
[0042] 然后，将随机抽取一个每次送入深度去噪自编码器模型训练的部分数据样本batch输入到删除神经元的深度去噪自编码器模型进行前向传播，计算出对应的损失函数值，将得到的损失函数值根据反向传播计算未删除神经元的输入层和输出层的梯度，没有被删除的神经元上按照随机梯度下降法更新对应的参数，包括权重和偏置；
[0043] 最后，对所有的样本重复以下过程①至③，直至所述深度去噪自编码器模型收敛：
[0044] ①恢复被删除的神经元(此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新)；
[0045] ②从隐含层中随机选择一半大小的子集临时删除掉；
[0046] ③对一批训练样本，先前向传播然后反向传播，计算损失结果并根据随机梯度下降法更新参数；(没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果)；
[0047] 由于模型参数较多，为了降低过拟合现象和梯度消失现象，所述深度去噪自编码器模型在训练过程中加入dropout机制训练模型，使每个神经网络一般会得到不同的结果，最终结果是这多个不同神经网络决定的，这种“综合起来取平均”的策略通常可以有效防止过拟合问题，因为不同的网络可能产生不同的过拟合，取平均还有可能让一些极端的网络模型互相抵消。另外dropout训练机制导致神经元不一定每次都在同一个dropout网络中出现，迫使网络去学习更加鲁棒的特征，这些特征能够使网络对丢失特定神经元连接的鲁棒性提高。
[0048] (4)利用步骤(3)构建的深度去噪自编码器模型，利用仿真实验的形式，实现对搜索到的信号进行判断，通过对应的检测技术恢复出发射比特。
[0049] 根据本发明优选的，所述深度去噪自编码器模型的输出层，使用softmax分类函数对前一层的输出进行激活，softmax分类函数如式(Ⅳ)所示：
[0050]
[0051] 式(Ⅳ)中， 表示输出层第k个训练样本的第j个神经元的输出，x表示输出层的输入，wj表示输出层的权值矩阵的第j行，wi表示输出层的权值矩阵的第i行，C表示样本的个数。
[0052] 在softmax函数的激活下，输出层的输出样本属于每一个标签的概率分布，每一个神经元的输出是样本属于当前类别的概率。但softmax分类器的每一个类别概率都不会为1，正确的类别的概率总是不停地提高，错误的类别的概率相应的会降低，但永远不会达到理想值，因此，基于softmax函数的分类器的分类损失会一直更小。当输出类别是互斥的情况下，基于softmax函数的分类器总能达到理想的分类效果。
[0053] 根据本发明优选的，利用反向传播算法来优化交叉熵函数，对于该联合损失形式的损失函数，通过使用损失拆分的形式优化模型参数，该交叉熵函数反向传播的梯度如式(Ⅴ)所示：
[0054]
[0055] 式(Ⅴ)中， 表示第k个样本的softmax函数的第i维的输入，F2表示映射 Hx→q，q为标签， 表示输出层第k个样本的第i个神经元的真实输出、 表示输出层第k个样本的第i个神经元的预测输出。
[0056] 对于损失函数的重构误差损失，该项损失函数直接作用与解码器的输出层，其梯度反向作用于解码器的输出层及其前面的所有层。因此，可以按照标准反向传播算法来传播梯度。其次，对于损失函数的分类误差损失，该损失函数直接作用于分类器的输出，损失梯度可以反向传播至整个模型。对于分类误差损失来说，由于输出层使用的softmax激活函数，分类误差对于输出层的梯度可由链式法则得到，如 所示，其中 表示第k个样本的softmax函数的第i维的输入， 的计算公式可以表示为：当i≠j时， 当i＝j时，
由于每一个标签向量中，只有一个元素为1，其他元素为0，因此，经过整合化简，该损失函数反向传播的梯度如 所示。
由于每一个标签向量中，只有一个元素为1，其他元素为0，因此，经过整合化简，该损失函数反向传播的梯度如 所示。
[0057] 本发明的有益效果为：
[0058] 1、本发明首先将复信号和调制符号分解为实数数据，构建了一个深度去噪自编码器模型，利用带有噪声的数据作为模型的输入，将天线的序号和调制符号进行组合，得到对应的标签，再进行模型训练，定义了新的标签形式。
[0059] 2、本发明使用softmax函数进行分类，在输出是互斥的情况下，基于softmax函数的分类器总能达到理想的分类效果。
[0060] 3、本发明采用的交叉熵损失函数的梯度形式简单，计算方便，注重于增大类间距离，误差越大，梯度越大，对于该模型的收敛速度越快。
[0061] 4、本发明采用的dropout机制训练模型有效地降低了神经网络训练中常见的过拟合现象和梯度消失现象。
[0062] 5、本发明在训练阶段大约迭代200次时即将收敛，经过500次迭代的训练之后才完全收敛。由于联合损失为分类损失和重构损失的和，因此，联合损失曲线高于重构损失，此外，重构损失曲线的收敛情况表明，本发明能够有效的通过反向传播训练算法降低重构误差。两条曲线的收敛情况表明，该模型容易收敛，训练曲线收敛平滑，表明了模型能够找到收敛的方向，适用于联合损失的优化。
[0063] 6、本发明经过重构的信噪比明显高于原始数据的信噪比，表明了模型对高信噪比的数据的提升效果明显，随着原始信号的信噪比不断增加，模型的提升效果越强。
[0065] 图1是本发明基于深度去噪神经网络的空间调制系统的结构示意图；
[0066] 图2是本发明深度去噪自编码器模型的网络结构框图；
[0067] 图3是本发明基于深度去噪自编码器模型的交叉熵损失函数收敛情况示意图；
[0068] 图4是本发明基于深度去噪自编码器模型重构的数据的信噪比(SNR)与未经重构的信噪比(SNR)情况对比示意图；
[0069] 图5是本发明基于深度去噪神经网络的空间调制系统中不同检测方案的误符号率性能对比图。
具体实施方式
[0071] 实施例
[0072] 一种基于深度去噪神经网络的空间调制系统的工作方法，如图1所示，空间调制系统包括发射机、Nt根发射天线、Nr根接收天线、接收机、构建的深度去噪自编码器模型；Nt＝8，Nr＝4，发射机使用的调制符号集合为 调制阶数为M；该系统空间域信息的传输仍是基于天线切换原理。根据空间调制的映射规则，包括步骤如下：
[0073] (1)发射机将比特信息进行映射，经过串并转换的比特信息映射为相应的信号向量x，x＝ei·s， 是第i个元素为1、其余元素为0的单位向量，调制符号表示Nt×1维的实数矩阵构成的集合；
[0074] (2)信号向量x激活第i根发射天线后发送调制符号s，经过衰落信道后， 表示Nt×Nr维的复数矩阵构成的集合；接收机得到接收信号y， ρ是接收端的平均信噪比(SNR)，x是信号向量，H是信道矩阵， 是高斯白噪声信道，服从分布 是高斯分布，σn2是噪声方差，σn是噪声标准差；
[0075] (3)构建深度去噪自编码器模型：
[0076] 深度去噪自编码器模型，如图2所示，包括依次连接的编码器(由三层的前馈神经网络构成)、解码器(由三层的前馈神经网络构成)、一个三层的前馈神经网络分类器；编码器的输出作为解码器的输入，解码器输出重构的发射信号，重构的发射信号作为三层的前馈神经网络分类器的输入，三层的前馈神经网络分类器中使用softmax分类函数为最后一层，作为三层的前馈神经网络分类器的输出层；
[0077] 自编码器作为一种无监督机器学习算法，是一种数据压缩算法，主要由编码器和解码器两部分组成，其中编码器主要是得出输入的另一种表示，解码器主要是把输入的另一种表示通过解码输入到原始的输入空间中，自编码器主要根据原始输入之间误差和重构结果来训练神经网络。自编码器也是神经网络的一种，包括输出层、隐含层和输入层，每层都由多个神经元构成，自编码器可以通过增加其隐含层的数量，形成深度自编码器。本模型中，信号向量x，经过信道传输后，接收信号y为发射信号经过信道衰落和噪声干扰的信号Hx+n。自编码器的作用就是学习映射 Hx+n→Hx，能够尽可能的重构未经噪声污染的发射信号。另外一方面，信号向量x由单位向量ei和发射符号s乘积得到，为了能够同时识别发射符号s和ei，模型对x使用one-hot编码构建其对应的标签q，三层的前馈神经网络分类器用于学习另一个映射 Hx→q，该分类器的作用是最小化网络输出的分布和真实标签分布的交叉熵，通过设计的损失函数，使得网络输出对应的标签。在神经网络后面添加softmax函数，真实的标签(或者是类别)就相当于真实的分布，经过softmax得出的值就是预测估计的结果。softmax函数作为最后一层可以将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量，其中向量中的每个元素取值都介于(0，1)之间，将多个输出映射成为(0，1)区间内的值，而这些值的累和为1(满足概率的性质)，可以理解为概率，在最后选取输出结点的时候，选取概率最大(也就是值对应最大的)结点作为预测的目标。
[0078] 包括步骤如下：
[0079] A、数据预处理
[0080] 由于深度学习模型的建立以及优化都是在实数域上进行的，因此需要将系统模型中的复数域转化至实数域。空间调制系统中存在复数相乘的运算，因此，对复信号进行分解。对接收信号y进行分解，如式(Ⅰ)所示：
[0081]
[0082] 式(Ⅰ)中，Re(·)表示各个元素的实部组成的矩阵，Im(·)表示各个元素的虚部组成的矩阵，H是信道矩阵，n是高斯白噪声信道；
[0083] B、将步骤A预处理后的数据训练深度去噪自编码器模型，对发射信号进行重构，计算最小化重构的信号节点与噪声干扰的信号节点的欧氏距离F1，公式如式(Ⅱ)所示：
[0084]
[0085] 式(Ⅱ)中，d表示编码器的输出层的层数，ad表示解码器的输出，w表示权重矩阵；式(Ⅱ)表明了深度去噪自编码器模型的目标之一是降低重构误差，深度去噪自编码器模型的输入是经过信道传输后，带有噪声的接收信号，解码器的期望输出是没有噪声的信号向量。通过度量期望输出与解码器输出的欧几里得距离，模型在训练过程中能够比较稳定地收敛到最小值。深度去噪自编码器模型对发射向量使用one-hot编码构建了标签q，通过最小化标签与分类器真实输出的距离来训练模型。
[0086] C、对步骤B重构的发射信号进行分类，采用交叉熵损失函数来度量输出层的估计输出和标签q的距离即相似程度F2，交叉熵损失函数如式(Ⅲ)所示：
[0087]
[0088] 式(Ⅲ)中，batch是指每次送入深度去噪自编码器模型训练的部分数据样本，qi是指输出层第i个样本的预测输出，α是指超参数，表示控制重构的程度；交叉熵损失函数衡量了在真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小；
[0089] 图4是本发明基于深度去噪自编码器模型重构的数据的信噪比(SNR)与未经重构的信噪比(SNR)情况对比示意图；图4中，横坐标和纵坐标均为信噪比(SNR)，为了区分纵坐标标记为分贝(dB)。
[0090] 图4说明了经过重构的信号的信噪比明显高于原始数据的信噪比，并且随着信号的信噪比不断增加，对高信噪比的数据的提升效果明显。对于低信噪比的数据去噪能力有限，主要是由于低信噪比数据中有大量的噪声。
[0091] 采用交叉熵损失函数来度量输出层的估计输出和标签q的距离即相似程度F2，即由于网络结构较深，而且每一层的激活函数的导数小于等于1，在反向传播过程中，容易造成梯度接近于0的现象，而交叉熵损失函数的梯度中并不包含激活函数的导数这一项，此外交叉熵损失函数值非负，当真实输出接近于期望输出时，损失函数接近于0，加快收敛速度和收敛的稳定性，最终得到的损失函数为式(Ⅱ)和两部分的组合，即
[0092] 图3是本发明基于深度去噪自编码器模型的交叉熵损失函数收敛情况示意图；图3中，横坐标iter是指迭代次数，纵坐标loss为损失函数值。
[0093] 图3说明了由于联合损失是分类损失和重构损失的和，因此联合损失曲线高于重构损失曲线；本发明在大约迭代200次时即将收敛，经过500次迭代的训练后完全收敛。两条曲线的收敛情况表明，该模型容易收敛，训练曲线收敛平滑。
[0094] D、利用反向传播算法交叉熵损失函数进行优化，加入dropout机制对深度去噪自编码器模型进行训练；
[0095] 隐含层的神经元个数以此设置为24,48。实验环境基于Tensorflow框架，训练数据是使用服从均值为0方差为1的高斯分布的随机数随机生成，总共训练数据有640000条，测试数据为640000条。模型的学习率设置为0.001，权重衰减设置为0.0005。
[0096] 首先，在前向传播阶段，dropout机制训练深度去噪自编码器模型，根据概率p设置，将三层的前馈神经网络分类器中隐含层的某些神经元失活，输入层和输出层的神经元保持不变；
[0097] 然后，将随机抽取一个每次送入深度去噪自编码器模型训练的部分数据样本batch输入到删除神经元的深度去噪自编码器模型进行前向传播，计算出对应的损失函数值，将得到的损失函数值根据反向传播计算未删除神经元的输入层和输出层的梯度，没有被删除的神经元上按照随机梯度下降法更新对应的参数，包括权重和偏置；
[0098] 最后，对所有的样本重复以下过程①至③，直至所述深度去噪自编码器模型收敛：
[0099] ①恢复被删除的神经元；(此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新)；
[0100] ②从隐含层中随机选择一半大小的子集临时删除掉；
[0101] ③对一批训练样本，先前向传播然后反向传播，计算损失结果并根据随机梯度下降法更新参数；(没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果)；
[0102] 由于模型参数较多，为了降低过拟合现象和梯度消失现象，所述深度去噪自编码器模型在训练过程中加入dropout机制训练模型，使每个神经网络一般会得到不同的结果，最终结果是这多个不同神经网络决定的，这种“综合起来取平均”的策略通常可以有效防止过拟合问题，因为不同的网络可能产生不同的过拟合，取平均还有可能让一些极端的网络模型互相抵消。另外dropout训练机制导致神经元不一定每次都在同一个dropout网络中出现，迫使网络去学习更加鲁棒的特征，这些特征能够使网络对丢失特定神经元连接的鲁棒性提高。
[0103] (4)利用步骤(3)构建的深度去噪自编码器模型，利用仿真实验的形式，实现对搜索到的信号进行判断，最终通过对应的检测技术恢复出发射比特。
[0104] 针对空间调制系统中不同信噪比(SNR)情况下去噪情况、收敛趋势以及与不同的检测方案(MRC、ML)进行对比情况，对深度去噪神经网络方案的去噪能力以及误符号率性能进行测试分析。如图5所示，不同方案对比时调制方式为QPSK，传输速率为5bit/s/Hz；ML、MRC检测方案的误符号率是由3×104次蒙特卡洛仿真得到，收敛情况分析时发射信号的信噪比为5dB，得出仿真数据对比分析。图5说明了不同检测方案的误符号性能对比(误符号率越小，性能越好)，本发明的方案性能远好于最大比合并检测(MRC)方案，与最大似然检测(ML)方案相比复杂度较低，检测效率较高。
[0105] 深度去噪自编码器模型的输出层，使用softmax分类函数对前一层的输出进行激活，softmax分类函数如式(Ⅳ)所示：
[0106]
[0107] 式(Ⅳ)中， 表示输出层第k个训练样本的第j个神经元的输出，x表示输出层的输入，wj表示输出层的权值矩阵的第j行，wi表示输出层的权值矩阵的第i行，C表示样本的个数。
[0108] 在softmax函数的激活下，输出层的输出样本属于每一个标签的概率分布，每一个神经元的输出是样本属于当前类别的概率。但softmax分类器的每一个类别概率都不会为1，正确的类别的概率总是不停地提高，错误的类别的概率相应的会降低，但永远不会达到理想值，因此，基于softmax函数的分类器的分类损失会一直更小。当输出类别是互斥的情况下，基于softmax函数的分类器总能达到理想的分类效果。
[0109] 利用反向传播算法来优化交叉熵函数，对于该联合损失形式的损失函数，通过使用损失拆分的形式优化模型参数，该交叉熵函数反向传播的梯度如式(Ⅴ)所示：
[0110]
[0111] 式(Ⅴ)中， 表示第k个样本的softmax函数的第i维的输入，F2表示映射 Hx→q，q为标签， 表示输出层第k个样本的第i个神经元的真实输出、 表示输出层第k个样本的第i个神经元的预测输出。
[0112] 对于损失函数的重构误差损失，该项损失函数直接作用与解码器的输出层，其梯度反向作用于解码器的输出层及其前面的所有层。因此，可以按照标准反向传播算法来传播梯度。其次，对于损失函数的分类误差损失，该损失函数直接作用于分类器的输出，损失梯度可以反向传播至整个模型。对于分类误差损失来说，由于输出层使用的softmax激活函数，分类误差对于输出层的梯度可由链式法则得到，如 所示，其中 表示第k个样本的softmax函数的第i维的输入， 的计算公式可以表示为：当i≠j时， 当i＝j时，
由于每一个标签向量中，只有一个元素为1，其他元素为0，因此，经过整合化简，该损失函数反向传播的梯度如 所示。
由于每一个标签向量中，只有一个元素为1，其他元素为0，因此，经过整合化简，该损失函数反向传播的梯度如 所示。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 基于ELM神经网络的动态手势学习与识别方法 | 2020-05-13 | 432 |
| 一种基于神经网络计算的多目标直接定位方法 | 2020-05-15 | 993 |
| 一种基于虚拟号牌的无牌车辆识别方法 | 2020-05-12 | 837 |
| 一种处理汽车气动系统数据的方法 | 2020-05-11 | 351 |
| 意图识别方法、装置、电子设备及可读存储介质 | 2020-05-14 | 139 |
| 一种基于深度学习的多行为迁移推荐方法 | 2020-05-14 | 727 |
| 搜索方法、装置及设备 | 2020-05-15 | 301 |
| 一种非线性动态质量系统预测方法 | 2020-05-11 | 274 |
| 一种对话系统中的句子多样性生成方法及系统 | 2020-05-16 | 774 |
| 文本处理模型的运行方法、装置、电子设备、及存储介质 | 2020-05-14 | 95 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
前馈神经网络热门专利
QQ群二维码
意见反馈
意见反馈