首页 / 专利库 / 信号处理 / 稀疏变换 / 小波变换 / 离散小波变换 / 一种基于时空特征加权卷积神经网络的脑电信号识别方法

一种基于时空特征加权卷积神经网络的脑电信号识别方法

阅读:187发布:2020-05-13

专利汇可以提供一种基于时空特征加权卷积神经网络的脑电信号识别方法专利检索,专利查询,专利分析的服务。并且本 发明 请求 保护一种基于 时空 特征加权 卷积神经网络 的脑电 信号 识别方法。包括步骤:先使用离散 小波变换 对运动想象脑 电信号 进行去噪。接着设计了一种时空特征加权卷积神经网络对处理后的脑电信号进行特征提取。第一层的卷积操作在运动想象脑电信号的时间尺度上进行,第二层的卷积操作在通道尺度上进行,这样提取的特征包含了运动想象脑电信号的时空特性;由于提取到的每个特征的重要程度不一样,所以在网络中加入了特征加权的模 块 ,以使得重要的特征突出化,不重要的特征弱化。由该模型提取到的特征能够更加有效地反映各类运动想象脑电信号的特性,能够提高运动想象脑电信号的识别准确率。,下面是一种基于时空特征加权卷积神经网络的脑电信号识别方法专利的具体信息内容。

1.一种基于时空特征加权卷积神经网络的脑电信号识别方法,其特征在于,包括以下步骤:
步骤1:收集脑电信号数据集,人工标记类别,并将数据集分为训练集和测试集;
步骤2:获取脑电信号并对脑电信号进行去均值和归一化在内的预处理操作;
步骤3:对预处理后的脑电信号使用离散小波变换进行去噪;
步骤4:构建时空特征加权卷积神经网络,对卷积神经网络的结构进行了改进,使用了一种时空特征提取模来提取脑电信号中的时空特征,即:先只在时间尺度进行卷积操作提取特征,接着再在通道尺度进行卷积操作提取特征。并加入了特征加权模块,以使重要特征突出,不重要特征弱化;
步骤5:使用训练集脑电数据训练时空特征加权卷积神经网络;
步骤6:使用测试集脑电数据测试时空特征加权卷积神经网络的性能。
2.根据权利要求1所述的基于时空特征加权卷积神经网络的脑电信号识别方法,其特征在于,所述步骤1具体包括:采用Emotiv脑电采集仪收集左手运动想象脑电信号和右手运动想象脑电信号,采样频率是128Hz。接着按照4:1的比例将数据集分为训练集和测试集,其中训练集用来训练运动想象脑电信号分类的模型,测试集用来测试模型分类的效果。
3.根据权利要求2所述的基于时空特征加权卷积神经网络的脑电信号识别方法,其特征在于,所述步骤2预处理步骤包括:
去均值:首先只保留处于运动感知部位的F3、F4、FC5、FC6、T7、T8通道的脑电信号,并且去除掉明显的异常值,接着从每个样本中减去平均振幅,形成零均值信号;
归一化:并且将每个脑电数据都归一化到[0,1]之间,最后把脑电信号构建成6×128的格式。
4.根据权利要求3所述的基于时空特征加权卷积神经网络的脑电信号识别方法,其特征在于,所述步骤3使用离散小波变换去除脑电信号中的噪音干扰,选用Daubechies小波基函数对脑电信号进行分解,通过分解后脑电信号可表示为:
S=CAj+CDj+…+CD2+CD1
其中CAj为信号的低频部分,CDj为信号的高频部分,接着从得到的各分量中选择主要包含与运动想象脑电信号相关的8-30Hz的分量,最后利用选出的分量重构脑电信号,从而达到滤除无用信息的目的。
5.根据权利要求4所述的基于时空特征加权卷积神经网络的脑电信号识别方法,其特征在于,所述步骤4构建时空特征加权卷积神经网络,对卷积神经网络的结构进行了改进,使用了一种时空特征提取模块来提取脑电信号中的时空特征,即:先只在时间尺度进行卷积操作提取特征,接着再在通道尺度进行卷积操作提取特征。并加入了特征加权模块,以使重要特征突出,不重要特征弱化;具体为:
依次包括第一卷积层、第二卷积层、第一池化层,第三卷积层,通过全局平均池化和两个全连接层实现的特征加权模块,第二池化层,第三全连接层,最后softmax;第一卷积层采用1×15大小的卷积核,padding方式是SAME,以获得16张特征图,该卷积操作只在脑电信号的时间尺度上进行卷积,卷积操作的公式为:
式中: 表示第d个卷积层中的第j个特征图, 为第d层的第j个特征与第d-1层的第i个特征的连接权值,*表示卷积运算,Mj是输入特征的集合,b为偏置值,f(·)为激活函数;
第二卷积层采用6×1大小的卷积核,padding方式是VALLD,以获得16张特征图,该卷积操作只在脑电信号的通道尺度上进行卷积;第一卷积层、第二卷积层采用的激活函数都是Leaky ReLU激活函数,其公式为:
其中,ai是(1,+∞)区间内的固定参数;最后将得到的特征图经过了一个最大池化操作,减少特征图的信息;以上的两个卷积操作分别在时间尺度和通道尺度上进行了卷积操作,所以称为时空特征提取模块;
接着,第三卷积层通过1×10的卷积核,得到32张特征图,并在之后连接了对特征图通道加权的模块;具体操作为:先采用全局平均池化对每一张特征图进行挤压操作,接着使用两个全连接层来构建通道间的相关性,并把得到的各个通道的之间的权重加权到每个通道的特征上。然后在其后连接了一个最大池化层,以减少网络的参数。在第一全连接层采用的激活函数是Leaky ReLU,第二全连接层的激活函数是Sigmoid。通过这样的操作过后,使得网络能够自动地学习到各个特征图的重要性,并为其分配一定的权重,使得重要的特征图突出,不重要的特征图弱化;
接着再连接了第三全连接层,把特征图转换为一个一维的向量,并且输入到Softmax分类器中进行分类。
6.根据权利要求5所述的基于时空特征加权卷积神经网络的脑电信号识别方法,其特征在于,所述步骤5使用训练集脑电数据训练时空特征加权卷积神经网络,具体为:把训练集数据输入时空特征加权卷积神经网络中,网络会自动地学习提取到有效的特征的参数,并且把参数保存下来,以便于后续的使用,采用的训练算法是随机梯度下降算法,,采用的loss函数是交叉熵函数,其公式为:
式中,p表示期望值,q表示预测值。

说明书全文

一种基于时空特征加权卷积神经网络的脑电信号识别方法

技术领域

[0001] 本发明属于脑电信号识别方法,尤其涉及一种基于时空特征加权卷积神经网络的脑电信号识别方法。

背景技术

[0002] 脑机接口(BCI)是一种把直接从大脑皮层记录的信息转换成计算机控制命令,并用来控制轮椅、机械手臂等外部设备的技术。在BCI系统中,脑电信号的特征提取是其重要的部分之一。运动想象脑电信号由于采集方便,并且采集时不会对人体造成伤害,因此被广泛地应用到了BCI系统中。但是由于运动想象脑电信号具有高维度、非线性以及非平稳性等特点,所以对其建模是一项十分具有挑战的工作。
[0003] 目前常用的运动想象脑电信号特征提取方法有:共同空间模式(CSP)、经验模式分解(EMD)、小波变换等。CSP算法的主要原理是利用矩阵的对化,找一组最优的空间滤波器对脑电信号进行投影,使得两类脑电信号的方差差距最大,从而有利于脑电信号的分解。EMD算法则是把脑电信号分解为多个共有模态分量(IMF)和一个剩余分量,通过选择有效的IMF来重构脑电信号,从而达到滤除脑电信号中的噪音的目的。小波变换是一种典型的时频分析方法,其先通过选定好的小波基函数来分解脑电信号,得到原始脑电信号的一系列分量,再选择包含有效信息的分量重构脑电信号。这些传统方法在一定程度上提高了提取特征的有效性,但是因为特征通常是由研究者凭借经验选取,这带来了脑电信号的分类准确率因设计的特征不同而有差异,脑电信号中的有效信息利用不完全等问题。
[0004] 近几年来,随着深度学习的发展,一些能够自动提取特征的深度学习方法也被用于运动想象脑电信号的识别。卷积神经网络(CNN)便是其中的一种典型代表,但是采用常规的CNN提取的特征不能够充分有效的利用脑电信号中的有效信息。
[0005] 针对以上问题,本发明提出了一种基于时空特征加权卷积神经网络的脑电信号识别方法。此外,由于脑电信号采集后通常包含有噪音,所以采用离散小波变换对脑电信号进行了去噪。

发明内容

[0006] 本发明旨在解决以上现有技术的问题。提出了一种包含时空特征提取模和特征加权模块的基于时空特征加权卷积神经网络的脑电信号识别方法。本发明的技术方案如下:
[0007] 一种基于时空特征加权卷积神经网络的脑电信号识别方法,其包括以下步骤:
[0008] 步骤1:收集脑电信号数据集,人工标记类别,并将数据集分为训练集和测试集;
[0009] 步骤2:获取脑电信号并对脑电信号进行去均值和归一化在内的预处理操作;
[0010] 步骤3:对预处理后的脑电信号使用离散小波变换进行去噪;
[0011] 步骤4:构建时空特征加权卷积神经网络,对卷积神经网络的结构进行了改进,使用了一种时空特征提取模块来提取脑电信号中的时空特征,即:先只在时间尺度进行卷积操作提取特征,接着再在通道尺度进行卷积操作提取特征。并加入了特征加权模块,以使重要特征突出,不重要特征弱化;
[0012] 步骤5:使用训练集脑电数据训练时空特征加权卷积神经网络;
[0013] 步骤6:使用测试集脑电数据测试时空特征加权卷积神经网络的性能。
[0014] 进一步的,所述步骤1具体包括:采用Emotiv脑电采集仪收集左手运动想象脑电信号和右手运动想象脑电信号,采样频率是128Hz。接着按照4:1的比例将数据集分为训练集和测试集,其中训练集用来训练运动想象脑电信号分类的模型,测试集用来测试模型分类的效果。
[0015] 进一步的,所述步骤2预处理步骤包括:首先只保留处于运动感知部位的F3、F4、FC5、FC6、T7、T8通道的脑电信号,并且去除掉明显的异常值,接着从每个样本中减去平均振幅,形成零均值信号,并且将每个脑电数据都归一化到[0,1]之间,最后把脑电信号构建成6×128的格式。
[0016] 进一步的,所述步骤3使用离散小波变换去除脑电信号中的噪音干扰具体包括:选用Daubechies小波基函数对脑电信号进行分解,通过分解后脑电信号可表示为:
[0017] S=CAj+CDj+…+CD2+CD1
[0018] 其中CAj为信号的低频部分,CDj为信号的高频部分。接着从得到的各分量中选择主要包含与运动想象脑电信号相关的8-30Hz的分量,最后利用选出的分量重构脑电信号,从而达到滤除无用信息的目的。
[0019] 进一步的,所述步骤4构建时空特征加权卷积神经网络,对卷积神经网络的结构进行了改进,使用了一种时空特征提取模块来提取脑电信号中的时空特征,即:先只在时间尺度进行卷积操作提取特征,接着再在通道尺度进行卷积操作提取特征。并加入了特征加权模块,以使重要特征突出,不重要特征弱化;具体为:
[0020] 结构如图2,依次包括第一卷积层、第二卷积层、第一池化层,第三卷积层,通过全局平均池化和两个全连接层实现的特征加权模块,第二池化层,第三全连接层,最后softmax第一卷积层采用1×15大小的卷积核,padding方式是SAME,以获得16张特征图,该卷积操作只在脑电信号的时间尺度上进行卷积,卷积操作的公式为:
[0021]
[0022] 式中: 表示第d个卷积层中的第j个特征图, 为第d层的第j个特征与第d-1层的第i个特征的连接权值,*表示卷积运算,Mj是输入特征的集合,b为偏置值,f(·)为激活函数;
[0023] 第二卷积层采用6×1大小的卷积核,padding方式是VALLD,以获得16张特征图,该卷积操作只在脑电信号的通道尺度上进行卷积;第一卷积层、第二卷积层采用的激活函数都是Leaky ReLU激活函数,其公式为:
[0024]
[0025] 其中,ai是(1,+∞)区间内的固定参数;最后将得到的特征图经过了一个最大池化操作,减少特征图的信息;以上的两个卷积操作分别在时间尺度和通道尺度上进行了卷积操作,所以称为时空特征提取模块;
[0026] 接着,第三卷积层通过1×10的卷积核,得到32张特征图,在网络中加入了对特征图通道加权的模块;具体操作为:先采用全局平均池化对每一张特征图进行挤压操作,接着使用两个全连接层来构建通道间的相关性,并把得到的各个通道的之间的权重加权到每个通道的特征上。然后在其后连接了一个最大池化层,以减少网络的参数。在第一全连接层采用的激活函数是Leaky ReLU,第二全连接层的激活函数是Sigmoid。通过这样的操作过后,使得网络能够自动地学习到各个特征图的重要性,并为其分配一定的权重,使得重要的特征图突出,不重要的特征图弱化;
[0027] 接着再连接了第三全连接层,把特征图转换为一个一维的向量,并且输入到Softmax分类器中进行分类。
[0028] 进一步的,所述步骤5使用训练集脑电数据训练时空特征加权卷积神经网络,具体为:将训练集数据输入时空特征加权卷积神经网络中,网络会自动地学习提取到有效的特征的参数,并且把参数保存下来,以便于测试时使用。此外,在该网络中,采用的训练方式是随机梯度下降算法(SGD),采用的loss函数是交叉熵函数。
[0029] 本发明的优点及有益效果如下:
[0030] 由于脑电信号的非线性和非平稳特性,使得常规的卷积神经网络对其特征的提取不够充分,本发明对卷积神经网络的结构进行了改进,根据脑电信号时间和通道两个尺度信息,使用了一种时空特征提取模块来提取脑电信号中的时空特征,即:先只在时间尺度进行卷积操作提取特征,接着再在通道尺度进行卷积操作提取特征,通过这样的方式可以使得从脑电信号中提取到的特征,更加有效地表达各类脑电信号的特点。接着考虑到特取的特征中,每个特征对最后的分类结果的重要程度是不同的,所以采用了特征加权模块来对提取到的特征加权,使得重要的特征突出,不重要的特征弱化。
[0031] 通过以上两个主要部分,构成了本发明提出的时空特征加权卷积神经网络的主要结构。该模型能够更加适应脑电信号的特点,从而提取到更加有效的特征,使得脑电信号分类的准确率得到提升。附图说明
[0032] 图1是本发明提供优选实施例基于时空特征加权卷积神经网络的脑电信号识别的流程图
[0033] 图2是时空特征加权卷积神经网络结构图。

具体实施方式

[0034] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0035] 本发明解决上述技术问题的技术方案是:
[0036] 本实施例提供的一种基于时空特征加权卷积神经网络的脑电信号的识别方法,包括以下步骤:
[0037] 步骤1:采用Emotiv脑电采集仪收集左手运动想象脑电信号和右手运动想象脑电信号,采样的频率是128Hz。接着按照4:1的比例将数据集分为训练集和测试集,其中训练集用来训练运动想象脑电信号分类的模型,测试集用来测试模型分类的效果。
[0038] 步骤2:由于在采集脑电信号时,通常因为受试者会被环境中的噪音所干扰,为了去除掉部分的噪音,本发明做了以下的预处理,首先只保留处于运动感知部位的F3、F4、FC5、FC6、T7、T8通道的脑电信号进行以下的分析,并且去除掉明显的异常值,接着从每个样本中减去平均振幅,形成零均值信号,以便于分析,并且将每个脑电数据都归一化到[0,1]之间,最后把脑电信号构建成6×128的格式。
[0039] 步骤3:使用离散小波变换去除脑电信号中的噪音干扰,选用Daubechies小波基函数对脑电信号进行分解,通过分解后脑电信号可表示为:
[0040] S=CAj+CDj+…+CD2+CD1                   (1)
[0041] 其中CAj为信号的低频部分,CDj为信号的高频部分。
[0042] 接着从得到的各分量中选择主要包含与运动想象脑电信号相关的8-30Hz的分量,最后利用选出的分量重构脑电信号,从而达到滤除无用信息的目的。经过这样的步骤过后,脑电信号中包含的有效信息得到了突出,从而可使最终的识别准确率得到提高。
[0043] 步骤4:构建时空特征加权卷积神经网络,其结构如图2所示,第一层只在时间尺度上进行卷积操作,采用的卷积核大小为1×15,步长都为1,padding方式是SAME,设置提取16张特征图,因此卷积操作的公式为:
[0044]
[0045] 式中: 表示第d个卷积层中的第j个特征图, 为第d层的第j个特征与第d-1层的第i个特征的连接权值,*表示卷积运算,Mj是输入特征的集合,b为偏置值,f(·)为激活函数。并且该层中激活函数是Leaky ReLU,其公式为:
[0046]
[0047] 其中,ai是(1,+∞)区间内的固定参数。第二层只在通道尺度上进行卷积操作,采用的卷积核大小为6×1,步长都为1,padding方式是VALLD,激活函数是Leaky ReLU,提取16张特征图,通过该步骤后,使得通道的信息被充分的提取。接着连接了第一个1×2的最大池化层,其池化的步长也为1×2,padding方式是SAME,通过这样的步骤减少了特征图的参数,并保留了重要的信息。通过以上的时空特征提取模块后,脑电信号的格式变为了1×64×16。
[0048] 接着使用了第三个卷积层进一步提取脑电信号深层的特征,采用的卷积核大小为1×10,步长都为1,padding方式是SAME,激活函数是Leaky ReLU,设置提取32张特征图。由于考虑到每张特征图对后面的分类的作用是不同的,因此采用了加权的方式来使重要的特征图突出,不重要的特征图弱化。使用以下的结构来对特征图进行加权,具体方式为:先使用全局平均池化对每张特征图进行挤压操作,得到格式为32×1×1的数据,接着使用了两个全连接层来自动的学习应该赋予每个特征图的权重应是多少,其中第一个全连接层采用的激活函数是Leaky ReLU,其得到格式为 的数据,第二次全连接层采用的激活函数是Sigmoid,其得到格式为32×1×1的数据,该数据就是网络学习得到的每个特征图的权重。最后把得到的权重和特征图相乘,从而得到加权过后的特征图。最后连接了一个1×2的最大池化层,其池化的步长也为1×2,padding方式是SAME。
[0049] 在网络的最后连接了一个有300个神经元的全连接层,通过这个操作,把高维的特征图转化为了一维的特征向量,并且在该全连接层中加入了dropout操作,以防止网络的过拟合现象,其值设置为0.5。最后把特征向量输入了Softmax分类器进行分类。
[0050] 步骤5:使用训练集脑电数据训练时空加权卷积神经网络,在该模型中,模型采用的训练方式是随机梯度下降算法(SGD),并且交叉熵函数被采用作为loss函数,其公式为[0051]
[0052] 式中,p表示期望值,q表示预测值。使用的学习率为1×10-4,并且根据经验把dropout的值设置为0.5,在训练好模型后,保存好模型的参数。
[0053] 步骤6:使用测试集脑电数据测试时空加权卷积神经网络的分类性能,先用其提取有效的特征,然后把该特征输入Softmax分类器中进行分类置信度概率的计算,从而达到对脑电信号分类的目的。
[0054] 以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后,技术人员可以对本发明作各种改动或修改,这些等效变化和修饰同样落入本发明权利要求所限定的范围。
高效检索全球专利

专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台,是提供专利分析,专利查询,专利检索等数据服务功能的知识产权数据服务商。

我们的产品包含105个国家的1.26亿组数据,免费查、免费专利分析。

申请试用

分析报告

专利汇分析报告产品可以对行业情报数据进行梳理分析,涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度,系统通过AI智能系统对图表进行解读,只需1分钟,一键生成行业专利分析报告。

申请试用

QQ群二维码
意见反馈