技术领域
[0001] 本
发明涉及
脑机接口、
人工智能与
模式识别的
算法，更具体地，涉及基于EMD数据增强的卷积神经模型的SSVEP脑电分类方法，可应用于医疗器械、
人机交互、
机器人控制等领域。
背景技术
[0002] 近年来，随着计算机科学和人工智能技术的发展，
脑机接口技术(BCI)作为一种新的人机交互方式，在康复科学和控制领域具有重要的应用价值。BCI利用脑电
信号实现人脑与计算机或其他
电子设备的通讯或控制，因此它可以帮助肢体残疾的患者，使其在一定程度上修复与外界的信息交流能
力。稳态视觉
诱发电位是目前发展较为成熟的BCI范式，国内外许多研究者基于这两种范式的模式分类展开了深入的研究。
[0003] 目前，针对SSVEP脑电数据的分类处理方法，主要还是采用典型相关分析方法(Canonical Correlation Analysis)进行特征提取，然后通过传统的分类器(KNN、SVM等)进行分类。近年来不少研究者都是在这种传统方法的
基础上进行改进，G Zhou研究小组采用多路典型相关分析(Multiway CCA)算法分类SSVEP信号数据，平均分类准确率可达80％以上；Yu Zhang与其同事研究使用MsetCCA(Multiset Canonical Correlation Analysis)算法分类SSVEP信号，分类正确率和分类时间在CCA的基础上有明显改善。
[0004] Deep Learning(DL)算法是通过建立模拟人脑进行
分析学习的神经网络，它模拟人脑的处理机制来分析处理数据，利用梯度下降和误差反向传播的算法来计算网络参数训练模型。该方法现阶段主要应用于手写识别体的辨别、
语音识别以及自然语言语言处理等方面的研究。
[0005] 近几年伴随着
深度学习方法的广泛应用，部分研究小组开始应用神经网络的方法进行脑电数据的分类，Tabar研究小组使用
卷积神经网络(CNN)分类运动想象脑电数据，相较于传统的特征提取和分类器，大大提高了BCI系统在信号识别的性能。但是网络的输入是由脑
电信号生成的几个通道的灰度图，缺少时频域信息；而且深度学习方法需要大量的数据训练，而长期的采集又会引起使用者的疲劳，尤其是对于注视
频率闪烁诱发的SSVEP范式脑电采集，因此在系统的易用性上还存在着明显不足，这意味着需要采用数据增强的算法来解决少量脑电数据无法有效训练网络的问题。相对于图像的数据增强方法，脑电的数据增强的方式相关研究较少，而且大部分研究没有充分考虑脑电信号非线性和非平稳的特点。Paris研究组使用稳态方法——高斯噪声作为基于FFT系统的输入生成人造EEG数据，但是这种方法明显缺少正常脑电信号的时域特点；此外，在一些研究中人造的脑电信号由混合不同时域EEG信号的不同部分进行数据增强，但是这类方法没有考虑脑电信号的
频域特征。经验模式分解(EMD)是一种数据驱动的分析方法，可以用于短期时间内有频域改变的非线性和非平稳
信号处理。而且目前，许多研究者研究基于EMD的脑电数据增强方式，但是这些研究只用于脑电数据
线性分类器的分类研究，而且脑电数据增强的方式只是替换，而非生成新的数据用于扩大原始训练集。
发明内容
[0006] 针对
现有技术存在的不足之处，本发明提出了基于EMD数据增强的卷积神经模型的SSVEP脑电分类方法，该方法解决了基于Deep Learning分类算法中存在的重要问题——需要大量数据训练。该方法首先采用经验模式分解方法分解原始SSVEP脑电信号数据，混合生成大量符合原始脑电信号时频域特点的人造脑电数据训练网络，达到了少量数据有效训练网络参数的效果，最后优化网络结构和输入，使用卷积神经网络模型对数据增强后的脑电训练集进行分类。
[0007] 为实现上述目的，本发明采用如下技术方案：
[0008] 基于EMD数据增强的卷积神经模型的SSVEP脑电分类方法，包括以下步骤，
[0009] 采集SSVEP脑电数据，针对采集到的时序脑电信号，采用EMD方法生成人造数据进行数据增强用于神经网络参数训练，构建卷积神经网络模型提取SSVEP数据的特征来判别它们的分类。对于原始脑电数据进行预处理，首先对其去掉
直流分量，然后对于SSVEP脑电数据通过
带通滤波提取特定频带的脑电数据。
[0010] 利用EMD方法将原始SSVEP脑电数据分解为多个集合时频域信息的本征模式函数(IMF)，原始SSVEP数据每个脑电信号采集通道分解的结果遵循如下公式：
[0011]
[0012] 式中，IMF为分解得到的本征模式函数(一般每组数据各通道得到的IMF小于12个)，满足两个条件：函数在整个时间范围内，局部极值点和过零点的数目必须相等，或最多相差一个；在任意时刻点，局部最大值的包络和局部最小值的包络平均必须为零。
[0013] 通过随机提取并混合不同序列的IMF生成大量的人造SSVEP数据用以训练网络。
[0014] 生成单个人造数据的流程为：
[0015] (1)随机地在原始数据中选择部分数据(每类选中数据的数目相同)作为贡献其IMF生成人造数据的脑电数据，被选择的数据根据它们的所属分类分开。
[0016] (2)在某类被选择数据中随机地选择N组数据，对N组数据进行经验模式分解，每组数据分解成多个IMF，第一组数据的每个通道的信号贡献它所有的第一个IMF，直到第N组数据的每个通道的信号贡献它所有第N个IMF。
[0017] (3)将各通道的N个IMF相加在一起，即为创造的一个脑电数据。这里，如果分解的IMF小于设定的N，补充零值得IMF相加。
[0018] 本发明所提出的深度卷积神经网络模型，首先采用复Morlet
小波变换生成带通参数(1Hz)的脑电张量，将原始的时域数据转换为集合时域、频域和空间信息的张量作为神经网络的输入。
[0019] 区别于现有技术，上述技术方案具有如下有益效果：本发明采用数据增强的方法生成人造脑电数据用于训练网络参数，减少被试的疲劳，增加BCI系统的易用性；优化卷积神经网络模型和输入，针对时序脑电信号的非线性非平稳特点，明显地改善了网络对于时序脑电信号的分类效果。本发明使用经验模式分解方法生成新的人造SSVEP脑电数据，解决了深度学习方法需要大量数据训练网络以及长期采集脑电信号给被试带来的疲劳问题和信号漂移问题，同时优化卷积神经网络的模型和输入，使该算法能够高效应用于SSVEP范式的数据增强和脑电信号分类，具有很好的分类效果和极高的应用前景。
附图说明
[0020] 图1为基于EMD的数据增强卷积神经网络模型总体步骤图；
[0021] 图2为卷积神经网络模型结构图；
[0022] 图3为基于EMD的脑电数据增强方法，包括原始脑电数据的EMD分解和混合IMF生成策略；
[0023] 图4为诱发SSVEP的视觉刺激频闪界面。
[0024] 图5为基于EMD数据增强方法，不同比例的增加倍数(0-5)倍，卷积神经网络分类的正确率结果；
具体实施方式
[0025] 为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体
实施例并配合附图详予说明。
[0026] 本发明提出了基于EMD数据增强的卷积神经模型的SSVEP脑电分类方法，该方法首先对原始SSVEP脑电数据进行预处理，预处理后采用经验模式分解方法分解原始是SSVEP数据，混合生成大量符合原始脑电信号时频域特点的人造脑电数据，将人造脑电数据与原始脑电数据合并，用于神经网络的参数训，从而实现使用少量脑电数据有效训练网络参数的效果。最后采用复Morlet小波变换生成带通参数(1Hz)的脑电张量，将原始的时域数据转换为集合时域、频域和空间信息的张量字典作为神经网络的输入，使用卷积神经网络模型对数据增强后的SSVEP脑电训练集进行分类。
[0027] 请参阅图1，本发明优选一实施例，基于EMD数据增强的卷积神经模型的SSVEP脑电分类方法，包括以下步骤，
[0028] S1，EEG脑电数据的预处理：采集脑电SSVEP数据，并对采集到的原始脑电数据进行预处理。
[0029] 该实施例的实验数据采用16导的奥地利G.tec脑电
放大器采集获得，
采样频率为256Hz。根据国际10-20
脑电图电极标准，该实施例的SSVEP脑电数据的采集选取Oz
导联的数据进行分析，位于大脑枕部区域。提取不同频率频闪刺激诱发(刺激频率5-30Hz范围内，不同闪烁刺激间隔0.5Hz及以上)的1秒SSVEP数据，对其滤去直流分量和5-30Hz的带通滤波。
[0030] 对于原始脑电数据，预处理主要是进行滤去直流分量和带通滤波操作。首先对其进行均值去噪，然后对于SSVEP脑电数据通过带通滤波提取5-30Hz频带的脑电数据。
[0031] 对于采集的两秒运动想象脑电数据(共采集200个trial带有标签(左手想象和右手想象)的数据，其中训练集60个trial，测试集140个trial)，首先对所有200个数据进行滤去直流分量，然后对于运动想象数据通过带通滤波(5阶巴特沃兹
滤波器)提取5-30Hz频带的脑电数据。
[0032] S2，基于EMD的脑电数据增强方法：采用EMD方法生成人造数据增强原始SSVEP脑电数据。为了改善深度学习方法对脑电信号的分类效果，解决少量数据难以训练深度网络参数的问题，利用经验模式分解(EMD)对预处理之后的SSVEP数据分解成为多个本征模式函数(IMF)，
混叠IMF生成新的SSVEP数据，扩大训练集用于深度学习方法网络的训练。
[0033] 参阅图3所示，为基于EMD的脑电数据增强方法，包括原始脑电数据的EMD分解和混合IMF生成策略。
[0034] 基于EMD的脑电数据增强方法：采用EMD方法对训练集60个trial数据生成人造数据一起用于后面卷积神经网络的训练。对预处理之后的训练集数据利用集合经验模式分解(EMD)方法分解生成多个本征模式函数(IMF)，混叠本征模式函数生成新的人造脑电数据(人造数据数量＝训练集的倍数1-5倍)，扩大训练集用于深度学习方法网络的训练。
[0035] 利用EMD方法将原始SSVEP脑电数据分解为多个集合时频域信息的本征模式函数(IMF)，原始脑电数据每个脑电信号采集通道分解的结果遵循如下公式：
[0036]
[0037] 式中，IMF为分解得到的本征模式函数(一般每个数据各通道得到的IMF小于12个)，满足两个条件：①函数在整个时间范围内，局部极值点和过零点的数目必须相等，或最多相差一个；②在任意时刻点，局部最大值的包络和局部最小值的包络平均必须为零。
[0038] 通过随机提取并混合不同序列的IMF生成大量的人造数据用以训练网络。
[0039] 生成单个人造数据的步骤为，
[0040] S201，随机地在原始脑电数据中选择部分作为贡献其IMF生成人造数据的脑电数据，被选择的数据根据其所属分类分开。
[0041] S202，在某一类被选择数据中随机地选择N个数据，对N个数据进行EMD经验模式分解，每个数据分解成多个IMF，第一个数据贡献它所有的第一个IMF(每个脑电采集通道一个)，直到第N个数据贡献它所有第N个IMF。
[0042] S203，将各通道的N个IMF相加在一起，即为创造的一个脑电数据，其中，如果分解的IMF小于设定的N，补充零值得IMF相加。
[0043] S3，使用小波神经网络模型进行特征提取和分类：增强后的SSVEP脑电数据用于神经网络参数训练，构建卷积神经网络模型提取脑电数据的特征来进行分类。
[0044] 该实施例所提出的深度卷积神经网络模型，采用复Morlet小波变换生成带通参数(1Hz)的脑电张量，将原始的时域数据转换为集合时域、频域和空间信息的张量字典作为神经网络的输入。
[0045] 参阅图2所示，为卷积神经网络模型结构图。卷积网络的结构如下所述，首层卷积层200个卷积核用于边缘
能量的特征提取，每个卷积核大小为3×1，步长为2×2；第二层设置最大化
池化层降采样，池化核为4×4，步长为1×1；第三层卷积层同样200个卷积核用于时频域的结合特征提取，每个卷积核大小为2×2，步长同样为2×2；最后输出的多维张量经过Flatten
层压平后，通过两层全连接层对其进行分类。其中，第一层全连接层输出为1000，激活函数为ReLU；第二层全连接层输出分类的标签，激活函数为SoftMax。
[0046] 经过人造数据和原始训练集数据生成的脑电张量通过卷积神经网络模型得到分类结果标签，训练参数设置为：权重偏倚学习率为0.001，Momentum为0.9，Weight Decay为0.002。
训练数据集经历400次
迭代训练模型网络参数，其中每次迭代的批数据大小(Batch Size)为32。
[0047] 针对SSVEP范式的脑电数据，该实施例对刺激频率5-30Hz范围内(不同闪烁刺激间隔0.5Hz及以上)诱发的SSVEP数据进行分析处理。诱发SSVEP的视觉刺激频闪界面如图4所示，该实施例中，诱发SSVEP的屏幕参数为27英寸LCD显示屏(屏幕刷新率60Hz，屏幕
分辨率1920×1080)，每个刺激
块150×150
像素。频闪刺激块的
亮度刺激序列遵循如下公式：
[0048]
[0049] 式中，f和i分别指刺激频率和
帧数，刺激序列s(f,i)的值从0至1，代表亮度从暗到最亮。采集到的频闪模块诱发的SSVEP信号采用基于EMD数据增强的卷积神经网络模型分类正确率达95％以上。
[0050] 为了测试卷积神经网络模型的分类能力，将测试集数据140个trial同样采用卷积神经网络模型将测试数据生成不同带通参数(1-6Hz)的脑电张量字典集，输入网络生成分类标签(左手想象或右手想象)，与真实标签作对比得到正确率。
[0051] 结果：如图5所示，5个被试平均正确率超过95％，原始训练集扩大为原来的2倍最优。
[0052] 需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括……”或“包含……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的要素。此外，在本文中，“大于”、“小于”、“超过”等理解为不包括本数；“以上”、“以下”、“以内”等理解为包括本数。
[0053] 尽管已经对上述各实施例进行了描述，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和
修改，所以以上所述仅为本发明的实施例，并非因此限制本发明的
专利保护范围，凡是利用本发明
说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围之内。
