技术领域
[0001] 本
发明公开了基于beamforming和CCA的稳态视觉诱发电位检出方法，尤其涉及利用稳态视觉诱发电位作为范式的
脑机接口系统，属于认知神经科学、自动化控制相交叉的技术领域。
背景技术
[0002] 稳态视觉诱发电位(Steady-State Visual Evoked Potentials,SSVEP)是一种常用的
脑机接口(Brain-Computer Interface,BCI)范式。SSVEP
信号是指用户注视某种固定
频率闪烁的视觉刺激时在用户视觉皮层所激发的脑电(Electroencephalography,EEG)信号。SSVEP诱发范式由多个不同频率闪烁的视觉刺激(以下简称为SSVEP刺激)构成。定义BCI用户每一次注视某个SSVEP刺激进行意图输出为一个试次。在某个试次内，当用户注视某一个固定频率fj闪烁的视觉刺激时，在SSVEP信号对应的
频谱分布中，其基频fj及倍频(k*fj，k＝1,2...N，N表示倍频数)处会出现较大
能量。因此，可以根据SSVEP信号呈现的频率分布特征来判断对应的SSVEP刺激的种类。在SSVEP型BCI系统中，事先构建不同SSVEP刺激与特定的意图之间的对应关系。用户就可以通过注视特定SSVEP刺激来实现意图的输出，从而实现BCI功能。
[0003] 目前，对于在SSVEP型BCI系统，普遍采用典型相关分析(Canonical Correlation Analysis,CCA，参见Bin G.Y.et al.,.An online multi-channel SSVEP-based brain-computer interface using a canonical correlation analysis method.Journal of Neural Engineering,2009,6(4):1771-1779)来分析各个SSVEP刺激与SSVEP信号之间的相关性，选取与SSVEP信号相关性最高的一个SSVEP刺激的作为BCI的输出结果。CCA用于SSVEP型BCI分类的基本原理如下：利用每个SSVEP刺激频率的基频和倍频的sin和cos函数构建对应该SSVEP刺激的频率模板，以从频率模板和SSVEP信号这两组变量中分别提取的具有代表性的多个变量的线性组合构成表征原来两组变量的两个新变量，利用新变量之间的相关关系来反映频率模板和SSVEP信号之间的整体相关性。现有的CCA
算法采用SSVEP刺激频率的基频和倍频的sin和cos函数构建对应的频率模板，该种模板生成方式本质上只是基于
模拟信号而非生理信号，生成的模板对EEG生理信号的刻画缺乏代表性，BCI系统的分类效果有待提高。
[0004] 波束形成(beamforming)是一种有效的SSVEP信号特征提取和分类方法(Wittevrongel B.et al.,Frequency-and phase encoded SSVEP using spatiotemporal beamforming,Plos One,2016,11(8):e0159988)，其原理为：对于某一试次的SSVEP信号，将各种SSVEP刺激对应的周期(频率fj的倒数)作为窗宽进行数据切割，采用与SSVEP刺激周期相同的窗宽切割SSVEP信号时，SSVEP刺激对应的各通道信号振荡周期与切割窗宽相同，信号
叠加后得到加强；而其它按照不等于SSVEP刺激周期进行数据切割的信号因切割窗宽与振荡周期不同且各分段间存在
相位差，信号叠加后抵消减弱；由此，
时空矩阵对应两类信号：一类是采用SSVEP刺激周期切割后的数据(叠加后构成激活模板)，另一类是非SSVEP刺激周期切割后的数据。对于
训练数据，基于其对应的激活模板和时空矩阵
构建时空间波束形成器，以经过该波束形成器后的两类信号差异最大为目标对波束形成器进行最优化设计，由此针对所有SSVEP刺激分别构建时空间波束形成器，形成时空间波束形成器组。对于测试信号，对其按照各个SSVEP刺激周期分别进行数据切割，再分别通过时空间波束形成器组进行滤波，最终选取滤波后最大输出值所对应的SSVEP刺激频率作为分类结果，从而实现SSVEP信号分类。现有的beamforming方法均需要利用一定数量的数据训练生成针对每个SSVEP刺激类别的时空间波束形成器，从而最终构成一个适用于所有SSVEP刺激类别的时空间波束形成器组。在构建完该时空间波束形成器组的
基础之上，将测试数据的时空间组合向量与时空间波束形成器组经过计算得到各个SSVEP刺激类别对应的
特征向量，从而完成对测试数据的特征提取，并将产生最大特征值对应的时空间波束形成器对应的SSVEP刺激类别作为SSVEP型BCI的分类输出。这种传统的beamforming方法必须经过一定数量的数据集训练后方可获得有效的时空间波束形成器组，无法满足即插即用的需求。并且一旦经训练获得时空间波束形成器组后，无法实现时空间波束形成器组的动态更新，若时空间波束形成器组效果不佳会一直影响后续系统的分类效果。
[0005] 综上，CCA方法中存在的模板对EEG生理信号的刻画缺乏代表性，导致分类效果有待提高；以及beamforming方法需经过训练后方可使用，且缺乏动态更新训练模型的能
力导致分类效果有待提高。
发明内容
[0006] 本发明的发明目的是针对上述背景技术的不足，提出了融合CCA和beamforming两种方法(以下简称为CCA-BF)的稳态视觉诱发电位检测方法，构建了SSVEP型数字
键盘输入的BCI系统。利用CCA生成beamforming所需的时空间波束形成器组，根据CCA和beamforming的分类结果更新时空间波束形成器组，省去了beamforming的训练过程，提高了以SSVEP为范式的BCI系统的分类正确率。
[0007] 本发明为实现上述发明目的采用如下技术方案：
[0008] 基于beamforming和CCA的稳态视觉诱发电位检出方法，包括以下四大步骤。
[0009] (一)采集SSVEP信号
[0010] 在被测人员头皮枕区的配置O3、Oz和O4三通道
电极作为脑
电信号获取模
块，采集每个试次内被测人员注视稳态视觉诱发电位刺激图片时产生的SSVEP信号。
[0011] (二)初始阶段采用典型相关分析法对每个试次内所采集的SSVEP信号进行分类[0012] 以各稳态视觉诱发电位刺激图片闪烁频率的基频fj和二倍频2fj的sin和cos函数的线性组合为频率模板，具体为sin(2π*fj*t)，cos(2π*fj*t)，sin(2π*2fj*t)，cos(2π*2fj*t)，其中，t为时刻点。计算SSVEP信号与频率模板的典型相关系数，以最大典型相关系数所对应频率模板的基频为分类结果。
[0013] (三)基于CCA分类结果构建时空间波束形成器组
[0014] 根据稳态视觉诱发电位刺激图片的闪烁频率对每个试次内的SSVEP信号分段得到各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号
片段，共包含pj个SSVEP信号片段；
[0015] 组合各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量，对各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段中的各数值叠加后取平均值得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空矩阵Sj，将各稳态视觉诱发电位刺激图片闪烁频率对应的时空矩阵按照采集通道顺序首尾链接后转置得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量sj；
[0016] 根据典型相关分析结果以及各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量构建时空间波束形成器组，根据典型相关分析法对每个试次内所采集的SSVEP信号的分类结果，对每个试次内所采集SSVEP信号所属闪烁频率类别的时空组合向量的各分量叠加后取平均得到SSVEP信号所属闪烁频率类别的激活模板aj，再结合各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量的协方差矩阵∑j得到SSVEP信号所属闪烁频率类别的时空间波束形成器wj，
[0017]
[0018] (四)更新时空间波束形成器组
[0019] 采用CCA和beamforming分别对新采集的SSVEP信号进行分类，输出波束形成法的分类结果；在典型相关分析法和时波束形成法的分类结果相同时，根据波束形成法对新采集SSVEP信号的分类结果更新新采集SSVEP信号所属闪烁频率类别的激活模板，再结合beamforming得到的时空组合向量更新时空间协方差矩阵，由更新后的激活模板及时空间协方差矩阵更新SSVEP信号所属闪烁频率类别的时空间波束形成器。
[0020] 实现上述基于波束形成和典型相关分析的稳态视觉诱发电位检出方法的装置，包括：
[0021] 刺激提示模块，用于显示激励稳态视觉诱发电位的刺激图片，
[0022] 脑电信号获取模块，采集每个试次内被测人员注视稳态视觉诱发电位刺激图片时产生的SSVEP信号，
[0023] 典型相关分析模块，对比稳态视觉诱发电位刺激图片闪烁频率对应的频率模板和SSVEP信号以识别每个试次内的SSVEP信号所属的分类，
[0024] 波束形成分析模块，根据稳态视觉诱发电位刺激图片的闪烁频率对每个试次内的SSVEP信号分段得到各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段，组合各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量，根据典型相关分析结果以及各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量构建时空间波束形成器组，及，
[0025] 决策融合模块，比较典型相关分析模块和波束形成分析模块的分类输出，输出波束形成分析模块的分类结果，仅在典型相关分析法和时波束形成法的分类结果相同时更新波束形成分析模块中的时空间波束形成器组。
[0026] 实现上述基于beamforming和CCA的稳态视觉诱发电位检出方法的脑机接口，包括：显示稳态视觉诱发电位刺激图片的数字键盘式显示器，配置在被测人员头皮枕区用于采集注视稳态视觉诱发电位刺激图片时激励的脑电信号的电极，及，计算机设备；
[0027] 所述计算机设备包含
存储器、处理器及存储在存储器上并可在处理器上运行的
计算机程序，所述处理器执行所述程序时实现以下步骤：
[0028] 采用典型相关分析法对每个试次内所采集的SSVEP信号进行分类，
[0029] 根据稳态视觉诱发电位刺激图片的闪烁频率对每个试次内的SSVEP信号分段得到各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段，组合各稳态视觉诱发电位刺激图片闪烁频率对应的SSVEP信号片段得到各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量，根据CCA结果以及各稳态视觉诱发电位刺激图片闪烁频率对应的时空组合向量构建时空间波束形成器组，
[0030] 采用典型相关分析法以及波束形成法分别对新采集的脑电信号进行分类，输出波束形成法的分类结果，仅在CCA和beamforming的分类结果相同时更新时空间波束形成器组。
[0031] 本发明采用上述技术方案，具有以下有益效果：本发明将CCA和beamforming两种方法有机融合，初始阶段由CCA生成稳定的时空间波束形成器组，后期由CCA和beamforming进行决策层融合实现分类输出，省去了beamforming的训练过程，并可更新时空间波束形成器组以提高系统的分类正确率，有效地克服了现有SSVEP型BCI系统分类中常用的CCA和beamforming方法中所存在的不足之处，即，CCA所用的模板对EEG生理信号的刻画缺乏代表性，降低了BCI系统的分类正确率；beamforming方法分类正确率高但前期需做大量的训练以获得稳定的时空间波束形成器组，且时空间波束形成器组无法更新。
附图说明
[0033] 图2为系统实现数字键盘输出功能的示意图。
[0034] 图3为刺激提示模块参数配置的示意图。
[0035] 图4为典型相关分析模块原理图。
[0036] 图5为波束形成分析模块原理图。
[0037] 图6为决策融合模块原理图。
[0038] 图7为CCA、beamforming，以及本发明提出的CCA-BF方法分类正确率的对比图。
具体实施方式
[0039] 下面结合附图对发明的技术方案进行详细说明。
[0040] 本发明针对现有CCA方法中存在的模板对EEG生理信号的刻画缺乏代表性，导致分类效果不佳的不足以及beamforming方法需经过训练后方可使用且因缺乏动态更新训练模型的能力导致分类效果有待提高的不足，提出融合CCA和beamforming两种方法的稳态视觉诱发电位检测方法，构建了SSVEP型数字键盘输入的BCI系统。初期利用CCA生成beamforming所需的时空间波束形成器组，待生成稳定的时空间波束形成器组之后，引入beamforming分类，并对CCA和beamforming分类结果进行决策融合并更新beamforming的时空间波束形成器组。
[0041] 采用本发明公开的检出方法的SSVEP型BCI如图1所示，包括：刺激提示模块、脑电信号获取模块、典型相关分析模块、波束形成分析模块以及决策融合模块。刺激提示模块用于提示SSVEP刺激图片；脑电信号获取模块用于获取BCI用户注视SSVEP刺激诱发产生的SSVEP信号；典型相关分析模块用于对SSVEP刺激的频率模板以及SSVEP信号进行相关性分析获得分类结果；波束形成分析模块用于对SSVEP信号进行时空间滤波获得分类结果；决策融合模块用于针对典型相关分析模块和波束形成分析模块的分类输出进行融合。BCI运作初始阶段的若干个试次，由典型相关分析模块进行分类并训练生成波束形成分析所需要的时空间波束形成器组，后期由决策融合模块更新时空间波束形成器组。
[0042] 系统实现数字键盘输出功能如图2所示，由显示器显示4行3列的数字键盘，具体为：0-9的10个数字键以及实现输入删除的Delete键和确认全部输入完毕的Enter键，屏幕最上方的文本框回显用户既往键入的数字串。某一试次用户通过注视屏幕上特定数字键实现数字的选择，选中的数字将回显在屏幕最上方的文本框内；用户可以通过注视Delete键对已经选中的数字进行删除；当所有数字输入完毕后，用户通过注视Enter键实现对所有输入数字的最终确认并发送至计算机，实现通过意念控制数字键盘输出的功能。
[0043] 刺激提示模块所采用的参数如图3所示，对应显示器显示4行3列的数字键盘，所用的SSVEP刺激的闪烁频率分别设置为：1(8.8Hz)，2(13Hz)，3(10.9Hz)，4(15.1Hz)，5(9.5Hz)，6(13.7Hz)，7(11.6Hz)，8(15.8Hz)，9(8.1Hz)，0(10.2Hz)，Delete(12.3Hz)，Enter(14.4Hz)。按照上述频率构成的sin波函数，SSVEP刺激的灰度值随sin波函数的振幅而改变。每个试次内SSVEP刺激闪烁2秒，试次之间间隔为2秒。
[0044] 典型相关分析模块的原理如图4所示，CCA的输入为模板信号和SSVEP信号。将刺激图片的频率的基频fj和二倍频2fj的sin和cos函数sin(2π*fj*t)，cos(2π*fj*t)，sin(2π*2fj*t)，cos(2π*2fj*t)的线性组合构成频率fj对应的频率模板Xj，其中，t为时刻点；将视觉区的O3，Oz和O4获取的3通道SSVEP信号的线性组合构成脑电信号组合Y；对于不同频率fj，分别求Xj和Y的相关系数ρj。将最大ρj对应的频率fj作为CCA的分类输出。
[0045] 波束形成分析模块的原理如图5所示，包含训练阶段和分类阶段。
[0046] 1、训练阶段：采用若干个试次的SSVEP信号构建训练集 其中，m表示通道数，n表示
采样点个数，l表示试次个数，k表示类别数，训练集中包含k个类别，每个类别包含相等数量的r个样本，其中，r＝ltrain/k，基于Xtrain构建属于不同类别的时空间波束形成器组，具体步骤如下：
[0047] for i＝1:ltrain
[0048] 对于第i试次的数据，如图5所示进行操作，
[0049] for j＝1:k
[0050] 1)根据频率fj将第i个试次的训练集数据xi分为pj段，每段包含hj＝[fs/fj]个采样点，其中，fj为类别j所对应的刺激频率，pj＝[n/hj]，[·]为取整符号，fs为
采样频率，[0051] 2)对pj个分段进行叠加后取平均得到时空矩阵 将Sj按行(通道)顺序首尾链接并转置构成时空组合向量 所得sj按列存入矩阵
[0052] 3)若xi属于类别j，则将其对应时空组合向量sj按列存入矩阵
[0053]
[0054] 1)将Aj中的各向量按列(试次)进行叠加后取平均得到属于类别j的激活模板[0055] 2)计算Cj的时空间协方差矩阵
[0056] 3)将aj与∑j带入 求解得到属于类别j的时空间波束形成器
[0057] end
[0058] 2、分类阶段：定义第i个试次待分类的SSVEP信号为测试数据Xi∈Rm×n，对Xi进行分类：
[0059] 1)将Xi分为pj段，每段包含hj＝[fs/fj]个采样点，其中，fj为类别j所对应的刺激频率，pj＝[n/hj]，
[0060] 2)对pj个分段进行叠加后取平均得到矩阵 将Sj按行(通道)顺序首尾链接并转置构成时空组合向量
[0061] 3)for j＝1:k
[0062] 将sj转置后代入 与所有wj分别计算得到yj，
[0063] end
[0064] 4)得到第i个试次的待分类数据Xi对应的特征向量y＝[y1,y2,...yk]，取最大yj对应的类别j作为Xi的分类结果。
[0065] end
[0066] 决策融合模块的原理如图6所示，将典型相关分析模块和波束形成分析模块的分类输出结果进行比较，无论是否相同，都以波束形成分析模块的分类输出结果作为系统的分类结果输出。当典型相关分析模块和波束形成分析模块的分类输出结果相同时，基于波束形成分析模块分类结果和时空组合向量更新激活模板和时空间协方差矩阵，并进一步更新波束形成分析模块中的时空间波束形成器组。
[0067] 图7为CCA、beamforming以及本发明提出的CCA-BF方法对应的11名被测人员的平均分类正确率。如图所示，beamforming和CCA-BF的分类正确率均高于90％，其中beamforming显著高于CCA(P＜0.001)，CCA-BF显著高于CCA(P＜0.01)。beamforming正确率略高于CCA-BF但无统计差异(P>0.05)。beamforming方法前期需要利用一定数量的数据训练生成针对每个SSVEP刺激类别的时空间波束形成器，而本方案提出的CCA-BF无需训练过程。本方案提出的方法即能达到beamforming相当的分类正确率，又能省去beamforming必需的训练过程，同时，后期还可更新时空间波束形成器组以提高系统的分类正确率，因此，本方案提出的方法可以构建高
精度的稳态视觉诱发电位检出系统并基于该系统实现以SSVEP为范式的脑机接口。
