技术领域
[0001] 本
发明涉及一种大脑言语活动信号采集与解码方法。特别是涉及一种基于功能近红外的大脑言语活动信号采集与解码方法。
背景技术
[0002] 脑-机
接口是一种不依赖人脑的外周神经和肌肉输出的正常通路的通讯控制系统。具体实现中，由受试者执行各种任务，采集其大脑电生理学或血液动
力学等生理信号，并利用一定的工程技术手段建立起人脑与计算机或其它
电子设备的通讯和控制通道。该技术可为中
风等失去外周肌肉运
动能力的患者提供新的与外界交流的手段，并正在成为研究的热点领域。
[0003] 目前，脑-机接口有三大流行的范式、P300、SSVEP及想象运动范式。采用P300和SSVEP 范式的
脑机接口属于被动型脑机接口。需要外界施加刺激，通过侦测被试对刺激的响应所产生的大脑生理信号来进行脑-机信息交流；想象运动属于主动型脑机接口，和被动性相比，其特点在于侦测被试主动进行的认知思维活动产生的大脑生理信号，因其无需施加外部刺激，更接近人类自然的信息交互手段而备受青睐。然而，目前的主动式脑-机接口范式较少，对范式需要进一步创新。
[0004] 言语是人类思维与信息沟通的重要载体，使用言语是人际交互最自然的方式。神经科学研究表明，听状态下的神经加工过程涉及位于颞叶的语义网络和位于顶叶与前额叶的感觉运动网络的协同参与，说状态下控制发声的感觉运动网络存在高度激活，想象说状态和说状态下的皮层激活模式高度类似。此外，对于不同的言语内容，根据其语义类别或所属词性不同，会在不同的皮层区出现特异性激活。和英文相比，中文的发音包含声调，而声调的加工由从前颞叶到前额叶的跨网络功能连接实现。
[0005] 目前，针对言语解码的脑-机接口研究逐渐成为神经工程领域的研究前沿与热点。对于言语的解码多采用电生理学手段，如
脑电图，皮层脑电等。然而，利用其它神经生理信号模态，特别是血液动力学信号对言语进行解码的研究较为空白。
[0006] 功能近红外(functional Near-Infrared Spectroscopy，fNIRS)通过光学的间接测量方式检测
氧合/脱氧血红蛋白浓度变化，可利用不同言语状态及内容下的神经活动差异所带来的皮层血液动力学模式差异，其优点在于较脑电图空间
分辨率高，且对运动噪声相对不敏感，因此有望改进言语解码脑-机接口的解码准确性。
[0007] 中国
专利公开号CN102156541A提出了一种前额脑电与血氧信息融合的
人机交互方法，但由于言语的神经过程涉及前额叶、顶叶和双侧颞叶等多个脑区，且在设计范式时并未考虑任务下血氧变化的一般规律；中国专利公开号CN103857347A提出了一种量化评估言语理解的方法，但并不涉及大脑生理信号的采集；中国专利公开号CN103301002A和中国专利公开号CN110022768A也使用光学方法探测神经活动并进行脑-机交互，但对言语任务下的任务设计和特征提取方法探索不足。
发明内容
[0008] 本发明所要解决的技术问题是，提供一种可用于对言语状态或言语内容进行在线或离线解码的基于功能近红外的大脑言语活动信号采集与解码方法。
[0009] 本发明所采用的技术方案是：一种基于功能近红外的大脑言语活动信号采集与解码方法，包括如下步骤：
[0010] 1)通过近红外采集帽循环采集受试者听任务、说任务和想象说任务过程各通道的近红外光
透射光强信号；
[0011] 2)分别将各通道的近红外光透射光强信号转换为血红蛋白浓度信号；
[0012] 3)分别获取各通道的血红蛋白浓度信号中的氧合血红蛋白浓度信号的线性回归斜率，作为脑信号特征；
[0013] 4)设计言语状态分类模型；
[0014] 5)重复步骤1)～步骤3)得到新的听任务、说任务以及想象说任务的脑信号特征；
[0015] 6)利用言语状态分类模型离线或在线对新的听任务、说任务以及想象说任务的脑信号特征进行分类。
[0016] 本发明的基于功能近红外的大脑言语活动信号采集与解码方法，其优点在于：
[0017] 1、本发明拥有较高的空间分辨率，能更好针对言语相关脑区进行解码；
[0018] 2、本发明可无创测量脑活动信号；
[0019] 3、本发明受运动伪迹影响较小，且解码过程更为简单；
[0020] 4、本发明有较强的可拓展性，可与头皮脑
电信号联合采集与解码，进一步增加解码准确率。
附图说明
[0021] 图1是本发明中的近红外采集帽的结构及
覆盖脑区的示意图；
[0022] 图2是本发明中脑电帽所采用的通道分布图；
[0023] 图3是本发明中受试者听任务、说任务和想象说任务过程示意图；
[0024] 图4是图3中听任务中听觉刺激过程示意图；
[0025] 图5是本发明中听任务、说任务和想象说任务过程氧合血红蛋白浓度示意图。
具体实施方式
[0026] 下面结合
实施例和附图对本发明的基于功能近红外的大脑言语活动信号采集与解码方法做出详细说明。
[0027] 本发明的基于功能近红外的大脑言语活动信号采集与解码方法，是将探测器采集到的光强转化为光
密度信号，对光密度信号进行
带通滤波，通过比尔-朗伯定律对带通滤波后的各
波长信号转换为氧合血红蛋白浓度(HbO)。提取斜率特征选取任务开始后各通道一定
时间窗长的血红蛋白浓度信号，将其分为多段，利用各段信号的线性回归斜率作为特征。将提取到的特征利用LDA分类器训练出模型，并用此模型分类言语状态和(或)言语内容，以各种方式反馈给受试者。
[0028] 本发明的基于功能近红外的大脑言语活动信号采集与解码方法，包括如下步骤：
[0029] 1)如图3、图4所示，通过近红外采集帽循环采集受试者听任务、说任务和想象说任务过程各通道的近红外光透射光强信号；具体是通过受试者佩戴近红外采集帽，循环进行如下实验过程：16s±0.8s的听任务、15s±1s的休息、16s的说任务、15s±1s的休息、16s的想象说任务和15s的休息，并同时采集循环过程中的近红外透射
光信号。
[0030] 所述的近红外采集帽中
光源的波长为740nm、808nm和850nm，近红外采集帽的结构如图1、图2所示，由15个光源A～O和16个探测器1～16构成，其中，第一光源A位于脑电
电极F5与脑电电极FC5连线的中点，第二光源B位于脑电电极C5与脑电电极CP5连线的中点，第三光源C位于脑电电极F5与脑电电极AF3连线的中点，第四光源D位于脑电电极FC3与脑电电极C3连线的中点，第五光源E位于脑电电极FP1与脑电电极AF3连线的中点，第六光源F位于脑电电极F1与脑电电极FC1连线的中点，第七光源G位于脑电电极C1 与脑电电极CP1连线的中点，第八光源H位于脑电地极GND与脑电电极FZ连线的中点，第九光源I位于脑电电极FP2与脑电电极AF4连线的中点，第十光源J位于脑电电极F2与脑电电极FC2连线的中点，第十一光源K位于脑电电极C2与脑电电极CP2连线的中点，第十二光源L位于脑电电极AF4与脑电电极F6连线的中点，第十三光源M位于脑电电极FC4 与脑电电极C4连线的中点，第十四光源N位于脑电电极F6与脑电电极FC6连线的中点，第十五光源O位于脑电电极C6与脑电电极CP6连线的中点；第三探测器3位于从脑电电极 FP1朝左
耳方向
水平移2.5cm处，第一探测器1位于脑电电极F7与第三探测器3连线的中点，第二探测器2位于脑电电极FC5与脑电电极C5连线的中点，第四探测器4位于脑电电极F3 与脑电电极FC3连线的中点，第五探测器5位于脑电电极C3与脑电电极CP3连线的中点，第六探测器6位于脑电电极F1与脑电电极AF3连线的中点，第七探测器7位于脑电电极FC1 与脑电电极C1连线的中点，第八探测器8位于脑电电极FPZ与脑电地极GND连线的中点，第九探测器9位于脑电电极FZ与脑电电极FCZ连线的中点，第十探测器10位于脑电电极 AF4与脑电电极F2连线的中点，第十一探测器11位于脑电电极FC2与脑电电极C2连线的中点，第十二探测器12位于从脑电电极FP2朝右耳方向水平移2.5cm处，第十三探测器13 位于脑电电极F4与脑电电极FC4连线的中点，第十四探测器14位于脑电电极C4与脑电电极CP4连线的中点，第十五探测器15位于脑电电极F8与第十二探测器12连线的中点，第十六探测器16位于脑电电极FC8与脑电电极C6连线的中点。
[0031] 2)分别将各通道的近红外光透射光强信号转换为血红蛋白浓度信号；
[0032] 是将采集到的近红外光透射光强信号转化为光密度信号，对光密度信号进行带通滤波，所述的对光密度信号进行带通滤波，是利用0.01～0.2Hz的三阶IIR巴特沃斯
滤波器对光密度信号进行带通滤波。再通过改进的比尔-朗伯定律将带通滤波后的各波长的光密度信号转换为氧合血红蛋白浓度(HbO)，图4所示、脱氧血红蛋白浓度(HbR)及总血红蛋白浓度(HbT) 信号。
[0033] 3)分别获取各通道的血红蛋白浓度信号中的氧合血红蛋白浓度信号的线性回归斜率，作为脑信号特征；包括将每个通道的氧合血红蛋白浓度中分别对应实验过程中的听任务、说任务以及想象说任务开始的0～30s的氧合血红蛋白浓度信号等分为2～6段，计算各段内氧合血红蛋白浓度信号的线性回归斜率。
[0034] 4)设计言语状态分类模型；包括：
[0035] (1)对每个通道的脑信号特征中分别对应实验过程中的听任务、说任务以及想象说任务开始的0～30s的脑信号特征，分
配对应的听任务标签、说任务标签以及想象说任务标签；
[0036] (2)将脑信号特征以及与脑信号特征对应的听任务标签、说任务标签和想象说任务标签通过多类线性判别分析(LDA)建立分类模型。
[0037] 5)重复步骤1)～步骤3)得到新的听任务、说任务以及想象说任务的脑信号特征；
[0038] 6)利用言语状态分类模型离线或在线对新的听任务、说任务以及想象说任务的脑信号特征进行分类。
[0039] 下面给出具体的实例：
[0040] 实验前，受试者佩戴近红外采集帽，对部分接收到的光强较弱的，信号
质量较差的通道，尝试拨开光源及探测器附近的头发以改善效果。
[0041] 实验时采用丹阳慧创公司的NirScan功能近红外探测仪，采用光波波长740nm、808nm 及850nm。该设备可通过该NirScan功能近红外探测仪自带的
软件检测受试者佩戴采集帽后，各光源-探测器对应通道的信号强度，且可通过并口与上位机通信，实现事件标签同步及数据实时传输。
[0042] 实验时，受试者按照如图3、图4所示的实验范式完成实验。每个受试者执行20个实验组，每个实验组包括“听”、“说”和“想象说”三个任务
块，任务期间通过屏幕提示受试者所要执行的内容，休息时屏幕呈现十字。实验块时长16s，任务块和任务块中间有15s休息，休息时要求受试者放松但保持静止。考虑到近红外设备对受试者头颈部的压迫，每十分钟进行一次自由休息，允许受试者活动一下身体。当其缓解完毕，同时近红外信号趋于稳定则继续实验。
[0043] 听任务前2s屏幕文字提示受试者“准备听”；听任务开始到结束期间，刺激使用的音频材料使用“手杖”一词，时长700ms，在开始/结束的时间点分别进行渐强/渐弱处理。音频刺激重复播放8次，刺激间隔(Inter-Stimuli Interval，ISI)为1300ms±100ms的随机抖动。
[0044] 说任务前2s屏幕文字提示受试者“准备说”，屏幕文字改为“说”字的瞬间说任务开始，受试者需要根据屏幕提示重复言语内容，在实验前，受试者事先熟悉过屏幕提示。对受试者说任务期间的重复
频率及重复次数不做要求，但要求受试者呼吸均匀，避免因重复说话导致缺氧。当屏幕出现十字时，说任务立即停止，受试者需要立刻停止重复。
[0045] 想象说任务务前2s屏幕文字提示受试者“准备想象”，屏幕文字改为“想象”字的瞬间想象说任务开始，受试者需要立即按照屏幕提示的内容重复想象(本实验指重复想象说“手杖”)，即想象自己以自己的声音讲出该词语并被自己
感知到，且发声器官不产生任何运动。对受试者想象说任务期间的重复频率及重复次数同样不做要求，任务停止时对受试者的要求同上。
[0046] 计算机从近红外采集装置接收到的数据为光强信号，通过下述公式转换为光密度信号ΔOD。光密度指接收到的光强和发射光强强度比值的对数。其公式如下
[0047]
[0048] 其中IFinal为接收到的光强，IInitial为光源光强。ΔC为血红蛋白浓度变化，L由光源-探测器分布的几何形状决定，ε为
消光系数(Extinction Coefficient)，B为差异步长因子(Differential Pathlength Factor，DPF)。
[0049] 光密度信号通过带通滤波，以滤除低频的基线漂移和高频的生理噪声和仪器噪声。功能近红外的信号会受到各种噪声的干扰，噪声来源主要包括三种：仪器噪声，运动伪迹和生理噪声。仪器噪声一般频率较高，可通过截止频低于5Hz的低通滤波去除；运动伪迹包括头动所造成的信号瞬态突变，以及部分任务(如讲话，
手指敲击等)因肌肉运动造成的持续性位移。处理方式包括
小波变换，主成分分析(PCA)等，本次实验采用Block Design，在任务期内让被试尽可能保持静止，从实验过程上降低运动伪迹。生理噪声包括心跳(1～1.5Hz)，呼吸(0.2～0.5Hz)和Mayer波(～0.1Hz)。Mayer波是血管收缩产生的生理噪声，和血压有关，会造成功能近红外信号的规律性变化。通常使用带通滤波滤去部分生理噪声，
通带内的生理噪声通过额外的生理信号同步采集装置(如
脉搏袖带)，采用回归模型来滤除。
带通滤波的通带频率众说纷纭，各项研究使用的频率也都不尽相同，本实验选择IIR
数字滤波器，以 0.01～0.2Hz作为滤波器通带，主要考虑到这一
频率范围可以尽可能保留血液动力学响应的信息，同时对呼吸和心跳噪声有很好的抑制作用。
[0050] 血红蛋白浓度的转换通常使用改进的比尔-朗伯定律(Modified Beer–Lambert Law， MBLL)，它是一种高散射介质中光学衰减的经验描述，其公式如下：
[0051] ΔOD(λ)＝(εHbO(λ)ΔCHbO+εHbR(λ)ΔCHbR)B(λ)L (2)
[0052] 即(1)式的后半部分。其中λ为光源发射的光波长，多个λ连立方程组，解出氧合血红蛋白(HbO)浓度变化ΔCHbO和脱氧血红蛋白(HbR)浓度变化ΔCHbR。εHbO和εHbR为两个血红蛋白的消光系数。总血红蛋白浓度变化ΔCHbT＝ΔCHbO+ΔCHbR。B(λ)可通过仿真实验或离体组织实验测得，取大量实验后的均值作为经验参数。经验上各波长均选为6.0。任务开始后 15s，三种任务下所得到的血红蛋白浓度信号如图5所示。
[0053] 提取到的HbO信号取任务开始后30s作为时间窗，将时间窗平均分成4段，取每一段线性回归斜率作为该通道特征，全脑共48个通道，故每段任务对应48×4＝192个特征。
[0054] 将时间窗内每一段的HbO浓度曲线建模为线性方程，其公式如下：
[0055] y＝kx+b+ε (3)
[0056] 其中y为氧合血红蛋白浓度，x为时间，k为回归直线的斜率，b为回归直线的截距，ε为回归残差。k使用最小二乘法估计，其原理在于寻找最优的k和b，使残差最小，这样回归直线和原数据点的拟合程度最优。取残差平方和最小时的k和b即可。
[0057] 4段回归斜率反映了时间窗内信号的上升和下降趋势。显然，斜率的正负反映了信号变化趋势，而斜率绝对值的高低反映了信号变化的快慢。
[0058] 多类LDA的分类原理在于，寻找若干条投影直线，使得原始数据在所得直线上的投影能最小化类内差异的同时最大化类间差异。其基本假设是，总体的全部维度服从高斯混合分布，每类样本的类均值向量不同但协方差矩阵相同，利用其分类的计算步骤如下：
[0059] 1.计算
池化协方差矩阵/聚集协方差矩阵(pooled covariance matrix)[0060]
[0061] 其中，K代表总类数，N代表总个体数，Xi代表第i个个体的特征所构成的向量，Ik代表第k类的个体总数，μk代表第k类的类内均值。
[0062] 2.计算类内散度矩阵Sw
[0063]
[0064] Sw的主对
角线元素(i,i)反映了第i个维度下的类方差，非主对角线元素(i,j)反映了第i个维度和第j个维度的类协方差。
[0065] 3.计算类间散度矩阵Sb
[0066]
[0067] 其中，μ是所有样本的均值，μk是第k类样本的均值，Nk代表第k类样本中的样本数量。
[0068] 4.优化寻找最佳投影向量
[0069]
[0070] 将Sb/Sw的矩阵进行奇异值分解，得到特征值和
特征向量，这一组特征向量即为最佳投影向量。其后，对新个体进行分类时，先将新个体的各维度特征投影，再计算其到各个类中心的距离。距离最短的一个即为新个体的类标签。
[0071] 多类LDA的另一种处理方法是将其分为多个二分类问题，对各个二分类问题“投票”选出判别次数最高的一类作为分类结果。
[0072] 进行实验后，分类结果如下：
[0073] 群组水平分类结果和机会水平对照表
[0074]
[0075] 表中，显著性水平：*表示p<0.05；**表示p<0.01；***表示p<0.001。
