技术领域
[0001] 本
发明公开了一种基于DIVA模型的脑
电信号处理方法，涉及脑电
信号处理技术领域。
背景技术
[0002] 脑-机
接口(brain computer interface,BCI)是一种基于脑电信号来实现人脑与计算机或其它
电子设备进行通讯和控制的系统，它是一个不依靠外周神经和肌肉组织等通常的大脑输出通道的通信系统。换言之，BCI是在人脑与计算机之间建立的直接的交流和控制通道，通过这种通道，人就可以直接通过脑来表达想法或操纵设备，而不需要语言或肢体动作。
[0003] 波士顿大学的弗朗克·冈瑟(Frank Guenther)教授带领的科研小组在
脑机接口技术
基础上研制成功研制成一种神经分析系统(Neuralynx System)。神经分析系统由脑—计算机接口(BCI)和语音合成系统DIVA(Directions Into Velocities of Articulators)模型两部分组成。该系统可以将将人大脑里的思维过程“阅读”出来，然后将其转换为正常语言进行实时表述。
[0004] DIVA模型则是一种具有
生物学意义的关于语音生成和获取的神经网络。DIVA模型由前馈控制子系统、反馈控制子系统以及前田(Maeda)模拟声道所组成。模型通过某种规则在以语音作为输入的同时，产生一个发音速度以及器官
位置变化的时变序列，应用这个序列，系统就可以得到所需要的理想发音。
[0005] DIVA模型的一个重要特征就是把模型组件与大脑皮层各相关区域一一对应起来。模型组件与大脑皮层区域的映射关系是在有关神经解剖学和神经生理学研究的基础上根据MNI(Montreal Neurological Institute)标准参照系而确定的。在按照预设参数进行发音任务时，DIVA模型能够产生反应脑区激活状态的fMIR数据。这样，DIVA模型实际上就构成了一个用以解释来自各种研究的相关数据以及对关于语音神经处理过程进行一致性描述的基本
框架。
[0006] 在语音相关研究过程中，普遍采用非侵入式的神经成像术作为脑机之间的接口在人身上进行了实验。虽然这种非侵入式的装置方便佩戴于人体，但是由于颅骨对信号的衰减作用和对神经元发出的
电磁波的分散和模糊效应，记录到信号的
分辨率并不高。这种信号波仍可被检测到，但信号
信噪比较低，对后处理的要求较高。
发明内容
[0007] 本发明所要解决的技术问题是：针对
现有技术的
缺陷，提供一种基于DIVA模型的脑电信号处理方法。该方法通过DIVA模型模拟生成的fMIR数据对脑电信号进行
定位分析，并使用独立成分分析方法(Independent Component Correlation Algorithm,ICA)简化实际计算的复杂度，克服了非侵入式脑电信号分辨率低、干扰大的缺点。
[0008] 本发明为解决上述技术问题采用以下技术方案：
[0009] 一种基于DIVA模型的脑电信号处理方法，利用DIVA神经网络模型产生的功能性
核磁共振数据对脑电信号进行融合处理，包括以下步骤：
[0010] 步骤一、通过非侵入式脑机接口提取发音过程中的脑电信号数据，对采集到的脑电信号数据进行预处理；
[0011] 步骤二、基于DIVA模型提供的用户接口对声道参数进行设置，使DIVA模型进行模拟发音，获得fMIR数据；
[0012] 将fMIR数据输入统计绘图工具SPM中进行分析，采用12参数的仿射变换对fMIR数据进行归一化处理，再将处理后的图像与高分辨率的结构图像进行配准，并归一到MNI的空间，然后利用三维高斯函数对经过上述处理的数据做空间平滑处理；
[0013] 步骤三、对经过步骤二处理的脑电信号数据进行初步的白化或球化处理，去除各观测信号之间的相关性，然后利用ICA方法对脑电信号数据进行处理，得出最优变换矩阵，进而恢复信号源矩阵，从脑电信号数据中分离出有效的成分，每个有效的成分对应一个偶极子成；
[0014] 步骤四、结合头部模型及其传导系数，对每一个提取的有效的成分求解最优的偶极子配置，使得由上述偶极子产生的头皮
电场分布与测量到的头皮电场分布在均方意义下最小，将fMIR数据中的激活点位置作为寻找偶极子位置的
种子点，在fMIR数据限定源的可能空间中求解全局最优解；
[0015] 步骤五、将融合处理后的结果输出。
[0016] 作为本发明的进一步优选方案，所述步骤三中，利用ICA方法对脑电信号数据进行处理具体如下：
[0017] 设定记录的头皮电位xi作为观测向量，其中，i＝1,2,.....,m，m表示
电极的数量，观测向量xi是n个时间上独立的信号源sj的线性混和，其中，j＝1,2,...,n，每一个sj都是统计独立并且有其固定的空间信息权重aj，aj是
导联场矩阵A的第j列；
[0018] 在上述设定下，使用ICA方法直接寻找最优的变换矩阵W，并恢复信号源矩阵M；使用估计的信号Y对观测信号X进行重建：
[0019] X＝W-1Y (1)
[0020] X的第j个时间序列可以由下式表示:
[0021]
[0022] 其中， 是W-1的第n行第m列的元素。
[0023] 作为本发明的进一步优选方案，所述步骤三中，使用ICA方法对脑电信号数据进行处理，进行下述设定：
[0024] 301、独立信号源产生的信号是统计独立的；
[0025] 302、观测到的脑电信号数据是瞬时的线性混和信号；
[0026] 303、独立信号源的数量不超过电极的数量。
[0027] 作为本发明的进一步优选方案，所述步骤四的具体过程如下：
[0028] 设定大脑表皮的电
磁场观测信号与大脑内部任何位置的源信号近似地呈线性关系，由下式表示：
[0029] X＝AS+N (3)
[0030] 其中，X是头皮电极记录的观测信号，A是导联场矩阵，S是偶极子矢量，N表示每个电极接收信号中的噪声组成的矢量；
[0031] 导联场矩阵A是偶极子位置、大脑几何形状以及介质传导系数的非线性函数，它的每一列表示位于某一位置的单位强度的源对左端观测信号X的贡献；
[0032] 优化问题等价于求解下式：
[0033]
[0034] 其中，C是信噪比归一化矩阵，λ是正则化参数；
[0035] 将目标函数与解的空间性质相联系，定义目标函数为：
[0036]
[0037] 式中，P项是对解的一种空间约束，即结合fMIR限定源的可能空间位置，由下式定义：
[0038]
[0039] 其中，l是偶极子的数量；ri是第i个偶极子的位置向量；si是fMIR激活点的空间信息；c和di均是常数，偶极子的位置与fMIR的激活点位置是相关的，fMIR的激活点位置即是寻找偶极子位置的种子点；
[0040] 应用最大距离限制拟合偶极子的位置以及偶极矩，这就是fMIR受限的等效偶极子模型，简称FC-ECD模型。FC-ECD的一个基本假设是：所观测到的电场分布可以由一个或者几个偶极子产生，同时一定大小区域的激活可以由单个偶极子表示。
[0041] 建立目标函数之后，将偶极子的参数看作是高维空间中的一个
节点，则采用模拟
退火算法求全局最优解。
[0042] 作为本发明的进一步优选方案，步骤一中所述的预处理过程包括：去除眨眼伪迹、眼球运动伪迹、低通滤波、坏电极复位、平均以及基线校正。
[0043] 作为本发明的进一步优选方案，步骤二中所述的高斯函数需要满足其半高宽为12mm*12mm*24mm。
[0044] 作为本发明的进一步优选方案，步骤四中所述的偶极子配置包括位置、方向和大小。
[0045] 作为本发明的进一步优选方案，步骤五中所述的将融合处理后的结果输出，是通过在MATLAB中使用FIT工具箱进行输出。
[0046] 作为本发明的进一步优选方案，所述常数di的取值为5mm。
[0047] 本发明采用以上技术方案与现有技术相比，具有以下技术效果：使用DIVA模型产生的fMIR数据对EEG数据进行融合处理，克服了脑电信号空间分辨率低、信号干扰大、信噪比很低的问题。通过ICA的预处理，减小了运算的复杂性，在很大程度上克服了等效偶极子定位算法对于噪声的敏感。最后，利用本方法对真实实验数据进行处理，得到的结论符合生理学事实。本方法为汉语神经分析系统中的脑电信号处理问题提供了可行的解决方案，为今后汉语语音生成与获取相关研究奠定了基础。
附图说明
[0048] 图1为DIVA神经网络模型的结构示意图；
[0049] 图2为汉语神经分析系统结构示意图；
[0050] 图3为现有独立成分分析示意图；
[0051] 图4为理想4层头部模型。
具体实施方式
[0052] 下面结合附图对本发明的技术方案做进一步的详细说明：
[0053] 本发明要解决的技术问题是提供一种基于DIVA模型的脑电信号处理方法。包括以下步骤：
[0054] 步骤1、通过非侵入式脑机接口提取发音过程中的脑电信号(EEG)。对采集到的EEG数据进行预处理，包括去除眨眼伪迹、眼球运动伪迹、低通滤波、坏电极复位、平均以及基线校正；
[0055] 步骤2、基于DIVA模型提供的用户接口对声道参数进行设置，使模型分别进行模拟发音，获得fMIR数据。然后将模拟产生的数据结果输入统计绘图工具SPM中进行分析，采用12参数的仿射变换对数据进行归一化处理。再将图像与高分辨率的结构图像进行配准，并归一到MNI的空间。然后利用半高宽(FWHM)为12mm*12mm*24mm的三维高斯函数对标准化后的数据做空间平滑处理；
[0056] 步骤3、对数据进行初步的白化或球化处理，除各观测信号之间的相关性。然后利用ICA方法对EEG数据进行处理，提取有效成分；
[0057] 在EEG信号的测量中，所观测到的信号实际上是由若干相对独立的源信号
叠加而成的。因此，采用ICA方法分解出观测信号的独立成分将有助于我们把握真正有意义的大脑活动。在EEG信号处理中，可以将记录的头皮电位xi,i＝1,2,.....,m作为观测向量，m表示电极的数量。假设观测信号矢量xi是n个时间上独立的信号源sj,j＝1,2,...,n的线性混和。每一个sj都是统计独立的,并且有其固定的空间信息权重aj。aj是导联场矩阵A的第j列。在上面的表述下，ICA方法直接寻找最优的变换矩阵W，利用ICA的原理恢复信号源矩阵M。因此，从估计的信号Y对观测信号X进行的重建可以通过下式进行：
[0058] X＝W-1Y (1)
[0059] 因此，X的第j个时间序列可以由下式表示:
[0060]
[0061] 其中， 是W-1的第n行第m列的元素。在EEG的
数据处理过程中，为了使用ICA方法，一般都作如下假设：
[0062] 1、信号源产生的信号是统计独立的；
[0063] 2、观测到的脑电信号是瞬时的线性混和信号；
[0064] 3、独立信号源的数量不超过电极的数量
[0065] 如式(2)所示，ICA方法从众多的EEG测量信号中分离出有效的成分，每个有效的成分对应一个偶极子成。
[0066] 步骤4、对每一个提取有效的成分利用fMIR数据进行融合处理；
[0067] 人脑的
电磁场可以通过半稳态的麦克斯维尔方程解释。根据这一理论，大脑表皮的电磁场观测信号与大脑内部任何位置的源信号近似地呈线性关系，可由下式表示：
[0068] X＝AS+N (3)
[0069] 其中，X是头皮电极记录的观测信号，A称为导联场矩阵(lead field matrix)，S是偶极子矢量，N表示每个电极接收信号中的噪声组成的矢量。导联场矩阵A是偶极子位置、大脑几何形状以及介质传导系数的非线性函数，它的每一列表示位于某一位置的单位强度的源对左端观测信号X的贡献。
[0070] EEG逆向问题是指已知头部模型以及传导系数，寻找最优的偶极子配置(包括位置、方向、大小)，使得由这些偶极子产生的头皮电场分布与测量到的头皮电场分布在均方意义下最小。等价于求解下面的优化问题：
[0071]
[0072] 其中，C是信噪比归一化矩阵，λ是正则化参数。更一般地，可以把目标函数与解的某种空间性质联系起来，据此可以定义目标函数为：
[0073]
[0074] 式中，P项是对解的某种空间约束,也就是结合fMIR限定源的可能空间位置，可以由下式定义：
[0075]
[0076] 其中，l是偶极子的数量；ri是第i个偶极子的位置向量；si是fMIR激活点的空间信息；c,di是常数，在本文中，di＝5mm。偶极子的位置与fMIR的激活点位置是相关的，fMIR的激活点位置可以看作是寻找偶极子位置的种子点。同时，应用最大距离限制拟合偶极子的位置以及偶极矩，这就是fMIR受限的等效偶极子模型，简称FC-ECD模型。FC-ECD的一个基本假设是：所观测到的电场分布可以由一个或者几个偶极子产生，同时一定大小区域的激活可以由单个偶极子表示。
[0077] 建立目标函数之后，将偶极子的参数看作是高维空间中的一个节点，采用模拟退火算法求全局最优解。
[0078] 步骤5、在MATLAB中使用FIT工具箱将融合处理后的结果输出。
[0080] 步骤1、通过非侵入式脑机接口提取汉语元音ɑ发音过程中的脑电信号(EEG)。对采集到的EEG数据进行预处理，包括去除眨眼伪迹、眼球运动伪迹、低通滤波、坏电极复位、平均以及基线校正；
[0081] 步骤2、基于DIVA模型提供的用户接口将前三个共振峰
频率值为805Hz、1265Hz和2770Hz，使模型分别进行汉语元音ɑ模拟发音，获得fMIR数据。然后将模拟产生的数据结果输入统计绘图工具SPM中进行分析，采用12参数的仿射变换对数据进行归一化处理。再将图像与高分辨率的结构图像进行配准，并归一到MNI的空间。然后利用半高宽(FWHM)为
12mm*12mm*24mm的三维高斯函数对标准化后的数据做空间平滑处理；
[0082] 步骤3、对数据进行初步的白化或球化处理，除各观测信号之间的相关性。利用独立成分分析方法(ICA)得出最优变换矩阵，进而恢复信号源矩阵S。从众多的EEG测量信号中分离出有效的成分，每个有效的成分对应一个偶极子成。
[0083] 步骤4、在已知头部模型以及其传导系数的前提下，对每一个提取的有效的成分求解最优的偶极子配置(包括位置、方向、大小)，使得由这些偶极子产生的头皮电场分布与测量到的头皮电场分布在均方意义下最小。将fMIR的激活点位置作为是寻找偶极子位置的种子点，在fMIR限定源的可能空间中求解全局最优解。
[0084] 步骤5、在MATLAB中使用FIT工具箱将融合处理后的结果输出。
[0085] 如图1所示，DIVA神经网络模型主要是由前馈控制子系统、反馈控制子系统
和声道所构成的。所述前馈控制子系统包括：语音映射集的一部分、小脑、
发音器官速率和位置映射集(部分)；反馈控制子系统包括语音映射集的一部分、听觉误差映射集、听觉状态映射集、体觉误差映射集、体觉位置映射集、发音器官速率和位置映射集；声道采用前田声道模型，把模拟声道分成8个组成部分：舌头的位置、舌头的形状、舌尖、嘴唇高度、唇凸、以及颚、喉咙的高度和声
门的张合程度。语音映射集的作用是根据模型中已经存在的映射关系把模型的输入进行映射编码；听觉状态和误差映射集的作用是通过编码来调基频F0和前三个共振峰频率F1～F3的位置来描述当前发音；发音器官速率和位置映射集的作用是来决定DIVA神经网络模型的声道框架中各发音器官的位置；体觉状态和误差映射集的作用是调整发音器官的各个部件的位置和参数来调整当前发音。
[0086] 如图2所示，汉语神经分析系统由两部分组成：脑-计算机接口和语音合成系统DIVA模型。BCI中，脑电信号通过使用者佩戴的无线神经电极获取，而检测到的神经信号则被用于驱动语音合成器的连续“运动”，为使用者提供实时语音输出。语音合成器DIVA模型则是一种具有生物学意义的关于语音生成和获取的神经网络。DIVA模型由前馈控制子系统、反馈控制子系统以及前田(Maeda)模拟声道所组成。模型通过某种规则在以语音作为输入的同时，产生一个发音速度以及器官位置变化的时变序列，应用这个序列，系统就可以得到所需要的理想发音。
[0087] 如图3所示，ICA方法是基于以下假设的：信号源产生的信号是统计独立的；观测到的脑电信号是瞬时的线性混和信号独立信号源的数量不超过电极的数量。
[0088] 一般情况下，所获得的数据都具有相关性，所以通常都要求对数据进行初步的白化或球化处理，因为白化处理可去除各观测信号之间的相关性，从而简化了后续独立分量的提取过程，而且，通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好。之后通过解混系统将
输入信号它们分离开来，输出有效成分。ICA的预处理可以有效地降低问题的复杂度，而且算法简单。ICA算法的研究可分为基于信息论准则的
迭代估计方法和基于统计学的代数方法两大类，从原理上来说，它们都是利用了源信号的独立性和非高斯性。基于信息论的方法研究中，各国学者从最大熵、最小互信息、最大似然和负熵最大化等
角度提出了一系列估计算法。如FastICA算法,Infomax算法，最大似然估计算法等。基于统计学的方法主要有二阶累积量、四阶累积量等高阶累积量方法。
[0089] 如图4所示，本
专利采用理想的4层头部模型作为真实大脑头部模型的模拟，即将头部分割成4个部分：脑、
脑脊液、颅骨及头皮,它提供了大脑体积导体的一个简化模型。很多研究人员采用实际影像数据(CT/MRI)等数据，利用FEM(finite element method)或者BEM(boundary element method)方法，对头部模型进行建模；然后，再通过分割、配准等预处理过程将头部又分为4个部分(脑、脑脊液、颅骨及头皮)。但是,这些过程需要大量的计算和很长的时间。而采用4层模型的一个最大的好处就是在节约计算时间的前提下，能够提供一个对于真实头部模型很好的近似。有研究表明：4层球模型即使与更加真实的有限元模型相比，仍不失为一个有效的模拟工具，它可提供一个误差在10％～20％以内的合理的头表电位估计。如图4所示,本文采用的4层球模型的半径依次是79mm、81mm、85mm及88mm，其传导系数分别为0.461S/m、1.39S/m、0.0058S/m和0.461S/m。可以根据式(3)进行EEG正向问题的计算。正向问题的解不仅能够在后面的仿真实验中提供模拟的头表电势分布，而且能够在求解逆向问题的迭代过程中起到辅助推断的作用。
[0090] 上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
