基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统
及方法
技术领域
背景技术
[0002] 视
力障碍为患者的日常生活带来了极大困扰，往往视力受限的患者，其听觉系统是完好的。通过评估听觉认知能力可为临床
疾病诊断和认知科学研究提供重要依据。但是基于听觉脑机系统(Brain-computer interface,BCI)研究的时间还不是很长，而基于视觉BCI系统研究的时间较长，较为成熟，其范式对听觉BCI系统也有很大的借鉴意义。然而很多视力受损的闭
锁综合症患者，无法使用基于视觉范式的脑-机
接口系统，因此研究这一技术是非常必要的，可为听觉正常的闭锁综合症患者提供了一种新的与外界交流的渠道。
[0003] 听觉诱发电位属于是由听觉神经系统的刺激引起的中枢神经系统的
生物电反应。其声诱发电位振幅很小，大多小于1uv，只有自发脑电的1％、反应是在受刺激后经一定潜伏期出现、呈现特定的
波形、反应是在一瞬间出现(自发脑电是长时间周期出现)、有相应的电位分布区，其分布
位置与面积取决于有关组织的结构特征。
[0004] 听觉诱发出事件相关电位，事件相关电位(Event-Related Potentials,ERP)是一种能反映外界刺激作用于感觉系统或者脑部器官的诱发电位。当外界刺激为声音时，所诱发的电位称为听觉事件相关电位。听觉事件相关电位可按延迟时间分类，其中，N0、P0、Na、Pa和Nb属于中潜伏期诱发电位(Middle Latency Response，MLR)。
[0005] 目前听觉脑-机接口技术的实验范式主要有四种：听觉P300、稳态听觉诱发电位、选择注意以及空间
定位。听觉脑-机接口是基于听觉事件相关电位P300的范式。事件相关电位是受试者对具有信息意义的刺激
信号认知加工时从头皮记录到的脑诱发电位，其主要成分P300，是位于刺激后300ms处的正向波，人们普遍认为P300与人脑的信息加工及处理有关，是测定人脑认知加工功能或心理活动的客观指标。而稳态听觉诱发电位是同稳态视觉诱发电位类似的原理，听觉诱发电位在刺激间隔较长时，大脑活动在下一个刺激到来是可以恢复。选择注意的范式是基于与人的听觉
感知相关的听觉响应的特点来设计的，而基于空间定位的听觉范式本质上也是基于听觉选择性注意的，但是由于他们更依赖于听觉刺激的方向性，所以单独归为一类。
[0006] 然而传统的听觉实验范式技术存在一系列缺点：
[0007] 1.诱发时间较长，比如P300的实验范式诱发时间需要300ms左右。
[0008] 2.基于以上四种实验范式，系统比较复杂。在声音刺激刺激声音方面，主要有两种:声音序列(sequential)
和声音流(streaming)。且当声音刺激为声音流时，被试不是注意目标刺激，而是选择两种声音流中的一种，无论是目标刺激还是非目标刺激，被试者都需要选择。声音序列是单一的声音流，被试需要区分目标刺激和非目标刺激，因此存在一个缺点就是被试需要等待目标刺激的到来。
[0009] 3.以上的四种实验范式使用较多的
电极片，对采集信号非常不方便。
发明内容
[0010] 本发明的主要目的在于克服
现有技术的缺点与不足，提供一种基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统及方法，实现中潜伏期听觉诱发电位的提取和分类，为临床疾病诊断和认知科学研究提供重要依据。
[0011] 为了达到上述目的，本发明采用以下技术方案：
[0012] 本发明基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统，包括设备控
制模块、数据
存储器、刺激声发生装置、
数据采集装置和
数据处理分析模块，所述刺激声发生装置、数据采集装置和数据处理分析模块分别与设备
控制模块相连接，所述数据存储装置与设备控制模块、数据采集装置以及数据处理分析模块连接；
[0013] 所述设备控制，用于控制操作设备以及面板VEMP监视器；
[0014] 数据存储器，用于存储采集到的以及处理后的数据；
[0015] 所述刺激声发生装置，用于输出短纯音；
[0016] 所述数据采集装置，用于采集诱发电位信号，并对采集到的诱发电位信号进行预处理和
采样；
[0017] 所述数据处理分析模块，用于分析和提取诱发电位信号，并向设备控制模块的数据存储器读取采样所得的数据，对采样数据进行分析处理，提取出听觉诱发电位的信息，拟合出被测试者的MLR波形，最后把处理结果送回设备控制模块。
[0018] 作为优选的技术方案，所述设备控制模块包括ICS char EP200主机、操作设备以及面板VEMP监视器；其中，操作设备和面板VEMP监视器分别与ICS char EP200主机相连接，ICS char EP200主机用于控制调节刺激声发生装置、数据采集装置和数据处理分析模块的工作，并协同各模块之间的数据传输；操作设备用于给使用者提供操作平台；面板VEMP监视器用于显示操作参数、工作流程以及测试结果。
[0019] 作为优选的技术方案，所述数据采集装置包括诱发电位采集电极、前置
放大器、带通
滤波器和A/D转换器，所述诱发电位采集电极、前置放大器、
带通滤波器和A/D转换器顺序连接，所述诱发电位采集电极采集到连续的诱发电位信号后，由前置放大器将其功率放大，再通过带通滤波器将部分噪声过滤，最后用A/D转换器对该诱发电位信号进行采样，转换成
数字信号输入到设备控制模块的数据存储器。
[0020] 作为优选的技术方案，所述诱发电位采集电极包括：数据采集电极、左右参考电极以及
接地电极，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右
耳乳突，接地电极位于眉心。
[0021] 作为优选的技术方案，所述数据处理分析模块包括：
[0022] 数据处理分析模块包括数据预处理模块、特征提取模块、以及
模式识别模块，[0023] 所述数据预处理模块，利用小波分析对采集的数据进行滤波；
[0024] 所述特征提取模块，用于对MLR波形、采用
能量、方差、面积、AR模型系数及波形峰值进行特征提取；
[0025] 所述模式识别模块，用于对以上提取的特征，使用
支持向量机和
人工神经网络进行分类。
[0026] 作为优选的技术方案，所述刺激声发生装置包括两种状态：
[0027] 状态一：空闲状态，受试者保持放松状态，此时不计算；
[0028] 状态二：通过意念对刺激声进行计数的状态，其中受试者在计数时不能发出声音、触动嘴唇或者伸缩舌头。
[0029] 本发明一种基于中潜伏期听觉诱发电位的听觉注意特征提取、识别方法，包括下述步骤：
[0030] S1、开启ICS CHARTR EP，进行初始设置，将刺激声设置为：短纯音，密集型；
[0031] S2、通过四个电极来获取受试着的数据，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心；
[0032] S3、空闲和计数两种状态随机出现，并由实验操作者口头告知受试者，完成实验数据的采集，其中空闲和计数两种状态采集相同的组数；
[0033] S4、对所采集的数据使用6层小波分解进行滤波，利用第三层到第六层细节分量系数重构原始信号，可实现9.375～150Hz带通滤波的效果，并能去除基线、自发脑电和高频噪声；
[0034] S5、采用
阈值法，对波形走势明显异常，波峰和波谷总量小于3个，幅值过高的波形予以自动剔除，滤波和去伪迹后，分别对所有受试者的所有同状态数据做平均；
[0035] S6、对MLR波形，采用能量、方差、面积、AR模型系数及波形峰值作为特征值，其中AR模型系数采用Burg
算法计算得到，阶数则由高阶谱分析工具箱HOSA的定阶函数ARORDER计算获取；
[0036] S7、由ARORDER函数计算得到的AR模型阶数为7，组合能量、面积、方差和峰值特征；
[0037] S8、采用基于K交叉验证的支持向量机和神经网络的分类算法对特征数据进行处理。
[0038] 作为优选的技术方案，步骤S6中，MLR波形的峰值由下列公式获取：
[0039] 记Na，Nb相对于基线的峰值分别为PNa和PNb，则：
[0040] PNa＝max{x(n)}n∈[n1,n2] (1)
[0041] PNb＝max{x(n)}n∈[n3,n4] (2)
[0042] 记Pa相对于基线的峰值为LPa，则：
[0043] LPa＝min{x(n)}n∈[n5,n6] (3)
[0044] 记Nb-Pa的峰峰值为FNb-Pa，则：
[0045] FNb-Pa＝PNb-LPa (4)
[0046] 其中n1、n3和n5分别代表Na、Nb和Pa潜伏期区间起始点，n2、n4和n6分别代表Na、Nb和Pa潜伏期区间结束点。Na、Pa和Nb的潜伏期分别为16～30ms，30～45ms和40～60ms，实验依照各受试者的波形对潜伏期区间范围进行微调。
[0047] 作为优选的技术方案，步骤S7中，组合能量、面积、方差和峰值特征之后得到13维特征，记为：
[0048] v1＝[a1,a2,a3,a4,a5,a6,a7,e,s,σ,PNa,LPa,PNb] (5)
[0049] 其中a1～a7为AR模型系数，e为能量，s为面积，σ为方差，PNa、LPa和PNb分别为Na、Pa和Nb的峰值，此外还加入了Nb和Pa的峰值FNb-Pa，最终得到
特征向量v2和v3：
[0050] v2＝[a1,a2,a3,a4,a5,a6,a7,e,s,σ,PNa,LPa,FNb-Pa] (6)
[0051] v3＝[a1,a2,a3,a4,a5,a6,a7,e,s,σ,PNa,PNb,FNb-Pa]。 (7)
[0052] 作为优选的技术方案，步骤S8中，
[0053] 支持向量机选择高斯核函数，设定惩罚参数c和高斯核参数g的寻优范围为[2-10,210]，以K交叉验证运行100次中，使正确率达到最大值的c和g值为最终采用的值；
[0054] 由于仅含一个隐层的神经网络就可以任意逼近一个非线性函数，采用2层神经网络，第一层有10个神经元，第二层有2个神经元，第一层的传递函数是逻辑函数，
输出层的传递函数是线性函数，同样以K交叉验证运行100次中，使正确率达到最大值的网络为最后采用的网络，最后将基于K交叉验证的两种分类器算法
迭代100次的平均识别率作为最终分类正确率。
[0055] 本发明与现有技术相比，具有如下优点和有益效果：
[0056] 1、本发明实验范式更简洁，使用的电极数量更少。
[0057] 2、本发明诱发时间只需88s,诱发时间比传统的P300诱发时间要少。
[0058] 3、传统的听觉诱发波形需要通过大量的数据进行加权平均，来获得稳定的波形，本发明能够通过随机的选取一定数量的波形进行平均，就能减少
叠加的次数。
[0059] 4、本发明实验结果对被测试对象的听力认知效果明显，为临床疾病诊断和认知科学研究提供了重要依据。
附图说明
[0060] 图1是本发明装置的结构示意图；
[0061] 图2是本发明电极分布示意图；
[0062] 图3是本发明8位受试者的所有同状态数据做平均波形图；
[0063] 图4是本发明数据处理流程示意图。
具体实施方式
[0064] 下面结合
实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0065] 实施例如图1所示，本实施例的基于中潜伏期听觉诱发电位的听觉注意特征提取、识别系统包括：设备控制模块1、数据存储器2、刺激声发生装置3、数据处理分析模块4和数据采集装置5，所述刺激声发生装置、数据采集装置和数据处理分析模块分别与设备控制模块相连接，所述数据存储装置与设备控制模块、数据采集装置以及数据处理分析模块连接。
[0066] 本实施例的实验设计方案设计了两种思维状态，一种空闲状态(保持放松状态，不计数)，另一种则是通过意念对刺激声进行计数的状态，其中受试者在计数时不能发出声音、触动嘴唇或者伸缩舌头。两种状态随机出现，并由实验操作者口头告知受试者。实验设计方案如表1所示。一次实验共采集40组数据，空闲状态和计数状态各采集20组。采集一组数据所需88s,每组之间的间隔为5～10s之间的一个随机值。每采集完10组数据后，受试者休息5分钟。8位受试者均参与了5次实验。
[0067] 表1实验设计方案
[0068]
[0069] 所述设备控制模块1包括了ICS char EP 200主机、操作设备以及面板VEMP监视器。其中，ICS char EP 200主机用于控制刺激声发生器3、数据采集装置5和数据处理分析模4块等
外围设备的工作，以及各部分模块之间的数据传输。数据存储器2用于存储检测数据，可供ICS char EP 200主机和数据处理分析模块4进行读写数据。操作设备给使用者提供操作平台，面板VEMP监视器用于显示操作参数、工作流程以及检查结果。
[0070] 如图1、图2所示，所述数据采集装置包括诱发电位采集电极、前置放大器、带通滤波器和A/D转换器，所述诱发电位采集电极、前置放大器、带通滤波器和A/D转换器顺序连接，所述诱发电位采集电极采集到连续的诱发电位信号后，由前置放大器将其功率放大，再通过带通滤波器将部分噪声过滤，最后用A/D转换器对该诱发电位信号进行采样，转换成数字信号输入到设备控制模块的数据存储器。所述诱发电位采集电极包括：数据采集电极、左右参考电极以及接地电极，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心。
[0071] 所述的刺激声发生器与ICS char EP 200主机以及和耳机依次相连，并且可以产生1000Hz的短纯音。
[0072] 所述的数据处理模块，首先进行初始化参数设置，然后再进行诱发电位采集、数据预处理、特征提取、分类算法分类，最后结果分析。
[0073] 本实施例的总体设计流程如下：
[0074] (1)找8名(8耳，都是左耳)受试者进行了MLR实验，其中男生5名，女生3名，平均年龄24岁，均为广州大学在校研究生。受试者都为
右利手,无听觉系统、神经系统疾病及
精神障碍病史，而且都没有参加过相关的实验。首先向受试者介绍实验目的和相关注意事项，然后他们签署了《知情同意书》。整个实验在静音的
电磁屏蔽间内进行，且进行实验时将屏蔽室的灯光关闭，受试者安静地平躺于床上，头部垫枕，患者闭上双眼，保持放松。
[0075] (2)实验仪器为丹麦尔听美公司的ICS Chartr EP200诱发电位仪。采集数据设置如下。刺激声：短纯音，密集型。声音
频率1KHz,声音强度70dBnHL，通道为同侧,由头戴式TelephonicsTDH-49P型耳机给声，左耳给刺激声。声音的重复率为1.1次/s，带通滤波为10～100Hz，扫描时间为500ms，叠加次数为80次。本设备用4个电极来获取数据，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心，电极分布如图2所示。所有电极的阻抗匹配低于5kΩ。
[0076] (3)对采集的数据进行数据预处理。
[0077] (4)然后算其能量、方差、面积、AR模型系数及波形峰值作为特征值。
[0078] (5)使用支持向量机和人工神经网络分类算法进来分类。
[0079] 基于上述总体的设计流程，如图4所示，为本发明数据采集和分析处理的
流程图，其具体包括了以下步骤：
[0080] 步骤1：打开ICS CHARTR EP，采集数据设置如下。刺激声：短纯音，密集型。声音频率1KHz,声音强度70dBnHL，通道为同侧,由头戴式TelephonicsTDH-49P型耳机给声，左耳给刺激声。声音的重复率为1.1次/s，带通滤波为10～100Hz，扫描时间为500ms，叠加次数为80次。
[0081] 步骤2：受试者安静地平躺于床上，头部垫枕，患者闭上双眼，保持放松。使用四个电极来获取数据，其中数据采集电极位于额头顶部的发际中心位置，左右参考电极分别位于左右耳乳突，接地电极位于眉心，电极分布如图1所示。所有电极的阻抗匹配低于5kΩ。
[0082] 步骤3：空闲和计数两种状态随机出现，并由实验操作者口头告知受试者。实验设计方案如表1所示。一次实验共采集40组数据，空闲状态和计数状态各采集20组。采集一组数据所需88s,每组之间的间隔为5～10s之间的一个随机值。每采集完10组数据后，受试者休息5分钟。8位受试者均参与了5次实验。
[0083] 步骤4：对所采集的数据使用6层小波分解进行滤波，利用第三层到第六层细节分量系数重构原始信号，可实现9.375～150Hz带通滤波的效果，并能去除基线、自发脑电和高频噪声。
[0084] 步骤5：滤波后的数据仍可能存在肌电和眼电干扰的迹象，因此本文采用阈值法，对波形走势明显异常，波峰和波谷总量小于3个，幅值过高的波形予以自动剔除(测试对象不同，此阈值也会随之变化)。滤波和去伪迹后，分别对8位受试者的所有同状态数据做平均，得到图3所示波形。
[0085] 步骤6：对MLR波形，采用能量、方差、面积、AR模型系数及波形峰值作为特征值，其中AR模型系数采用Burg算法计算得到，阶数则由高阶谱分析工具箱HOSA的定阶函数ARORDER计算获取。MLR峰值由下列公式获取：
[0086] 记Na，Nb相对于基线的峰值分别为PNa和PNb，则：
[0087] PNa＝max{x(n)}n∈[n1,n2] (1)
[0088] PNb＝max{x(n)}n∈[n3,n4] (2)
[0089] 记Pa相对于基线的峰值为LPa，则：
[0090] LPa＝min{x(n)}n∈[n5,n6] (3)
[0091] 记Nb-Pa的峰峰值为FNb-Pa，则：
[0092] FNb-Pa＝PNb-LPa (4)
[0093] 其中n1、n3和n5分别代表Na、Nb和Pa潜伏期区间起始点，n2、n4和n6分别代表Na、Nb和Pa潜伏期区间结束点。Na、Pa和Nb的潜伏期分别为16～30ms，30～45ms和40～60ms。实验依照各受试者的波形对潜伏期区间范围进行微调。
[0094] 步骤7：由ARORDER函数计算得到的AR模型阶数为7，组合能量、面积、方差和峰值特征，本文得到的特征共13维，记为
[0095] v1＝[a1,a2,a3,a4,a5,a6,a7,e,s,σ,PNa,LPa,PNb] (5)
[0096] 其中a1～a7为AR模型系数，e为能量，s为面积，σ为方差，PNa、LPa和PNb分别为Na、Pa和Nb的峰值。此外本文还加入了Nb和Pa的峰值FNb-Pa，最终得到特征向量v2和v3：
[0097] v2＝[a1,a2,a3,a4,a5,a6,a7,e,s,σ,PNa,LPa,FNb-Pa] (6)
[0098] v3＝[a1,a2,a2,a4,a5,a6,a7,e,s,σ,PNa,PNb,FNb-Pa] (7)
[0099] 步骤8：采用了基于K交叉验证的支持向量机和神经网络[17]的分类算法，实验中K取3。
[0100] 支持向量机选择高斯核函数，设定惩罚参数c和高斯核参数g的寻优范围为[2-10,210]，以K交叉验证运行100次中，使正确率达到最大值的c和g值为最终采用的值。
[0101] 由于仅含一个隐层的神经网络就可以任意逼近一个非线性函数，本实验采用2层神经网络，第一层有10个神经元，第二层有2个神经元。第一层的传递函数是逻辑函数(logsig)，输出层的传递函数是线性函数(linear)，同样以K交叉验证运行100次中，使正确率达到最大值的网络为最后采用的网络。最后将基于K交叉验证的两种分类器算法迭代100次的平均识别率作为最终分类正确率。
[0102] 步骤9：每位受试者都进行了5次实验，有200次数据，其中注意状态100次，非注意状态100次。去伪迹后剩余160条左右数据，K交叉验证取K＝3，因此
训练数据106条左右，测试数据54条左右，SVM和ANN分类结果分别见表2和表3。
[0103] 表2所有受试者SVM分类结果比较
[0104]
[0105] 注：1、3、6号为女性
[0106] 表3所有受试者ANN分类结果比较
[0107]
[0108]
[0109] 注：1、3、6号为女性
[0110] 步骤10：由表2可知，所有受试者的三类特征平均识别正确率相差不大，以v3为特征的识别率为66.1±6.1％，略高于以v2和v1为特征的识别率，由此可见SVM对三种特征并不敏感。各受试者之间的识别率相差较大，最高为74.7±4.9％，最小仅57.3±5.9％。
[0111] 由表3可知，以v3为特征的平均识别率最高，可达77.2±2.8％，以v1和v2为特征的识别率也分别达到了75.5±2.7％和74.9±3.2％，由此可见所取特征有效且可分。对比表2和表3可以发现在本实验范式下，采用ANN分类器的识别率都高于SVM分类器的识别率。
[0112] 总之，本文设计的实验范式简洁，技术可行，有望为视觉有障碍的患者提高
生活质量，还可为健康人提供
人机交互应用体验。虽然实验对象有限，但可以有效推广。
[0113] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
