用于运动康复的方法和系统
阅读：434发布：2020-10-21
专利汇可以提供用于运动康复的方法和系统专利检索，专利查询，专利分析的服务。并且本 发明 提供了一种对运动想象检测模 块 进行校准的方法和用于运动康复的系统。该方法包括：从对象获取 脑电图 （EEG）数据；从EEG数据中选择分类特征；其中，特征选择包括通过M个子类xj，j=1，…，M对对象的空闲状态ωn进行建模。，下面是用于运动康复的方法和系统专利的具体信息内容。
1.对运动想象检测模块进行校准的方法，所述方法包括: 从对象获取脑电图(EEG)数据； 从所述EEG数据中选择分类特征； 其中，所述特征选择包括通过M个子类Xj, j = I,..., M对所述对象的空闲状态(^进行建模。
2.如权利要求1所述的方法，其中选择所述分类特征包括:对于所述EEG数据的多个频带中的每一个，使用多时间段计算用于空间滤波的投影矩阵。
3.如权利要求2所述的方法，其中选择所述分类特征还包括:计算每个频带的候选特征。
4.如权利要求3所述的方法，其中选择所述分类特征还包括:对于每个频带，计算每个候选特征的互信息。
5.如权利要求4所述的方法，其中选择所述分类特征还包括:对于每个频带，选择与运动想象动作和休息分别具有最大互信息的候选特征。
6.如权利要求5所述的方法，还包括使用所选择的特征对非线性回归模型进行训练。
7.如权利要求6所述的方法，还包括使用来自对所述非线性回归模型进行训练的输出来训练非线性后处理回归模型。
8.运动康复的方法，所述方法包括: 从对象的脑电图(EEG )数据提取特征，其中所述特征的提取包括使用包括M个子类Xj，j = 1，…，M的用于所述对象的空闲状态ωη的多模态模型； 使用康复模块对所述多模态模型针对运动控制信号的输出进行监测；以及 如果检测到运动控制信号，则 向所述对象施加功能性电刺激(FES)。
9.用于运动想象检测的系统，所述系统包括: 处理器，能够从对象获取脑电图(EEG)数据； 其中，所述处理器还能够从所述EEG数据中选择分类特征；以及 其中，所述特征的提取包括通过M个子类Xj, j = I,..., M对所述对象的空闲状态ωη进行建模。
10.如权利要求9所述的系统，其中选择所述分类特征包括:对于所述EEG数据的多个频带中的每一个，使用多时间段计算用于空间滤波的投影矩阵。
11.如权利要求10所述的系统，其中选择所述分类特征包括:对于每个频带，计算每个候选特征的互信息。
12.如权利要求11所述的系统，其中选择所述分类特征包括:对于每个频带，计算每个候选特征的互信息。
13.如权利要求12所述的系统，其中选择所述分类特征包括:对于每个频带，选择与运动想象动作和休息分别具有最大互信息的候选特征。
14.如权利要求13所述的系统，其中所述处理器还能够使用所选择的特征对非线性回归模型进行训练。
15.如权利要求14所述的系统，其中所述处理器还能够使用来自对所述非线性回归模型进行训练的输出来训练非线性后处理回归模型。
16.用于运动康复的系统，所述系统包括: 输入装置，用于获取对象的脑电图(EEG)数据； 处理器，能够使用包括M个子类Xj，j = 1，…，M的用于所述对象的空闲状态ωη的多模态模型从所述EEG数据提取特征； 康复模块，对由所述处理器提供的针对运动控制信号的输出进行监测，所述康复模块能够向所述对象施加功能性电刺激(FES)。
17.计算机可读数据存储介质，其上存储有用于命令计算机处理器执行如权利要求1所述的对运动想象检测模块进行校准的方法的计算机代码。
18.计算机可读数据存储介质，其上存储有用于命令计算机处理器执行如权利要求8所述的运动康复的方法的计算机代码。
19.一种用于基于交互的脑机接口(BCI)的方法，所述方法包括以下步骤: 获取对象的EEG数据； 对所述EEG数据进行处理以确定所述对象的运动想象； 使用检测设备检测所述对象的吞咽运动；以及 基于所述运动想象、所述 运动、或所述运动想象和所述运动向所述对象提供反馈； 其中，提供所述反馈包括激活刺激元件以向所述对象的喉部肌肉提供刺激。
20.如权利要求19所述的方法，包括: 对所述EEG数据进行处理以确定所述个人是否执行特定吞咽运动想象；以及 如果所述特定吞咽运动想象被执行，则激活所述刺激元件。
21.如权利要求20所述的方法，其中，在所述特定吞咽运动想象被执行的情况下，所述反馈还包括对所述个人的单独的视觉反馈。
22.根据权利要求19至21中任一项所述的方法，包括: 确定所述个人是否执行吞咽运动；以及 如果所述吞咽运动被执行，则激活所述刺激元件。
23.如权利要求22所述的方法，其中，在所述吞咽运动被执行的情况下，所述反馈还包括对所述个人的单独的视觉反馈。
24.如权利要求22或23所述的方法，其中对所述对象是否执行所述吞咽运动的确认在一个时间段内进行。
25.根据权利要求19至24中任一项所述的方法，其中对所述EEG数据进行的处理包括使用被训练的分类算法。
26.如权利要求25所述的方法，其中训练所述分类算法包括: 将所述EEG数据分为多个段， 对于每个段，将相应的EEG信号部分分为多个频带， 对于每个频带，基于CSP算法和相应特征计算空间滤波投影矩阵，并且计算每个相应特征相对于一个或多个运动想象类的互信息， 对于每个段，对相对于各个类的所有相应特征的互信息进行求和，以及 选择针对一个类具有最大的互信息和的段的相应特征以进行训练。
27.如权利要求26所述的方法，还包括使用被选择的相应特征来训练所述分类算法的分类器。
28.如权利要求27所述的方法，其中训练所述分类器包括使用被选择的相应特征训练非线性回归、以及使用来自所述非线性回归的输出训练非线性后处理回归。
29.如权利要求26至28中任一项所述的方法，其中基于所述CSP算法计算所述空间滤波投影矩阵包括使用用于每个频带的多模态多时间段。
30.如权利要求29所述的方法，其中所述用于每个频带的多模态多时间段包括空闲状态的多模态表示。
31.一种脑机接口系统，包括: 用于获取对象的EEG数据的装置； 用于对所述EEG数据进行处理以确定所述对象的运动想象的装置； 用于使用检测设备检测所述对象的吞咽运动的装置；以及 基于所述运动想象、所述运动、或所述运动想象和所述运动向所述对象提供反馈的装置； 其中，提供所述反馈的装置包括用于向所述对象提供刺激的刺激元件。
32.如权利要求31所述的系统，其中所述刺激包括功能性电刺激。
33.如权利要求31或32所述的系统，还包括基于所述运动想象、所述运动、或所述运动想象和所述运动向所述个人提供视觉反馈的屏幕。
34.计算机可读数据存储介质，其上存储有用于命令计算机处理器执行如权利要求19所述的基于交互的脑机接口(BCI)的方法的计算机代码。
用于运动康复的方法和系统
技术领域
背景技术
[0002] 脑机接口(Brain Computer Interface, BCI)用作人脑和外部设备之间的直接交流路径。此外，BCI系统还可提供用于数学方法的发展和多通道信号处理以从大脑活动推导命令信号的重要试验台。由于其直接使用大脑活动的电子签名来响应外部刺激，故对遭受严重神经肌肉障碍并因此无法通过正常神经肌肉途径交流的瘫痪对象特别有用。脑电图(Electroencephalogram, EEG)是一种广泛使用的技术，由于其优点(诸如无创性质和低成本)而超越许多现有的脑信号测量技术。
[0003] 关于康复，当前，中风康复通常涉及由人类治疗师执行的物理疗法。机器人康复可辅助人类治疗师并且使无法从人类治疗师处获得的新奇康复训练成为可能。基于机器人康复的涉及脑机接口(BCI)的临床试验当前正在发展，并且超过标准机器人康复的一些优点包括仅在运动意图被检测到时对患者进行机器人辅助，并且对运动意图的检测被校准至患者特有的运动想象脑电图(EEG)。
[0004] 然而，除了仅处于临床试验水平之外，还应相信，当前技术通常被限制为肢体(gp人的臂和腿)的康复。
[0005] 此外，为了将EEG数据用于康复目的，EEG数据通常被模型化为运动控制数据和空闲状态数据。通常，空闲状态数据不会单独模型化，而是使用单模态方法类似地模型化以控制数据。选取这种方法是因为对空闲状态数据建模是复杂且困难的。单模态方法的一个问题在于，当对象替代地处于空闲 状态例如没有进行任何精神控制时，BCI系统可能接收到假阳性检测信号控制数据。
[0006] 因此，需要解决上述问题中的至少一个问题的对运动想象检测模块进行校准的方法和用于运动康复的系统。
发明内容
[0007] 根据本发明的第一方面，提供了一种对运动想象检测模块进行校准的方法，所述方法包括:从对象获取脑电图(EEG)数据；从所述EEG数据中选择分类特征；其中，所述特征选择包括通过M个子类Xj, j = I,..., M对所述对象的空闲状态ωη进行建模。
[0008] 选择分类特征可包括:对于EEG数据的多个频带中的每一个，使用多时间段计算用于空间滤波的投影矩阵。
[0009] 选择分类特征还可包括:计算每个频带的候选特征。
[0010] 选择分类特征还可包括:对于每个频带，计算每个候选特征的互信息。
[0011] 选择分类特征还可包括:对于每个频带，选择与运动想象动作和休息分别具有最大互信息的候选特征。[0012] 该方法还可包括使用所选择的特征对非线性回归模型进行训练。
[0013] 该方法还可包括使用来自对所述非线性回归模型进行训练的输出来训练非线性后处理回归模型。
[0014] 根据本发明的第二方面，提供了一种运动康复方法，该方法包括:从对象的脑电图(EEG)数据提取特征，其中所述特征的提取包括使用包括M个子类Xj，j = 1，…，M的用于所述对象的空闲状态ωη的多模态模型；使用康复模块对所述多模态模型针对运动控制信号的输出进行监测；以及如果检测到运动控制信号，则向所述对象施加功能性电刺激(FES)。
[0015] 根据本发明的第三方面，提供了一种用于运动想象检测的系统，该系统包括:能够从对象获取脑电图(EEG)数据的处理器；其中，所述处理器还能够从所述EEG数据中选择分类特征；以及其中，所述特征的提取包括通过M个子类Xj，j = 1，…，M对所述对象的空闲状态ωη进行建模。
[0016] 选择分类特征可包括:对于所述EEG数据的多个频带中的每一个，使用多时间段计算用于空间滤波的投影矩阵。
[0017] 选择分类特征还可包括:计算每个频带的候选特征。
[0018] 选择分类特征的步骤还可包括:对于每个频带，计算每个候选特征的互信息。
[0019] 选择分类特征还可包括:对于每个频带，选择与运动想象动作和休息分别具有最大互信息的候选特征。
[0020] 该处理器还能够使用所选择的特征对非线性回归模型进行训练。
[0021] 该处理器还能够使用来自对所述非线性回归模型进行训练的输出来训练非线性后处理回归模型。
[0022] 根据本发明的第四方面，提供了一种用于运动康复的系统，该系统包括:输入装置，用于获取对象的脑电图(EEG)数据；处理器，能够使用包括M个子类Xj，j = 1，…，M的用于所述对象的空闲状态ωη的多模态模型从所述EEG数据提取特征；康复模块，对由所述处理器提供的针对运动控制信号的输出进行监测，所述康复模块能够向所述对象施加功能性电刺激(FES)。
[0023] 根据本发明的第五方面，提供了一种计算机可读数据存储介质，其上存储有用于命令计算机处理器执行第一方面所述的对运动想象检测模块进行校准的方法的计算机代码。
[0024] 根据本发明的第六方面，提供了一种计算机可读数据存储介质，其上存储有用于命令计算机处理器执行第二方面所述的运动康复的方法的计算机代码。
[0025] 根据本发明的第七方面，提供了一种用于基于交互的脑机接口( BCI)的方法，该方法包括以下步骤:获取对象的EEG数据；对所述EEG数据进行处理以确定所述对象的运动想象；使用检测设备检测所述对象的吞咽运动；以及基于所述运动想象、所述运动、或所述运动想象和所述运动向所述对象提供反馈；其中，提供所述反馈包括激活刺激元件以向所述对象的喉部肌肉提供刺激。
[0026] 该方法可包括:对所述EEG数据进行处理以确定个人是否执行特定吞咽运动想象；以及如果所述特定吞咽运动想象被执行，则激活所述刺激元件。
[0027] 在所述特定吞咽运动想象被执行的情况下，反馈还可包括对所述个人的单独的视觉反馈。[0028] 该方法可包括:确定所述个人是否执行吞咽运动；以及如果所述吞咽运动被执行，则激活所述刺激元件。
[0029] 在所述吞咽运动被执行的情况下，该反馈还可包括对所述个人的单独的视觉反馈。
[0030] 对所述对象是否执行所述吞咽运动的确认可以在一个时间段内进行。
[0032] 训练分类算法可包括:将所述EEG数据分为多个段；对于每个段，将相应的EEG信号部分分为多个频带；对于每个频带，基于CSP算法和相应特征计算空间滤波投影矩阵，并且计算每个相应特征相对于一个或多个运动想象类的互信息；对于每个段，对相对于各个类的所有相应特征的互信息进行求和，以及选择针对一个类具有最大的互信息和的段的相应特征以进行训练。
[0033] 该方法还可包括使用被选择的相应特征来训练所述分类算法的分类器。
[0034] 训练分类器可包括使用被选择的相应特征训练非线性回归、以及使用来自所述非线性回归的输出训练非线性后处理回归。
[0035] 基于CSP算法计算空间滤波投影矩阵可包括使用用于每个频带的多模态多时间段。
[0036] 用于每个频率组的多模态`多时间段可包括空闲状态的多模态表示。
[0037] 根据本发明的第八方面，提供了一种脑机接口系统，包括:用于获取对象的EEG数据的装置；用于对所述EEG数据进行处理以确定所述对象的运动想象的装置；用于使用检测设备检测所述对象的吞咽运动的装置；以及基于所述运动想象、所述运动、或所述运动想象和所述运动向所述对象提供反馈的装置；其中，提供所述反馈的装置包括用于向所述对象提供刺激的刺激元件。
[0038] 刺激可包括功能性电刺激。
[0039] 该系统还可包括基于所述运动想象、所述运动、或所述运动想象和所述运动向所述对象提供视觉反馈的屏幕。
[0041] 仅通过实施例并结合附图，从下面的文字性描述中，本发明的实施方式将得到更好地理解并且对于本领域技术人员来说更容易显而易见，在附图中:
[0042] 图1是示出示例性实施方式中用于中风/吞咽康复的基于脑机接口(BCI)系统的无创脑电图(EEG)的示意图；
[0043] 图2是概括地示出示例性实施方式中舌头运动想象检测模块的校准/构造的示意性流程图；
[0044] 图3是示出示例性实施方式中校准和使用舌头运动想象检测模块的过程的示意图；
[0045] 图4是示出示例性实施方式中运动想象检测模块的校准过程的示意性流程图；
[0046] 图5是示出示例性实施方式中使用EEG数据和脑电图(EMG)数据以向对象提供功能性电刺激(FES)的示意图；
[0047] 图6是示出示例性实施方式中用于激活吞咽康复以治疗中度吞咽困难的触发器的不意图；
[0048] 图7是示出示例性实施方式中EEG分解为多个时间段和频率组的示意图；
[0049] 图8是示出多模态方法和单模态方法在对空闲状态建模中的区别的示意图；
[0050] 图9是示出示例性实施方式中对运动想象检测模块进行校准的方法的示意性流程图；
[0051] 图10是示出示例性实施方式中运动康复的方法的示意性流程图；
[0052] 图11是示 出示例性实施方式中用于基于交互的脑机接口(BCI)的方法的示意性流程图；
[0053] 图12是用于实施示例性实施方式中的对运动想象检测模块和/或运动康复进行校准的方法和系统的计算机系统的示意图。
具体实施方式
[0054] 以下描述的一部分明确地或者暗含地涉及算法和对计算机存储器内数据的操作的功能或者符号表示。这些算法的描述和功能或者符号表示是数据处理领域内技术人员用于更有效地向本领域内其它技术人员表达他们工作实质的方法。此处通常将算法设想为生成期望结果的一系列有条理的步骤。这些步骤是需要对诸如能够存储、传送、组合、对比以及通过其它方式操控的电、磁或者光信号的物理量进行物理操控的步骤。
[0055] 除非特别说明，否则如以下可显而易见地，应该理解本说明书通篇使用的诸如“扫描”、“计算”、“确定”、“置换”、“生成”、“初始”、“输出”等术语的讨论，涉及计算机系统或者类似电子设备的动作和处理，上述的电子设备将表示为计算机系统内物理量的数据操控和转换成同样表示为计算机系统或者其它信息存储、传输或者显示设备内物理量的其它数据。
[0056] 本说明书还公开了用于执行方法操作的设备。这种设备为所需的目的而特别构成，或者可以包括通用计算机或者其它由存储在计算机中的计算机程序选择性启动或者重新配置的其它设备。本文介绍的算法和显示不是固有地与任何具体计算机或者其它设备相关。各种通用机器可以根据本文教导的程序一起使用。可替换地，用于执行所要求的方法步骤的更特殊的设备构造是可以适用的。常规的通用计算机的结构将在以下描述中介绍。
[0057] 此外，由于可以由计算机代码实施本文描述方法的各步骤对本领域技术人员是显而易见的，因此本说明书还暗含地公开计算机程序。该计算机程序不试图限制于任何具体的编程语言及其执行。应该理解，可以使用多种编程语言及其代码以执行本文包含的公开的教导。此外，该计算机程序不试图限制于任何具体的控制流。在不脱离本发明精神或者范围的情况下，存在许多其它种类的、可以使用不同控制流的计算机程序。
[0058] 而且，可以并行地而不是顺序地执行计算机程序的一个或者多个步骤。这种计算机程序可以存储在任何计算机可读介质上。计算机可读介质可以包括的存储设备诸如为磁盘或者光盘、存储器芯片或者适于与通用计算机接口的其它存储设备等。计算机可读介质还可以包括诸如在因特网系统中的硬接线介质，或者诸如在GSM移动电话系统中的无线介质。当在这种通用计算机上加载和执行计算机程序时，计算机程序有效地产生实施优选方法的步骤的设备。[0059] 本发明还可被实施为硬件模块。更具体地，在硬件意义下，模块是被设计为与其它部件或模块一起使用的功能性硬件单元。例如，模块可使用分立电子部件实施，或者其可以形成整个电子电路诸如特定用途集成电路(ASIC)的一部分。还存在许多其它可能。本领域技术人员应理解，该系统还可被实施为硬件和软件模块的组合。
[0060] 图1是示出示例性实施方式中用于中风/吞咽康复的基于脑机接口(BCI)系统102的无创脑电图(EEG)的示意图。
[0061] BCI系统102包括联接至信号放大器106的舌头运动想象检测模块104、联接至信号放大器106的吞咽检测模块108、以及联接至舌头运动想象检测模块104和吞咽检测模块108的吞咽康复模块110。
[0062] 在示例性实施方式中，对象112向舌头运动想象检测模块104提供EEG数据并且，如果可行，向吞咽检测模块108提供EMG数据。吞咽康复模块110可向对象112提供吞咽功能性电刺激(FunctionalElectrical Stimulation, FES) 114 和突光镜检查反馈 116。
[0063] 如果在吞咽康复模块110处检测到吞咽意图，则荧光镜检查视频116被呈现作为对患者/对象112的反馈。此外，吞咽FES 114被触发以刺激患者/对象112的吞咽肌肉群。
[0064] 在示例性实施方式中，对于具有中度吞咽困难的患者或对象，吞咽检测模块108还被校准以针对具有中度吞咽困难的患者检测吞咽动作的对象特有的脑电图(EMG)数据。
[0065] 与健康对象相比，具有中度吞咽困难的患者可进行虚弱的吞咽，而非正常的吞咽动作。进行虚弱吞咽的能力允许使用从具有中度吞咽困难患者收集的EMG数据进行校准。
[0066] 图2是概略地示出示例性实施方式中舌头运动想象检测模块的校准/构造的示意性流程图202。在步骤204中，从对象获得EEG数据。在步骤206中，使用EEG数据执行候选特征提取。在步骤208 中，基于所提取的特征执行分类特征选择。在步骤210中，进行分类器学习。
[0067] 示例性实施方式可通过构造对象专用的运动想象模型直接解决运动想象EEG的重要对象间变化性。在示例性实施方式中，EEG数据从执行多个运动想象动作(例如，左手、右手、脚和舌头运动想象)的患者/对象收集。
[0068] 图3是示出示例性实施方式中校准和使用舌头运动想象检测模块的过程的示意性流程图。该校准过程被示为训练阶段302，并且舌头运动想象检测模块的使用被示为评估阶段304。
[0069] 在步骤306中，从对象获得多时间段EEG数据。在步骤308中，采用多模态方法(Mult1-modal approach)对EEG数据的控制状态和空闲状态进行建模。在步骤310中，使用滤波器组共有空间模式(CommonSpatial Pattern, CSP)算法从各滤波器组和时间段提取CSP候选特征。在步骤312中，执行分类特征选择。在步骤314中，使用被选择的特征执行非线性回归训练。在步骤316中，执行后处理。
[0070] 在步骤318中，从对象获得单个试验EEG。在步骤320中，将滤波器组CSP算法用于对步骤318的EEG数据进行特征提取。在步骤322中，基于步骤312中的训练从步骤320中所提取的特征获得被选特征。在步骤324中，对被选特征执行非线性回归处理。在步骤326中，执彳丁后处理。在步骤328中，提供运动意图输出。
[0071] 图3中的步骤将在下面详细描述。[0072](在步骤306中)所获得的EEG数据被分解为多个滤波器/频率组和时间段，使得所谓的共有空间模式(CSP)算法被用于从各滤波器组和时间段中提取CSP特征。该处理的图示稍后在图7中提供。
[0073] 来自各时间段和各滤波器组的EEG数据可使用以下等式进行线性变换:
[0074] y=ffTx (I)
[0075] 其中X表示EEG数据的nX t矩阵；y表示不相关来源的nX t矩阵；W表示nXn时不变(time-1nvariant)变换矩阵；n是通道数；t是每个通道的EEG样本的数量；以及τ表示转置运算符。W=IiWpW2,…，wn]使得每个Wi代表具体的空间滤波器。
[0076] 来自特定频带的运动想象状态由ωρ表示，并且空闲状态由ωη表示。稍后考虑来自多个频带的多个运动想象状态。两个状态(即，运动想象状态和空闲状态)的概率分别由Ρ(ωρ)和Ρ(ωη)表示，使得Ρ(ωρ)+Ρ(ωη) = I，并且类条件概率密度函数分别由ρ (χ | ω ρ)和P(x| ωη)表示，其中χ是EEG测量的随机样本。用于将χ分为两类的所谓的贝叶斯(Bayes)误差由以下等式给出:
[0079]其中 Rp 是 ρ (χ I ω ρ) P ( ω ρ) >ρ (χ I ω η) P ( ω η)的贝叶斯决策区域，Rn 是 ρ (χ | ω η)Ρ(ωη)>ρ(χ| ωρ)Ρ(ωρ)的贝叶斯决策区域。
[0080] 发明人认识到，除非在非常特殊的情况下才能获得用于贝叶斯误差的封闭形式的表达式。因此，在示例性实施方式中，通常获得贝叶斯误差的上界作为替代。等式(2)的Bhattacharyya边界由以下等式给出:
[0082] 除了变量和概率密度由y和其概率密度函数取代之外，Bhattacharyya边界εΒ(γ)与等式(3)具有相同形式。因此，线性空间滤波的目的也可被认为是对线性投影矩阵W进行优化以得到最小的Bhattacharyya边界ε B(y)。由于Bhattacharyya边界取决于概率密度函数，故其可在下面单独讨论的单模态或多模态方法下进行处理。
[0083] 对于单模态方法(Un1-modal approach),分别通过具有协方差矩阵Ψρ和Ψη的单模态高斯函数(Gaussian function)对ρ (χ | ωρ)和ρ (χ | ωη)进行建模。此外，假设EEG被带通滤波，其中这两个类的均值被假设为O。概率密度函数随后可被建模为:
[0087] 其中，n。是ωρ和ωη的维数或通道数。
[0088] 因此Bhattacharyya边界由以下等式给出:
[0090] 其中I.I表示方阵的行列式。[0091 ] 在使用W进行空间滤波之后的Bhattacharyya边界可以以通过用使用Vp(y) =WtVpW和vn(y) =Wt VnW变换后的数据Ψρ和Ψη来替换协方差矩阵的类似形式编写。这样可获得使Bhattacharyya边界相对于W最小化的封闭形式的解。考虑到m的具体选择，最佳的W是hVp的前m个特征向量的收集,或者
[0092] FpWi= λ VnWi, (7)
[0093] 其中λ i是第i个特征值并且Wi是对应的特征向量。所获得的特征向量对应于基于运动想象的BCI广泛使用以使Bhattacharyya边界最小化的共用空间模式(CSP)算法。
[0094] 发明人已经认识到，为了使异步BCI系统中的假阳性检测最小化，对空闲状态(用户/对象处于休息且未执行精神控制)的检测可能是关键性的。在示例性实施方式中，提出了在基于异步运动想象的BCI系统中使用Bhattacharyya边界的架构对空闲状态建模的多模态方法(相比于步骤308)。通过采用多模态方法，可解决单模态方法中存在的多个问题。
[0095] 首先，从脑信号的观点来看，空闲状态包括除了与控制运动想象状态关联的那些之外所有可能的EEG模式的多种临床表现。由于用户可能在空闲状态中进行除了控制运动想象任务之外的任何精神活动，故空闲状态的EEG测量根据空间光谱特性而十分多样化。因此，较之单模态方法，多模态方法优选更适于对空间状态建模。
[0096] 其次，从线性变换的观点来看，假设单模态方法的最佳空间滤波器可能无法获取判别空间模式。
[0097] 多模态方法和单模态方法之间的不同稍后在图8中示出。
[0098] 对于示例性实施方式的多模态方法(相比于步骤308),通过M个子类Xj, j=l,…，M对空闲状态ωη建模。各子类的先验概率由表示，使得2:。假设各子类由具有O均值和协方差矩阵^的高斯分布函数建模。因此，空闲状态ωη的分布可被表达为由以下等式给出的高斯混和模型:
[0099]
[0100]
[0101] 在使用线性变换W进行空间滤波之后，运动想象状态Ρ(ωρ)和空闲状态ρ(ωη)依然是高斯分布。因此，运动想象状态P (ωρ)和空闲状态ρ(ωη)的分布可表达为如下等式:
[0102]
[0103]
[0104]其中 il%(y) = WVpW, (11)
[0105]
[0106] 并且Bhattacharyya边界由以下等式给出:
[0107]
[0108] 发明人已经认识到,难以计算等式(13)中的Bhattacharyya边界。因此,可替代地寻求近似数值解。通过忽略常数因子，包括等式(13)中的积分的Bhattacharyya系数可被表达为
[0109]
[0110]其中
[0111] 以与等式(5)类似的形式展开的yi(y)为:
[0114] 等式(15)的第一个大括号中的表达式可看作概率密度函数
[0116] 而等式(15)的第二个大括号中的表达式可通过y2(y)写为:
[0118] 因此，Bhattacharyya系数可表达为
[0119] μ = / P (y) Q (y) dy.(18)
[0120] 由于P(y)是概率密度函数，故Bhattacharyya系数可被表达为由下式给出、Q的期望值
[0123] 等式(20)中的变量y通过使用W对原始空间中的变量χ进行变换而获得，其中
[0124] ρ(χ| ωρ)〜Ν(0,2 Ψρ).(21)
[0125] 通过等式(5)可假设ρ (Xi I ωρ) ""N(O, Ψρ), i = I,...，np,其中np表示运动想象状态ωρ的EEG试验的数量。
[0126] 因此，使i遵循等式(21)中的分布，
[0130] 发明人已经认识到，等式(23)是对W的相对复杂的函数，而同时难以实现总体最优值。因此，在示例性实施方式中，发明人提出了在给定候选集合中搜索最佳W的简化问题。
[0131] 首先，设候选集合为K_d,其包括nrand个向量。进一步考虑包含!!—个被选向量的子集K。由子集K形成的变换矩阵为WK。该问题随后被列方程以搜索满足以下等式的最优集合
[0133] 在示例性实施方式中，考虑小的Keand以使其在计算上易于枚举从nMnd选择nsel的所有可能组合。下列算法被提出以获得K_d和κ_。在第一步中，设在第二步中，对于各空闲状态子类m，通过对等式(7)中给出的特征问题进行求解，计算使空闲状态子类m与运动想象类之间的Bhattacharyya距离最大化的投影矩阵Wm。此后,从Wm中选择产生最少Bhattacharyya系数4Ty，(25)的线性投影向量,其中，λ i是特征值。接下来，从1中
为空闲状态m选择的向量的集合被表示为Km。接下来，设K_d U Km^Kcand。在第三步中，枚举Keand的所有大小为nsel的子集,并使用等式(23)针对每个子集计算Bhattacharyya系数的估计。在第四步中，选择满足等式(24)的子集Κ_。
为空闲状态m选择的向量的集合被表示为Km。接下来，设K_d U Km^Kcand。在第三步中，枚举Keand的所有大小为nsel的子集,并使用等式(23)针对每个子集计算Bhattacharyya系数的估计。在第四步中，选择满足等式(24)的子集Κ_。
[0134] 在步骤310中，从多模态方法获得的最优变换W随后并入所谓的滤波器组共用空间模式算法(FBCSP) (Ang等，2008，IJCNN' 08,2391-2398)的修改版本中，该算法处理涉及多个运动想象类和空闲状态类的多个类，并处理用于运动想象检测的多个频率组。FBCSP已经被修改以用于示例性实施方式，使得其能够与用于多模态方法的多个空闲状态子类一起使用以用于对空闲状态进行建模。
[0135] 在示例性实施方式中，通过CSP算法获得的少量m空间滤波信号Z (t)的方差被用作特征。使EEG中两类的方差的差异最大化的信号Zp (t)，ρ e {1..2m}与最大特征值λ和(l-λ)关联。对于每个时间段和每个滤波器组，这些信号被用于形成针对每个时间段和每个滤波器组的特征向量Xp。
[0137] 在步骤312中，使用互信息(mutual information)有利地执行特征选择。假设每个时间段总共有d个特征F={f1; f2,…fd}，各特征的互信息/(./>) V/ = l..rf，/； #通过与类Ω相关的全部时间段和全部滤波器组来计算。此后，k = 4个特征的集合通过使用以下等式使I(fi; Ω)最大化的各时间段来选择:
[0139] 随后将来自各时间段的所有特征的互信息相加。随后选择具有互信息的最大和的时间段。
[0140] 来自被选时间段和被选频带特征的CSP投影矩阵W被保留。在步骤314中，使用被选特征执行非线性回归训练。来自属于所选时间段的所有试验的被提取特征被保留作为用于非线性回归的训练特征，同时来自未选时间段的特征被放弃。随后使用该训练集特征的上界和下界将所选特征线性标准化至范围[-1 I]。为了将这些特征映射至期望的输出，使用广义回归神经网络(GRNN)。期望的输出是指在训练阶段302 (诸如执行运动想象或空闲/休息)中给予对象的指令。该神经元网络优选包括两层神经元。第一层包括径向基函数神经元，第二层包括具有标准化输入的线性神经元。
[0141] 在步骤316中，执行后处理训练。可使用另一种GRNN执行后处理。神经元网络的输入是从步骤314的非线性回归获取的预测标记的窗口，而输出是期望的输出。
[0142] 图4是概述示例性实施方式中的运动想象检测模块的校准过程的示意性流程图400。在步骤402中，针对EEG数据的多个频带中的每一个，使用多模态多时间段计算用于进行空间滤波的投影矩阵。在步骤404中，计算各频带的候选特征。在步骤406中，计算各频带的各特征的互信息。在步骤408中，在适用的情况下，针对每个频带选择分别具有与运动想象动作和休息有关的最大互信息的候选特征。应该理解，并非所有频带均可得到候选特征。在步骤410中，使用被选特征执行非线性回归训练。在步骤412中，使用来自步骤410的输出执行非线性后处理回归训练。
[0143] 在示例性实施方式中，在对舌头运动想象检测模块进行校准之后，可对重度和中度吞咽困难执行康复。
[0144] 例如,对于重度和中度吞咽困难,吞咽康复模块110 (图1)采用校准后的对象专用的舌头运动想象检测模块104 (图1)和一个或多个肌肉激活检测模块，诸如吞咽检测模块108 (图1)，以执行患者/对象112 (图1)的吞咽意图水平的实时肌肉激活检测。在可替换的示例性实施方式中，吞咽检测模块108 (图1)可用于执行运动想象检测(使用EEG数据)和肌肉激活检测(使用EMG数据)。
[0145] 回到图3，在训练阶段302之后，评估阶段304开始。基于在校准阶段302期间在步骤312中选择的特征，随后在步骤320中使用投影矩阵W对从步骤318获得的EEG数据执行空间滤波。在步骤322中，使用步骤312中执行的特征选择(使用阶段302中的训练数据从全部特征中选择相关特征)，在步骤322中，这些被选特征被“包含”至步骤320所提取的特征中以进行进一步的处理，并且未被选择的特征被“排除”。随后(分别在步骤324、326中)使用分别来自步骤314和316的被训练的非线性回归和使用GRNN的后处理以在步骤328中计算异步运动意图输出。
[0146] 参照图1，吞咽检测模块108的校准基本与舌头运动想象检测模块104的校准相同，有所不同的是，替代基于在执行舌头的运动想象(由舌头运动想象检测模块104完成)时从患者收集的EEG数据执行校准，吞咽检测模块108的校准是基于在执行例如喝水的舌头运动和吞咽时从患者收集的EEG数据而执行。
[0147] 此外，舌头运动想象检测模块104的校准过程包括对从对象获得的EEG数据进行空间滤波和时间滤波。对于吞咽检测模块108的校准过程与图3中所示的用于校准舌头运动想象检测模块104的处理类似。然而，吞`咽检测模块108的校准过程在以下方面不同于图3。应认识到，EMG数据的信噪比通常大于EEG数据，并且与EEG数据相比，EMG数据包括相对少量的通道。这意味着EMG数据中的空间信息在不同对象之间可能不存在显著不同。因此，健康对象(非患者)的EMG数据被用于校准空间滤波(对比步骤310)。此外，还应认识至IJ，EMG数据中的时间信息在不同对象之间可能存在显著不同。因此，患者的EMG数据随后被用于校准EMG数据的时间滤波(对比步骤312)。也就是说，发明人已经认识到，共同使用健康对象的EMG数据和患者的EMG数据执行吞咽检测模块108的校准，因为患者仅能够执行虚弱吞咽，而健康对象可执行正常吞咽。由于EMG数据可包含对象特有的频率分量，则使用患者的EMG数据来校准时间滤波。
[0148] 参照功能性电刺激(FES)，吞咽可通过向对象的咽部肌肉施加FES来人工引发。对于健康人而言，吞咽可随意完成。然而，具有吞咽困难的中风患者可能存在吞咽启动的问题。在系统102中，吞咽康复可由吞咽康复模块110触发。用于吞咽的FES由混合生物信号控制系统来控制，即，在患者因重度吞咽困难而不能够执行任何主动吞咽的情况下，从EEG数据捕获患者的吞咽意图，或者在患者因中度吞咽困难而只能执行虚弱吞咽的情况下，从EEG数据和EMG数据捕获患者的吞咽意图。在示例性实施方式中，同时使用EEG和EMG更加有效，因为发明人已经认识到，从EEG数据检测主动吞咽意图通常比从EMG数据检测要慢。因此，如果患者的吞咽虚弱，则从EMG数据检测吞咽意图能够比从EEG数据更快。
[0149] 图5是示出示例性实施方式中使用EEG数据和EMG数据向对象提供FES的示意图。在图中，对象502提供用于舌头运动想象检测504的EEG数据。对象还可提供用于肌肉激活检测506的EMG数据。基于舌头运动想象检测504和肌肉激活检测506，吞咽FES模块508可检测吞咽意图并向对象502的喉咙512处的肌肉提供电刺激510。
[0150] 表I示出了针对重度吞咽困难在激活吞咽康复中的逻辑决定。当EEG数据指出患者/对象具有吞咽意图时，例如，舌头运动想象分数等于或大于由康复治疗师所确定的设定阈值时，吞咽康复被激活(例如，FES被提供)。
[0151]
[0152]表 I
[0153] 表2示出了针对中度吞咽困难在激活吞咽康复中的逻辑决定。吞咽康复仅在舌头运动想象和吞咽EMG的分数均高于由康复治疗师所确定的相应的设定阈值时才被激活。
[0156]表 2
[0157] 表I和2中的阈值允许治疗师逐渐增加康复治疗的难度以迎合在治疗中具有不同进展速度的患者。
[0158] 图6是示出示例性实施方式中用于激活中度吞咽困难的吞咽康复的触发器的示意图。602指示治疗师所设定的用于运动想象分数的阈值，604指示治疗师所设定的用于吞咽分数的阈值。当患者的运动想象分数606和吞咽分数608均高于它们相应的阈值602、604时，在时刻610处吞咽康复被激活。
[0159] 在示例性实施方式中，一旦吞咽康复被激活，FES就被施加至对象/患者以刺激对用于生理学反馈的吞咽动作作出响应的肌肉群。对患者的生理学反馈显示示出荧光镜检查(对比图1的116)的屏。[0160] 图7是示出示例性实施方式中EEG数据分解为多个时间段和频率组的示意图。所获得的EEG数据被分解为多个滤波器/频率组(例如702)和多个时间段(例如704)，从而所谓的共有空间模式(CSP)算法被采用以从各滤波器组和时间段提取CSP特征(对比706)。
[0161]图8是示出单模态方法和多模态方法在对空闲状态建模中的差异的示意图。样本/数据的运动控制状态类(由着色点表示)处于高斯分布802。使用单模态方法，对于样本的空闲状态类(由未着色点表示)，形成高斯分布804。可见，多个空闲状态样本位于分布804的外部，这在建模时是不期望出现的。也就是说，通过使用单模态方法建模的空闲状态分布804未表现出使其与控制状态分布802分离的不同的空间分量。相比之下，使用示例性实施方式的多模态方法，两个空闲状态子类分布806、808被建模以更加精确地代表空闲状态样本。这两个空闲状态子类分布806、808中的每一个具有与控制状态分布802不同的主轴线。因此，可见，使用单模态方法产生与控制状态分布802极为相似的空闲状态分布804，而使用多模态方法，可获得与控制状态分布802不同的表现出有区别的空间方向的两个空闲状态子类分布806、808以更加精确地对空闲状态样本建模。
[0162] 表3示出了针对中度吞咽困难对来自舌头运动的流体吞咽进行检测所执行的实验结果。该实验被执行以对两个健康对象(对象I和对象2)的EMG数据进行分类。使用总共4个EMG通道(2左2右)和I个接地连接，收集每个工作的20个试验。使用2个不同时间段长度/时间(即，I秒和2秒)上的10x10倍交叉验证对来自EMG数据的流体吞咽和舌头运动进行分类的精度进行计算。例如，对于2秒时间段，针对对象2，精度是100%。
[0163]
[0164]表 3
[0165] 图9是示出示例性实施方式中对运动想象检测模块进行校准的方法的示意性流程图900。在步骤902中，从对象获取脑电图(EEG)数据。在步骤904中，从EEG数据提取特征。在步骤906中，特征提取包括通过M个子类Xj，，j = 1，…，M对对象的空闲状态ωη进行建模。
[0166] 图10是示出示例性实施方式中的运动康复的方法的示意性流程图1000。在步骤1002中，从对象的脑电图(EEG)数据提取特征。在步骤1004中，特征提取包括使用包括M个子类Xj，j = 1，…，M的、针对对象的空闲状态ωη的多模态模型进行。在步骤1006中，使用康复模块监视多模态模型针对运动控制信号的输出。在步骤1008中，如果检测到运动控制信号，则向对象施加功能性电刺激(FES )。
[0167] 图11是示出示例性实施方式中的基于脑机接口(BCI)的交互的方法的示意性流程图1100。在步骤1102中，获取对象的EEG数据。在步骤1104中，处理EEG数据以确定对象的运动想象。在步骤1106中，使用检测设备检测对象的吞咽运动。在步骤1108中，基于运动想象、运动、或二者向对象提供反馈，其中提供反馈包括激活刺激元件以向对象的喉部肌肉提供刺激。[0168] 所述示例性实施方式的方法和系统可在计算机系统1200上实施，计算机系统1200在图12中示意性地示出。其可被实施为软件，诸如在计算机系统1200中执行并命令计算机系统1200执行示例性实施方式的方法的计算机程序。
[0171] 在该实施例中，计算机模块1202包括处理器1218、随机存取存储器(RAM) 1220和只读存储器(ROM) 1222。计算机模块1202还包括多个输入/输出(I/O)接口，例如至显示器1208的I/O接口 1224、和至键盘1204的I/O接口 1226。
[0172] 计算机模块1202的部件通常经由互联总线1228并且以本领域技术人员已知的方式进行通信。
[0173] 应用程序通常被提供给计算机系统1200的用户，应用程序被编码在数据存储介质诸如CD-ROM或闪存载体上并且利用数据存储设备1230的相应存储介质驱动器进行读取。应用程序在其被处理器1218执行时被读取并被控制。程序数据的中间存储器可使用RAM 1220来完成。
[0174] 本领域技术人员应理解，在不脱离广义描述的本发明的精神或者范围的情况下，可以对在具体实施方式中示出的本发明进行大量的变形和/或修改。因此，给出的实施方式在全部方面都应视为是示例性而非限制性的。
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 家电控制方法、装置及脑机接口 | 2020-05-18 | 3 |
| 一种脑机接口方法 | 2020-05-12 | 157 |
| 一种快速近红外脑机接口方法 | 2020-05-19 | 872 |
| 一种多态脑机接口系统 | 2020-05-13 | 318 |
| 一种脑机接口设备 | 2020-05-13 | 676 |
| 一种基于脑机接口的三维建模方法 | 2020-05-15 | 724 |
| 基于脑机接口技术的紧急刹车系统 | 2020-05-16 | 584 |
| 柔性非嵌入式脑机接口电极及其制备方法和脑机接口模块 | 2020-05-14 | 459 |
| 全植入式脑机接口系统 | 2020-05-13 | 578 |
| 具有脑机接口的助听装置 | 2020-05-16 | 7 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈