一种基于多模态脑机接口的智能家电控制护理装置及方法专利检索-诱发电位解剖与生理专利检索查询-专利查询网

一种基于多模态 脑机 接口的智能家电控制护理装置及方法

阅读：938发布：2020-10-22

专利汇可以提供一种基于多模态脑机接口的智能家电控制护理装置及方法专利检索，专利查询，专利分析的服务。并且本发明公开了一种基于多模态脑机接口的智能家电控制护理装置及方法，包括两两互联的视觉刺激屏、EEG 信号采集系统、计算机、控制器、设备终端，本发明通过同时检测P300电位和SSVEP是否在同一目标按键组上产生，来区分系统的空闲/控制状态；然后通过基于P300的脑机接口来选择所要控制的家电设备及相关操作的控制。本发明为长期卧床不起的重症瘫痪病人(如SCA，ALS等)提供了一种新的护理方式；他们不仅可以自主地实现在床上的姿势改变，防止褥疮的发生。同时，也可以在床上实现对多种家电设备进行操作控制，提高生活质量。本发明具有准确区分系统空闲/控制状态、识别率高、功能齐全以及普遍实用性等优点，可供广大的卧床瘫痪病人使用。，下面是一种基于多模态脑机接口的智能家电控制护理装置及方法专利的具体信息内容。

权利要求

1.一种基于多模态脑机接口的智能家电控制护理装置，其特征在于，包括：
两两互联的视觉刺激屏，能够多方位调整位置，以获取良好的视觉刺激效果；
EEG 信号采集系统，包括脑电采集仪及与该脑电采集仪相连的脑电电极帽，并要确保电
极帽的12个通道处于国际10-20系统中的标准位置；其中，所述12个通道包括有“FZ”、
“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、“P7”、“P8”、“O1”、“O2”通道，并注入导电胶；
计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位SSVEP的算法，控制
刺激屏的操作界面和按键的闪烁，以及控制命令的转换；用户注视刺激屏上的一组按键，同
时产生P300电位和SSVEP脑电信号，当被计算机成功检测出来后，系统将从空闲状态切换到
控制状态，然后即可通过P300电位的脑机接口实现相应设备的操作；
控制器，以主控芯片STM32F103VCT6为核心，通过接收来自计算机的指令进行判断，若
是控制护理床的指令，则驱动模拟开关来选择相应的通道来控制对应的功能；若是控制其
他家电设备，则通过其STR-30无线数据发射模块将指令发送到相应的设备终端；
设备终端，通过其STR-30无线数据接收模块接收指令后，对指令进行分析，实现相应的
红外编码以实现对该设备的操作。
2.一种基于多模态脑机接口的智能家电控制护理方法，其特征在于，包括以下步骤：
1)用户平躺在护理床上，然后根据自己的习惯调整好刺激屏的位置，以便有一个最佳
的刺激效果，获取良好的脑电信号；
2)启动系统并默认处于空闲状态，设置刺激屏幕上的右上角按键组作为系统从空闲状
态到控制状态的激活开关；
3)用户注视刺激屏的激活开关，脑电信号通过EEG信号采集系统进行信号的预处理，包
括放大、滤波、及采样量化；然后通过Expresscard转并口的传输方式将数据传至计算机进
行特征提取、分类，实现脑电信号的P300电位和SSVEP检测；一旦激活开关被正确识别后，系
统从空闲状态切换到控制状态，并启动基于P300的脑机接口按键闪烁；
4)用户通过注视所要控制的设备按键，同样将产生的脑电信号送至计算机；但此时只
进行P300电位检测；一旦被正确识别，则刺激界面跳转到相应设备的操作界面并启动该界
面的P300闪烁；如果该设备的功能键也被正确识别后，计算机将发送两个字节的指令到控
制器，控制器解析其指令后便会执行相应的操作，其中该两个字节的指令中第一个字节代
表设备名；
5)控制器通过USB接口接收来自计算机的指令后并解析；若指令是控制护理床，则直接
驱动护理床电路，继而驱动电动护理床上的电机，实现护理床功能操作；若指令是控制其他
家电设备的，则将指令进行再次编码，通过STR-30无线数据发射模块将控制命令发送至对
应的设备终端，继而到下面步骤6)；
6)家电的设备终端的STR-30无线数据接收模块接收命令后，通过对该命令进行解析从
而通过红外编码控制该设备的相应功能；
7)系统执行一个操作后，自动恢复到空闲状态，即重新回到上面步骤2)。
3.根据权利要求2所述的一种基于多模态脑机接口的智能家电控制护理方法，其特征
在于：在步骤2)中，所述刺激屏幕上设置有4组按键组和5个设备按键，4组按键组分别置于
屏幕的左上角、右上角、左下角和右下角，用来产生P300电位和SSVEP脑信号，5个设备按键
分布在屏幕的中间只产生P300电位；其中，右上角的按键组作为切换系统的运行状态，其余
的3组按键作为辅助不产生实际的控制指令。
4.根据权利要求2所述的一种基于多模态脑机接口的智能家电控制护理方法，其特征
在于：步骤3)和4)中的P300电位检测及步骤3)中的SSVEP检测，具体通过以下步骤：
A.将通过EEG信号采集系统预处理后的脑电数据通过1～20Hz的巴特沃斯带通滤波消
除噪声，将数据复制两份，分别进行P300电位检测和SSVEP检测；
B.P300电位检测：截取按键闪烁后的500ms内数据，以信号的幅值作为特征，并采用支
持向量机模型SVM进行状态分类，从而实现P300电位检测；
C.SSVEP检测：采用DFT算法对提取的600ms内的脑电信号进行平均功率谱计算，若其值
超过或达到所预定义的阈值，则实现SSVEP的检测；
D.若P300电位和SSVEP被同时检测出，则刺激屏的设备按键开始闪烁来刺激用户的
P300电位，若目标操控的设备被选中，界面跳转至相应的操作界面并启动闪烁，一旦某一目
标的P300电位功能键被正确识别；计算机将发送两个字节的指令到控制器；然后控制器通
过接收到的命令执行相应的操作；若是控制护理床，则直接驱动控制器上护理床驱动电路；
若是控制其他的家电设备，则通过STR-30无线数据发射模块将命令发送到该设备的终端。

说明书全文

一种基于多模态脑机 接口的智能家电控制护理装置及方法

技术领域

[0001] 本发明涉及重症瘫痪病人的辅助装置、脑机接口应用研究及人机交互领域，尤其是指一种基于多模态脑机接口的智能家电控制护理装置及方法。

背景技术

[0002] 尽管目前市场上已经有很多的智能设备来帮助瘫痪病人改善生活质量。如基于语音控制、手动遥控开关操控以及定时控制等设备。但是对于那些重症瘫痪者，如：肌萎缩性
脊侧腰索硬化症(ALS)、脊髓小脑的共济失调(SCA)及植物人等人群，他们保留了正常人的
思维，但仅能通过视觉来跟外界取得交流。倘若这些病人能够实现对护理床、电视机等家电
设备的控制，这样极大地改善了他们的生活质量。如控制护理床，可以根据他们自己的需要
来实现护理床的不同状态的改变(如，翻身、起背，曲腿等)这样可以减少护理的劳动负荷，
也可以预防褥疮的发生。又如，瘫痪的病人躺在床上的时候，若可以控制电视机、空调等与
生活息息相关的家电设备，这样更有利于病人的康复和生活的改善。因而，发明一种可以供
此类病人使用的一套护理装置是有必要的。

[0003] 进入二十一世纪后，随着人工智能领域不断的深入研究探索及挖掘，很多的研究者提出诸多的方法及理论来研究适合这类重症瘫痪病人使用的设备，改善他们的生活质
量。近几年，神经工程领域的迅速发展使得神经网络与设备的结合越来越紧密，研发出一些
适合这些病人使用的设备。其中，神经网络的一个重要分支领域--脑机接口(brain-
computer interface，BCI)，其发展是速度非常的快速，吸引了一大批的科研工作者对BCI
领域研究的热潮。

[0004] BCI是一种通过采集大脑皮层的信号进行处理及分析，并转化为控制外围设备的指令，实现人脑与计算机或其他通讯设备间的信息交流和控制，它不依赖于常规的人脑正
常输出通道。利用人脑对不同的事物或认知活动产生不同的反应，从而得到不同类型的脑
 电信号。通过对脑电信号进行放大、滤波、采集、特征提取，分类等实现控制指令的转化。当
前，脑电采集的方式有两种方式即植入式和非植入式。前者需要将电极植入大脑内部，存在
很大的危险性，但是其获得的脑电信号信噪比高，精度也高，信号方便处理。而后者得到的
信号是属于非平稳性信号，容易受到环境及人的当前状态的影响。当然，随着人们对信号处
理方面的技术深入探讨，对于微弱的小信号的处理能力得到空前的进步。以及脑电采集仪
对脑电采集的精度也较高。因此，在本发明中我们采用后者即非植入式的方式来获取脑电
信号。然后，经过一系列的信号处理算法，最终实现对家电设备的控制。

[0005] 目前，关于脑机接口技术方面的研究已经取得了较大的进步且其技术相对成熟，无论是单一脑电信号的脑机接口技术，还是多模态的脑机接口技术已经有许多关于BCI方
面的专利和成果了。如中国专利“一种新型的基于运动想象脑电控制的智能轮椅系统，公开
号：CN101897640A”，“基于脑-机接口的智能轮椅控制系统及其脑电信号处理方法，公开号：
CN101301244A”以及“基于多模态脑机接口的智能轮椅，公开号：CN102309380”。另外，基于
脑机接口的鼠标控制的因特网浏览方法、无线遥控车系统等；当前，主要用于脑机接口的的
脑电信号主要有：运动想象、稳态视觉诱发电位(steady-state visual evoked
potential，SSVEP)的脑电信号、一种内源性的与认知功能相关的特殊的事件相关电位
(event related potentials，ERP)即P300电位(其峰值出现在相关事件发生后的300ms左
右)以及慢性层电位(SCP)等脑电信号。

[0006] 近年，随着脑机接口技术领域的进一步发展及推广，这些比较具有规律和科学性的脑电信号被采用用于实际的生活应用中。虽然目前已经有一些基于脑电的护理床、脑电
控制的电灯等，但是他们需要一直盯着闪烁的键，而且在空闲状态下容易产生错误的指令。
在本发明中采用P300电位和SSVEP来实现系统状态的切换，通过P300电位来实现所需要控
制的设备及操作。这样不仅可以减少错误指令的产生，同时用户根据自己的真实意图来控
制家电设备，极大提高他们的生活条件，减少了护理的劳动负荷和促进了自我康复及治愈。

发明内容

[0007] 本发明的目的在于克服现有技术的不足与缺点，提出一种基于多模态脑机接口的智能家电控制护理装置及方法，具有准确区分空闲/控制状态、识别率高、功能齐全以及普
遍实用性等优点，可供广大的卧床瘫痪病人使用。

[0008] 为实现上述目的，本发明所提供的技术方案如下：

[0009] 一种基于多模态脑机接口的智能家电控制护理装置，包括：

[0010] 两两互联的视觉刺激屏，能够多方位调整位置，以获取良好的视觉刺激效果；

[0011] EEG信号采集系统，包括脑电采集仪及与该脑电采集仪相连的脑电电极帽，并要确保电极帽的12个通道处于国际10-20系统中的标准位置；其中，所述12个通道包括有“FZ”、
“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、“P7”、“P8”、“O1”、“O2”通道，并注入导电胶；

[0012] 计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位SSVEP的算法，控制刺激屏的操作界面和按键的闪烁，以及控制命令的转换；用户注视刺激屏上的一组按
键，同时产生P300电位和SSVEP脑电信号，当被计算机成功检测出来后，系统将从空闲状态
切换到控制状态，然后即可通过P300电位的脑机接口实现相应设备的操作；

[0013] 控制器，以主控芯片STM32F103VCT6为核心，通过接收来自计算机的指令进行判断，若是控制护理床的指令，则驱动模拟开关来选择相应的通道来控制对应的功能；若是控
制其他家电设备，则通过其STR-30无线数据发射模块将指令发送到相应的设备终端；

[0014] 设备终端，通过其STR-30无线数据接收模块接收指令后，对指令进行分析，实现相应的红外编码以实现对该设备的操作。

[0015] 一种基于多模态脑机接口的智能家电控制护理方法，包括以下步骤：

[0016] 1)用户平躺在护理床上，然后根据自己的习惯调整好刺激屏的位置，以便有一个最佳的刺激效果，获取良好的脑电信号；

[0017] 2)启动系统并默认处于空闲状态，设置刺激屏幕上的右上角按键组作为系统从空闲状态到控制状态的激活开关；

[0018] 3)用户注视刺激屏的激活开关，脑电信号通过EEG信号采集系统进行信号的预处理，包括放大、滤波、及采样量化；然后通过Expresscard转并口的传输方式将数据传至计算
机进行特征提取、分类，实现脑电信号的P300电位和SSVEP检测；一旦激活开关被正确识别
后，系统从空闲状态切换到控制状态，并启动基于P300的脑机接口按键闪烁；

[0019] 4)用户通过注视所要控制的设备按键，同样将产生的脑电信号送至计算机；但此时只进行P300电位检测；一旦被正确识别，则刺激界面跳转到相应设备的操作界面并启动
该界面的P300闪烁；如果该设备的功能键也被正确识别后，计算机将发送两个字节的指令
到控制器，控制器解析其指令后便会执行相应的操作，其中该两个字节的指令中第一个字
节代表设备名；

[0020] 5)控制器通过USB接口接收来自计算机的指令后并解析；若指令是控制护理床，则直接驱动护理床电路，继而驱动电动护理床上的电机，实现护理床功能操作；若指令是控制
其他家电设备的，则将指令进行再次编码，通过STR-30无线数据发射模块将控制命令发送
至对应的设备终端，继而到下面步骤6)；

[0021] 6)家电的设备终端的STR-30无线数据接收模块接收命令后，通过对该命令进行解析从而通过红外编码控制该设备的相应功能；

[0022] 7)系统执行一个操作后，自动恢复到空闲状态，即重新回到上面步骤2)。

[0023] 在步骤2)中，所述刺激屏幕上设置有4组按键组和5个设备按键，4组按键组分别置于屏幕的左上角、右上角、左下角和右下角，用来产生P300电位和SSVEP脑信号，5个设备按
键分布在屏幕的中间只产生P300电位；其中，右上角的按键组作为切换系统的运行状态，其
余的3组按键作为辅助不产生实际的控制指令。

[0024] 步骤3)和4)中的P300电位检测及步骤3)中的SSVEP检测，具体通过以下步骤：

[0025] A.将通过EEG信号采集系统预处理后的脑电数据通过1～20Hz的巴特沃斯带通滤波消除噪声，将数据复制两份，分别进行P300电位检测和SSVEP检测；

[0026] B.P300电位检测：截取按键闪烁后的500ms内数据，以信号的幅值作为特征，并采用支持向量机模型SVM进行状态分类，从而实现P300电位检测；

[0027] C.SSVEP检测：采用DFT算法对提取的600ms内的脑电信号进行平均功率谱计算，若其值超过或达到所预定义的阈值，则实现SSVEP的检测；

[0028] D.若P300电位和SSVEP被同时检测出，则刺激屏的设备按键开始闪烁来刺激用户的P300电位，若目标操控的设备被选中，界面跳转至相应的操作界面并启动闪烁，一旦某一
目标的P300电位功能键被正确识别；计算机将发送两个字节的指令到控制器；然后控制器
通过接收到的命令执行相应的操作；若是控制护理床，则直接驱动控制器上护理床驱动电
路；若是控制其他的家电设备，则通过STR-30无线数据发射模块将命令发送到该设备的终
端。

[0029] 本发明与现有技术相比，具有如下优点与有益效果：

[0030] 1、重症瘫痪病人可以在床上可以实现自身的卧床姿势改变和控制多种家电设备，这样既能有效地防止褥疮发生，又能给病人的生活带来质的提高；扩展了脑机接口在重症
瘫痪病人领域的应用，填补了这一块的空缺。

[0031] 2、本发明采用P300电位和SSVEP两种混合的脑电信号来区分系统的空闲状态和控制状态，准确率高，极大地减少了空闲状态下错误命令的产生；大大提高了其可行性和安全
性。

[0032] 3、本发明的护理装置简便，具有普遍推广的价值；容易扩展控制更多的家电设备。

[0033] 4、使用本发明可以大大减少人工护理的劳动负荷，提升了病人自我保健。附图说明

[0034] 图1为本发明的系统框图。

[0035] 图2为本发明的初始操作界面示意图。

[0036] 图3为本发明的操作流程图。

具体实施方式

[0037] 下面结合具体实施例对本发明作进一步说明。

[0038] 如图1所示，本实施例所述的基于多模态脑机接口的智能家电控制护理装置，包括：

[0039] 两两互联的视觉刺激屏，能够多方位调整位置(上/下、左/右、前/后)，用户可以根据自己的习惯来调整其位置，获取良好的视觉刺激效果，增加脑电信号的可靠性。刺激屏幕
上包括4组按键组(同时产生P300电位和SSVEP)和5个设备按键(产生P300电位)。4个按键组
分别置于屏幕的左上角、右上角、左下角和右下角。每个按键组由1个大按键和8个小按键均
匀分布大按键周围组成，其依次闪烁的频率为6.65Hz、6.85Hz、7.5Hz以及8.67Hz，4个大按
键随机顺序闪烁引诱产生P300电位。5个设备按键分布在屏幕的中间；右上角的按键组作为
切换系统的运行状态(在本发明中，标记为“S”键)，其余的3组按键作为辅助不产生实际的
控制指令。初始操作界面如图2所示。

[0040] EEG信号采集系统，包括脑电采集仪(包括信号放大、滤波、采样)及与该脑电采集仪相连的脑电电极帽，并要确保电极帽的12个通道(“FZ”、“FCz”、“Cz”、“CPz”、“Pz”、“Oz”、“P3”、“P4”、“P7”、“P8”、“O1”、“O2”)处于国际10-20系统中的标准位置；并给这些电极注入导电胶，使得其与大脑皮层之间接触良好。

[0041] 计算机，用来计算检测脑电信号P300电位和基于稳态视觉诱发电位(SSVEP)的算法，控制刺激屏的操作界面和按键的闪烁，以及控制命令的转换。用户注视刺激屏上的一组
按键，同时产生P300电位和SSVEP脑电信号，当被计算机成功检测出来后，系统将从空闲状
态切换到控制状态；然后即可通过P300电位的脑机接口实现相应设备的操作(如控制护理
床、电视机等)。所产生的脑电信号经过EEG信号采集系统预处理后，传送至计算机进行1～
20Hz的巴特沃斯带通滤波处理，以便尽可能地消除噪声，然后将数据复制两份，分别进行
P300电位检测和SSVEP检测。P300电位检测：截取按键闪烁后的100ms-600ms数据，以信号的
幅值作为特征，并采用支持向量机模型(SVM)进行状态分类；SSVEP检测：采用DFT算法对提
取闪烁后的800ms内的脑电信号进行平均功率谱计算，若其值超过或达到所预定义的阈值，
则实现SSVEP的检测。倘若该设备的功能键也被正确识别后，计算机将发送两个字节的指令
(第一个字节代表设备名，如0xAA表示护理床)到控制器，控制器解析其指令后便会执行相
应的操作。系统的操作流程如图3所示。

[0042] 控制器，以主控芯片STM32F103VCT6为核心，包括主控电路、USB通信电路、护理床控制电路、以及STR-30无线数据发射模块。控制器通过接收来自计算机的指令进行判断，若
是控制护理床的指令，则驱动模拟开关Max308ese来选择相应的通道来控制对应的功能；若
是控制其他家电设备，则通过STR-30无线数据发射模块将指令发送到相应的设备终端。

[0043] 设备终端，包括STR-30无线数据接收模块、控制芯片、红外编码，该设备终端通过STR-30无线数据接收模块接收指令后，对指令进行分析，实现相应的红外编码以实现对该
设备的操作。

[0044] 本实施例上述智能家电控制护理装置的控制护理过程，如下：

[0045] 1)用户平躺在护理床上，然后根据自己的习惯调整好刺激屏的角度，以便在使用时有一个最佳的刺激效果，获取良好的脑电信号。

[0046] 2)启动系统并默认处于空闲状态，设置刺激屏幕上的右上角按键组即“S”键作为系统从空闲状态到控制状态的激活开关。

[0047] 3)用户注视刺激屏“S”键，脑电信号通过EEG信号采集系统进行信号的预处理，包括放大、滤波、及采样量化。然后，通过Expresscard转并口的传输方式将数据传至计算机进
行特征提取、分类等实现脑电信号的P300电位和SSVEP检测。一旦“S”键被正确识别后，系统
从空闲状态切换到控制状态，并启动基于P300的脑机接口按键(对应不同的家电设备的按
键)闪烁。

[0048] 4)用户通过注视所想控制的设备按键产生的脑电信号送至计算机进行P300电位检测。一旦被正确识别，则刺激界面跳转到相应设备的操作界面并启动该界面的P300闪烁，
若该设备的功能键被识别后，计算机发送两个字节的控制指令到STM32控制器，其中第一个
字节(即头部指令)告知控制器是控制哪一个设备。头部指令对应的家电设备如下表1所示。

[0049] 表1

[0050]指令设备
0xAA 护理床
0x55 电视机
0x33 空调
0xCC 电动窗帘
0x88 音乐播放器

[0051] 5)控制器通过USB接口接收来自计算机的指令后并解析。若指令是控制护理床，则直接驱动护理床电路来选择不同的控制通道，继而驱动电动护理床上的电机，实现护理床
功能操作(可操作的功能有：翻身、起背、曲腿、便盆等)；若指令是控制其他家电设备的，则
将指令进行再次编码，通过STR-30无线数据发射模块将控制命令发送至对应的设备终端，
继而到步骤6)。

[0052] 6)家电的设备终端的STR-30无线数据接收模块接收命令后，通过对该命令进行解析从而通过红外编码控制该设备的相应功能。

[0053] 7)系统执行一个操作后，自动恢复到空闲状态，即重新回到步骤2)。

[0054] 以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。

标题	发布/更新时间	阅读量
基于beamforming和CCA的稳态视觉诱发电位检出方法	2020-05-18	829
基于听觉诱发电位的自动实时助听器验配	2020-05-18	327
一种基于云服务的肌电图诱发电位仪	2020-05-12	753
一种适用于肌电图诱发电位仪的高电导率电极	2020-05-19	486
基于典型相关分析的稳态诱发电位的分析方法	2020-05-19	232
脑诱发电位信号采集方法	2020-05-15	292
一种肌电图诱发电位仪	2020-05-11	228
诱发电位检测系统的刺激器手持件	2020-05-13	748
听觉脑干诱发电位检测方法及装置	2020-05-11	269
新型肌电图诱发电位仪	2020-05-16	727

一种基于多模态脑机接口的智能家电控制护理装置及方法

一种基于多模态脑机接口的智能家电控制护理装置及方法

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：