技术领域
[0001] 本
发明涉及
脑机接口技术领域,具体涉及一种基于脑机接口的智能护理系统。
背景技术
[0002] 目前,我国残疾人总数约为9000万人,至以后数年,残疾人数量仍会增长,这其中有三分之一的人为肢体残疾,而
现有技术中肢体残疾患者的辅具配备率、智能化
水平普遍较低,仍需要在监护人的帮助下才能很好的使用。
[0003] 针对这一问题,人们提出了基于脑电控制的智能
轮椅设备,使用过程中,用户通过运动想象,能够智能的操纵轮椅,减少了监护人的干预,智能化水平有所提高。但是,该设备在具体使用过程中,需要用户高度集中注意
力,设备控制的准确性不高,且操纵不够灵活。
[0004] 因此,鉴于以上问题,有必要提出一种智能化水平更高,无需高度集中注意力即可更加高效、可靠、便捷操纵设备的基于脑机接口的智能护理系统。
发明内容
[0005] 有鉴于此,本发明提出的一种基于脑机接口的智能护理系统,通过头戴装置中的脑电采集帽采集脑电
信号和眼
电信号,并经由微型计算机通过时域
能量、能量占比以及小波包变换计算,对脑电信号和眼电信号进行特征提取和分类,完成对脑电信号和眼电信号的识别,将识别结果转化为控制指令,实现对智能眼镜控制界面相应功能按键的选择,最终通过微型
计算机系统将相应的智能护理设备驱动命令无线发送至智能护理设备,使其执行相应的护理动作。所述智能护理系统,通过脑电信号和眼电信号控制智能护理设备进行相应的工作,无需用户高度集中注意力以及接受外界刺激,即可达到的控制智能护理设备的目的,提高了智能护理设备控制的准确度。
[0006] 根据本发明的目的提出的一种基于脑机接口的智能护理系统,包括头戴装置、微型计算机系统以及智能护理设备;
[0007] 所述头戴装置包括用于采集脑电信号和眼电信号的脑电采集帽以及用于显示智能护理系统控制界面、脑电采集帽
电极电阻情况的智能眼镜;
[0008] 所述微型计算机系统与头戴装置蓝牙连接,接收脑电采集帽采集的脑电信号和眼电信号,通过时域能量、能量占比以及小波包变换计算,对脑电信号和眼电信号进行特征提取和分类,完成对脑电信号和眼电信号的识别,并将识别结果转化为控制指令,实现对智能眼镜控制界面相应功能按键的选择;
[0009] 所述智能护理设备与微型计算机系统无线连接,接收微型计算机系统发布的智能护理设备驱动命令并执行相应的护理动作。
[0010] 优选的,所述微型计算机系统嵌入了linux系统并安装了ROS,Gaitech_bci_tools
软件接收和存储脑电数据,使用python编写程序进行处理分析并进行分类,分类的结果对应相应的控制指令,来实现智能对眼镜控制界面相应功能按键的选择。
[0011] 优选的,所述微型计算机系统还包括用于监测脑电信号是否出现棘波、大脑的节律信号是否出现异常的预警系统。
[0012] 优选的,所述预警系统将脑电信号进行小波包变换得到小波系数并计算近似熵和低频信息功率分析,将功率信号和近似熵使用
支持向量机分类用于检测是否出现异常信号。
[0013] 优选的,所述脑电采集帽包括3个设置于人体额头部位的金属布电极以及11个
弹簧式电极,所述弹簧式电极包括一个设置于大脑顶部的参考电极。
[0014] 优选的,眼电信号产生方式眨眼动作与智能眼镜的控制界面选择指令相对应,其对应关系为:连续眨眼两次对应进入智能护理系统控制界面命令,眨眼对应返回上一级命令,眨左眼对应确定命令,眨右眼对应向下、向上选择,连续眨左眼两次对应命令反转,闭眼静息一分钟对应退出智能护理系统控制界面命令。
[0015] 优选的,所述智能护理设备为智能轮椅或多功能护理床。
[0016] 与现有技术相比,本发明公开的一种基于脑机接口的智能护理系统的优点是:
[0017] 所述智能护理系统,利用头戴装置中的脑电采集帽采集脑电信号和眼电信号,经由微型计算机系统进行时域能量、能量占比和小波包变换分析,对脑电信号和眼电信号进行特征提取和分类,完成对脑电信号和眼电信号的识别,将识别结果转化为控制指令,实现对智能眼镜控制界面相应功能按键的选择,最终通过微型计算机系统将相应的智能护理设备驱动命令无线发送至智能护理设备,使其执行相应的护理动作。该智能护理系统,采用
稳定性、准确性和快速响应性都较好的
数据处理算法,对于用户的训练时间短,能够根据不同用户进行自适应调节,以准确、快速的完成智能护理任务。而且该智能护理系统,在将眼电信号转化为控制指令时,辅以脑电信号的采集和分析,控制的准确度更高,使用过程中无需用户高度集中注意力以及接受外界刺激,即可达到轻松控制智能护理设备的目的。同时,智能眼镜的使用,摒弃了视觉诱发脑电和运动想象诱发脑电所需要的外置显示器,提高了整个系统的集成度。
附图说明
[0018] 为了更清楚的说明本发明
实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做简单的介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域中的普通技术人员来说,在不付出创造性劳动的前提下,还可根据这些附图获得其他附图。
[0019] 图1为本发明公开的一种基于脑机接口的智能护理系统的
流程图。
[0020] 图2为头戴装置结构图。
[0021] 图3为脑电采集帽中电极作用于大脑的
位置图。
[0022] 图4为智能眼镜控制界面各级功能选择图。
[0023] 图5为微型计算机系统中的时频分析图。
[0024] 图中的数字或字母所代表的零部件的名称为:
[0025] 1-脑电采集帽;2-智能眼镜。
具体实施方式
[0026] 下面结合附图对本发明的具体实施方式做简要说明。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是全部实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,均属于本发明保护的范围。
[0027] 图1-图5示出了本发明较佳的实施例,分别从不同的
角度对其进行了详细的剖析。
[0028] 如图1-5所示的一种基于脑机接口的智能护理系统,包括头戴装置、微型计算机系统以及智能护理设备。
[0029] 头戴装置包括用于采集脑电信号和眨眼动作产生的眼电信号的脑电采集帽1以及用于显示智能护理系统控制界面、脑电采集帽1电极电阻情况的智能眼镜2。脑电采集帽1电极电阻情况的显示,便于用户判断脑电采集帽1和头部是否贴合。智能眼镜2和脑电采集帽1的相对位置可调节以适用不同用户的头部结构。具体的,脑电采集帽1采用干式电极,各电极之间采用了柔性连接,能够很好的适用不同用户的头部形状,并且可以长时间穿戴而无不适感。电极分为包裹着柔软的
泡沫的金属布电极和弹簧式电极,其中金属布电极为设置于人体额头部位的3个,为佩戴脑电采集帽1留有一定的调整空间,同时提高舒适度,避免大脑前额直接与脑电采集帽1的
外壳接触。弹簧式电极为11个,而11个弹簧式电极其中10个设置于大脑额头所在水平面的大脑头部环绕面上,采集信号用作数据分析,
采样频率为512Hz;另一个为参考电极设置于大脑顶部,其作用为校准其他电极所记录的信号,并不用于数据的分析。该脑电采集帽1采用的电极数量少,佩戴方便,降低了数据传输、处理的延迟率。
[0030] 另外,脑电采集帽1与智能眼镜2机械连接,在不
干扰信号采集的情况下,提高了整个系统的集成度。而智能眼镜2的镜片为透明屏,在方便控制整个智能护理系统的
基础上,不影响用户使用过程中的视物。
[0031] 微型计算机系统与头戴装置蓝牙连接,接收脑电采集帽1采集的脑电信号和眼电信号,通过时域能量、能量占比以及小波包变换计算,对脑电信号和眼电信号进行特征提取和分类,完成对脑电信号和眼电信号的识别,并将识别结果控制指令,实现对智能眼镜2控制界面相应功能按键的选择。具体的,微型计算机系统嵌入了linux系统并安装了ROS,Gaitech_bci_tools软件接收和存储脑电数据,使用python编写程序进行处理分析并进行分类,分类的结果对应相应的控制指令,来实现对智能眼镜2控制界面相应功能按键的选择。
[0032] 进一步的,微型计算机系统还包括用于监测脑电信号是否出现棘波、大脑的节律信号是否出现异常的预警系统,预警系统能够实时监测用户的精神状态和脑部
疾病,并将异常脑电信号发送至智能眼镜2的控制界面显示,同时经过微型计算机系统控制下的音箱发出警报信号。具体的,预警系统对脑电数据进行小波包分解和重构后得到了相对干净的脑电信号,再次对信号进行小波包变换得到小波系数和低频信号,对小波系数进行近似熵计算已得到
降维后的特征值,使用SVM对特征值和低频信号进行分类筛选,若没有发现脑部信号出现节律异常或者棘波出现,则系统不做出反应,否则就会将出现异常的情况发送到智能眼镜2的控制界面显示。
[0033] 头戴装置的脑电采集帽1中用于分析数据的共十个弹簧式电极,将其分为两组:FP1和FP2为A组,F7、F8、T3、T4、T5、T6、O1、O2为B组。用户在眨眼过程中,FP1、FP2电极采集到的
电压信号会有很明显的
波动,我们根据时域能量公式: 首先计算用户静息
态A的1.5s内能量记为PA和对10个0.3s数据长度的能量计算平均计为AE,在用户使用过程中,分别计算FP1、FP2各自的0.3s能量,并与AE对比,并计算能量占比:E=P/PA,以此得到FP1和FP2各自的两个特征值。其中AE和PA为不断更新的数值,以能量进行校准避免了数据的漂移。所使用的更新方法为通过电压
阀值判断1.5s的实时信号段的电压是否相对平稳,相对平稳则用该段数据更新PA,同时使用累加平均法更新AE。上述数据为每间隔60ms则提取一个300ms的数据进行计算分析,所以具有很好的实时性。经过上述提取2个电极共计4个特征值以及PA和AE共计8个值组成一个向量输入到BP神经网络,作为BP神经网络的一种
输入信号。为了提高特征识别的正确率,又对全部电极数据进行小波包变换并提取特征值。使用db4小波对脑电信号进行7层分解,使得脑电信号的最小频率
分辨率为4Hz,得到小波系数,分别对第4、5、6层小波系数进行近似熵计算并使用支持向量机分类器对近似熵的计算结果分类,若发现脑电信号异常时,则通过微型计算机系统向智能护理系统下的音箱发送预警指令。经小波包变换得到脑电的低频信号然后对低频信号
构建时频分析,得到时间和频率以及
功率谱信息。如图5所示,作为BP神经网络的输入,据此使用BP神经网络完成对脑电信号和眼电信号融合的特征识别,完成了对用户意图的读取,其准确率可达97%。
[0034] 智能护理设备与微型计算机系统无线连接,接收微型计算机发布的智能护理设备驱动命令并执行相应护理动作。微型计算机系统与智能护理设备共同处于同一无线网环境下,微型计算机系统在ROS(Robot Operating System)环境下订阅到智能眼镜2控制界面的选择指令,确认驱动命令后通过ROS MASTER发布,控制智能护理设备执行指令。
[0035] 进一步的,眨眼动作与智能眼镜2的控制界面选择指令相对应,其对应关系为:连续眨眼两次对应进入智能护理系统控制界面命令,眨眼对应返回上一级命令,眨左眼对应确定命令,眨右眼对应向下、向上选择,连续眨左眼两次对应命令反转,闭眼静息一分钟对应退出智能护理系统控制界面命令。具体的,通过连续眨眼两次进入程序,这时,智能眼镜2显示了一级界面,用户通过眨右眼进行界面控制命令
光标的下移,当连续眨左眼两次时眨右眼进行的界面控制命令光标的向上移动,即:通过连续眨左眼两次完成眨右眼控制命令的方向选择。选择一级界面的控制指令后,进行一次眨左眼便可以确认命令。此时进入一级命令树下的二级命令,完成智能护理系统中具体控制指令的发布,有三级命令的则继续上述操作完成智能护理系统中其他的控制指令的发布。当完成控制指令选择后,则可以通过眨眼返回上一级界面,以便继续选择其他的控制指令发布。当用户想要休息时,用户只需直接闭眼休息,片刻后程序自动退出,之前的各系统工作指令全部停止,保证用户的休息。
[0036] 进一步的,智能护理设备为智能轮椅或多功能护理床。其中,多功能护理床系统包括升降、起背、便孔三个功能,智能轮椅包括左转、右转、行走三个功能。该智能护理系统的软件是基于ROS系统,使得该智能护理系统可以针对不同用户需求进行个性化定制和二次开发,即该智能护理系统可以根据用户需求接入不同的智能护理设备,只要该智能护理设备包含ROS接口并和微型计算机系统在同一个无线网络下,都可以通过ROS master发布控制指令,以扩展用户的不同需求,用户也可以同时控制多个护理设备,提高了护理设备的可操作性,且具有很强的灵活性。
[0037] 综上所述,本发明公开的一种基于脑机接口的智能护理系统,利用头戴装置中的脑电采集帽1采集脑电信号和眼电信号,并经由微型计算机系统接收脑电采集帽1采集的脑电信号和眼电信号,通过时域能量、能量占比以及小波包变换计算,对脑电信号和眼电信号进行特征提取和分类,完成对脑电信号和眼电信号的识别,并将识别结果转化为控制指令,实现对智能眼镜2控制界面相应功能按键的选择,最终通过微型计算机系统将相应的智能护理设备驱动命令无线发送至智能护理设备,使其执行相应的护理动作。该智能护理系统,采用稳定性、准确性和快速响应性都较好的数据处理算法,对于用户的训练时间短,能够根据不同用户进行自适应调节,以准确、快速的完成智能护理任务。而且该智能护理系统,在将眼电信号转化为控制指令时,辅以脑电信号的采集和分析,控制的准确度更高,使用过程中无需用户高度集中注意力以及接受外界刺激,即可达到轻松控制智能护理设备的目的。另外,智能眼镜2的使用,摒弃了视觉诱发脑电和运动想象诱发脑电所需要的外置显示器,提高了整个系统的集成度。
[0038] 对所公开的实施例的上述说明,使本领域专业技术人员能够实现和使用本发明。对这些实施例的多种
修改方式对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神和范围的情况下,在其他实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合本文所公开的原理和新颖特点相一致的最宽的范围。