基于多模态脑机接口的智能轮椅
阅读：400发布：2020-05-17
专利汇可以提供基于多模态脑机接口的智能轮椅专利检索，专利查询，专利分析的服务。并且本 发明 公开了一种基于多模态 脑机 接口 的智能 轮椅 ，包括依次连接的视觉刺激界面、脑电采集平台、多模态 脑机接口 、控 制模 块 和电动轮椅。受试者通过注视视觉刺激界面和主动运动想象来表达控制意图，脑电采集平台完成脑电 信号 采集、放大、滤波及数字化后传给多模态脑机接口，再进行实时脑 电信号 预处理、特征提取、分类，将受试者控制意图转换为指令发送到 控制模块 的通讯单元，再通过 控制器 控制轮椅，从而实现轮椅的启动、停止、后退、左转、右转、 加速 、减速七种运动。可以帮助重症瘫痪病人为大脑开拓新的信息输出渠道，为脑机接口多 自由度 控制的研究和实用化提供新的思路，在医疗康复、医学生理实验等方面具有诸多价值。，下面是基于多模态脑机接口的智能轮椅专利的具体信息内容。
1.一种基于多模态脑机接口的智能轮椅，其特征在于包括依次连接的视觉刺激界面、脑电采集平台、多模态脑机接口、控制模块和电动轮椅；所述多模态脑机接口包括事件关联电位脑电信号处理模块和运动想象脑电信号处理模块，两个模块为并行设置。
2.根据权利要求1所述的多模态脑机接口的智能轮椅，其特征在于所述视觉刺激界面由车载笔记本的液晶屏提供，用于产生事件关联电位。
3.根据权利要求1所述的多模态脑机接口的智能轮椅，其特征在于所述脑电采集平台包括电极帽和脑电采集仪；所述电极帽用于采集脑电信号，所述脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换处理。
4.根据权利要求1所述的多模态脑机接口的智能轮椅，其特征在于所述控制模块包括通讯单元和控制器；控制模块根据多模态脑机接口的指令，输出两路模拟电压信号，用于控制电动轮椅的运动。
5.根据权利要求1~4之一所述的多模态脑机接口的智能轮椅，其特征在于所述事件关联电位脑电信号处理模块和运动想象脑电信号处理模块的算法由车载笔记本编程提供。
6.根据权利要求5所述的多模态脑机接口的智能轮椅，其特征在于所述事件关联电位脑电信号处理模块的算法流程为：低通滤波→P300幅值特征→SVM分类；所述运动想象脑电信号处理模块的算法流程为：CAR滤波→Mu节律频带提取→CSP特征提取→SVM分类。
7.根据权利要求6所述的多模态脑机接口的智能轮椅，其特征在于所述事件关联电位脑电信号处理模块实现电动轮椅的启动、停止、后退、加速、减速；所述运动想象脑电信号处理模块实现电动轮椅的左转、右转。
基于多模态脑机接口的智能轮椅
技术领域
背景技术
[0002] 脑机接口(Brain-Computer Interface，BCI)的概念始于1973年，它是在人或动物脑与外部设备间建立的直接连接通路。自上世纪70年代以来，随着神经科学和计算机技术的发展，脑机接口取得了很大进展。目前，根据脑信号获取的方式的不同，脑机接口可分为侵入式和非侵入式，直接将电极植入到脑壳内称为侵入式BCI；从头皮获取信号则称为非侵入BCI。脑电(Electro-encephalo graphy，EEG)是脑细胞群体发放电所产生的宏观现象，当大脑活动的时候，会产生特定的脑电信号。对于侵入式脑机接口因将电极置入大脑，可以直接从大脑皮层提取到信噪比较高的脑电信号。但对于非侵入脑机接口，则通常通过戴电极帽、红外成像、功能核磁共振等方式来获取脑电信号。
[0003] 由于非侵入式BCI的研究，只需要通过特定的设备在大脑皮层的表面直接进行脑电信号的采集和处理，且不需要进行外科手术，因此非侵入式一直是BCI研究热点。非侵入式BCI由于脑电信号(EEG)的时间分辨率高，且采集设备具有容易携带、便于使用等优势，是一种实用的脑机接口方式。基于EEG的非侵入式BCI，根据神经生理学机理可分为：基于运动想象(Motor imagery，MI)的BCI系统、基于事件相关电位(Event related Potential，ERP)的BCI系统、基于视觉诱发电位(Visual evoked potentials，VEP)的BCI系统等。
[0004] 基于运动想象BCI的机理。受试者意识清醒时在从事与感觉运动相关的活动时，感觉运动皮层区域能够检测到8-12Hz节律的脑电波，这种节律称为Mu节律。通常Mu节律出现的同时，伴随18-26Hz的Beta节律出现。Beta节律的一部分是Mu节律的倍频，另外一部分是独立的脑电特征。Mu和Beta节律与脑的运动区域有关联，准备运动或实际运动伴随着对侧的Mu和Beta节律的下降，称为事件相关去同步(Event-related desynchronization，ERD)，而运动的结束伴随着这两个节律的上升，称为事件相关同步(Event-related synchronization，ERS)。
[0005] 基于事件相关电位(Event related Potential，ERP)BCI的机理。P300是由小概率事件(视觉、听觉、触觉等形式)诱发的一种ERP，因对应于事件发生时刻后约300毫秒后产生一个正电位波形的EEG而得名。基于P300电位的BCI采用特定的事件刺激序列诱发受试者的P300电位，根据P300的发生时刻来判断受试者的意识活动，该类型的BCI特别适用于从多个选择中选择一个目标的场合。实验表明：相关事件出现的概率越小，所引起的P300越显著，并在头部的顶骨区(中部或后部)最为显著。
[0006] 视觉诱发电位(Visual evoked potentials，VEP)根据视觉刺激频率的不同可分为两种类型：瞬态视觉诱发电位(transient visual evoked potential)和稳态视觉诱发电位(steady-state visual evoked potential)。当刺激频率较低，单个刺激一个接一个出现，后一个刺激出现时前一个刺激引起的枕叶皮质反应已消失，对应于每个刺激是一系列正波和负波组成的VEP波形，此时产生的视觉诱发电位称为瞬态VEP；当刺激频率较高(一般大于6Hz)，刺激间隔时间小于VEP时程，多次反应的波相互干扰、叠加，形成节律性正弦样波的VEP，此时产生的视觉诱发称为稳态VEP。稳态视觉诱发由于其识别速度快、准确率高等优势，越来越得到重视，但存在容易造成视觉疲劳的缺点。
[0007] 目前，BCI在残疾人神经功能辅助与康复方面的应用研究尚处于起步阶段，目前对单一脑机接口的研究已较为普遍且相对成熟，但在设计实用系统时单一脑机接口很难同时满足提供多个控制指令和快速识别出控制意图，例如轮椅的实时、多自由度控制需求。瑞士Josédel R.Millán等利用运动想象脑机接口，将事件相关同步/去同步(RED/RES)成功提取2个指令应用于轮椅左、右控制，该系统采用异步控制模式，系统平均信息传输速率为：30bits/min，但由于该系统采用单模态脑机接口，因此不能提供多个自由度控制信号，不能加、减速及启动、停止，系统实用性不高。专利CN200810053558公开的基于脑-机接口的智能轮椅控制系统及其脑电信号处理方法，利用α波阻断现象设计了一套基于α波脑机接口的轮椅操纵系统，实现了前、后、左、右四个方向移动控制，但该轮椅由于采用单模态脑机接口，很难提供多个控制信号，无法实现加速、减速及后退功能。新加坡张海虹等实现了事件关联电位(P300)脑机接口的轮椅控制系统，该系统采用贝叶斯分类器，其平均通信速率可达到20bits/min基本满足实时性需求，为提高轮椅整体性能有必要进一步提高系统平均通信速率。因此本发明充分发掘两个单模态模式脑机接口的优势将其融合为多模态脑机接口以解决轮椅控制的关键问题。
发明内容
[0008] 本发明主要针对上述现有技术问题的缺陷和不足，公开了一种基于多模态脑机接口的智能轮椅。本发明所要解决的技术问题是：首先，受试者通过注视视觉刺激界面和主动运动想象来表达控制意图；其次，脑电采集平台实时采集受试者脑电信号，融合事件关联电位脑电信号处理模块和运动想象脑电信号处理模块的多模态脑机接口处理提取的脑电信号，判断受试者的控制意图，并输出相应的控制指令；最后，为实现脑机接口代替轮椅操纵杆的机械控制，设计控制模块使得电动轮椅具有通讯功能，即通过接收脑机接口的指令实现轮椅的启动、停止、后退、加速、减速及左转、右转操作。本发明通过如下技术方案实现：
[0009] 一种基于多模态脑机接口的智能轮椅，包括依次连接的视觉刺激界面、脑电采集平台、多模态脑机接口、控制模块和电动轮椅；所述多模态脑机接口包括事件关联电位脑电信号处理模块和运动想象脑电信号处理模块，两个模块为并行设置。
[0010] 所述视觉刺激界面由车载笔记本的液晶屏提供，用于产生事件关联电位；所述脑电采集平台包括电极帽和脑电采集仪，电极帽用于采集脑电信号，脑电采集仪用于对采集的脑电信号进行放大、滤波和模数转换处理；所述控制模块包括通讯单元和控制器，控制模块根据多模态脑机接口的指令，输出两路模拟电压信号，用于控制电动轮椅的运动。
[0011] 所述事件关联电位脑电信号处理模块和运动想象脑电信号处理模块的算法由车载笔记本编程提供。所述事件关联电位脑电信号处理模块的算法流程为：低通滤波→P300幅值特征→SVM分类；所述运动想象脑电信号处理模块的算法流程为：CAR滤波→Mu节律频带提取→CSP特征提取→SVM分类。
[0012] 事件关联电位脑电信号处理模块实现电动轮椅的启动、停止、后退、加速、减速；所述运动想象脑电信号处理模块实现电动轮椅的左转、右转。
[0013] 与现有技术相比，本发明具有以下有益效果：可根据自己的控制意图实现电动轮椅的启动、停止、后退、加速、减速、左转和右转的运动，实现了电动轮椅的灵活控制，进一步增加了脑控智能轮椅的实用性能。由于多模态脑机接口的工作模块相互独立，采用多类分类方法，系统信息传输率明显提高，每200毫秒可输出1次指令，满足了智能轮椅的实时性需求。附图说明
[0014] 图1是本发明多模态脑机接口的智能轮椅结构图。
[0015] 图2是智能轮椅的视觉刺激界面。
[0016] 图3是智能轮椅的多模态脑机接口的模块算法流程图。
[0018] 图6是智能轮椅性能测试的分段路线图。
具体实施方式
[0019] 以下结合附图和实施例对本发明作进一步详细说明，但本发明的实施方式不限于此。
[0020] 实施例
[0021] 如图1所示，模态脑机接口的智能轮椅包括依次连接的视觉刺激界面、脑电采集平台、多模态脑机接口、控制模块和电动轮椅。受试者头戴32导联电极帽，坐在电动轮椅的座椅上，便携式脑电采集仪放置于轮椅后备袋，车载笔记本放置于轮椅台面，视觉刺激界面由车载笔记本的液晶屏提供，多模态脑机接口模块的处理算法由车载笔记本编程提供，控制模块的通讯单元及控制器固定于轮椅扶手位置。
[0022] 如图2所示，视觉刺激界面共有5个P300闪烁键，受试者注视闪烁键可产生基于事件关联电位的脑电信号。其中“S”键指示轮椅启动，“F”键指示轮椅加速，“D”键指示轮椅减速，“B”键指示轮椅后退，“T”键指示轮椅停止。受试者的眼睛距视觉刺激界面65cm，注视“S”闪烁键启动轮椅。在系统启动后，根据意愿自主选择注视相应的闪烁键以实现轮椅控制：注视“F”、“D”、“B”和“T”闪烁键可分别实现轮椅的加速、减速、后退和停止。而想象左、右手可产生基于运动想象的脑电信号，可分别实现轮椅的左转、右转。
[0024] 受试者通过主动运动想象和视觉刺激来表达控制意图，相对应的脑电信号经电极帽采集，再经脑电采集仪进行放大、滤波和模数转换处理，传送至多模态脑机接口。
[0025] 如图3所示，多模态脑机接口包括事件关联电位脑电信号处理模块和运动想象脑电信号处理模块，实现基于事件关联电位和基于运动想象的脑电信号并行处理，所述事件关联电位脑电信号处理模块的算法流程为：低通滤波→P300幅值特征→SVM分类；所述运动想象脑电信号处理模块的算法流程为：CAR滤波→Mu节律频带提取→CSP特征提取→SVM分类。多模态脑机接口根据得到的SVM分类结果分别发送相应的指令至控制模块。
[0026] 如图4所示，控制模块的通讯单元主要由STM32F103C6T6控制芯片构成，根据I/O接收到的指令，驱动两片数-模转换芯片，输出两路模拟电压信号，以取代摇杆的输出信号。每个电压值对应着轮椅的运动特性，根据测试摇杆输出的电压值，得出表1控制指令表，调试时可以用多模态脑机接口发送相应控制指令，亦可以直接用车载笔记本的软件发送。
[0027] 表1控制指令表
[0028]指令(ASCII码) RL电压值 FD电压值 功能
S 2.5V 3.0V 启动
T 2.5V 2.5V 停止
F 2.5V 3.5V 加速
D 2.5V 3.0V 减速
B 2.5V 2.0V 后退
R 3.0V 2.5V 右转
L 2.0V 2.5V 左转
S 2.5V 3.0V 启动
T 2.5V 2.5V 停止
F 2.5V 3.5V 加速
D 2.5V 3.0V 减速
B 2.5V 2.0V 后退
R 3.0V 2.5V 右转
L 2.0V 2.5V 左转
[0029] 注：RL为摇杆模拟输出电压值I，用于控制轮椅左右；FD为摇杆模拟输出电压值II，用于控制轮椅前后；RL、FD的不同电压组合可实现轮椅控制，通讯单元通过模拟两路输出来取代摇杆控制，启动速度设定为速度为低速，v＝0.1m/s，高速v＝0.3m/s。
[0030] 由于受试者的个体差异，对SVM分类参数不能唯一确定，故在使用该智能轮椅前必须进行实验才能达到较高的识别准确率。实验过程主要由离线实验和在线实验两部分组成。
[0031] 离线实验的过程为：首先用户刺激界面会提示目标闪烁键的名称，受试者只需根据提示，注视相应的闪烁键即可。训练过程的循环次数q固定为5轮。一组实验包括50个目标任务，中间休息15分钟，继续下一组实验，每次实验包含两组，并保存训练数据，利用实验数据可训练出适合受试者的SVM分类器参数。一个Round包含对应于5个闪烁键的5个数据段Trial，利用这5个Trial构成训练集
[0032] {Fej，q，j＝1，...，5；q＝5}。若受试者眼睛注视某一闪烁键则一个Round里将必含有一个P300特征的Trial记为Θ，剩余的4个不含有P300特征的Trial记为Φ，将5轮所得到的数据根据5个时间序列标记分别相加得到一个Epoch，形成训练集，{Fej，j＝
1，...，15}。若系统提示的是第j个闪烁键，受试者需注意第j个闪烁键，其分类标记为记为1，其他的分类标记记为-1。实验持续七天，每天分别进行上午、下次两次实验，单次实验共得到100个训练样本。
1，...，15}。若系统提示的是第j个闪烁键，受试者需注意第j个闪烁键，其分类标记为记为1，其他的分类标记记为-1。实验持续七天，每天分别进行上午、下次两次实验，单次实验共得到100个训练样本。
[0033] 运动想象训练根据系统箭头提示的方向进行想做或想右，实验持续七天，每天晚上进行，单次进行100个次运动想象实验，共得到100个训练样本。
[0034] 在线实验的过程为：受试者可以根据路况及自己的意愿进行轮椅控制。为评估本多模态脑机接口的智能轮椅性能，5位受试者进行定向测试该轮椅启动、停止、转弯、加减速功能，受试者按提示分段路线完成实验任务。单次实验的分段路线如图5所示：从开始线位置启动轮椅→高速直行→低速转弯→高速直行→低速转弯→高速直行→低速直行→停止在停止线上。分段路线的最佳长度为2.7+1.3+1.5+1.3+2.1+0.6＝9.5m，制定的时间为53.1s。轮椅的速度：V低＝0.1m/s，V高＝0.3m/s。每位受试者参与5次试验，求其平均值作为在线实验结果，统计如下：
[0035] 表2实验数据统计：
[0036]指标 受试者1 受试者2 受试者3 受试者4 受试者5
实际路线长度(m) 10.3 11.5 11.3 10.7 11.6
是否完成任务 是 是 是 是 是
实际时间(s) 65.6 70.2 72.4 63.7 67.9
路径最佳比率 1.1 1.2 1.2 1.1 1.2
时间最佳比率 1.2 1.3 1.4 1.2 1.3
BCI准确率(离线) 83％ 92％ 89％ 91％ 88％
实际路线长度(m) 10.3 11.5 11.3 10.7 11.6
是否完成任务 是 是 是 是 是
实际时间(s) 65.6 70.2 72.4 63.7 67.9
路径最佳比率 1.1 1.2 1.2 1.1 1.2
时间最佳比率 1.2 1.3 1.4 1.2 1.3
BCI准确率(离线) 83％ 92％ 89％ 91％ 88％
[0037] 平均信息传输速率(Information Transfer Rate：IRT)是评价BCI系统性能的另一个指标，根据香农定理推出脑机接口信息速率：
[0038] I＝Ne*(log2(N)+p*log2(p)+(1-p)*log2((1-p)/(N-1))) (1)
[0039] 其中Ne是平均一分钟的触发次数，N是闪烁键个数，p是分类精度(参见表2中BCI准确率)，本系统参数为：Ne＝40，N＝5，由式(1)计算5位受试者的平均信息传输速率
[0040] 表3受试者平均信息传输速率
[0041]受试者 1 2 3 4 5 Average
ITR(bit/min) 53 70 64 68 62 63
ITR(bit/min) 53 70 64 68 62 63
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 家电控制方法、装置及脑机接口 | 2020-05-18 | 3 |
| 一种带防护装置的脑机接口 | 2020-05-18 | 589 |
| 一种快速近红外脑机接口方法 | 2020-05-19 | 872 |
| 一种脑机接口系统 | 2020-05-12 | 838 |
| 一种基于选择性感受的脑机接口系统 | 2020-05-20 | 385 |
| 一种侵入式脑机接口 | 2020-05-13 | 935 |
| 一种基于脑机接口技术的装置和方法 | 2020-05-16 | 718 |
| 一种机器人及脑机接口 | 2020-05-11 | 71 |
| 全植入式脑机接口系统 | 2020-05-13 | 578 |
| 一种脑机接口通信装置 | 2020-05-12 | 425 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
分析报告
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
QQ群二维码
意见反馈
意见反馈