技术领域
[0001] 本
发明涉及一种意念控制方法。特别是涉及一种基于模态迁移复杂网络的机器人智能意念控制方法。
背景技术
[0002]
脑机接口(Brain-Computer Interface，BCI)是不依赖于由外围神经和肌肉组成的输出通路，直接连接大脑和计算机及外部设备的通讯系统。
脑机接口系统具有无创采集、操作简单的优点以及独特的时间
分辨率优势。脑机接口系统通常由四个模
块组成：脑电
信号采集模块、脑
电信号特征提取模块、脑电信号特征分类模块以及外部设备控
制模块。特征提取模块以及特征分类模块是整个脑机接口最核心的部分，正是通过这两个模块可以将脑电信号转换为可以被外部设备识别的
控制信号。脑电信号的特点有微弱性、复杂性以及不
稳定性，由于脑电信号的这些特性，对于范式设计以及特征提取与分类有比较高的要求。
[0003] 寻求有效的特征提取及分类的方法是提高识别准确率关键技术之一。常用的特征提取方法有
功率谱分析、
小波变换、共空间模式
算法等。但是这些算法仍存在一些局限性。本
专利中采用的多元经验模态分解(Multivariate empirical mode decomposition，MEMD)法不仅可以有效地解决模态
混叠及尺度对齐的问题，而且具备更好的自适应性和时频局部化能
力。
[0004] 自从20世纪50年代第一台
工业机器人诞生以来，随着通信、计算机、传感、
电子、控制等技术以及
人工智能技术的快速发展，集多种先进技术为一体的
机器人技术在市场需求的牵引下已经取得了很大的发展。
增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、
叠加。通过将增强现实技术应用于机器人智能意念控制，可有效提升机器人的可操作性以及适应能力，为机器人在更多领域的应用提供了重要
基础。
发明内容
[0005] 本发明所要解决的技术问题是，提供一种基于模态迁移复杂网络的机器人智能意念控制方法，机器人采集大量周围环境信息并将数据传输至上位机，通过
深度学习理论，实现增强现实与目标识别；同时使用EEG脑电采集系统采集4
电极的SSVEP脑电信号，对采集到的SSVEP信号进行多元经验模态分解，通过模态迁移复杂网络理论进行分析，利用SVM进行分类，主控系统基于分类结果下达控制指令，从而实现智能意念控制方法。
[0006] 本发明所采用的技术方案是：一种基于模态迁移复杂网络的机器人智能意念控制方法，包括如下步骤：
[0007] 1)通过机器人携带的图片采集设备，获取周围环境信息，结合深度学习理论，使机器人具备目标识别功能；
[0008] 2)通过EEG脑电信号采集设备采集被试者注视视觉激励界面中闪烁图片时诱发的4电极SSVEP脑电信号，将采集的4电极SSVEP脑电信号进行滤波和去噪声处理后，通过WiFi无线传输至上位机；
[0009] 3)使用多元经验模态分解方法对获得的4电极SSVEP脑电信号进行处理，并结合模态迁移复杂网络分析理论，实现对SSVEP脑电信号的准确分类，反推被试者注视的视觉激励图片，进而生成机器人控制指令，向步骤1)中识别的目标移动，实现机器人智能意念控制。
[0010] 步骤1)包括：
[0011] (1)机器人分别从不同
角度采集周围环境图片信息，所述机器人为一个机器人或者为能够实现协作运行的机器人编队；
[0012] (2)通过WiFi无线传输方式将采集到的图片上传至
服务器；
[0013] (3)根据环境图片，搭建并训练CNN深度学习模型，用于多目标辨识、
定位，辨识目标种类不限；
[0014] (4)将机器人实时采集的环境图片信息，输入已训练的CNN深度学习模型中，得到辨识的12个目标，目标数大于12时依据空间
位置均匀
选定12个目标，并在辨识出的12个目标旁边标注目标名称和设定目标编号A1～A12，将目标名称及编号作为待完成任务显示至
用户界面。
[0015] 步骤2)中所述的SSVEP视觉激励界面中显示出12个以不同
频率闪烁的图片，对12个图片依次编号，得到图片编号B1～B12，其中，12个图片的
频率范围为8～13.5Hz、频率之间的最小间隔为0.5Hz以及频率排布顺序为8Hz、10Hz、12Hz、11.5Hz、13.5Hz、9.5Hz、9Hz、11Hz、13Hz、10.5Hz、12.5Hz、8.5Hz。
[0016] 步骤2)中采用10-20国际标准
导联布置电极，选取O1、O2、Oz、Pz共4个枕部区域电极，参考电极为Cz，
接地电极为GND。
[0017] 步骤3)包括：
[0018] (3.1)对4电极SSVEP脑电信号，应用多元经验模态分解方法进行处理，得到4组本征模态函数，分别对应4电极SSVEP脑电信号，对每一组本征模态函数中的与SSVEP视觉激励界面中图片闪烁频率相关的部分进行合并，生成4个新的本征模态函数，即4个新的序列，取代原始4电极SSVEP脑电信号，用于后续分析；
[0019] (3.2)对生成的4个新的序列，构建模态迁移复杂网络，实现数据融合；
[0020] (3.3)对模态迁移复杂网络，分别计算网络平均
节点度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最
短路径网络指标，引入
支持向量机，以得到的网络指标为基础进行多目标分类，通过多目标分类结果反推被试者注视的视觉激励图片；
[0021] (3.4)将视觉激励图片的图片编号B1～B12与识别出的目标编号A1～A12进行关联，所述的关联是，当被试者注视刺激图片Bυ时，诱发产生相应SSVEP脑电信号，通过第(3.1)步到第(3.3)步准确
锁定该图片后，通过脑机接口指挥机器人向目标Aυ运动，其中υ∈{1,2,...,12}。
[0022] 第(3.2)步所述的构建模态迁移复杂网络具体为：
[0023] (3.21)对多元序列 p＝1,2,3,4，其中包含4个通道的长度均为N的序列，xp,i表示第p个通道序列的第i个元素，通过窗口滑移的方式进行分割，确定窗口大小为α＞
10，滑移步长为τ，得到一系列长度为α的多元序列
片段：
[0024]
[0025] 其中h为正整数，满足α+(h-1)τ≤N；
[0026] (3.22)对于任意一个窗口的多元序列片段 选定其中的两个通道p1和p2，计算序列之间相关系数
[0027]
[0028] 其中
[0029] (3.23)按照第(3.22)步中所述方法，对于任意一个窗口的多元序列片段计算其中任意两个通道序列之间的相关系数，分别为：r12，r13，r14，r23，r24，r34，其中1，2，3，4表示通道编号，对应于第(3.21)步中的p＝1,2,3,4；
[0030] (3.24)对于任意一个窗口的多元序列片段 将r12，r13，r14，r23，r24，r34按照从小到大的顺序进行排序，构成模态，共有6！＝720种排序方式，即共有720种模态；
[0031] (3.25)以模态为网络节点，网络节点之间的连边确定方式为：多元序列片段确定模态γh，多元序列片段 确定模态γh+1，建立从模态γh指向模态γh+1的有向连边，若模态γh和模态γh+1为同一模态，则忽略该连边，从而建立包含720个网络节点的模态迁移复杂网络。
[0032] 本发明的基于模态迁移复杂网络的机器人智能意念控制方法，具有以下优势：
[0033] (1)通过机器人收集信息，同一时刻可得到多组环境信息，同时可改变探测地点，得到不同区域信息，使得机器人可选择的方向目标更为丰富。
[0034] (2)结合深度学习与复杂网络的方法，对信号的分析处理能力强，识别控制准确率高。
[0035] (3)模态迁移复杂网络的引入使得能够更好的挖掘SSVEP脑电信号中的潜在规律，有助于分类准确率的提升。
附图说明
[0036] 图1是本发明基于模态迁移复杂网络的机器人智能意念控制方法的
流程图；
[0037] 图2是SSVEP多分类的界面设计；
[0038] 图3是10-20国际导联系统的示意图。
具体实施方式
[0039] 下面结合
实施例和附图对本发明的基于模态迁移复杂网络的机器人智能意念控制方法做出详细说明。
[0040] 本发明的基于模态迁移复杂网络的机器人智能意念控制方法，流程图如图1所示，包括如下步骤：
[0041] 1)通过机器人携带的图片采集设备，获取周围环境信息，结合深度学习理论，使机器人具备目标识别功能；包括：
[0042] (1)机器人分别从不同角度采集周围环境图片信息，所述机器人为一个机器人或者为能够实现协作运行的机器人编队，其具体实施例如采用一组四个机器人，呈菱形协同运动，分别采集前后左右四个方向的环境图片；
[0043] (2)通过WiFi无线传输方式将采集到的图片上传至服务器；
[0044] (3)根据环境图片，搭建并训练CNN深度学习模型，用于多目标辨识、定位，辨识目标种类不限；其中，CNN模型的训练过程，包括如下步骤：
[0045] (3.1)卷积，即用一个可训练的卷积核去卷积一个输入样本，加上偏置后再通过一个激活函数得到卷积层；
[0046] (3.2)降
采样，即每个子区域的多个
像素值中选出最大值点，用该像素代替此区域，遍历整个样本，把得到的像素点组合，就是该层输入的特征映射结果；
[0047] (3.3)全连接输出，信息从
输入层经过逐级传递到达
输出层。在该过程中，输入与每层的权值矩阵点乘，进而得到输出结果；
[0048] (3.4)误差反向传播，在应用
梯度下降法确定极小值时， 表示参数 在给定训练集χ上的误差，寻找最优变量 有：
[0049]
[0050] 当 是变量向量的可微函数时，偏导数组成的梯度向量为
[0051]
[0052] 通过梯度向量和梯度下降过程来最小化E，从随机向量 开始，并在每一步沿与该梯度相反的方向更新
[0053]
[0054]
[0055] 其中，表示更新后的 η为学习因子，当E得到极小值时，导数等于0，过程终止；
[0056] (4)将机器人实时采集的环境图片信息，输入已训练的CNN深度学习模型中，得到辨识的12个目标，目标数大于12时依据空间位置均匀选定12个目标，并在辨识出的12个目标旁边标注目标名称和设定目标编号A1～A12，将目标名称及编号作为待完成任务显示至用户界面。
[0057] 2)通过EEG脑电信号采集设备采集被试者注视视觉激励界面中闪烁图片时诱发的4电极SSVEP脑电信号，将采集的4电极SSVEP脑电信号进行滤波和去噪声处理后，通过WiFi无线传输至上位机；其中，
[0058] 如图2所述的SSVEP视觉激励界面中显示出12个以不同频率闪烁的图片，对12个图片依次编号，得到图片编号B1～B12，其中，12个图片的频率范围为8～13.5Hz、频率之间的最小间隔为0.5Hz以及频率排布顺序为8Hz、10Hz、12Hz、11.5Hz、13.5Hz、9.5Hz、9Hz、11Hz、13Hz、10.5Hz、12.5Hz、8.5Hz。
[0059] 采用10-20国际标准导联布置电极，选取O1、O2、Oz、Pz共4个枕部区域电极，参考电极为Cz，接地电极为GND，具体电极设置如图3所示。
[0060] 3)使用多元经验模态分解(Multivariate Empirical Mode Decomposition，MEMD)方法对获得的4电极SSVEP脑电信号进行处理，并结合模态迁移复杂网络分析理论，实现对SSVEP脑电信号的准确分类，反推被试者注视的视觉激励图片，进而生成机器人控制指令，向步骤1)中识别的目标移动，实现机器人智能意念控制；
[0061] 包括：
[0062] (3.1)对4电极SSVEP脑电信号，应用多元经验模态分解方法进行处理，得到4组本征模态函数(Intrinsic node function，IMF)，分别对应4电极SSVEP脑电信号，对每一组本征模态函数中的与SSVEP视觉激励界面中图片闪烁频率相关的部分进行合并，生成4个新的本征模态函数，即4个新的序列，取代原始4电极SSVEP脑电信号，用于后续分析；
[0063] 所述的应用多元经验模态分解方法进行处理包括：
[0064] (3.11)用4维向量序列 代表4电极SSVEP脑电信号，序列长度为N，用 表示在3维球面上对应角 的方向向
量集，若在3维球面上建立K个方向向量，则k＝1,2,3,...,K；
[0065] (3.12)采用Hammersley序列采样法，在3维球面上获得4维空间方向向量；
[0066] (3.13)以4维向量序列 为
输入信号，在每个方向向量 上的映射计算公式如下：
[0067]
[0068] 其中，●表示向量内积，*表示向量数量积， 表示对向量 取模；
[0069] (3.14)确定所有方向向量的映射集合 k＝1,2,3,...,K的极值所对应的时刻 其中，u代表极值点位置，且满足u∈[1,N]；
[0070] (3.15)用多元样条插值函数插值极值点坐标 n＝1,2,3,4，得到K个多元包络 k＝1,2,3,...,K；
[0071] (3.16)对3维球面K个多元包络求均值 公式如下：
[0072]
[0073] (3.17)固有模态函数为hn(t)，通过公式hn(t)＝vn(t)-mn(t)进行提取，若满足多元本征模态函数判断标准，则把 作为计算映射 的输入信号，否则把得到的 作为计算映射 的输入信号，返回(3.13)，提取新的多元本征模态
函数分量
[0074] (3.18)直到 和 同时满足多元本征模态函数判断标准，将原信号vn(t)变成系列本征模态函数hf(t)与余量r(t)和的形式
[0075]
[0076] 其中，q表示本征模态函数数量，4电极SSVEP脑电信号每一元变量对应的本征模态函数在4电极中按频率尺度对齐，形成多元本征模态函数。
[0077] (3.2)对第(3.1)步生成的4个新的序列，构建模态迁移复杂网络，实现数据融合；
[0078] 所述的构建模态迁移复杂网络具体为：
[0079] (3.21)对多元序列 p＝1,2,3,4，其中包含4个通道的长度均为N的序列，xp,i表示第p个通道序列的第i个元素，通过窗口滑移的方式进行分割，确定窗口大小为α＞
10，滑移步长为τ，得到一系列长度为α的多元序列片段：
[0080]
[0081] 其中h为正整数，满足α+(h-1)τ≤N；
[0082] (3.22)对于任意一个窗口的多元序列片段 选定其中的两个通道p1和p2，计算序列之间相关系数
[0083]
[0084] 其中
[0085] (3.23)按照(3.22)中所述方法，对于任意一个窗口的多元序列片段 计算其中任意两个通道序列之间的相关系数，分别为：r12，r13，r14，r23，r24，r34，其中1，2，3，4表示通道编号，对应于(3.21)中的p＝1,2,3,4；
[0086] (3.24)对于任意一个窗口的多元序列片段 将r12，r13，r14，r23，r24，r34按照从小到大的顺序进行排序，构成模态，共有6！＝720种排序方式，即共有720种模态。
[0087] (3.25)以模态为网络节点，网络节点之间的连边确定方式为：多元序列片段确定模态γh，多元序列片段 确定模态γh+1，建立从模态γh指向模态γh+1的有向连边，若模态γh和模态γh+1为同一模态，则忽略该连边，从而建立包含720个网络节点的模态迁移复杂网络；
[0088] (3.3)对模态迁移复杂网络，分别计算网络平均节点强度、网络平均节点介数、网络平均聚集系数、网络全局聚集系数、网络聚集系数熵和网络平均最短路径网络指标，引入支持向量机(SVM)，以得到的网络指标为基础进行多目标分类，通过多目标分类结果反推被试者注视的视觉激励图片；其中计算网络指标具体过程为：
[0089] (3.31)网络平均节点强度O：任意节点 的强度 表示与该节点相连的所有连边权重之和，则 其中＜·＞表示取平均值的操作，l为网络中节点个数；
[0090] (3.32)网络平均节点介数 表示节点介数，其中σλμ为连接节点λ和节点μ的最短路径数目， 为经过节点 的连接节点λ和节点μ的最短路径数目；
[0091] (3.33)网络平均聚集系数 表示节点聚集系数，其中 表示复杂网络中包含节点 的封闭三角形的数目， 表示复杂网络中从节点 出发至少有两个边的三角形的数目；
[0092] (3.34)网络全局聚集系数
[0093] (3.35)网络聚集系数熵
[0094] (3.36)网络平均最短路径 其中节点λ和节点μ互不相同，且Uλμ表示节点λ和节点μ之间的最短路径长度。
[0095] (3.4)将视觉激励图片的图片编号B1～B12与识别出的目标编号A1～A12进行关联，所述的关联是，当被试者注视刺激图片Bυ时，诱发产生相应SSVEP脑电信号，通过(3.1)到(3.3)所述方法准确锁定该图片后，通过脑机接口指挥机器人向目标Aυ运动，其中υ∈{1,2,...,12}。
[0096] 以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。
