一种基于多模人机传感信息同步采集与融合的控制方法
专利汇可以提供一种基于多模人机传感信息同步采集与融合的控制方法专利检索，专利查询，专利分析的服务。并且本 发明 涉及人机混合智能交互控制领域，特别涉及一种基于多模态脑眼信息融合的移动式同步采集与融合的控制方法。针对人体生理信息采集要求，利用视觉 跟踪 与 脑机 接口 技术，采集人体的视觉和意识 信号 ，作为多模态信息通道的输入；开发基于数字头盔的 增强现实 环境，设计基于事件触发的集成 采样 接口，实现信息流的移动式同步采集与输出；利用ReliefF评估和诱导有序信息集结算子，实现人体生理信息在特征层和权重层的融合；在数字头盔集成条件下，实现多模信息状态下对被控对象的对指令集协同控制。本发明解决了 现有技术 中存在的 人机交互 信息表征鲁棒性、 稳定性 不足的问题。，下面是一种基于多模人机传感信息同步采集与融合的控制方法专利的具体信息内容。
1.一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于该方法的步骤包括：
第一步，使用视觉对控制信息进行采集，得到视觉控制信息；
第二步，使用脑机接口对控制信息进行采集，得到脑机接口控制信息；
第三步，对第一步得到的视觉控制信息和第二步得到的脑机接口控制信息进行融合，得到融合后的特征子集；
第四步，将第三步得到的融合后的特征子集作为输入控制信号，实现在增强现实环境下的待控制目标的实时控制。
2.根据权利要求1所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的第一步中，视觉控制信息的采集过程为：
(11)利用视觉红外检测设备获取眼球的运动图像；
(12)利用三通道差分粒子滤波对步骤(11)得到的运动图像进行处理，提取眼球的运动角度和距离特征；
(13)对步骤(12)提取的眼球的运动角度和距离特征进行解算，得到待控制目标在视觉范围内的三维坐标。
3.根据权利要求2所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的步骤(12)中，利用三通道差分粒子滤波对运动图像进行处理的详细方法为：
对运动图像构建三通道彩色图TDPF，并对构建的三通道彩色图TDPF进行差分处理，公式如式(1)：
其中，pij为通用的三个通道上的像素点， 和 分别是TDPF三个通道上的像素点，pbij为亮瞳图像的像素点，pdij为暗瞳图像的像素点，blobij为差分图像滤波后瞳孔图像的像素点，TDPF充分利用了各通道信息，瞳孔特征较明显，瞳孔区域的色彩明显与人脸其他部位不同，提高了跟踪的稳定性与精确性。
4.根据权利要求2所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的步骤(12)中，提取眼球的运动角度和距离特征的详细方法为：首先确定运动角度的检测范围，方法为：如果在t时刻成功提取到连续的运动角度，t+1时刻时在t时刻瞳孔位置附近进行运动角度的提取，如果在t时刻没有提取到连续的运动角度，则t+1时刻时在视场范围内重新进行搜索；其次，确定运动角度和距离特征的计算方法，过程为：
(121)对眼球进行校准，校准过程为：给定九个眼球注视点，当眼球注视各点时，测量相应的瞳孔与光斑间位置相对偏移量，然后确定眼球转动引起的注视点变化与偏移量间存在的映射关系；
(122)根据步骤(121)中得到的映射关系，根据映射关系构建三通道彩色图TDPF，对构建的三通道彩色图TDPF利用公式(1)进行差分处理，得到眼球的运动角度；
(123)根据步骤(122)中得到的眼球的运动角度a获取距离特征L，L＝D/cosa，D为待控制目标在视场范围内的标定距离。
5.根据权利要求1所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的第二步中，脑机接口控制信息的采集过程为：
(21)建立不同频率的稳态视觉诱发刺激生成平台，刺激生成能够检测的脑电信号；
(22)通过脑电放大器提取步骤(21)检测到的脑电信号；
(23)利用相关性分析的方法对步骤(22)提取到的脑电信号进行特征提取，得到能够用于模式分类的特征向量，并建立训练模板。
6.根据权利要求5所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的步骤(23)中，利用相关性分析的方法对脑电信号进行特征提取，得到能够用于模式分类的特征向量的方法采用带模板的Filter bank canonical correlation analysis(FBCCA)，脑电信号χ为四维向量： 其中Ns为每试次
的数据长度，n为数据点，Nc为导联数量，j为导联号，Nf为刺激数量，k为频率序号，Nt为试次数量，h为试次序号。
7.根据权利要求1所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的第三步中，视觉控制信息和脑机接口控制信息的融合过程为：
(31)对眼球的运动角度进行归一化处理，对特征向量进行归一化处理，得到具有相同量纲的待融合数据特征向量；
(32)对步骤(31)得到的待融合数据特征向量进行二次采样，以获取时间流一致的待融合数据特征向量；
(33)利用ReliefF方法将步骤(32)中得到的待融合数据特征向量进行降维融合处理，得到融合后的特征子集。
8.根据权利要求7所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的步骤(31)中，对眼球的运动角度进行归一化处理的方法为：设运动角度中的最大值为max，最小值为min，当前值为M，将M进行归一化后的结果M'为：M'＝(M-min)/(max-min)，即将运动角度的数值转化为相对值，消除量纲。
9.根据权利要求7所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：所述的步骤(33)中，利用ReliefF方法对待融合数据特征向量进行降维融合处理的方法为：
(331)假定待融合数据特征向量的类标为ci∈(C1,…,C6)，计算待融合数据特征向量中的样本si的k个同类标邻近样本和k个异类标邻近样本集合，k为自然数；NHSj表示同类标邻近样本，NMSj表示异类标邻近样本；
(332)在步骤(331)得到的集合基础上计算待融合数据特征向量的评价权重为：
其中，p(ci)和p(class(si))分别表示ci类样本和与si同类的样本在全集中的占比，那么就表示属于ci类的样本占与si不同类样本全集的比重，r表示对样本重复抽样的次数，k为样本si的同类和异类邻近样本数目；
(333)根据步骤(332)得到的评价权重对待融合数据特征向量进行排序，取前X个融合数据特征子集作为降维融合处理的结果，X小于待融合数据特征向量的维数。
10.根据权利要求9所述的一种基于多模人机传感信息同步采集与融合的控制方法，其特征在于：X为待融合数据特征向量维数的一半。
一种基于多模人机传感信息同步采集与融合的控制方法
技术领域
背景技术
发明内容
具体实施方式
| 标题 | 发布/更新时间 | 阅读量 |
|---|---|---|
| 家电控制方法、装置及脑机接口 | 2020-05-18 | 3 |
| 一种基于脑机接口技术的装置和方法 | 2020-05-19 | 289 |
| 一种脑机接口系统 | 2020-05-12 | 838 |
| 一种基于选择性感受的脑机接口系统 | 2020-05-20 | 385 |
| 一种脑机接口系统黑盒攻击方法 | 2020-05-14 | 849 |
| 一种基于脑机接口技术的装置和方法 | 2020-05-16 | 718 |
| 脑机接口家电遥控装置 | 2020-05-11 | 767 |
| 一种多态脑机接口系统 | 2020-05-13 | 318 |
| 柔性非嵌入式脑机接口电极及其制备方法和脑机接口模块 | 2020-05-14 | 459 |
| 一种脑机接口脑电头盔 | 2020-05-14 | 667 |
高效检索全球专利专利汇是专利免费检索,专利查询,专利分析-国家发明专利查询检索分析平台，是提供专利分析，专利查询，专利检索等数据服务功能的知识产权数据服务商。
我们的产品包含105个国家的1.26亿组数据，免费查、免费专利分析。
专利汇分析报告产品可以对行业情报数据进行梳理分析，涉及维度包括行业专利基本状况分析、地域分析、技术分析、发明人分析、申请人分析、专利权人分析、失效分析、核心专利分析、法律分析、研发重点分析、企业专利处境分析、技术处境分析、专利寿命分析、企业定位分析、引证分析等超过60个分析角度，系统通过AI智能系统对图表进行解读，只需1分钟，一键生成行业专利分析报告。
