基于二维意图所定义的控制部件控制方法和装置专利检索-思维导图知识可视化可视化图形技术专利检索查询-专利查询网

基于二维意图所定义的控制部件控制方法和装置

阅读：139发布：2020-05-16

专利汇可以提供基于二维意图所定义的控制部件控制方法和装置专利检索，专利查询，专利分析的服务。并且基于二维意图所定义的控制部件控制方法和装置，其特征在于，包括用于表达方向控制意图的人体姿态动作和用于表达确认意图的头部表情动作，方向控制意图旨在对控制部件的运动方向予以控制，确认意图旨在确认控制部件的当前操作及其操作类型；其有益的技术效果在于利用人体姿态动作与头部表情动作或语音指令的二维组合，不仅建立了适配于身体动作的方向控制意图指令机制，而且也建立了适配的但又独立的“确认”意图指令机制，克服了单独了语音技术的无节制问题，也克服了单独的EOG眼电技术的局限性问题，它们之间的有效配合有效地解决了对人机交互设备的多维度控制问题，以及人体动作与控制意图之间的协调性问题。，下面是基于二维意图所定义的控制部件控制方法和装置专利的具体信息内容。

权利要求

1.基于二维意图所定义的控制部件控制方法，其特征在于，包括用于表达方向控制意图的人体姿态动作和用于表达确认意图的头部表情动作，所述方向控制意图旨在对控制部件的运动方向予以控制，所述确认意图旨在确认所述控制部件的当前操作及其操作类型；
实施所述人体姿态动作，拾取表征所述人体姿态动作的动作表象本身的姿态特征值，设置姿态融合计算模块，根据所拾取的所述姿态特征值并基于所述姿态融合计算模块识别出对应于所述人体姿态动作的运动方向控制指令，通过所述运动方向控制指令控制所述控制部件的运动方向；
实施所述头部表情动作，拾取关联于所述头部表情动作而导致的头部生物电信号特征值，设置生物电信号计算模块，根据所拾取的所述生物电信号特征值并基于所述生物电信号计算模块识别出对应于所述头部表情动作的确认指令，通过所述确认指令确认所述控制部件的当前操作及其操作类型。
2.根据权利要求1所述的控制方法，其特征在于，通过所述姿态融合计算模块建立对应于姿态动作的基准特征值并比较所拾取的当次姿态特征值，实时识别出用户当前的姿态动作意图。
3.根据权利要求2所述的控制方法，其特征在于，在一个当次的姿态动作结束并确认为有效后，将当次的姿态特征值替换为基准特征值。
4.根据权利要求2所述的控制方法，其特征在于，所述姿态特征值包括有可以从动作表象上予以识别的人体动作的角度、方向和加速度。
5.根据权利要求4所述的控制方法，其特征在于，建立人体姿态模型，所述人体姿态模型定义用于表达所述方向控制意图的人体动作类型，通过实施符合所述人体姿态模型所定义的人体姿态动作，表达对控制部件的运动方向的控制意图。
6.根据权利要求1所述的控制方法，其特征在于，通过所述生物电信号计算模块建立对应于表情动作的生物电信号基准特征值并比较所拾取的当次生物电信号的特征值，实时识别出用户当前的表情动作意图。
7.根据权利要求6所述的控制方法，其特征在于，在一个当次的表情动作结束并确认为有效后，将当次的生物电信号特征值替换为基准姿态特征值。
8.根据权利要求6所述的控制方法，其特征在于，所述生物电信号特征值包括有信号幅度、信号频率。
9.根据权利要求1所述的控制方法，其特征在于，所述操作类型包括是否予以启动或停止，或是否加速或减速。
10.根据权利要求1到9任一所述的控制方法，其特征在于，所述人体姿态动作包括四种能够独立表达运动方向控制意图的姿态动作，每种所述姿态动作定义一种运动方向控制意图，四种所述姿态动作用于分别表达前、后、左、右四个方向移动的控制意图。
11.根据权利要求10所述的控制方法，其特征在于，所述人体姿态动作是身体的晃动动作。
12.根据权利要求11所述的控制方法，其特征在于，所述身体的晃动动作包括身体的左偏晃动、右偏晃动、挺胸移动和弯腰移动四种姿态动作。
13.根据权利要求10所述的控制方法，其特征在于，所述人体姿态动作是头部的摇动动作。
14.根据权利要求13所述的控制方法，其特征在于，所述头部的摇动动作包括头部的左偏晃动、右偏晃动、抬头移动和低头移动四种姿态动作。
15.根据权利要求1到9任一所述的控制方法，其特征在于，所述头部表情动作是能够导致头部产生可拾取生物电信号的头部肌肉动作或思维动作。
16.根据权利要求15所述的控制方法，其特征在于，所述头部表情动作包括眼部动作、面部动作、下颚动作或脑意识动作中的一个动作或几个动作的重复或组合。
17.根据权利要求1到9任一所述的控制方法，其特征在于，所述控制部件是病床或轮椅，所述控制部件响应于所述姿态动作所蕴含的运动方向控制指令而移动，并响应于所述头部表情动作所蕴含的确认指令完成对当前操作及其操作类型的“确认”。
18.基于二维意图所定义的控制部件控制方法，其特征在于，包括用于表达方向控制意图的人体姿态动作和用于表达确认意图的语音命令，所述方向控制意图旨在对控制部件的运动方向予以控制，所述确认意图旨在确认所述控制部件的当前操作及其操作类型；
实施所述人体姿态动作，拾取表征所述人体姿态动作的动作表象本身的姿态特征值，设置姿态融合计算模块，根据所拾取的所述姿态特征值并基于所述姿态融合计算模块识别出对应于所述人体姿态动作的运动方向控制指令，通过所述运动方向控制指令控制所述控制部件的运动方向；
实施语音命令，拾取表征所述语音命令的语音信号特征值，设置语音信号计算模块，根据所拾取的所述语音信号特征值并基于所述语音信号计算模块识别出对应于所述语音命令的确认指令，通过所述确认指令确认所述控制部件的当前操作及其操作类型。
19.根据权利要求18所述的控制方法，其特征在于，通过所述语音信号计算模块建立对应于语音命令的语音信号基准特征值并比较所拾取的当次语音信号的特征值，实时识别出用户当前的语音命令意图。
20.根据权利要求19所述的控制方法，其特征在于，在一个当次的语音信号结束并确认为有效后，所述语音信号计算模块将当次的语音信号特征值替换为基准语音信号特征值。
21.基于二维意图的控制装置，其特征在于，包括：
姿态特征值拾取装置，所述姿态特征值拾取装置用于拾取表征人体姿态动作的动作表象本身的姿态特征值并给出相应的姿态特征信号，所述人体姿态动作用于表达对控制部件的运动方向予以控制的控制意图；
头部生物电信号特征值拾取装置，所述头部生物电信号特征值拾取装置用于拾取关联于头部表情动作而导致的头部生物电信号特征值并给出相应的生物电特征信号，所述头部表情动作用于表达对控制部件的当前操作及其操作类型予以确认的意图；
控制模块，包括姿态融合计算模块和生物电信号计算模块，所述姿态融合计算模块用于接收所述姿态特征信号并识别出对应于所述人体姿态动作的运动方向控制指令，所述控制模块用于根据所述运动方向控制指令进一步控制所述控制部件的运动方向；所述生物电信号计算模块用于接收所述生物电特征信号并识别出对应于所述头部表情动作的确认指令，所述控制模块用于根据所述确认指令确认所述控制部件的当前操作及其操作类型。
22.根据权利要求21所述的控制装置，其特征在于，所述控制部件是病床或轮椅，所述控制部件响应于所述姿态动作所蕴含的运动方向控制指令而移动，并响应于所述头部表情动作所蕴含的确认指令完成对当前操作及其操作类型的“确认”。
23.根据权利要求21所述的控制装置，其特征在于，所述姿态特征值拾取装置包括速率陀螺仪检测器、加速度传感器，所述速率陀螺仪检测器用于随所述人体姿态动作移动时提供所述姿态特征值中的角速度变化特征值；所述加速度传感器用于随所述人体姿态动作移动时提供所述姿态特征值中的加速度变化特征值。
24.根据权利要求23所述的控制装置，其特征在于，所述姿态特征值拾取装置还包括磁力计，所述磁力计用于随所述人体姿态动作移动时提供所述姿态特征值中的运动方向特征值。
25.根据权利要求21所述的控制装置，其特征在于，所述姿态特征值拾取装置是摄像采样装置，所述摄像采样装置用于摄取所述人体姿态动作的影像并利用图像解析技术获取所述人体姿态动作的姿态特征值。
26.根据权利要求21到25任一所述的控制装置，其特征在于，所述头部生物电信号特征值拾取装置是基于EOG信号的可穿戴式装置，包括电极单元、EOG信号放大单元；所述电极单元含有三个导电电极，紧贴用户头部皮肤，其中一个置于用户额头，另外两个置于耳后；所述EOG信号放大单元中设置有集成仪表放大器，集成仪表放大器上集成有仪表放大器、高通滤波器、低通滤波器和右腿驱动电路。
27.基于二维意图的控制装置，其特征在于，包括：
姿态特征值拾取装置，所述姿态特征值拾取装置用于拾取表征人体姿态动作的动作表象本身的姿态特征值并给出相应的姿态特征信号，所述人体姿态动作用于表达对控制部件的运动方向予以控制的控制意图；
语音命令特征值拾取装置，所述语音命令特征值拾取装置用于拾取表征所述语音命令的语音信号特征值并给出相应的语音特征信号，所述语音命令用于表达对控制部件的当前操作及其操作类型予以确认的意图；
控制模块，包括姿态融合计算模块和语音信号计算模块，所述姿态融合计算模块用于接收所述姿态特征信号并识别出对应于所述人体姿态动作的运动方向控制指令，所述控制模块用于根据所述运动方向控制指令进一步控制所述控制部件的运动方向；所述语音信号计算模块用于接收所述语音特征信号并识别出对应于所述语音命令的确认指令，所述控制模块用于根据所述确认指令确认所述控制部件的当前操作及其操作类型。

说明书全文

基于二维意图所定义的控制部件控制方法和装置

技术领域

[0001] 本发明属于人机交互技术领域，具体涉及一种基于二维意图所定义的控制部件控制方法及其控制装置，例如可以是基于EOG 信号及头部姿态的控制方法及装置。EOG(electro-oculogram)膜眼电图是眼球运动的电学记录，它是一种检测眼睛电位。

背景技术

[0002] 在现有技术中，人与操作设备(如头戴显示控制部件、计算机、手机等生活用设备之间的交互主要是通过手工操作的交互方式。例如，人与头戴显示设备进行交互时，可以利用物理按键进行提高音量、播放或暂停等操作；人与计算机进行交互时，需要手工操作键盘或鼠标进行播放或打开等操作；但对于残障人士或者双手暂时没有空闲(例如双手正在进行洗漱、做饭、吃饭等活动)进行操作的用户，利用传统的输入设备(例如鼠标、键盘、操作器等)实现人机交互就非常困难。

[0003] 在人机交互领域中，眼睛作为又一种重要的信息交互通道，而视线反应人的注意方向，因而将视线应用于人机交互领域具有其自然性、直接性和交互性等特点，备受人们的关注。专利公开号为中国CN104866100B公开了一种眼控装置及其眼控方法和眼控系统，其中，该眼控装置包括：注视点获取单元、人眼动作检测单元和控制信号生成单元，注视点获取单元用于获取人眼在待操作器件上的注视点的位置信息；人眼动作检测单元用于检测人眼是否作出预设动作，并在检测出人眼作出预设动作时，控制注视点获取单元将当前人眼在待操作器件上的注视点的当前位置信息发送给控制信号生成单元；控制信号生成单元用于根据预先存储的与待操作器件相应的位置控制对应表生成与当前位置信息相对应的控制信号，并将控制信号发送至待操作器件以供待操作器件执行相应的操作。该技术方案可有效的实现利用人眼动作来对操作器件进行控制，但这种控制方法过于简单而且维度单一，不适用于在有多维控制需求的人机交互设备上使用。

发明内容

[0004] 为了解决在不利生活环境下轻松解决人机交互问题，至少人们首先想到了语言控制技术，即利用人的语言本身给出的指令例如上下左右移动、行走等让被控设备按该语言命令本身所包含的含义去执行，但是语言本身的时延性及控制程度的有限性即控制的无节制问题，决定了单一的语音技术并不能完全和可靠地使用在人机交互领域；其次有人也首先想到了上面的现有技术中提及的眼控技术，也称为EOG眼电技术，显然该方法在控制上也是单一控制模式。当人机交互设备需要多维度控制时，这些技术都不能很好地完成。

[0005] 为了解决人机交互设备等多维度的控制问题，而且还需保证控制的便利性和可靠性，我们设计了几种控制方法：第一种，基于二维意图所定义的控制部件控制方法，其特征在于，包括用于表达方向控制意图的人体姿态动作和用于表达确认意图的头部表情动作，所述方向控制意图旨在对控制部件的运动方向予以控制，所述确认意图旨在确认所述控制部件的当前操作及其操作类型；
实施所述人体姿态动作，拾取表征所述人体姿态动作的动作表象本身的姿态特征值，设置姿态融合计算模块，根据所拾取的所述姿态特征值并基于所述姿态融合计算模块识别出对应于所述人体姿态动作的运动方向控制指令，通过所述运动方向控制指令控制所述控制部件的运动方向；
实施所述头部表情动作，拾取关联于所述头部表情动作而导致的头部生物电信号特征值，设置生物电信号计算模块，根据所拾取的所述生物电信号特征值并基于所述生物电信号计算模块识别出对应于所述头部表情动作的确认指令，通过所述确认指令确认所述控制部件的当前操作及其操作类型。

[0006] 本发明还提供一种实现第一种控制方法的基于二维意图的控制装置，其特征在于，包括：姿态特征值拾取装置，所述姿态特征值拾取装置用于拾取表征人体姿态动作的动作表象本身的姿态特征值并给出相应的姿态特征信号，所述人体姿态动作用于表达对控制部件的运动方向予以控制的控制意图；
头部生物电信号特征值拾取装置，所述头部生物电信号特征值拾取装置用于拾取关联于头部表情动作而导致的头部生物电信号特征值并给出相应的生物电特征信号，所述头部表情动作用于表达对控制部件的当前操作及其操作类型予以确认的意图；
控制模块，包括姿态融合计算模块和生物电信号计算模块，所述姿态融合计算模块用于接收所述姿态特征信号并识别出对应于所述人体姿态动作的运动方向控制指令，所述控制模块用于根据所述运动方向控制指令进一步控制所述控制部件的运动方向；所述生物电信号计算模块用于接收所述生物电特征信号并识别出对应于所述头部表情动作的确认指令，所述控制模块用于根据所述确认指令确认所述控制部件的当前操作及其操作类型。

[0007] 第二种，基于二维意图所定义的控制部件控制方法，其特征在于，包括用于表达方向控制意图的人体姿态动作和用于表达确认意图的语音命令，所述方向控制意图旨在对控制部件的运动方向予以控制，所述确认意图旨在确认所述控制部件的当前操作及其操作类型；实施所述人体姿态动作，拾取表征所述人体姿态动作的动作表象本身的姿态特征值，设置姿态融合计算模块，根据所拾取的所述姿态特征值并基于所述姿态融合计算模块识别出对应于所述人体姿态动作的运动方向控制指令，通过所述运动方向控制指令控制所述控制部件的运动方向；
实施语音命令，拾取表征所述语音命令的语音信号特征值，设置语音信号计算模块，根据所拾取的所述语音信号特征值并基于所述语音信号计算模块识别出对应于所述语音命令的确认指令，通过所述确认指令确认所述控制部件的当前操作及其操作类型。

[0008] 本发明还提供一种实现第二种控制方法的基于二维意图的控制装置，其特征在于，包括：姿态特征值拾取装置，所述姿态特征值拾取装置用于拾取表征人体姿态动作的动作表象本身的姿态特征值并给出相应的姿态特征信号，所述人体姿态动作用于表达对控制部件的运动方向予以控制的控制意图；
语音命令特征值拾取装置，所述语音命令特征值拾取装置用于拾取表征所述语音命令的语音信号特征值并给出相应的语音特征信号，所述语音命令用于表达对控制部件的当前操作及其操作类型予以确认的意图；
控制模块，包括姿态融合计算模块和语音信号计算模块，所述姿态融合计算模块用于接收所述姿态特征信号并识别出对应于所述人体姿态动作的运动方向控制指令，所述控制模块用于根据所述运动方向控制指令进一步控制所述控制部件的运动方向；所述语音信号计算模块用于接收所述语音特征信号并识别出对应于所述语音命令的确认指令，所述控制模块用于根据所述确认指令确认所述控制部件的当前操作及其操作类型。

[0009] 在上述的方案中，所述控制部件，是指一种具有执行某种功能的存在于生活环境中现实物理单元或存在于例如显示屏、AI、VR等虚拟环境中的虚拟物理单元例如游戏公仔，所述控制部件能够在所述控制模块的控制软件的驱动下，不仅执行移动的动作而且执行确认的操作。

[0010] 在上述的方案中，所述姿态特征值拾取装置与所述头部表情动作或语音信息特征值拾取装置可以合二为一个穿戴设备，其次，所述姿态特征值拾取装置与所述头部表情动作或语音信息特征值拾取装置与所述控制模块之间既可以是有线连接，也可以通过无线收发装置实现通讯。另外，所述控制模块可以集成设置在同一控制电路中，也可分置在包括所述姿态特征值拾取装置、所述头部表情动作或语音信息特征值拾取装置等装置中。

[0011] 基于上述的技术方案，与现有技术对比，其有益的技术效果在于利用所述人体姿态动作与所述头部表情动作或语音指令的二维组合，不仅建立了适配于身体动作的方向控制意图指令机制，而且也建立了适配的但又独立的“确认”意图指令机制，克服了单独了语音技术的无节制问题，也克服了单独的EOG眼电技术的局限性问题，它们之间的有效配合有效地解决了对人机交互设备的多维度控制问题，以及人体动作与控制意图之间的协调性问题。

[0012] 由于本发明具有上述特点和优点，为此可以应用到人机交互控制部件、设备及其的控制系统中。附图说明

[0013] 附图1 ，是应用本发明技术方案的第一种实施例的流程示意图。

[0014] 附图2 ，是应用本发明技术方案的第二种实施例的流程示意图。

具体实施方式

[0015] 下面结合附图对应用本发明技术方案的基于二维意图所定义的控制部件控制方法和控制装置作进一步的说明。

[0016] 实施例一、如图1所示，具体地说，基于二维意图所定义的控制部件控制方法，其特征在于，包括用于表达方向控制意图的人体姿态动作和用于表达确认意图的头部表情动作，所述方向控制意图旨在对控制部件4的运动方向予以控制，所述确认意图旨在确认所述控制部件4的当前操作及其操作类型；
实施所述人体姿态动作，拾取表征所述人体姿态动作的动作表象本身的姿态特征值，设置姿态融合计算模块，根据所拾取的所述姿态特征值并基于所述姿态融合计算模块识别出对应于所述人体姿态动作的运动方向控制指令，通过所述运动方向控制指令控制所述控制部件4的运动方向；
实施所述头部表情动作，拾取关联于所述头部表情动作而导致的头部生物电信号特征值，设置生物电信号计算模块23，根据所拾取的所述生物电信号特征值并基于所述生物电信号计算模块23识别出对应于所述头部表情动作的确认指令，通过所述确认指令确认所述控制部件4的当前操作及其操作类型。

[0017] 实现上述方法的基于二维意图的控制装置，其特征在于，包括：姿态特征值拾取装置21，所述姿态特征值拾取装置21用于拾取表征人体姿态动作的动作表象本身的姿态特征值并给出相应的姿态特征信号，所述人体姿态动作用于表达对控制部件4的运动方向予以控制的控制意图；
头部生物电信号特征值拾取装置11，所述头部生物电信号特征值拾取装置11用于拾取关联于头部表情动作而导致的头部生物电信号特征值并给出相应的生物电特征信号，所述头部表情动作用于表达对所述控制部件4的当前操作及其操作类型予以确认的意图；
控制模块2，包括姿态融合计算模块22和生物电信号计算模块23，所述姿态融合计算模块22用于接收所述姿态特征信号并识别出对应于所述人体姿态动作的运动方向控制指令，所述控制模块2用于根据所述运动方向控制指令进一步控制所述控制部件4的运动方向；所述生物电信号计算模块23用于接收所述生物电特征信号并识别出对应于所述头部表情动作的确认指令，所述控制模块2用于根据所述确认指令确认所述控制部件4的当前操作及其操作类型。

[0018] 所述控制部件是病床4，现以所述病床4的控制为例，对本发明做进一步的说明。

[0019] 一种基于EOG（眼电）信息和姿态的控制装置，包括信号采集模块、无线通信模块、控制模块2和显示屏3，无线通信模块包含无线发送单元和无线接收单元，无线发送单元设置在信号采集模块的信号采集端，无线接收单元设置在控制模块2的控制算法端，采用Wifi无线通讯协议。所述控制模块2安装在台式计算机上。

[0020] 利用眼控EOG技术的方法，包括用于表达方向控制意图的人体姿态动作例如晃动头部的动作和用于表达确认意图的导致EOG（眼电）的眼部动作，所述方向控制意图旨在对控制部件4的运动方向予以控制，所述确认意图旨确认所述控制部件4的当前操作及其操作类型；所述晃动头部的动作包括向左偏晃动、右偏晃动、抬头移动和低头移动四种姿态动作。

[0021] 实施晃动头部的动作，拾取表征所述晃动头部动作的动作表象本身的姿态特征值，包括动作的加速度、角度和运动方向特征值，设置姿态融合计算模块22，根据所拾取的所述姿态特征值并基于所述姿态融合计算模块22识别出对应于所述晃动头部动作的运动方向控制指令，通过所述运动方向控制指令控制所述控制部件4的运动方向；实施头部的眨眼表情动作，拾取关联于所述头部表情动作而导致的EOG（眼电）信号特征值，设置生物电信号计算模块23，根据所拾取的所述生物电信号特征值并基于所述生物电信号计算模块23识别出对应于所述头部表情动作的确认指令，通过所述确认指令确认所述控制部件4的当前操作及其操作类型。

[0022] 所述信号采集模块为可穿戴式设备，它进一步包括用于拾取关联于用户1眨眼表现出的EOG电信号的头部生物电信号特征值拾取装置11、用于拾取用户1姿态动作特征值的姿态特征值拾取装置21，它们分别采集的信号通过无线通信模块传输至所述控制模块2；所述信号采集模块还包括微处理器单元，所述微处理器单元包括有STM32F103芯片，负责整个信号采集模块各组成部分的同步与控制。

[0023] 在本实施例中，所述姿态特征值拾取装置21是一种可穿戴式的姿态传感器单元，佩戴在用户1头部，包括有PU9250传感器芯片与所述微处理器单元连接，该芯片为九轴姿态传感器，由三轴加速度传感器、三轴陀螺仪和三轴磁力计组成，分别采集用户1头部晃动动作的加速度、角度和运动方向特征值。

[0024] 在本实施例中，所述头部生物电信号特征值拾取装置11也是一种基于EOG信号的可穿戴式眼电设备，佩戴在用户1头部，包括电极单元、EOG信号放大单元，所述电极单元、EOG信号放大单元与所述微处理器单元依次连接。所述电极单元含有三个导电电极，紧贴用户1头部皮肤的不同部位，其中一个置于用户1额头，另外两个置于耳后；所述EOG信号放大单元中设置有AD8232集成仪表放大器芯片，芯片上集成有仪表放大器、高通滤波器、低通滤波器和右腿驱动电路。

[0025] 所述控制模块2中包括有所述姿态融合计算模块22，用于根据所采集的晃动头部的姿态信号对用户1头部的姿态（例如向左偏晃动、右偏晃动、抬头移动和低头移动四种姿态动作）进行算法识别并给出相应的姿态特征信号，根据所述姿态特征信号确定识别结果并进一步确定并驱动所述控制部件4做相应方向的移动，例如当实施抬头动作时所述控制部件4也抬起来，从而便利于控制。所述控制模块2中还包括有生物电信号计算模块23，用于根据所采集的对应于眨眼动作的EOG电信号对用户1的眼部动作进行算法识别并给出相应的生物电特征信号，根据所述生物电特征信号确定识别结果并进一步表达确认控制指令，确认所述控制部件4的当前操作类型(停止上升或停止下降)。也就是说，所述病床4响应于所述姿态动作所蕴含的运动方向控制指令而移动，并响应于所述头部表情动作所蕴含的确认指令完成对当前操作及其操作类型的“确认”。

[0026] 在上述方案中，所述人体姿态动作除了是一种头部晃动动作以外，还可以是身体整体的左偏晃动、右偏晃动、挺胸移动和弯腰移动；这些姿态信号具有各个动作之间容易区分明显的特点，而且能够将方向控制意图与人体本身的姿态方向统一起来，从而便利于表达和控制，其动作表象容易识别而且也容易提取其特征值。一种比较便于人们习惯的控制方式是，尽量让移动方向控制的结果与这些姿态动作的方向基本协调一致，例如当你抬头或挺胸动作时，控制模块2最好控制所述移动光标的运动方向也向上移动而不是向左或向右移动。

[0027] 但是，这些所述人体姿态动作仅是一种控制意图的表达，既不是对控制部件4予以控制的信号本身，也不是所要表达的控制信号本身。为此，为了实现对控制意图的精准表达，最好是事先设定所述人体姿态动作的规范标准化动作，便于精准地展示、表达这种控制意图不至于控制系统难以识别和特征值提取。为此进一步的技术方案还可以是，建立关于头部晃动或身体晃动的人体姿态规范模型，所述人体姿态模型定义用于表达所述方向控制意图的人体动作类型例如是头部晃动还是身体晃动才能有效，以及晃动的速度，或最大、最小角度等姿态，通过所述人体姿态模型予以规范定义，通过实施符合所述人体姿态模型所定义的人体姿态动作，表达对所述控制部件4的运动方向的控制意图。当建立了所述人体姿态模型后，用户1使用前可以在了解和学习所述标准化规范动作的要求后，开始操作。例如启动被控控制部件4的初始状态时，让用户1身姿调试至设定的初始姿态，包括摆正身体，面部正朝向显示屏3等。再例如要求用户1晃动身体的角度、速度等符合包括的规范等。

[0028] 在上述方案中，所述姿态融合计算模块22，是基于经验和数据所建立的软件运算模块，用于识别解读当前所述人体姿态动作的控制意图。在使用中，还可以通过所述姿态融合计算模块22采集基于一个规范的姿态动作即人体姿态模型的特征值，作为建立对应于姿态动作的基准特征值，并比较所拾取的当次姿态特征值，实时识别出用户1当前的姿态动作意图。

[0029] 其中，所述拾取表征所述人体姿态动作的姿态特征值，其定义了控制的起点在于拾取特征值，拾取作为一种立体行为动作的特征参数，提供给后面的所述控制模块2使用。

[0030] 其中，所述人体姿态动作的动作表象，是指姿态动作在三维空间中的外在表现特征。为此，拾取表征所述人体姿态动作的动作表象本身的姿态特征值，实际上也就是姿态动作在时间和空间上留下的轨迹。

[0031] 其中，所述控制部件4的当前操作，是指对所述控制部件4实施的一种确认操作，眨眼动作一次就类似于通过鼠标光标对屏幕中的操作部件实施左击或右击确认操作，而所述操作类型，是指实施该确认操作的类别，例如对所述控制部件4实施启动或停止、用意或否定，也可以是所述控制部件4实施加速或减速等，这些操作类别可以根据不同控制部件4的控制需要进行设定调整。

[0032] 在上述方案中，还可以是，在一个当次的姿态动作结束并确认为有效后，将当次的姿态特征值替换为基准姿态特征值。即为了防止基准姿态特征值漂移导致的识别错误和识别迟缓的问题，采用每次动作结束或定期地将当次的姿态特征值替换为基准姿态特征值，让所述基准特征值适当地刷新重置。

[0033] 在上述方案中，还可以是，所述姿态特征值包括有可以从动作表象上予以识别的人体动作的角度、动作方向和动作加速度。即从动作的角度、动作方向和动作加速度几个方面定义所述姿态特征值。所述姿态特征值的提取，在发明中，采用穿戴式的速率陀螺仪检测器测量动作的角度及加速度传感器测量动作的加速度，在进一步改进的方案中，还可以通过磁力计采集随所述人体姿态动作移动时提供所述姿态特征值中的运动方向特征值。在其它实施方案中，也可以采用摄像采样装置摄取所述人体姿态动作的影像并利用图像解析技术获取所述人体姿态动作的姿态特征值。

[0034] 在上述方案中，所述头部表情动作是一种基于头部而存在的微型肌肉动作或思维动作，为此除了使用眼部的眨眼动作导致的眼电EOG信号外，还可以采用其它微型肌肉动作例如眼球转动动作、面部抽动动作、咬牙、磨牙的下颚动作，或纯粹大脑意识的思维动作；当实施这些表情动作时都能在头部产生相应的不同特性的生物电信号，一般俗称脑电信号、肌电信号等。例如EOG眼电和EMG肌电信号，目前已经有很多种方法和装置拾取这些生物电信号。这些生物电信号的特征值主要包括有电信号幅度大小和信号频率高低及其频谱构成等，拾取和区分这些特征值就能实现确认指令。

[0035] 将所述人体姿态动作与所述头部表情动作的特点对比就可以发现，它们之间的区别是明显的，前者属于幅度比较大的肢体动作从而可以利用其直接表达与运动方向有关的控制意图，而后者仅是头部的微型肌肉动作或思维动作，并且在实施所述人体姿态动作时完全可以同步实施所述头部表情动作，或者在实施所述人体姿态动作之前或之后快速响应实施所述头部表情动作从而实现快速确认控制，互不干涉，容易让普通用户操作。

[0036] 为此，本发明中利用实施这些表情动作来表达或传递一种确认指令，基于该确认的意图和指令，在本发明中，控制程序本身既可以安排一个动作代表一个确认含义例如像传统的单击鼠标的确认动作，也可以是连续的两个动作代表一个确认的含义例如像传统的双击鼠标的确认动作，即一个动作或几个动作的重复或组合。

[0037] 其次，所述头部表情动作不仅是独立的动作及其信号，而且定义了所述头部表情动作主要用于表达确认控制的意图，即实施该动作不是希望所述控制部件4例如鼠标光标（也称为特定标识）按自己的意图移动，而是要表达确认类似于鼠标点击确认的启动或停止等确认的含义。

[0038] 在上述方案中，还可以是，在一个当次的表情动作结束并确认为有效后，将当次的生物电信号特征值替换为基准的生物电信号特征值。即为了防止用户1在不同时期的生物电信号特征变化或不同参与者的当次生物电信号特征值变化导致识别错误（不是基准的生物电信号特征值漂移），采用每次动作结束或定期地将将当次的姿态特征值替换为基准的生物电信号特征值，让所述基准的生物电信号特征值适当地刷新重置。

[0039] 实施例二、如图2所示，具体地说，本发明还提供一种基于二维意图所定义的控制方法，其特征在于，包括用于表达方向控制意图的人体姿态动作和用于表达确认意图的语音命令，所述方向控制意图旨在对控制部件4的运动方向予以控制，所述确认意图旨在对所述控制部件4的当前操作及其操作类型予以确认；实施所述人体姿态动作，拾取表征所述人体姿态动作的动作表象本身的姿态特征值，设置姿态融合计算模块22，根据所拾取的所述姿态特征值并基于所述姿态融合计算模块22识别出对应于所述人体姿态动作的运动方向控制指令，通过所述运动方向控制指令控制所述控制部件4的运动方向；
实施语音命令，拾取表征所述语音命令的语音信号特征值，设置语音信号计算模块24，根据所拾取的所述语音信号特征值并基于所述语音信号计算模块24识别出对应于所述语音命令的确认指令，通过所述确认指令确认所述控制部件4的当前操作及其操作类型予以确认。

[0040] 将上述实施例二的方案与实施例一对比，其主要差别在于，将实施例一中的表达确认意图的头部表情动作改变为用户1发出的语音命令，为此，在上述方案中，还可以是，通过所述语音信号计算模块建立对应于语音命令的语音信号基准特征值并比较所拾取的当次语音信号的特征值，实时识别出用户1当前的语音命令意图。

[0041] 在上述方案中，还可以是，在一个当次的语音信号结束并确认为有效后，所述语音信号计算模块将当次的语音信号特征值替换为基准特征值。这样当出现产品用户1更换、用户1的口音特性改变等情况发生后，依然能够及时调整识别能力。

[0042] 本发明还提供一种基于二维意图的控制装置，其特征在于，包括：姿态特征值拾取装置21，所述姿态特征值拾取装置21用于拾取表征人体姿态动作的动作表象本身的姿态特征值并给出相应的姿态特征信号，所述人体姿态动作用于表达对控制部件4的运动方向予以控制的控制意图；
语音命令特征值拾取装置5，所述语音命令特征值拾取装置5用于拾取表征所述语音命令的语音信号特征值并给出相应的语音特征信号，所述语音命令用于表达对控制部件4的当前操作及其操作类型予以确认的意图；
控制模块2，包括姿态融合计算模块22和语音信号计算模块24，所述姿态融合计算模块
22用于接收所述姿态特征信号并识别出对应于所述人体姿态动作的运动方向控制指令，所述控制模块2用于根据所述运动方向控制指令进一步控制所述控制部件4的运动方向；所述语音信号计算模块24用于接收所述语音特征信号并识别出对应于所述语音命令的确认指令，所述控制模块2用于根据所述确认指令确认所述控制部件4的当前操作及其操作类型。

标题	发布/更新时间	阅读量
一种主动式车辆连续跟踪装置、系统及方法	2020-05-12	621
基于脑电信号采集的虚拟现实交互方法及装置	2020-05-18	667
一种基于思维导图的可视化协同分析系统	2020-05-08	215
非侵入式活体电子自旋共振方法和系统	2020-05-16	375
一种系统界面设计方法	2020-05-13	424
一种装配式机电管线布局检测的信息处理装置	2020-05-15	658
基于热量管理的主板二次开发改版方法	2020-05-08	512
一种基于正射影像数据的施工总平面图制作方法	2020-05-18	828
一种UI培训用思维导图模拟结构	2020-05-19	635
一种数学思维讲解注释讲解板	2020-05-08	529

基于二维意图所定义的控制部件控制方法和装置

基于二维意图所定义的控制部件控制方法和装置

技术领域

背景技术

发明内容

具体实施方式

该功能需要专业版企业版VIP权限，您可以：